Comment interpréter la différence entre la validation et la précision du test?


Réponse 1:

Pour les précisions A, je pense que votre modèle fonctionne bien. Je suppose que vous avez utilisé des données de validation pour former le modèle A et des données de test pour l'évaluer. Étant donné que la précision de validation et la précision des tests sont toutes deux élevées, on peut dire que le modèle est formé correctement. Cependant, j'ai deux préoccupations.

  1. Si vous avez besoin d'un modèle avec une précision plus élevée, vous devez régler les hyperparamètres pour vous améliorer. L'apprentissage supervisé n'est pas qu'une question de précision. S'il s'agit d'une classification binaire, vous devriez obtenir la zone ROC sous la courbe pour voir si elle a du mal à classer les faux positifs. Si vous avez un faux positif élevé, le modèle est inutile.

Pour B, je pense que c'est trop. Le sur-ajustement signifie que votre modèle fonctionne correctement uniquement sur les données de formation et de validation, et non sur les données de test ou les nouvelles données inconnues. Vous voulez certainement un modèle plus généralisé. Vous devez savoir pourquoi il est sur-équipé. Vous devez également évaluer la zone ROC sous la courbe également.

http: //gim.unmc.edu/dxtests/roc3 ...

Surapprentissage et sous-ajustement avec des algorithmes d'apprentissage machine - Maîtrise de l'apprentissage machine