Projet personnel · vision par ordinateur · 2026

Reconnaissance des émotions faciales en temps réel

Un modèle de deep learning qui reconnaît 7 émotions sur chaque visage d'une vidéo, plus vite que la vidéo elle-même. Avant d'entraîner, j'ai nettoyé le jeu de données de référence, qui contenait des milliers de doublons et des images partagées entre entraînement et test : le score publié est mesuré sur un test propre.

Exactitude, test nettoyé
82,7 %
Bonne émotion dans les 2 premières
95,5 %
Vitesse sur processeur seul
49 im/s
  • PyTorch
  • ResNet-18
  • apprentissage par transfert
  • OpenCV
  • YuNet
  • scikit-learn

Démonstration

11 extraits de vidéos libres de droits joués par des comédiens. Pour chaque visage : l'émotion reconnue, la confiance et les probabilités des 7 émotions. Détection et modèle tournent à environ 54 images par seconde sur GPU et 49 sur le seul processeur d'un ordinateur portable, au-delà des 25 images par seconde d'une vidéo.

Ces extraits illustrent le fonctionnement ; ils ne mesurent pas la performance. Pour être transparente, j'ai testé 41 extraits dont l'émotion était fixée d'avance par leur titre : l'émotion jouée est reconnue dans 17 cas.

Émotion jouéeExtraitsReconnue sur au moins 60 % des images
Joie44 / 4
Neutre77 / 7
Tristesse104 / 10
Surprise102 / 10
Colère50 / 5
Peur30 / 3
Dégoût20 / 2
Total4117 / 41

Vidéos : Mixkit, licence « Stock Video Free » (usage et modification autorisés). Extraits n° 4756, 25577, 46704, 45503, 4535, 4720, 33260, 46376, 2749, 8739, 33750.

Le problème

Reconnaître l'émotion d'un visage (colère, dégoût, peur, joie, tristesse, surprise, neutre) assez vite pour suivre une vidéo. Le jeu de données de référence, FER2013 (35 887 petites photos), a trois défauts connus : des étiquettes bruitées, des doublons, et des émotions très déséquilibrées. Un score mesuré sans corriger ces défauts paraît bon mais ne veut rien dire. Mon objectif : d'abord une évaluation fiable, ensuite la performance.

Ma démarche

  1. DétectionYuNet (OpenCV) trouve chaque visage, sur l'image réduite de moitié
  2. PréparationVisage recadré, agrandi à 112×112, normalisé
  3. ModèleResNet-18 pré-entraîné, 11,2 millions de paramètres
  4. LissageMoyenne sur quelques images pour éviter le scintillement
  5. AffichageÉmotion, confiance et probabilités des 7 classes
  • Nettoyer avant d'entraîner. 7 976 images retirées sur 35 887 (copies et quasi-copies, images inutilisables, dessins), dont 1 916 présentes à la fois dans l'entraînement et dans le test. Chaque suppression est consignée dans un journal.
  • De meilleures étiquettes. Les étiquettes FER+ (dix annotateurs par image) remplacent celles d'origine : sur 5 121 images de « peur » d'origine, seules 641 sont confirmées par la majorité. Le modèle apprend la répartition des votes, pas une classe unique.
  • Apprentissage par transfert. ResNet-18 pré-entraîné sur ImageNet, nouvelle tête, dégel progressif, deux taux d'apprentissage, AdamW, précision mixte : 6,5 minutes d'entraînement sur le GPU d'un portable.
  • Classes rares. Variantes d'images pour le dégoût et la peur (entraînement seulement), perte focale et poids de classes.
  • Un protocole strict. Le modèle, ses réglages et son seuil sont choisis sur la validation ; le test sert une seule fois, à mesurer le modèle final. Ma première version, un CNN entraîné de zéro, était évaluée sur un test contaminé : je l'ai corrigée avant de publier.

Résultats

Exactitude
82,7 %
Exactitude équilibrée
60,0 %
F1 moyen (7 émotions)
0,592
Kappa de Cohen
0,757

Mesuré sur les 2 247 images du test nettoyé, jamais utilisées pour choisir le modèle. Intervalle de confiance à 95 % : 81,0 à 84,3 % d'exactitude. Joie et neutre forment les trois quarts du test : l'exactitude équilibrée, moyenne des 7 rappels, donne une image plus juste des émotions rares. Pour situer : les meilleurs résultats publiés sur FER+ tournent autour de 89 à 90 %, avec un découpage différent, donc non directement comparable.

ÉmotionRappel [IC 95 %]PrécisionF1Images de test
Joie91 % [89 ; 93]96 %0,94763
Neutre83 % [80 ; 85]86 %0,85900
Surprise81 % [74 ; 86]71 %0,76157
Colère74 % [66 ; 80]70 %0,72144
Tristesse73 % [67 ; 78]57 %0,64242
Peur18 % [9 ; 34]38 %0,2433
Dégoût0 % [0 ; 32]0 %0,008
Matrice de confusion
Matrice de confusion sur le test : pourcentage de chaque émotion réelle
Rappel par émotion
Rappel par émotion et intervalle de confiance à 95 %

Choix validés par expérience

Chaque choix a été comparé à une alternative, sur la validation uniquement, avant de lire le test.

ConfigurationExactitude (validation)Écart entraînement − validationDécision
ResNet-18 pré-entraîné, étiquettes douces84,7 %11,6 pointsRetenu
Même modèle, étiquettes dures84,2 %15,4 pointsMémorise davantage
ResNet-18 sans pré-entraînement80,7 %10,2 points4 points de moins
Régularisation forte, couches gelées79,1 %13,6 pointsÉcarté
Taux d'erreur par époque
Taux d'erreur par époque : l'écart entre entraînement et validation montre un surapprentissage, décrit dans les limites

Limites

Peur et dégoût mal reconnus. Peur : 6 visages sur 33 (souvent pris pour de la surprise). Dégoût : 0 sur 8. L'entraînement ne contient que 349 et 108 photos distinctes de ces émotions. Le modèle est fiable sur la joie, le neutre, la surprise et la colère, pas sur ces deux-là.

Écart entre photos et vidéo. Entraîné sur de petites photos du web, il reconnaît l'émotion jouée dans 17 extraits vidéo sur 41. Il n'a pas été testé avec une caméra en conditions réelles.

Surapprentissage. 96,3 % d'exactitude à l'entraînement contre 84,7 % en validation, malgré la régularisation.

Confiances trop basses. La confiance affichée vaut 57 % en moyenne alors que le modèle a raison 84 % du temps (erreur de calibration 0,28), un effet des étiquettes douces : il faudrait recalibrer avant de montrer ces pourcentages à un utilisateur.

Peu d'exemples rares au test. 33 images de peur et 8 de dégoût : leurs intervalles de confiance sont larges.

Pistes : ajouter des images réelles des émotions rares (AffectNet, RAF-DB), entraîner à plus haute résolution avec des variations proches d'une caméra (flou, lumière), recalibrer les probabilités (mise à l'échelle par température) et afficher « incertain » sous un seuil de confiance.