Méthodes
Reconnaissance émotionnelle multimodale par attention croisée
Encoder l’audio, le texte et la vidéo, apprendre les dépendances entre modalités et évaluer les prédictions émotionnelles.
Les modalités offrent des observations différentes d’une même interaction. L’étude de Canadian AI 2025 examine comment l’attention croisée peut affiner la fusion des caractéristiques audio, textuelles et visuelles pour reconnaître les émotions.
La méthode a été évaluée sur IEMOCAP. Les résultats portent sur ce contexte expérimental ; la fiabilité en présence de modalités absentes, dégradées ou contradictoires reste une question de recherche plus large.
Suivre la méthode
Ouvrez chaque étape pour examiner les entrées, le travail effectué et les sorties décrites par les auteurs.
01 Encoder chaque modalité
- Entrée
- Audio, texte et vidéo
- Sortie
- Représentations propres aux modalités
Des encodeurs propres à chaque modalité représentent l’audio vocal, le texte et la vidéo. Chacun prépare une représentation adaptée à l’information portée par son entrée.
02 Modéliser les dépendances par attention croisée
- Entrée
- Caractéristiques encodées
- Sortie
- Représentation multimodale fusionnée
L’attention croisée apprend les relations entre modalités lors de la fusion de leurs caractéristiques. La représentation obtenue combine des informations complémentaires pour la tâche émotionnelle.
03 Prendre en compte le déséquilibre des classes
- Entrée
- Caractéristiques fusionnées et annotations
- Sortie
- Prédictions émotionnelles et évaluation par classe
L’étude utilise une perte focale pour traiter le déséquilibre des classes. L’évaluation présente exactitude, précision, rappel et F1 afin d’examiner les performances au-delà d’un score agrégé unique.
Projets
- 01
Projets
Fusion émotionnelle par attention croisée
Étudier les relations entre audio, texte et vidéo par attention croisée et fusion des caractéristiques.
Axes de recherche
- 01
Programmes de recherche
Apprentissage interprétable et multimodal
Comprendre les caractéristiques acoustiques et étudier l’interaction de la voix, du langage et des indices visuels dans la reconnaissance des émotions.