Projets
Fusion émotionnelle par attention croisée
Étudier les relations entre audio, texte et vidéo par attention croisée et fusion des caractéristiques.
En cours
L’article de Canadian AI 2025 étudie une architecture multimodale de reconnaissance émotionnelle sur IEMOCAP. Il associe des encodeurs audio, textuels et visuels à une attention croisée et utilise une perte focale pour traiter le déséquilibre des classes.
L’éditeur désigne Mental-Health-Monitoring-MMER comme dépôt de code de l’article. Le dépôt distinct Multi-Modal-Emotion-Recognition décrit un travail soumis ; il est conservé comme logiciel de recherche sans lui attribuer une publication ni une acceptation non établies.
Axes de recherche
- 01
Programmes de recherche
Apprentissage interprétable et multimodal
Comprendre les caractéristiques acoustiques et étudier l’interaction de la voix, du langage et des indices visuels dans la reconnaissance des émotions.