Programmes de recherche
Apprentissage interprétable et multimodal
Comprendre les caractéristiques acoustiques et étudier l’interaction de la voix, du langage et des indices visuels dans la reconnaissance des émotions.
Axe de recherche
La performance prédictive n’est qu’une dimension de l’utilité d’un modèle. Le renforcement itératif des caractéristiques utilise une analyse fondée sur les valeurs de Shapley pour examiner les contributions acoustiques et affiner les ensembles de variables.
Un volet complémentaire étudie l’attention croisée et la fusion des caractéristiques audio, textuelles et visuelles. Il examine la contribution de ces signaux à la reconnaissance des émotions, en rendant explicites l’évaluation, les limites et la reproductibilité.
- Quelles caractéristiques acoustiques contribuent à une prédiction ?
- Quand l’information entre modalités améliore-t-elle un modèle émotionnel ?