From unaltered raw waveform to emotion: Synergizing convolutional and gated recurrent networks for holistic speech emotion analysis

Cette étude présente CNN-n-GRU, une architecture de bout en bout qui reconnaît les émotions directement à partir du signal vocal brut. Un réseau convolutif à n couches extrait des représentations acoustiques hiérarchiques, puis un réseau de GRU à n couches modélise les dépendances temporelles et retient les indices émotionnels. Le modèle traite des signaux de durées variables sans segmentation explicite ni caractéristiques conçues manuellement. L’évaluation rapporte une précision de 99,2 % et un F1 de 99,0 % sur TESS, de 81,3 % et 80,9 % sur IEMOCAP, et de 86,6 % et 86,7 % sur RAVDESS. Des analyses statistiques accompagnent les comparaisons. Les auteurs précisent que la généralisation à la parole émotionnelle spontanée et à la variabilité des locuteurs reste à explorer. Le code est accessible dans le dépôt associé.