Decir «qué bien, otra reunión» con voz de funeral es algo que cualquier persona entiende al momento: las palabras dicen una cosa y el tono, la contraria. Los asistentes de voz más recientes, construidos sobre grandes modelos de lenguaje capaces de procesar audio directamente, prometen captar también esos matices. Un trabajo publicado en el repositorio arXiv por Fengji Jing (Universidad de Hong Kong) y Guy Laban (Universidad Ben-Gurión del Néguev) se pregunta qué pasa justo en esos casos de desajuste. La respuesta es que estos modelos tropiezan más cuando el texto y la voz no van en la misma dirección.

Los autores lo resumen en la primera frase del artículo: estos modelos procesan «both what a speaker says and how they say it, yet the two channels do not always agree» (lo que alguien dice y cómo lo dice, aunque los dos canales no siempre coinciden).

Cómo se mide que el tono y las palabras no casan

Para estudiar el desajuste primero había que medirlo, y eso no es sencillo. El equipo coloca tanto el texto transcrito como el audio en un mismo espacio emocional de tres ejes, muy utilizado en psicología:

• Valencia: si la emoción es agradable o desagradable.
• Activación: si transmite calma o excitación.
• Dominancia: si expresa sensación de control o de sumisión.

Cada frase queda así representada por dos puntos en ese espacio, uno según las palabras y otro según la voz. La distancia entre ambos indica cuánto se contradicen. En lugar de fijar a mano un umbral a partir del cual una frase cuenta como «incongruente», los investigadores aplican una mezcla de dos distribuciones gaussianas, una técnica estadística que separa los datos en dos grupos (coherentes y desajustados) y asigna a cada frase una probabilidad continua de pertenecer a cada uno. Después comprobaron que esa puntuación se correspondía con lo que juzgaban personas reales.

Tres modelos, tres tipos de habla

Con esa vara de medir evaluaron tres modelos de lenguaje con capacidad de audio, de distintos desarrolladores, sobre tres colecciones de grabaciones que cubren situaciones muy diferentes:

• eNTERFACE'05: emociones interpretadas por actores.
• MELD: fragmentos de diálogo conversacional.
• CMU-MOSEI: habla espontánea de personas que dan su opinión.

La clave del diseño es que, para cada comparación, el modelo es el mismo: se le pide reconocer la emoción solo con el texto o con texto y audio a la vez. Así se aísla el efecto de añadir la voz sin que influya cambiar de sistema.

El resultado se repite en los tres corpus: cuando hay audio de por medio, cuanto mayor es el desajuste entre tono y palabras, más probable es que el modelo se equivoque. Y eso se mantiene incluso después de tener en cuenta cuál era la emoción real y lo alejados que estaban los dos puntos en el espacio de características. Es decir, no se explica solo porque algunas emociones sean más difíciles que otras.

El fallo está en la mezcla, no en la señal

El dato más revelador llega al comparar con métodos clásicos. Los autores entrenaron clasificadores supervisados, modelos más sencillos entrenados específicamente para esta tarea, con las mismas características. Esos clasificadores se comportan al revés: el desajuste no los perjudica de la misma forma. Para el equipo, esto sugiere que la información necesaria está en la señal y que el problema reside en cómo los grandes modelos combinan las pruebas que les llegan por los dos canales.

Hay más letra pequeña. Los efectos cuando el modelo solo lee la transcripción resultaron poco fiables: basta con cambiar el modelo que lee el texto para que, en uno de los corpus, el efecto cambie de signo. Además, los autores reconstruyeron la puntuación prescindiendo del diccionario emocional que usaban y obtuvieron el mismo resultado principal. Según el resumen, de seis alternativas más sencillas, la suya es la única puntuación que no necesita etiquetas y predice errores en los tres corpus. Han publicado el código, las tablas de datos y las instrucciones utilizadas.

Conviene recordar los límites: es una prepublicación en arXiv, todavía sin revisión por pares, y se centra en reconocer emociones en grabaciones concretas, no en conversaciones largas con usuarios reales.

Por qué importa

Cada vez más asistentes, servicios de atención al cliente y aplicaciones de bienestar presumen de «entender cómo te sientes» a partir de la voz. Este trabajo muestra que justo en los casos más humanos (la ironía, el sarcasmo, la frase amable dicha con fastidio) estos sistemas son más frágiles, y que añadir audio no garantiza entender mejor. Además, ofrece una herramienta para detectar esos momentos delicados sin depender de umbrales arbitrarios. Para quien diseñe estos productos es una advertencia; para el resto, una buena razón para no tomar al pie de la letra lo que una máquina diga sobre nuestras emociones.