ChatGPT, el chatbot de OpenAI, empresa cofundada por Elon Musk, es una herramienta de inteligencia artificial (IA) con enormes posibilidades. Además de interactuar con los usuarios respondiendo preguntas, creando historias, resumiendo textos o generando fotografías es capaz de hacerlo adaptándose a cada interlocutor.

Un reciente estudio de investigadores de la Universitat Oberta de Catalunya (UOC) desvela que ChatGPT muestra "personalidades" diferentes en función del idioma con el que se le hable, un fenómeno común observado en las personas.

La investigación demuestra que el sistema cambia de personalidad cuando conversa con hablantes de inglés de países diferentes y adopta estereotipos culturales de cada país, aunque el idioma sea el mismo.

La personalidad de los sistemas de IA

Al respecto de la investigación, que lleva por título Exploring the Impact of Language Switching on Personality Traits in LLM's, Rubén Nieto, catedrático de los Estudios de Psicología y Ciencias de la Educación de la UOC, señala que "queríamos saber si podíamos evaluar la personalidad de sistemas de inteligencia artificial como ChatGPT utilizando instrumentos de evaluación psicológica tradicionales y observar si la personalidad de sistemas como GPT variaba en función del idioma de los cuestionarios, lo que replicaría algunas diferencias encontradas en la población real".

En el análisis, los investigadores utilizaron el cuestionario EPQR-A (cuestionario de personalidad de Eysenck-Revisado), usado habitualmente en Psicología y que mide cuatro áreas: extraversión, neuroticismo, psicoticismo y predisposición a mentir.

Simulación de una conversación con ChatGPT.

Cuestionario en seis idiomas

Se ordenó a ChatGPT (versión GPT-4o) completar el cuestionario en seis idiomas distintos (inglés, hebreo, portugués brasileño, eslovaco, español y turco) y también simular respuestas siendo un hablante nativo de inglés en cinco países diferentes (Reino Unido, Estados Unidos, Canadá, Australia e Irlanda).

"GPT-4o muestra variaciones significativas en sus respuestas a los test de personalidad según el idioma utilizado. Además, estas diferencias no se deben exclusivamente a la traducción de los ítems, sino a factores culturales implícitos asociados a cada idioma o país. En cuanto a la personificación de cinco hablantes nativos de inglés de países diferentes, GPT-4o mostró personalidades alineadas con los estereotipos nacionales de cada territorio con lo que reveló la fuerte influencia ejercida por los sesgos culturales presentes en los datos usados para el entrenamiento", comenta el investigador Andreas Kaltenbrunner.

Estereotipos culturales

El estudio detecta que "GPT-4o recurre a estereotipos culturales cuando se le pide simular a una persona de un país concreto, y estos sesgos podrían ser amplificados en traducciones automáticas o en tareas de generación de texto multilingüe". Para evitarlos, sugieren incorporar evaluaciones humanas en el proceso de traducción, usar más de un sistema de traducción y comparar resultados, y desarrollar modelos más conscientes del contexto cultural y social, no solo del lenguaje.

Antonio Oliver, profesor de los Estudios de Artes y Humanidades de la UOC, diferencia entre los NMT, modelos de traducción neuronal, y los LLM, grandes modelos de lenguaje, que pueden hacer otras funciones además de traducir, y entre los que se encuentran ChatGPT y Copilot. "Cuantos más idiomas se hayan utilizado para entrenar el modelo, más capacidad tendrá este para traducir. De todos modos, parece que los NMT tienen más precisión, mientras que los LLM, al trabajar en contextos más grandes, pueden reproducir más estereotipos”, señala Oliver.

Test psicológicos para humanos

Otra conclusión del estudio es que los test psicológicos diseñados para explorar la personalidad en humanos también se pueden usar para valorar los modelos de lenguaje como GPT. "Nuestros resultados muestran que GPT se revela como sociable, estable en lo emocional y seguidor de las normas sociales", comenta Nieto.

Con estos resultados, el equipo de la UOC trabaja ahora para ampliar el estudio incluyendo más idiomas y modelos diferentes a GPT-4o, además de otros test de personalidad, con el fin de evaluar la consistencia de los resultados y conocer los sesgos que producen los sistemas de IA en función de los estereotipos.