La inteligencia artificial pierde credibilidad para los expertos. Un equipo de investigadores de Instituto VRAIN de la Universitat Politècnica de València (UPV), la Escuela Valenciana de Posgrado y Red de Investigación en Inteligencia Artificial (ValgrAI), y la Universidad de Cambridge ha publicado un informe sobre la escasa fiabilidad de los grandes modelos de lenguaje de inteligencia artificial (IA), como GPT-4. Según el estudio, publicado en la revista Nature, los modelos más avanzados son cada vez menos fiables en comparación con sus versiones anteriores, como GPT-3.
A pesar de los avances tecnológicos, los modelos recientes presentan fallos importantes en ejercicios aparentemente sencillos. "Los modelos pueden resolver ciertas tareas complejas de acuerdo a las habilidades humanas, pero al mismo tiempo fallan en tareas simples del mismo dominio. Por ejemplo, pueden resolver varios problemas matemáticos de nivel de doctorado, pero se pueden equivocar en una simple suma", explica José Hernández Orallo, uno de los investigadores principales del estudio y miembro del Instituto VRAIN de la UPV.
Menor precisión, incluso en tareas sencillas
Uno de los hallazgos más destacados del estudio es que no existe una "zona segura" en la que los modelos puedan garantizar un rendimiento perfecto. Según Yael Moros Daval, investigadora del Instituto VRAIN, "los modelos suelen ser menos precisos en tareas que los humanos consideran difíciles, pero no son precisos al 100% ni siquiera en tareas sencillas".
Estas diferencias de fiabilidad favorecen que haya una gran discordancia entre las expectativas humanas y el rendimiento real de los modelos. Resulta difícil para los usuarios comprender que GPT-4 sea mejor en tareas de alta dificultad, pero peor en las sencillas, lo que repercute negativamente en la confianza.
Propensos a ofrecer respuestas incorrectas
La tendencia de estos modelos a ofrecer respuestas incorrectas en lugar de abstenerse de contestar cuando no están seguros es una de las claves de esta disminución de la fiabilidad. Aumenta el riesgo de que los usuarios, que inicialmente confían en la tecnología, se sientan decepcionados y se expongan a errores en ámbitos críticos como la medicina o la educación.
"A diferencia de las personas, la tendencia a evitar proporcionar respuestas no aumenta con la dificultad. Por ejemplo, los humanos suelen evitar dar su opinión en problemas que superan su capacidad. Esto relega a los usuarios la responsabilidad de detectar fallos durante todas sus interacciones con los modelos", señala Lexin Zhou, otra de las investigadoras del equipo.
Los investigadores insisten en la importancia de que los usuarios de estas tecnologías sean conscientes de su baja fiabilidad. “Me pasa constantemente con estudiantes, que tienden a no tener una visión crítica de la respuesta que les da, lo toman como si fueran hechos verdaderos con rigor”, apunta Martínez Plumed en declaraciones a TVE Valencia. Cuando el modelo de lenguaje desconoce la respuesta y la rellena con texto falso inventado se produce lo que se conoce como ‘alucinaciones’. Por eso, es necesario cerciorarse de la precisión de la respuesta.
La inteligencia artificial en nuestras aulas
La pregunta importa
El estudio explora cómo la efectividad de los modelos de lenguaje se ve afectada por la manera en la que se formulan las preguntas. Los investigadores advierten que los usuarios deben seguir preocupándose por enunciar bien las preguntas, ya que una instrucción eficaz en tareas complejas podría fallar en situaciones más simples.
Además, la investigación revela que la supervisión humana es incapaz de corregir completamente estos problemas. Incluso cuando las personas tienen la opción de decir “no estoy seguro”, tienden a confiar demasiado en los modelos y considerar respuestas incorrectas como correctas.
Impacto en múltiples familias de modelos
Estos problemas no son exclusivos de un solo modelo de lenguaje. Afectan a varias familias, como GPT de OpenAI, LLaMA de Meta y BLOOM.
Wout Schellaert, uno de los autores del estudio, concluye que “son cada vez menos fiables desde el punto de vista humano” y que "es necesario un cambio fundamental en el diseño y desarrollo de la IA de propósito general, sobre todo para las aplicaciones de alto riesgo, en las que la predicción del desempeño de los modelos de lenguaje y la detección de sus errores son primordiales”.