OpenAI explica por qué los modelos de lenguaje tienen alucinaciones

OpenAI ha indagado sobre el origen de las alucinaciones en los modelos de lenguaje, un fenómeno que pone en riesgo la fiabilidad de la inteligencia artificial, y su persistencia, que vincula con las evaluaciones que incentivan las conjeturas.

Las alucinaciones son un fenómeno por el que la IA ofrece respuestas que, a pesar de parecer coherentes, incluyen información sesgada o errónea que no está respaldada por los datos con los que se ha entrenado.

Suponen un problema que afecta a la interacción con los modelos de lenguaje, porque los usuarios pueden creer que la información es correcta y tomar decisiones en base a ella. También son un desafío para las empresas que desarrollan esos modelos porque no está claro su origen.

OpenAI, sin embargo, asegura que se originan en el preentrenamiento, en el proceso de predicción de la siguiente palabra en grandes cantidades de texto, cuando no existen etiquetas que ayuden a distinguir lo que es válido de lo que es inválido.

Este es el resultado de una investigación que ha compartido recientemente, titulada 'Por qué los modelos de lenguaje alucinan?', en la que ha indagado también sobre la persistencia de las alucinaciones en los modelos más recientes, que recoge en su blog oficial.

Asegura que "las alucinaciones persisten en parte porque los métodos de evaluación actuales establecen incentivos erróneos", y para explicarlo, compara su forma de responder con un estudiante enfrentándose a un examen de respuesta múltiple.

"Si no sabes la respuesta pero intentas adivinar, podrías tener suerte y acertar. Dejarla en blanco garantiza un cero. De la misma manera, cuando los modelos se califican solo por la precisión, el porcentaje de preguntas que responden correctamente, se les anima a adivinar en lugar de decir 'No lo sé'".

Ante este descubrimiento, OpenAI propone actualizar las pruebas basadas en la precisión para que también se penalicen las conjeturas, y que los modelos puedan "abstenerse ante la incertidumbre".

Aun así, la compañía reconoce que no se pueden conseguir modelos de lenguaje que sean precisos al cien por cien, porque "independientemente del tamaño del modelo y de sus capacidades de búsqueda y razonamiento, algunas preguntas del mundo real son inherentemente incontestables".