Google justifica las respuestas erróneas de AI Overview con las "búsquedas sin sentido" y un mal uso de su IA

Google justifica que las respuestas incorrectas AI Overview con resultado de "búsquedas sin sentido, aparentemente destinadas a producir resultados erróneos", aunque ha reconocido que algunas de ellas se podrían deber a consultas sobre áreas y temas en los que necesita mejorar su precisión.

AI Overview es una función de Gemini que ofrece respuestas rápidas con resúmenes creados por IA y que está disponible desde hace unas semanas en Estados Unidos. Más concretamente, es un experimento de Search Labs que ha reemplazado a la Experiencia generativa de búsqueda (SGE, por sus siglas en inglés).

Con su implementación, varios usuarios denunciaron haber obtenido una serie de respuestas poco coherentes, como "comer al menos una piedra pequeña al día" por consejo de expertos en Geología de la Universidad de Berkeley.

Así lo recogió una usuaria conocida como Kris Kashtanova en X, misma red social en la que otra persona, @heavenred, señaló que AI Overview le había recomendado echar pegamento no tóxico a la pizza para conseguir que el queso se fundiera con la masa.

Al hilo de estas denuncias, un portavoz de Google aseguró que su tecnología generaba en gran medida "información de alta calidad" y que había ofrecido respuestas erróneas debido a que se hicieron "consultas poco comunes".

Tras comentar que la firma estaba tomando "medidas rápidas" para solventar este problema, Google ha publicado un comunicado firmado por la vicepresidenta y jefa de Búsqueda de Google, Liz Reid, en el que ha explicado cómo funcionan las descripciones generales de IA y cuál podría haber sido la causa del fallo.

En primer lugar, ha señalado que, según los comentarios que ha recibido, los usuarios de AI Overviews tienen mayor satisfacción con sus resultados de búsqueda y hacen preguntas "más largas y complejas" a su IA, ya que "saben que Google ahora les puede ayudar".

Con ello, ha asegurado que "los clics a las páginas web son de mayor calidad" y que es más probable que los usuarios permanezcan en una página concreta porque ha hecho "un trabajo mejor para encontrar la información correcta" y útil para ellos.

Google también ha matizado que esta experiencia "funciona de forma muy distinta a los 'chatbots' y otros productos LLM" y que, además de compartir resultados de texto, incluye enlaces relevantes para que los usuarios "puedan investigar más a fondo".

Debido a que considera "primordial" la precisión de estos resultados, y que las descripciones de AI Overview están diseñadas para motrar información respaldada por los mejores resultados web, esta tecnología generalmente no registra alucinaciones ni inventa cosas como sí harían otras herramientas de este tipo.

Por otro lado, la tecnológica ha señalado que el trabajo optimizado de su IA se debe a "sólidos esfuerzos de formación de equipos rojos, evaluaciones y pruebas", pero también ha reconocido que las búsquedas novedosas realizadas por millones de personas pueden haber resultado en errores en sus respuestas.

Asimismo, ha reconocido que algunas de las descripciones generales fueron "extrañas, inexactas o inútiles", que podrían deberse a consultas que los usuarios no suelen hacer o sobre áreas y temas específicos en los que necesita mejorar.

No obstante, ha insistido en que se ha compartido una gran cantidad de capturas de pantalla falsas mostrando resultados engañosos, "obvios y tontos", como aquellas en las que se recomendaba fumar durante el embarazo.

Para resarcir este problema, Google ha trabajado en una serie de actualizaciones que cree que "pueden ayudar a un amplio conjunto de consultas, inclucidas las nuevas" que aún no haya identificado, así como eliminar respuestas que no cumplen con sus políticas.

Para ello, ha creado mejores mecanismos de detección para consultas sin sentido "que no deberían mostrar una descripción general de la IA" y ha limitado la inclusión de contenido satírico y humorístico en estos resultados.

También ha actualizado sus sistemas para limitar el uso del contenido generado por usuarios en respuestas que podrían ofrecer consejos engañosos y ha añadido restricciones de activación de la IA para consultas en las que las descripciones generales no resultaron útiles.

Por último, ha indicado que ha reforzado las barreras de seguridad que ya implementa en temas como noticias o salud, adelantando que su objetivo es "no mostrar resúmenes de IA para temas de noticias importantes", debido a que "la actualidad y la factualidad" de estas son importantes.