Las herramientas de búsqueda de IA citaron un concepto inventado en una semana, según un artículo

ChatGPT, Perplexity, Grok y Google AI citaron publicaciones sobre un concepto inventado dentro de los siete días posteriores a su publicación, según un artículo de investigadores de la Universidad de Fudan.

Los investigadores publicaron publicaciones de cuentas ordinarias en nueve sitios en los que las herramientas probadas ya citaban con frecuencia. En otros dos temas, una pregunta de opinión con discusión existente y un producto inventado, las mismas cuatro herramientas no obtuvieron mucho resultado en los mismos siete días.

El documento utiliza la etiqueta “Google AI” y enlaza al sitio general de IA de Google, pero no especifica qué producto de Google fue probado. Las pruebas se realizaron en marzo y abril y el artículo se publicó en arXiv el 8 de octubre.

Cómo funcionó la prueba

En marzo, el equipo de Fudan realizó 120 preguntas a través de 10 herramientas de búsqueda de inteligencia artificial y registró los sitios citados por cada herramienta. Los investigadores clasifican ChatGPT, Perplexity, Grok y Google AI como herramientas web en inglés; los otros seis, incluidos Doubao y DeepSeek, son herramientas web chinas.

En todas esas preguntas, Reddit fue el sitio más citado para Google AI y Grok, YouTube para Perplexity y Wikipedia para ChatGPT. De seis a diez de los diez sitios más citados de cada herramienta aceptaron publicaciones de usuarios comunes.

En las pruebas de abril de 22 plataformas de publicación, los investigadores calificaron a Medium, GitHub, LinkedIn y Facebook como fáciles de unir y publicar, mientras que los requisitos de karma de Reddit y las estrictas eliminaciones dificultaron la publicación.

Para cada herramienta, el equipo eligió el sitio más citado en el que una nueva cuenta podía publicar, lo que les dio nueve sitios, incluidos Medium, YouTube y Sohu.

El equipo de investigación publicó artículos sobre el ficticio “Protocolo de gravedad de Cactus”, si la IA suplantaría a los programadores junior en cinco años y un teclado ficticio. Los primeros borradores de cada artículo se crearon utilizando ChatGPT, luego cada uno se revisó manualmente y se incluyeron detalles (por ejemplo, nombres y números inventados) para permitir a los autores identificar si las herramientas de IA repetían esa información.

Los investigadores realizaron comprobaciones antes de publicar para verificar que ninguna de las herramientas proporcionara una respuesta informativa a ninguno de los temas ficticios ni repitiera la información planteada. Después de la publicación, los investigadores realizaron las mismas cinco preguntas para cada uno de los tres temas en todas las herramientas diariamente durante una semana.

En junio cubrí un artículo de Cornell Tech sobre texto plantado que probó agentes de investigación de código abierto en una simulación. Este equipo publicó en la web en vivo y consultó las herramientas a través de sus interfaces públicas.

Lo que citaron las cuatro herramientas web en inglés

Ocho de las 10 herramientas citaron el concepto inventado, el Cactus Gravity Protocol, en el plazo de una semana, incluidas las cuatro herramientas web en inglés. Contando las respuestas desde el primer día en que cada herramienta citó las publicaciones hasta el séptimo día después de la publicación, Grok vinculó a una publicación en 30 de 32 respuestas, Google AI en 15 de 33, Perplexity en 13 de 35 y ChatGPT en 7 de 20.

Menos respuestas a las preguntas incluyeron un detalle plantado en las publicaciones originales. De las respuestas de Grok (n = 32), el 53% lo hizo; para ChatGPT (n = 20), 10%; para Google AI (n = 33), 6% y Perplexity (n = 35), ninguno. En total, entre las 10 herramientas y los tres temas, hubo enlaces de 176 de las 1004 respuestas a las publicaciones durante la semana.

La única herramienta web en inglés que citó una publicación de “opinión” fue Perplexity, en el 11,4% de sus respuestas (n = 35), y ninguna de las cuatro citó publicaciones de teclado durante la semana. Los autores no aíslan cuál de los temas, competencia y tipo de pregunta causó las diferencias entre los tres temas, ya que los tres cambiaron juntos.

En un seguimiento, el equipo publicó una publicación en Sohu, YouTube y CSDN para 10 temas más inventados. Nueve dibujaron al menos una cita o plantaron detalles en las 10 herramientas, y Perplexity fue una de las tres herramientas que citó la mayoría de ellas. El documento no desglosa las otras herramientas web en inglés que existen.

La colocación superó el volumen en estas pruebas

Para evaluar la ubicación, los investigadores crearon publicaciones emparejadas sobre cinco destinos de vacaciones relativamente desconocidos. Una publicación estaba ubicada en una fuente a la que las herramientas hacían referencia con frecuencia; la segunda publicación se publicó en un sitio al que rara vez se hacía referencia, o nunca. En todos los casos, la publicación en la fuente a la que se hace referencia con frecuencia produjo la primera referencia/cita o detalle plantado.

El mejor caso en el lado menos referenciado requirió 20 publicaciones y 40 publicaciones en un sitio de WordPress autohospedado no recibieron referencias en siete días. Los autores los presentan como resultados para temas específicos, no como reglas generales.

Un experimento separado probó seis sujetos ficticios utilizando un número variable de publicaciones de Sohu (entre 1 y 20). El número total de citas en las diez herramientas aumentó de 24 a 128. Sin embargo, ChatGPT nunca generó referencias a esas publicaciones y Google AI solo lo hizo cuando citó los tres temas de menor volumen. Dado que cada uno de los volúmenes utilizó un tema único, los investigadores se refirieron a este aumento como una asociación más que como un efecto del aumento del número de publicaciones.

Por último, el equipo de investigación compró un paquete de publicación web chino a través de un proveedor de GEO por 14 dólares. Las 13 publicaciones se entregaron en la web aproximadamente 28 minutos después de la compra. Una referencia de Doubao a una de las publicaciones que incluía un detalle plantado ocurrió dentro de una hora después de la entrega y los autores la presentan como un caso confirmado de éxito, no como una tasa de éxito.

Por qué esto importa

El tema que cada herramienta web en inglés citó en una semana solo existía en las publicaciones de los investigadores. Las publicaciones sobre los otros dos temas, una pregunta de opinión y un producto inventado, en su mayoría no llegaron a las mismas herramientas.

Ninguno de los temas sobre los que publicaron los investigadores era una marca o producto real, por lo que las pruebas no muestran si el mismo patrón se aplica a las búsquedas de marcas o productos, incluidas aquellas con poca cobertura en otros lugares.

La guía de Google sobre sus funciones de inteligencia artificial dice que buscar “menciones” no auténticas “no es tan útil como podría parecer”, señalando sistemas de clasificación centrales que se centran en contenido de alta calidad y otros sistemas que bloquean el spam. El documento no dice qué producto de Google revisó.

Mirando hacia el futuro

Las pruebas de los investigadores se realizaron en marzo y abril, antes de que Google aclarara el 15 de mayo que sus políticas de spam cubren intentos de manipular respuestas generativas de IA en la Búsqueda de Google. Los autores dicen que las tasas exactas pueden variar a medida que cambian las herramientas.

Los investigadores dicen que revelaron lo que encontraron en las 10 plataformas, y que ChatGPT, Perplexity y Google AI estuvieron entre las que acusaron recibo. Actualizaré esta historia si una versión revisada del artículo cambia los hallazgos.

Imagen de portada: miss.cabul/Shutterstock