La API de OpenAI solo coincide parcialmente con las citas de ChatGPT, según un artículo

Los resultados de búsqueda de Google y la API Responses de OpenAI encontraron en conjunto el 26,2% de las páginas que ChatGPT citó en las pruebas de una preimpresión de la configuración instantánea GPT-5.5. Encontraron el 48,7% de los sitios detrás de esas citas.

Las cifras de este artículo fueron publicadas el 11 de octubre por investigadores de la Universidad Nacional de Singapur y la Universidad Xi’an Jiaotong. Incluía cuatro versiones de ChatGPT, desde GPT-5.2 Instant hasta GPT-5.5 Instant, junto con la mayor parte de la recopilación de datos del 29 de marzo al 29 de julio de 2026. Se pudieron consultar los dos sustitutos sin tener que abrir ChatGPT; Los investigadores compararon los resultados de ambos sustitutos en busca de similitud con las páginas citadas por la aplicación web de ChatGPT.

Cómo vieron los investigadores ChatGPT

Los investigadores registraron el flujo de datos que recibió la aplicación web ChatGPT durante su proceso de escritura, registrando lo que estaba sucediendo en sus propias sesiones iniciadas. En este flujo de datos puede ver las búsquedas que realizó ChatGPT, qué páginas resultaron de las búsquedas y las páginas que ChatGPT eligió como fuentes. Una página se contaba como citada si ChatGPT la seleccionaba como fuente; es decir, tanto las páginas que se enumeran individualmente como su propio enlace como las páginas en agrupaciones incluidas como una única selección como fuente.

Hubo 80 preguntas. Estas 80 preguntas se originaron en Search Arena. Esta es una base de datos pública de interacciones reales de usuarios con chatbots/modelos de IA habilitados para búsquedas. Se utilizaron dos idiomas en estas 80 preguntas: 40 en inglés y 40 en chino. Se realizaron cuatro tipos de solicitudes: recomendación, búsqueda de hechos, síntesis y análisis de información. Cada una de las 80 preguntas se ejecutó 20 veces en GPT-5.3 Instant y GPT-5.5 Instant. GPT-5.2 Instant y GPT-5.4 Thinking tuvieron menos preguntas ejecutadas debido a que fueron desmantelados antes de completar la recopilación de datos.

Para crear los sustitutos, los investigadores recuperaron hasta cinco páginas de resultados orgánicos de Google por pregunta a través de SerpAPI para cada una de las 80 preguntas. En promedio obtuvieron alrededor de 43 resultados por pregunta. Para cada pregunta, los investigadores también enviaron 20 consultas a gpt-5.3-chat-latest y gpt-5.5 a través de la API Responses de OpenAI, con la búsqueda web habilitada. Todo esto se hizo dentro de los tres días posteriores a la ejecución de ChatGPT para exactamente la misma consulta. El artículo es una preimpresión de arXiv. arXiv no realiza revisión por pares de artículos.

Los sitios sustitutos coinciden con más frecuencia que las páginas

Combinados, los resultados de Google y la API encontraron el 28,3% de las páginas GPT-5.3 Instant citadas y el 26,2% de las páginas GPT-5.5 Instant citadas. En términos de sitios, la misma combinación encontró el 50,3% y el 48,7% de todos los sitios citados (tratando los subdominios como sitios diferentes). El artículo cita una página si ha sido citada en ChatGPT en al menos una ejecución de las 20. Los porcentajes son entonces los promedios de las 80 preguntas.

Los resultados de búsqueda de Google por sí solos representaron el 9,4% y el 6,4% de las páginas citadas, y el 26,1% y el 22,8% de los sitios citados. La lista completa de fuentes de la API representó más que eso, mostrando el 22,9% y el 22,5% de todas las páginas citadas. Las páginas que la API citó en sus propias respuestas cubrieron menos; sin embargo, al compararlas con las citas de ChatGPT, podemos ver que eran más parecidas. Al observar los promedios de las 80 preguntas, GPT-5.5 Instant también citó el 23,3% de las páginas citadas por la API. Esto es más alto que el porcentaje de páginas citadas por API que fueron citadas por GPT-5.3 Instant (16,4%).

ChatGPT reescribió preguntas y cambió fuentes entre ejecuciones

La página de ayuda de OpenAI explica que cuando la búsqueda de ChatGPT utiliza un proveedor externo, generalmente transforma una consulta en uno o más términos de búsqueda específicos. Tanto en las ejecuciones de GPT-5.3 Instant como de GPT-5.5 Instant en las que se podían ver búsquedas, ChatGPT nunca realizó consultas utilizando la redacción exacta de la pregunta original. Sin embargo, en GPT-5.2 Instant, lo hizo en el 5,5% de todas las ejecuciones.

Entre las ejecuciones que incluyeron búsquedas visibles de preguntas escritas en chino, GPT-5.3 Instant (67,0%) y GPT-5.5 Instant (69,6%) utilizaron solo el idioma inglés. Además, en febrero, hablé de los resultados de Peec AI que encontraron que en sus pruebas, el 43% de las consultas distribuidas para mensajes que no estaban en inglés se ejecutaron en inglés.

Además, hubo variación en los resultados entre ejecuciones individuales. Por ejemplo, el 44,5% de las distintas páginas devueltas para una pregunta determinada se mostraron solo en una de las 20 ejecuciones instantáneas de GPT-5.5. De manera similar, el 40,8% de las distintas páginas devueltas para una pregunta determinada se mostraron solo en una de las 20 ejecuciones instantáneas de GPT-5.3. El grado de superposición entre ejecuciones fue mayor a nivel de sitio que a nivel de página. Además, como señalaron los autores, si bien las páginas que aparecieron en más publicaciones asociadas con una pregunta en particular tenían mayores probabilidades de ser referenciadas, señalaron que esto no indica que las citas estén influenciadas por la frecuencia de aparición de una página determinada.

Anteriormente cubrí la preimpresión de CiteChoice sobre cómo la repetición de entradas idénticas invirtió el 15% de las decisiones de citar o no. Aquí, dos sesiones de recopilación pasaron a otro modelo después de ejecutarse durante 14 y 16 ejecuciones respectivamente y, por lo tanto, los autores sugieren verificar qué modelo generó cada respuesta.

Por qué esto importa

En las pruebas descritas aquí, ni los resultados de la API de OpenAI ni los resultados de búsqueda de Google mostraron las páginas citadas de ChatGPT exactamente como fueron citadas. Esto significaría que una API de OpenAI o una prueba basada en la clasificación de Google encontraría una mayor proporción de los mismos sitios que de las mismas páginas.

Las sugerencias de los autores sobre cómo monitorear son monitorear tanto a nivel de páginas web individuales como de sitios, ejecutar el mismo mensaje varias veces y tener en cuenta el hecho de que ChatGPT reescribe sus mensajes en sus propias búsquedas. Compruebe si alguna comparación de los resultados a nivel de página web de una herramienta de seguimiento con los informes de ChatGPT utiliza datos recopilados a través de la API o directamente a través de la aplicación ChatGPT. El documento no probó ninguna herramienta de seguimiento comercial.

Mirando hacia el futuro

Cada configuración del artículo es anterior a GPT-5.6 y GPT-6. La página de ayuda del modelo de OpenAI señala que GPT-6 se está implementando en Chat para usuarios Plus, Pro, Business y Enterprise elegibles, mientras que GPT-5.6 Luna se está convirtiendo en el predeterminado para los usuarios Free and Go.

Alrededor del cambio de GPT-5.5 en mayo, los datos de Sistrix mostraron que la variación diaria en las citas de ChatGPT en alemán saltó al 47%, frente a un 1% a 2% normal. Los autores del artículo dicen que las estrategias de monitoreo deberían reevaluarse cuando cambie el modelo detrás de ChatGPT. Hasta que se repita la comparación en GPT-6, las cifras del artículo describen los modelos que estuvieron vigentes de marzo a julio.

Imagen de portada: Accogliente Design/Shutterstock

Marca denominativa OpenAI: OpenAI.