La búsqueda de Reddit AI selecciona comentarios ya populares, según hallazgos de auditoría
Según una nueva preimpresión de investigadores de la Universidad de Illinois Urbana-Champaign, era más probable que la búsqueda de inteligencia artificial de Reddit incluyera en sus respuestas comentarios formales y ya votados a favor que comentarios con más marcadores de experiencia personal.
El equipo procesó 10.000 preguntas a través de la función tres veces y analizó 30.000 respuestas rastreándolas a través de 14,68 millones de comentarios. Estas preguntas se originaron en 20 subreddits de asesoramiento y soporte, por lo que los hallazgos cubren ese segmento de Reddit, aunque el documento no ha sido revisado por pares.
Además, las respuestas casi no contenían lenguaje en primera persona en los comentarios que citaron, un cambio que, según los autores, transforma el testimonio personal en consejos más generales.
El lenguaje formal estaba relacionado con mayores probabilidades de selección
Los investigadores observaron los comentarios que una respuesta citó o enumeró como fuente y los compararon con otros comentarios en la misma discusión que la respuesta pasó por alto.
Descubrieron que el nivel de formalidad era el predictor lingüístico más potente de qué comentarios se elegían. Específicamente, cuando un comentario era una desviación estándar más formal, tenía un 49% más de probabilidades de ser seleccionado (odds ratio 1,488), y la formalidad era calificada por un clasificador de texto. Además, los comentarios que utilizaban palabras como “debería” y “debe” también tenían mayores probabilidades de ser elegidos (1,070).
Los comentarios con más marcadores de experiencia personal tuvieron menores probabilidades de selección (0,789), al igual que el lenguaje de apoyo (0,924). El artículo denomina voz experiencial a la primera medida y la califica a partir de características como los pronombres en primera persona y el tiempo pasado.
La formalidad también se asoció con una mayor votación comunitaria, mientras que la voz experiencial se asoció con una menor votación. Después de que los investigadores tuvieron en cuenta la puntuación, la posición y la edad de un comentario, las asociaciones se redujeron a 1,213 para formalidad y 0,860 para voz experiencial.
El artículo no muestra que la escritura haga que se seleccione formalmente un comentario. Los autores escriben: “Nuestro estudio es observacional y no debe interpretarse de manera causal”.
Los comentarios que ya eran visibles tenían una ventaja
La clasificación de votos de un comentario dentro de su hilo mostró la asociación más grande en el modelo de selección, con un aumento de una desviación estándar que multiplica las probabilidades de ser elegido por 2,88.
La mediana del comentario seleccionado estuvo en el percentil 91 de puntuación en su hilo, en comparación con el percentil 45 de los comentarios no elegidos. De los comentarios seleccionados, el 92% fueron respuestas directas a la publicación original, que también representó el 53% de todos los comentarios. Además, los comentarios seleccionados aparecieron una media de 1,2 horas después de la publicación, mientras que los comentarios no seleccionados aparecieron después de una media de 5,9 horas.
Un aumento de una desviación estándar en la longitud del comentario tenía un odds ratio de 1,79. Los comentarios que contenían un enlace externo tenían una probabilidad de 2,25.
Los comentarios con una puntuación de cero o inferior representaron el 0,53% de los comentarios seleccionados y el 5,1% de todos los comentarios recopilados.
La respuesta escrita eliminó la mayor parte del lenguaje en primera persona
En un análisis de 1.000 de las consultas, los investigadores compararon los comentarios citados en Reddit con las respuestas elaboradas en torno a ellos. El uso de palabras como “yo” y “mi” disminuyó del 3,3% en los comentarios citados al 0,06% en las respuestas.
Las mismas consultas se procesaron a través de GPT-4o-mini y GPT-5 a través de la API de OpenAI con la búsqueda web habilitada. Ambos modelos utilizaron menos lenguaje en primera persona que los comentarios de Reddit, y las respuestas de Reddit mostraron la mayor reducción.
En general, de 4932 citas, 18 hicieron referencia a Reddit en ambos modelos y configuraciones de búsqueda. Estos datos se basan en llamadas API para consultas de asesoramiento, que difieren de la configuración utilizada en la aplicación ChatGPT.
Cómo funcionó la auditoría
Los investigadores utilizaron un LLM para reescribir publicaciones reales de los 20 subreddits en consultas de búsqueda breves. Diez son comunidades grandes como r/personalfinance y r/AskDocs, y diez son comunidades más pequeñas como r/UKJobs y r/AusLegal.
Las tres ejecuciones se realizaron con una separación de aproximadamente cinco horas para que las diferencias reflejaran el sistema y no los cambios en Reddit. Cuando se obtuvieron dos ejecuciones de las mismas publicaciones fuente, las respuestas fueron casi idénticas. Esto muestra que la mayoría de las diferencias provienen de las publicaciones que el sistema eligió recuperar.
Una respuesta típica utilizaba alrededor de siete subreddits diferentes. El subreddit donde se hizo la pregunta por primera vez contribuyó con el 17,7% de las publicaciones recuperadas en el conjunto de comunidades grandes y el 15,7% en el conjunto de comunidades pequeñas. Los autores mencionan que no consideran que una proporción mayor sea mejor.
El documento se refiere a esta función como Reddit Answers, que era su nombre cuando informé por primera vez sobre su lanzamiento en diciembre de 2024. La página de anuncios de Reddit ahora muestra una actualización del 26 de mayo de 2026 que dice: “Reddit Answers ahora se fusiona con la búsqueda de Reddit para una experiencia de búsqueda unificada”.
Las preguntas se crearon a partir de publicaciones fechadas hasta julio de 2026, por lo que estas ejecuciones se realizaron después de ese cambio, aunque el documento no especifica las fechas de recopilación. La página de ayuda de Reddit ahora describe la función como búsqueda de IA, a la que se puede acceder mediante un botón Preguntar en la barra de búsqueda.
Por qué esto importa
El valor de Reddit para la investigación de audiencia es que las personas describen su propia experiencia con un producto o un problema. En estas 20 comunidades, los comentarios con más marcadores de esa experiencia tenían menos probabilidades de llegar a la respuesta de la IA, y la mayor parte de la redacción en primera persona desapareció cuando lo hicieron.
El director ejecutivo de Reddit, Steve Huffman, dijo a los inversores en febrero que Reddit es particularmente bueno en preguntas donde “la respuesta en realidad son múltiples perspectivas de mucha gente”. Esta auditoría midió cuál de esas perspectivas alcanzó la respuesta de la IA.
Verás los hilos de origen enumerados debajo de cada respuesta. Asegúrese de leerlos primero antes de incluir el resumen en su informe.
Mirando hacia el futuro
Los autores dicen que es posible que estos patrones de selección no se trasladen a otros tipos de comunidades ni a otros sistemas de búsqueda de IA. Actualizaré esta historia si una versión revisada o revisada por pares cambia los hallazgos.
Imagen de portada: Accogliente Design/Shutterstock
