Por qué deberíamos temer la red en la sombra que estamos construyendo para la IA
¿Por qué un proveedor de búsqueda de IA tendría un incentivo a largo plazo para confiar en información que una marca mantiene deliberadamente separada de su sitio web público?
Esta es una pregunta a la que he regresado a medida que más conversaciones sobre la optimización para la búsqueda de IA parecen involucrar la creación de contenido específicamente para agentes, en lugar de personas.
La lógica es comprensible: los sistemas de IA necesitan información, a veces en formatos o estructuras que no son particularmente útiles para un visitante humano. Si podemos hacer que esa información sea más fácil de consumir para los agentes, ¿seguramente eso es algo bueno?
Sí, pero existe una diferencia significativa entre hacer que la información sea más accesible para la IA y crear una versión alternativa de su sitio web, o incluso de su marca, que exista principalmente para influir en lo que los sistemas de IA dicen sobre usted.
Hemos pasado décadas lidiando con versiones de este problema en SEO y no estoy convencido de que estemos tomando esas lecciones lo suficientemente en serio.
¿Cómo pueden los SEO ver esto venir?
Cualquiera que haya trabajado en SEO durante suficiente tiempo habrá visto cómo los motores de búsqueda evolucionan en respuesta a los medios utilizados para manipularlos.
Los primeros SEO estaban llenos de prácticas diseñadas para influir en los motores de búsqueda en lugar de ayudar a los usuarios: texto oculto, relleno de palabras clave, páginas de entrada, encubrimiento y, finalmente, manipulación de enlaces y contenidos cada vez más sofisticados.
Los motores de búsqueda no desarrollaron reglas contra estas prácticas porque no les gustaba el SEO (en su mayoría). Lo hicieron porque permitir que los sitios web falsificaran su relevancia y autoridad socavaba la calidad de sus resultados.
La historia de Google nos da una imagen bastante clara de esta evolución:
- 2011: Panda apuntó a contenido de baja calidad.
- 2012: Penguin abordó el spam de enlaces.
- 2022: El sistema de contenido útil de Google buscaba recompensar mejor el contenido creado para ayudar a las personas, en lugar de atraer principalmente tráfico de búsqueda.
- 2024: Las políticas de spam actualizadas de Google dejaron más clara la posición sobre el abuso de contenido escalado, independientemente de si el contenido fue creado por IA o humanos.
Ésta es una versión muy condensada de las cosas y la realidad era mucho más complicada, pero el patrón es importante.
A medida que los motores de búsqueda se volvieron más sofisticados, también lo hicieron los métodos utilizados para influir en ellos (enviar spam). Los motores de búsqueda respondieron invirtiendo más esfuerzos en decidir en qué información se confiaba y se recompensaba.
Google todavía identifica explícitamente el encubrimiento como spam. No estoy diciendo que la definición de encubrimiento sea tan simple (o fácil de detectar) como eso, pero los paralelos son demasiado estrechos para ignorarlos.
Entonces, ¿qué estamos construyendo para la IA?
Ahora estamos viendo una colección de enfoques diseñados para poner la información a disposición de los sistemas y agentes de IA.
La propuesta llms.txt es un ejemplo, que proporciona una forma estructurada de dirigir modelos de lenguaje hacia contenido útil de un sitio web. También hay páginas de rebajas específicas para cada agente, puntos finales de información dedicados, feeds estructurados y métodos cada vez más sofisticados para suministrar información directamente a los agentes.
Markdown para agentes de Cloudflare es un buen ejemplo de cómo ofrecer una versión alternativa de contenido existente. La información se origina en la misma página, pero se presenta en un formato que es potencialmente más fácil de procesar para los agentes.
Eso es fundamentalmente diferente de crear nueva información que existe sólo para el consumo de IA.
Hacer que la misma información sea accesible en diferentes formatos no es el problema.
Poner información diferente a disposición de diferentes audiencias es donde las cosas se vuelven considerablemente más complicadas.
Puedo entender por qué las marcas podrían sentirse atraídas por esto, ya que incluir contenido en un sitio web tiene nunca sido particularmente fácil. La propiedad del contenido, las limitaciones del CMS, los requisitos de diseño, los recursos de desarrollo, la gobernanza, las aprobaciones y las prioridades competitivas de los diferentes equipos influyen.
Si puedes evitar todo eso publicando un archivo de texto o alojando una colección de contenido específico de IA en otro lugar, tienes un atajo atractivo.
El problema de la confianza y el riesgo/recompensa aquí
Hay otra diferencia importante entre la búsqueda tradicional y la búsqueda por IA: Google no es el único actor importante aquí. Como exploré anteriormente, investigando las fuentes de búsqueda de ChatGPT, no existe un proceso de recuperación único y consistente que respalde también cada respuesta generada por IA.
Diferentes sistemas, proveedores de búsqueda, herramientas y canales de recuperación pueden desempeñar un papel en la información que se descubre y se utiliza en última instancia.
Algunos de estos procesos heredan una infraestructura de “búsqueda” establecida, incluidos los sistemas que evalúan la relevancia y confiabilidad de la información. Pero más allá de Google o Bing, otras fuentes se comportan de manera diferente.
Eso no significa que ChatGPT u otros sistemas de inteligencia artificial confíen automáticamente en todo lo que se les proporciona. Pero hay una diferencia considerable entre tener mecanismos para identificar fuentes confiables y tener la experiencia que tienen los motores de búsqueda tradicionales al tratar con personas que intentan manipular esos mecanismos.
También debemos separar la capacidad de recuperar información de la decisión de confiar en ella. Cuando observé lo curiosos que son en realidad los agentes, vi cómo hacen el menor esfuerzo para recuperar, resumir y seguir adelante. El hecho de que la respuesta correcta estuviera disponible no significa que siempre se encontraría y utilizaría.
Si un agente encuentra información creada específicamente para influir en su respuesta:
- ¿Cómo debería establecer si esa información es precisa, autorizada o coherente con lo que la marca les dice a sus clientes reales?
- ¿Qué sucede cuando la versión legible por máquina dice una cosa, pero el sitio web público dice otra?
- ¿Quién decide cuál es más confiable?
- Y, quizás lo más importante, ¿por qué los proveedores de IA deberían seguir aceptando información deliberadamente separada de la que los usuarios pueden verificar de forma independiente?
No creo que tengamos respuestas a estas preguntas todavía.
¿No hemos estado aquí antes?
No creo que sea justo ni cierto afirmar que cada formato de contenido específico de la IA sea una forma de encubrimiento, o que poner información a disposición de los agentes sea manipulador. Los datos estructurados, los mapas de sitios XML, las API y los feeds de productos han formado parte de la web durante años. Hay razones totalmente legítimas para proporcionar información a las máquinas en diferentes formatos; de hecho, ¡insistiría en que lo hiciera!
Pero existe una diferencia entre ayudar a las máquinas a comprender su negocio y crear contenido solo para influir en los resultados de la IA. Especialmente cuando ese contenido no está representado en ningún lugar al que las personas puedan acceder fácilmente.
El incentivo para manipular es obvio y, si bien la búsqueda por IA no es una búsqueda tradicional, los incentivos de los proveedores de búsqueda por IA se oponen a ello. Deben devolver respuestas útiles y precisas y mantener la confianza de los usuarios. ¿Por qué querrían fomentar un ecosistema de fuentes cada vez más fragmentadas y difíciles de verificar que existen principalmente para influir en sus respuestas?
Quizás estos sistemas mejoren a la hora de validar la información con otras fuentes. Tal vez la información específica del agente sea tratada con mayor escrutinio o su influencia se limite sin una corroboración independiente.
No sabemos exactamente cómo evolucionará esto, pero asumir que las prácticas emergentes de hoy seguirán siendo aceptables, efectivas o incluso útiles en el largo plazo parece preocupantemente optimista o ingenuo.
Obtener la información que los clientes necesitan en un sitio web siempre ha presentado desafíos
Estamos “resolviendo” un viejo problema con un nuevo atajo, y si es demasiado bueno para ser verdad, ¡bien puede que lo sea!
Durante años, las estrategias de contenido se han visto limitadas por lo que las empresas quieren publicar y lo que sus procesos internos les permiten mantener. A menudo, esto crea una brecha entre la información que los clientes desean y la información que las marcas ponen a disposición.
¡La IA generativa ha hecho esto más evidente y ha sido un multiplicador significativo aquí! Ahora las personas pueden hacer preguntas detalladas y específicas sobre productos, servicios, propiedades, experiencias y prácticamente cualquier otra cosa, esperando respuestas útiles sin tener que navegar por un sitio web para recopilar la información ellos mismos. Eso crea una demanda mucho mayor de información clara, accesible y específica.
Si esa información no está disponible, es posible que los sistemas de inteligencia artificial tengan que buscar en otra parte o simplemente no respondan la pregunta correctamente. Así que necesitamos reconsiderar la información que publicamos, cómo está estructurada y cómo acceden a ella los diferentes sistemas.
Pero, ¿por qué la solución debería ser crear otro conjunto de contenidos? ¿Uno que requiera mantenimiento, gobernanza, potencialmente otra pila tecnológica y procesos adicionales para garantizar que siga siendo coherente con la información que los clientes realmente pueden ver?
A la mayoría le cuesta mantener una versión de su sitio web precisa y útil… No estoy seguro de que crear una segunda versión, menos visible, sea la solución obvia.
Útil para la IA, útil para las personas
No creo que la respuesta sea rechazar formatos específicos de agentes o insistir en que los sistemas de inteligencia artificial deban consumir sitios web en exactamente de la misma manera que las personas. Eso ignoraría las diferencias genuinas en cómo operan estos sistemas y las oportunidades que crean.
Del mismo modo, asumir que la solución es simplemente crear contenido específicamente para IA es evitar un problema que hemos estado tratando de resolver durante años.
El objetivo debe ser poner a disposición de ambos información realmente útil, procedente de una fuente coherente y autorizada que pueda mantenerse, validarse y, cuando corresponda, verificarse de forma independiente.
La información que sólo es útil para la IA crea un problema de gobernanza y plantea dudas sobre la confianza.
La información que sólo es útil para las personas crea cada vez más un problema de visibilidad.
Aquí existe un término medio sensato y no requiere que inventemos otra versión de la web. He escrito anteriormente sobre por qué tiene sentido la renuencia de Google a respaldar un conjunto completamente separado de prácticas de optimización de IA. Hay pocos incentivos para que los proveedores de búsquedas legitimen otra industria de técnicas que luego tendrán que controlar.
Cuanto más alentamos a las marcas a crear información específicamente para agentes, separada de la web pública, más corremos el riesgo de recrear problemas que los motores de búsqueda han pasado décadas tratando de resolver.
No estoy convencido de que construir una red en la sombra para la IA sea un progreso. Puede que sea simplemente otro atajo que pasaremos la próxima década intentando deshacer.
Más recursos:
Esta publicación se publicó originalmente en Chris Green SEO.
Imagen de portada: DC Studio/Shutterstock
