Google, Microsoft y OpenAI planean respetar la exclusión voluntaria de la capacitación en IA compartida

Google, Microsoft y OpenAI anunciaron planes el viernes para honrar una línea robots.txt compartida para las preferencias de entrenamiento de IA. Un sitio podría usarlo para indicar una preferencia de capacitación a cada proveedor que participe, en lugar de escribir reglas para el rastreador de cada empresa.

La línea proviene de un borrador de Internet que Kevin Kelley de Anthropic presentó al grupo de trabajo de Preferencias de IA en el IETF (misma fecha). Esto aparece en el rastreador de documentos del IETF como un borrador individual, que no representa la actividad de estandarización oficial del IETF. En una publicación en la lista de correo electrónico del grupo de trabajo, Kelley indicó que Anthropic ha comenzado el desarrollo para proporcionar esta función.

Según los cronogramas proporcionados, ninguna de las tres empresas respalda actualmente la línea. Google y Microsoft describieron cómo cada uno lo manejaría de manera diferente. Según Google, si un sitio configura una línea de exclusión voluntaria compartida, Google planea tratarla como un bloqueo extendido de Google cuando un sitio web no especifica Google extendido, y este control también se aplica a la conexión a tierra dentro de Gemini Apps. Microsoft quiere que los sitios que usan sus etiquetas NoArchive y NoCache cambien a nuevas preferencias antes del 1 de marzo de 2027.

Cómo funciona la línea compartida

El borrador de Kelley no agrega ninguna directiva nueva a robots.txt. Un grupo de reglas ordinario, que un sitio podría escribir bajo lo que el borrador llama un token de política, __usage_ai-training, se escribiría como siempre lo ha sido, usando Permitir y No permitir. El borrador proporciona un ejemplo de cómo uno puede optar por no recibir capacitación en IA en todo el sitio, excepto en la carpeta /press-kit/.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

El significado del token en sí se basa en el borrador de vocabulario del grupo de trabajo, que define específicamente el entrenamiento de IA como el uso de contenido para modificar los parámetros aprendidos de un modelo de IA generativo. Aquellos modelos que no hacen más que tareas no generativas como clasificación o ranking están exentos de esta definición.

Las reglas que ya se hayan incluido en archivos robots.txt no se considerarán parte de ninguna preferencia de capacitación compartida. En el borrador, un grupo comodín (User-Agent: *) nunca puede coincidir con el token, y un archivo sin un grupo de entrenamiento __usage_ai indica que no hay preferencia, lo que Kelley afirma que es cierto para todos los archivos robots.txt publicados actualmente. El token tampoco controla el rastreo.

El 22 de octubre, cubrí un borrador diferente del grupo de trabajo, coescrito por Gary Illyes de Google, que agregaría una regla de uso de contenido a robots.txt. Kelley escribió que el grupo dejó de lado ese borrador para avanzar en el vocabulario.

Google lo vincula con Google extendido

La publicación de Google, escrita por John Mueller, dice que cuando un sitio opta por no participar en la capacitación con la línea compartida y no especifica Google-Extended, Google planea interpretar eso “como si el editor hubiera rechazado Google-Extended”. Google pretende admitir el control en 2027, según la publicación, y la documentación de su rastreador dice que será a principios de 2027.

La documentación dice que Google-Extended controla si el contenido se puede usar para entrenar futuros modelos Gemini y si se puede usar para conectarse a Gemini Apps y Vertex AI. Grounding, en la descripción de Google, significa suministrar contenido del índice de búsqueda al modelo cuando responde. La publicación agrega que los sitios que permiten específicamente Google Extended son elegibles para aparecer en las respuestas de Gemini Apps a través de conexión a tierra.

La documentación también dice que Google Extendido no afecta la inclusión de un sitio en la Búsqueda de Google. Las descripciones generales de IA y el modo AI tienen una opción de exclusión separada, el control de IA generativa de búsqueda en Search Console, que cubrí cuando se lanzó a nivel mundial en agosto.

Microsoft separa la formación de la conexión a tierra

La publicación de Microsoft, realizada por el gerente principal de productos de Bing, Krishna Madhavan, adopta la línea compartida para capacitación y agrega una preferencia AI Grounding separada. Éste se establece solo a nivel de página y determina si el contenido puede ayudar a informar las respuestas generadas por IA. Microsoft también permite que una metaetiqueta o un encabezado HTTP establezcan la preferencia de entrenamiento para una sola página, anulando el archivo robots.txt para esa página.

Un valor predeterminado de Permitir es lo que sucede con la conexión a tierra, y mantener una página fuera es la forma en que funciona No permitir. La nueva opción llamada DisallowExtended permite la conexión a tierra en herramientas creadas por Microsoft como Copilot y el modo AI de Bing, pero no permite la conexión a tierra a través de los servicios de conexión a tierra proporcionados por Microsoft que utilizan otras empresas (Web IQ). Microsoft dijo que cualquiera de las restricciones limitará la visibilidad de su marca en las respuestas que utilizan Inteligencia Artificial (IA) y no tendrá ningún efecto en su capacidad para aparecer en los resultados de búsqueda de Bing.

Microsoft está reemplazando NoArchive y NoCache para capacitación y conexión con estas dos nuevas opciones. Comenzarán a respetar las nuevas opciones el 1 de febrero de 2027, mientras se arrastran, y dejarán de reconocer las etiquetas más antiguas como opciones de entrenamiento o conexión a tierra después del 1 de marzo de 2027.

Los sitios que utilizan etiquetas antiguas y desean mantenerse alejados también deben registrar una preferencia temporal en Bing Webmaster Tools. La configuración se abre el 15 de diciembre y está disponible solo para los sitios que todavía usan esas etiquetas en esa fecha. Las preguntas frecuentes de Microsoft dicen que las páginas que no tienen uno antes del 1 de marzo permiten de forma predeterminada la conexión a tierra hasta que Microsoft las vuelva a rastrear. Microsoft también dice que una vez que detecte una nueva preferencia en un sitio, ignorará cualquier etiqueta NoArchive o NoCache que aún esté en ese sitio.

OpenAI y antrópico

OpenAI pretende respetar la señal en los próximos meses, aunque su política actual de robots.txt seguirá vigente.

Ni la publicación del blog de OpenAI ni la documentación del rastreador (consultada el 30 de octubre) indican qué sucedería cuando un sitio web tiene una regla de línea compartida y una regla GPTBot que entran en conflicto entre sí.

Hasta el 30 de octubre, no había ninguna publicación en la sala de redacción de Anthropic sobre la señal. Según el mensaje de la lista de correo de Kelley, implementar soporte para esta función en todos los servicios de Anthropic llevará algún tiempo.

Según la página web de ayuda del rastreador de Anthropic (consultada el 30 de octubre), solo tienen tres opciones de control de rastreo disponibles, que son ClaudeBot, Claude-User y Claude-SearchBot.

Por qué esto importa

Un grupo de robots.txt podría reemplazar una pila de reglas de capacitación por empresa una vez que cada empresa lo lea; sin embargo, una opción de exclusión a través de la línea compartida no alcanzará los mismos usos en Google y Microsoft. Por ejemplo, en Microsoft, la formación y la puesta a tierra son ámbitos separados. Por el contrario, ambos se encuentran bajo Google-Extended en Google, y no se describe ninguna forma en la documentación del rastreador para mantener el contenido fuera del entrenamiento de Gemini y al mismo tiempo permitir que Gemini Apps lo use como conexión a tierra.

El de Microsoft es el único anuncio que reemplaza los controles que ya utilizan los sitios. Según Google, OpenAI y Kelley de Anthropic, los controles existentes seguirán funcionando, por lo que los sitios que utilizan NoArchive o NoCache para limitar cómo Copilot usa su contenido tienen cosas que deben hacer primero.

Mirando hacia el futuro

La publicación de OpenAI alienta a otros proveedores de IA a respetar la señal, y Kelley escribió que espera que otros se unan. Google y OpenAI dicen que compartirán más detalles a medida que llegue su soporte. El borrador de Kelley vence el 3 de mayo de 2027, a menos que una nueva versión lo reemplace, y planea proponer su diseño como un cambio al borrador de uso de contenido.

Imagen de portada: Teodora ART/Shutterstock