Google explica los límites 503, Robots.txt y las URL entre corchetes – SEO Pulse
Bienvenido a Pulse: esta semana, veremos cómo usar un 503 durante un breve tiempo de inactividad del parche PHP, qué controla robots.txt para los rastreadores y agentes de IA, y cómo Google maneja las URL entre corchetes y las imágenes JPEG XL.
Esto es lo que importa para usted y su trabajo.
Google dice que ofrece un error 503 al eliminar sitios para parches PHP
En una publicación de LinkedIn del 21 de octubre, Google Search Central recordó a cualquiera que desconectara sus servidores para parches PHP que devolviera un código de estado 503. La publicación apareció el día en que PHP lanzó correcciones de emergencia para dos fallas críticas.
Hechos clave:
La publicación decía que el 503 “garantiza que las URL ya indexadas se conserven en la Búsqueda mientras trabaja” y señalaba que se deben evitar las páginas de error generales 404 o 200, y John Mueller de Google también compartió un recordatorio en Bluesky diciendo que el 503 no tiene que entregarse a través de PHP. En su documentación de velocidad de rastreo, Google recomienda a los usuarios que limiten la publicación de códigos de estado 503 a no más de 1 o 2 días, ya que pueden eliminar una URL de su índice si devuelve un 503 durante varios días.
Por qué esto importa
Si su sitio devuelve un error 503 debido al tiempo de inactividad causado por un parche PHP, tendrá que activarse a través de una entidad que permanezca disponible (es decir, durante el tiempo que su PHP no esté disponible), por ejemplo, una regla de enrutamiento CDN o un servidor temporal al que apunta su DNS. Según la guía de Google para pausar un sitio, si activa un 503 en respuesta a solicitudes de robots.txt, se bloquea todo el rastreo.
Lea nuestra cobertura completa: Google recuerda a los sitios que proporcionen un 503 durante el tiempo de inactividad del parche PHP
Illyes dice que las reglas estándar de Robots.txt cubren el rastreo, no el uso posterior
Gary Illyes de Google declaró en un vídeo de Search Central del 21 de octubre que, según RFC 9309, las directivas estándar de robots.txt (reglas de robots.txt) sólo dictan qué rastreadores compatibles pueden rastrear. Estas directivas no controlan cómo los sistemas usan el contenido una vez rastreado.
Hechos clave:
Illyes llamó a robots.txt “un protocolo de preferencia de acceso” y dijo que mantener fuera a un rastreador de IA mientras se permite a otros significa apuntar al token de agente de usuario de ese rastreador. La lista de rastreadores comunes de Google documenta Google-Extended como el token para administrar si el contenido que Google rastrea puede usarse para entrenar futuros modelos Gemini y para conectarse a Gemini Apps y Vertex AI, y dice que el token no afecta la inclusión en la Búsqueda de Google. Google-Extended no es un rastreador independiente y no tiene su propia cadena de agente de usuario HTTP. Un borrador que Illyes coescribió para el Grupo de Trabajo de Ingeniería de Internet agregaría una regla de uso de contenido a robots.txt para indicar preferencias de uso, pero aún es un documento de grupo de trabajo y no ha sido aprobado.
Por qué esto importa
Una regla No permitir bajo el token de un rastreador puede ayudar a mantener a ese rastreador alejado de las rutas enumeradas. Para limitar la forma en que Google utiliza el contenido rastreado para Gemini, puede utilizar Google extendido. Una forma estándar de expresar una preferencia de capacitación independientemente del acceso de rastreo está disponible solo como borrador.
Lea nuestra cobertura completa: Illyes de Google: Robots.txt cubre el rastreo, no el entrenamiento de IA
Cloudflare y OpenAI dicen que un piloto encontró nuevas páginas para la búsqueda ChatGPT
Cloudflare y OpenAI dicen que una investigación piloto ayudó a OpenAI a descubrir e indexar cientos de millones de páginas web nuevas, lo que le dio a ChatGPT aún más información a la que recurrir.
Hechos clave:
El piloto recurrió a un grupo participante de aproximadamente el 1 % de la red de Cloudflare a través de señales que ayudan al rastreador OpenAI a identificar páginas; omitiendo páginas inexistentes e indicando si una página está actualizada. La publicación del blog del 15 de octubre (en coautoría con dos empleados de OpenAI) afirma que encontrar nuevas páginas “puede aumentar inicialmente el rastreo” y no informa con qué frecuencia se citan esas páginas recién identificadas, ni proporciona datos sobre la cantidad de visitas generadas por las páginas. Además, la publicación decía: “Una señal sobre una página no otorga permiso para acceder a ella”.
Por qué esto importa
La documentación del rastreador de OpenAI se divide por búsqueda y capacitación. Un sitio web puede utilizar entradas de robots.txt como Allow para OAI-SearchBot y Disallow para GPTBot para indicarle al rastreador que su contenido no debe usarse con fines de capacitación. Debido a que OpenAI clasifica las páginas por sí solo, dice la publicación, el hecho de que su sitio web haya sido encontrado a través del piloto no significa que recibirá una cita.
Lea nuestra cobertura completa: La búsqueda de ChatGPT puede aprovechar más páginas después de una prueba piloto de Cloudflare
Los corchetes sin formato y codificados son URL diferentes, dice Mueller
Los corchetes en una URL y sus formas codificadas porcentualmente, %5B y %5D, crean diferentes URL, dijo John Mueller de Google en Bluesky el 19 de octubre. Añadió que habría asumido que eran equivalentes y “probablemente le dio a la gente la respuesta equivocada sobre esto en el pasado”.
Hechos clave:
Mueller hizo referencia al RFC 3986 (el estándar de sintaxis URI, que reserva corchetes y signos más) y señaló que si un sitio devolvía el mismo contenido en respuesta a cualquiera de las versiones del formato de URL, Mueller afirmó que Google rastrearía cada uno y eliminaría los duplicados, luego seleccionaría uno. Mueller ofreció una solución, indicó “elija una” y recomendó usarla de manera consistente en todas las páginas, incluidos enlaces, etiquetas canónicas, entradas de mapas del sitio y datos estructurados. Esto es consistente con la documentación existente de Google sobre la estructura de URL que establece que los caracteres reservados deben estar codificados en porcentaje.
Por qué esto importa
Cuando los enlaces y las etiquetas canónicas mezclan formas sin procesar y codificadas, es posible que Google tenga que decidir qué versión conservar. Si su sitio existente utiliza corchetes sin formato, Mueller dijo que esperaría que siguiera funcionando, aunque “no crearía un sitio nuevo como este”.
Lea nuestra cobertura completa: Google rastrea las URL entre corchetes sin procesar y codificadas por separado
JPEG XL no es compatible con Google Images ni Discover Previews
Las imágenes JPEG XL no son compatibles actualmente con Google Imágenes ni como vistas previas en Discover, como compartió John Mueller de Google en Bluesky el 15 de octubre.
Hechos clave:
Su publicación siguió al soporte de JPEG XL en Chrome 155, que Google comenzó a implementar ampliamente el 6 de octubre, y en Firefox 158 el 13 de octubre. La documentación de SEO de imágenes de Google enumera BMP, GIF, JPEG, PNG, WebP, SVG y AVIF como formatos admitidos para imágenes en el atributo src de un elemento img, y no incluía JPEG XL a partir del 22 de octubre. Cuando se le preguntó acerca de las alternativas en un elemento de imagen, Mueller dijo que el elemento incluye un elemento img, “por lo que funcionaría para cualquier motor de búsqueda”.
Por qué esto importa
Al servir JPEG XL como fuente de imagen, con un archivo JPEG, WebP o AVIF en el elemento img, se mantiene un formato compatible en el atributo src, donde la documentación de Google dice que la Búsqueda lee imágenes. La guía Discover de Google apunta al marcado og:image y esquema.org para imágenes de vista previa, por lo que también deberían apuntar a uno de los formatos enumerados.
Lea nuestra cobertura completa: Google Images y Discover Previews no son compatibles con JPEG XL
Pichai espera que los agentes de IA lleguen a los sitios mediante la navegación y mediante protocolos
En una entrevista con Alex Heath en el podcast Sources, el director ejecutivo de Google, Sundar Pichai, compartió que espera que los agentes de IA accedan a sitios web navegando por páginas como lo hacen las personas y a través de protocolos diseñados específicamente para agentes.
Hechos clave:
“Creo que hay ambos caminos y se van a desarrollar”, dijo Pichai. Señaló el impulso detrás de los protocolos de pago y de agentes, incluido el Protocolo de Comercio Universal que respalda Google. Llamó a los protocolos “un enfoque mucho más escalable”, pero dijo que espera que tarden más en desarrollarse. Más adelante en la entrevista, dijo que espera que los agentes brinden una experiencia unificadora en Search y Gemini.
Por qué esto importa
Según Pichai, los agentes que navegan por las páginas de la misma manera que las personas permanecen en la imagen mientras se desarrollan los protocolos. Los propios agentes alojados de Google navegan como Google-Agent, uno de los buscadores activados por el usuario que, según Google, generalmente ignora las reglas de robots.txt.
Lea nuestra cobertura completa: Pichai dice que los agentes de inteligencia artificial harán clic en las páginas y utilizarán protocolos y el director ejecutivo de Google, Sundar Pichai, ve la búsqueda absorbida en la capa de agente
Tema de la semana: Qué alcanza cada señal
Cada una de las historias de esta semana se refiere a una señal que los rastreadores y agentes reciben sobre un sitio web y a dónde se les permite llegar. Un 503 le indica a Google que la interrupción es solo temporal (dentro del período de tiempo recomendado para interrupciones en la documentación de Google). Una directiva de rastreo no permitida impide que los rastreadores compatibles rastreen el contenido de sus páginas, pero su uso posterior depende de controles como Google-Extended y GPTBot. Sin embargo, una señal de descubrimiento de Cloudflare no proporciona permiso a OpenAI para acceder a su página web. Que Google vea su página en una o dos URL depende de si mezcla corchetes sin formato y codificados. Actualmente, Google Imágenes no puede ver un archivo de imagen JPEG XL contenido en el elemento img. Los agentes que realizan búsquedas en función de la entrada del usuario caen en un área parcialmente fuera de robots.txt, tal como lo define Google con respecto a sus recuperadores activados por el usuario. Los registros del servidor rastrean qué rastreador ha estado realizando solicitudes a su servidor; sin embargo, los rastreadores específicos y los controles que rigen el rastreo y el uso posterior se explican en la documentación de cada empresa respectiva.
Historias principales de la semana:
Más recursos:
Imagen de portada: Elenco de miles/Shutterstock
