Google explica cómo evitar problemas de SEO en la migración de CDN
Los empleados de Google Gary Illyes y Cherry Prommawin explican cómo pasar a una CDN puede aumentar inesperadamente el rastreo y abrumar al servidor de origen, a pesar de mejorar eventualmente el rendimiento del sitio web. También comparten que los intentos de controlar el tráfico del rastreador a veces pueden bloquear accidentalmente el robot de Google y dañar la visibilidad de la Búsqueda.
Pasar a una CDN puede hacer que el robot de Google aumente el rastreo
Illyes y Prommawin explicaron que pasar a una CDN puede hacer que el robot de Google aumente el rastreo porque las respuestas más rápidas del servidor indican que la infraestructura del sitio puede manejar más solicitudes. Los sistemas de rastreo automatizados de Google interpretan el rendimiento mejorado como una indicación de que es posible realizar más rastreos y responden aumentando gradualmente la velocidad de rastreo.
Las cachés de CDN están inicialmente vacías y la CDN solo comienza a almacenarse en caché cuando un navegador o bot solicita una página, momento en el que la solicitud debe reenviarse al servidor de origen, donde se encuentra el sitio web real.
Cuando Google aumenta la velocidad de rastreo, el servidor de origen maneja el rastreo inicial. Pero ahora el robot de Google está atacando al servidor de manera más agresiva y es esto lo que puede abrumar al servidor de origen, inicialmente.
Gary Illyes explica:
“Por un lado, de repente las métricas de rastreo sugieren que el sitio puede manejar una mayor cantidad de rastreo. Y por otro lado, debido a que las cachés CDN aún no están completas, el servidor de origen aún tiene que servir las páginas solicitadas.
Básicamente, los CDN quitan la válvula de la manguera, por lo que ahora los rastreadores beben de una manguera contra incendios”.
Cherry Prommawin agregó más detalles:
“En circunstancias normales, nuestros rastreadores operan según una regla importante. Cuando un servidor responde más rápido, los rastreadores asumen que la infraestructura está en buen estado y aumentan lentamente la velocidad de rastreo.
… Entonces los rastreadores ven qué tan rápido responde el servidor, se emocionan mucho y comienzan a rastrear todo el sitio a una velocidad cada vez mayor. Pero es una trampa.
La gente supone que una CDN puede detectar un pico de rastreo desde el primer día, pero… el caché debe llenarse primero con los activos del sitio”.
Gary Illyes explicó que en una primera solicitud de una página, la CDN primero debe recuperar la página del servidor de origen para llenar el caché con el contenido. No es hasta la segunda solicitud de la página que el caché se llena con el contenido y comienza a hacer su trabajo.
Illyes siguió:
“…lo que significa que su servidor de origen puede verse afectado por la inundación de todos modos. Ahora, para ser justos, nuestros rastreadores necesitan tiempo para funcionar. No sucederá en un milisegundo.
Un caché vacío significa que su servidor de origen todavía está haciendo todo el trabajo pesado. Hasta que se complete ese caché, su CDN no actuará como un escudo todavía”.
Llevar:
Una CDN no puede servir una URL no almacenada en caché sin recuperarla primero del servidor de origen y eso solo sucede después de que se realiza por primera vez una solicitud para esa URL. Los rastreadores visitan una gran cantidad de URL prácticamente todo el tiempo y pueden generar una cantidad sustancial de tráfico de origen antes de que las cachés de la CDN estén completamente llenas.
Protección contra bots de CDN y bloqueo accidental de robots de Google
El siguiente problema implica bloquear accidentalmente el robot de Google y provocar una presencia de búsqueda reducida porque Google ya no puede rastrear ni indexar las URL de un sitio web. Illyes y Prommawin lo explican en el contexto de un administrador de un sitio web que activa un interruptor en Cloudflare y bloquea sin darse cuenta el robot de Google.
Este es un problema real. Recuerdo un caso en el que el tráfico masivo de un sitio web popular se agotaba cada vez que se activaba Cloudflare y regresaba una vez que lo apagaban. Les costó mucho diagnosticar por qué sucedía esto y el personal de servicio al cliente en ese momento no pudo ayudarlos. Pudo haber sido el caso, como señalaron Illyes y Prommawin, que el administrador había activado un filtro de bot estricto que inadvertidamente bloqueó el robot de Google.
Illyes ofreció un ejemplo de un administrador que hace exactamente eso:
“Observan el aumento del tráfico, suponen que las botnets los están atacando agresivamente y, naturalmente, entran en pánico”.
Y lo que a veces sucede a continuación es que un administrador puede activar “reglas de seguridad generales” que bloquean el robot de Google.
Prommawin ofreció más detalles:
“En pánico, uno podría iniciar sesión en su panel de CDN y activar la configuración para bloquear los bots por completo.
…Si la CDN detecta solicitudes automatizadas, las intercepta con un desafío CAPTCHA, pidiéndoles que hagan clic en imágenes de semáforos para demostrar que son humanos.
…Ve solicitudes automatizadas, las marca como un bot y luego las intercepta con un CAPTCHA. Y como nuestros rastreadores no pueden identificar un semáforo, no pasan la prueba”.
Lo que finalmente sucede con el bloqueo prolongado del robot de Google es que Google comenzará a eliminar las páginas del índice.
Prommawin sugirió que los administradores del sitio deberían configurar su CDN para permitir rastreadores conocidos y confiables. Este es un método llamado lista blanca donde solo los rastreadores que están en la lista “permitidos” pueden obtenerlo y todos los demás rastreadores no.
También recomiendan el uso de limitación de velocidad a nivel de CDN del robot de Google si las solicitudes en el servidor de origen provocan un tiempo de inactividad que puede afectar negativamente el tráfico humano legítimo al sitio web.
Se recomienda precalentar la caché CDN
Cuando un sitio comienza inicialmente con una CDN, la CDN no tiene un caché del contenido de un sitio web. El caché no se carga hasta que lo solicita un navegador o una visita del rastreador.
El precalentamiento de caché es el proceso de solicitar contenido de un sitio para que el contenido se cargue en la CDN. Esto garantiza que el contenido ya esté cargado en la CDN antes de que los usuarios lo soliciten, lo que garantiza que el contenido se entregue rápidamente sin que la CDN tenga que recuperarlo primero del servidor de origen (el servidor donde existen los archivos de contenido reales).
Illyes recomienda “precalentar” el caché solicitándole URL mediante programación para que el caché se complete de manera controlada.
“Y para sobrevivir aumentando su sitio con una CDN, vea si puede precalentar los cachés obteniendo mediante programación sus URL principales a través de la CDN antes de abrir las compuertas a los motores de búsqueda”.
Comidas para llevar
El punto principal de Google es que pasar a una CDN puede crear una combinación inesperada de rastreo más rápido y una mayor demanda del servidor de origen. Esto, a su vez, puede llevar a establecer involuntariamente restricciones de seguridad agresivas que impidan que Googlebot acceda a un sitio web.
Tres puntos especialmente importantes para los SEO y propietarios de sitios:
1. El uso de una CDN puede provocar un aumento en el rastreo del robot de Google cuando detecta respuestas más rápidas del servidor, aunque las cachés de la CDN aún no se hayan llenado, lo que a su vez significa un aumento en las solicitudes de URL del servidor de origen.
2. Una migración de CDN puede hacer que, sin darse cuenta, desaparezcan páginas de la Búsqueda de Google debido a que las configuraciones de seguridad agresivas destinadas a detener bots maliciosos también pueden bloquear los rastreadores de Google.
3. Google recomienda precalentar las cachés, permitir rastreadores confiables y controlar temporalmente el rastreo cuando la demanda del servidor se vuelve excesiva.
Lea la nueva documentación CDN de Google aquí.
Mire el podcast de Google aquí:
Imagen destacada/captura de pantalla
