ChatGPT тепер сканує в 3,6 раза більше, ніж Googlebot

Ця публікація була спонсорована Alli AI. Думки, висловлені в цій статті, належать спонсору.

Усі вважають, що робот Googlebot є домінуючим сканером, який відвідує їхні веб-сайти. Тепер це припущення помилкове.

Ми проаналізували 24 411 048 проксі-запитів на понад 78 000 сторінках на 69 веб-сайтах клієнтів на платформі підтримки сканера Alli AI протягом 55-денного періоду (з січня по березень 2026 року). Веб-сканер OpenAI ChatGPT-User зробив у 3,6 рази більше запитів, ніж Googlebot, у нашій вибірці даних. І це навіть не враховуючи GPTBot, окремий навчальний сканер OpenAI.

Примітка щодо методології: Ідентифікація сканера використовувала відповідність рядка агента користувача, перевірену за опублікованими діапазонами IP-адрес. Показники запитів вимірюються на рівні проксі/CDN. Набір даних охоплює 69 веб-сайтів у різних галузях і розмірах, переважно на основі WordPress. Повна методологія детально описана в кінці.

Висновок 1: сканери зі штучним інтелектом тепер випереджають Google 3.6x, а ChatGPT лідирує в групі

Коли ми ранжували кожен ідентифікований сканер за обсягом запитів, результати були однозначними:

ChatGPT-User зробив більше запитів, ніж Googlebot, Amazonbot і Bingbot комбіновані.

Згруповані за призначенням сканери, пов’язані зі штучним інтелектом (ChatGPT-User, GPTBot, ClaudeBot, Amazonbot, Applebot, Bytespider, PerplexityBot, CCBot), створені 213 477 запитів проти 59,353 для традиційних пошукових роботів (Googlebot, Bingbot, YandexBot). Штучні сканери зараз роблять у 3,6 рази більше запитів, ніж традиційні пошукові сканери в нашій мережі.

Висновок 2: OpenAI використовує 2 сканери (і більшість сайтів не знають різниці)

OpenAI працює з двома різними сканерами з дуже різними цілями.

Користувач ChatGPT є сканером пошуку. Він отримує сторінки в режимі реального часу, коли користувачі задають запитання ChatGPT, які потребують актуальної веб-інформації. Це визначає, чи буде ваш вміст у відповідях ChatGPT.

GPTBot це навчальний сканер. Він збирає дані для вдосконалення моделей OpenAI. Багато сайтів блокують GPTBot через robots.txt, але не через ChatGPT-User або навпаки, не розуміючи чітких наслідків кожного з них.

Разом сканери OpenAI зробили 142 225 запитів: 3,8-кратний обсяг Googlebot.

Директиви robots.txt окремі:

User-agent: GPTBot      # Training crawler — feeds OpenAI's models
User-agent: ChatGPT-User # Retrieval crawler — fetches pages for ChatGPT answers

Висновок 3: ШІ-сканери швидші та надійніші, але їхній обсяг збільшується

Штучні сканери значно ефективніші за запит:

Дві ймовірні причини. По-перше, пошукові роботи штучного інтелекту вибирають конкретні сторінки у відповідь на запити користувачів, а не вичерпно виявляють архітектуру сайту. Вони знають, чого хочуть, хапають це і йдуть. По-друге, хоча всі веб-сканери в нашій інфраструктурі отримують попередньо відображені відповіді, ширший шаблон сканування Googlebot означає, що він запитує ширший діапазон URL-адрес, включаючи застарілі шляхи з карт сайту та власний застарілий індекс, що додає затримку від ланцюжків перенаправлення та обробки помилок, яких сканери пошуку повністю уникають.

Але є одна заковика: хоча кожен окремий запит невеликий, сам обсяг означає, що сукупне навантаження на сервер є значним. ChatGPT-User із розміром 11 мс × 133 361 запитів — це все ще реальна вартість інфраструктури, яка просто розподіляється інакше, ніж менша кількість запитів Googlebot.

Висновок 4: Googlebot бачить іншу (гіршу) версію вашого сайту

Рівень успіху Googlebot у 96,3% порівняно з майже ідеальними показниками для сканерів AI виявляє важливу структурну різницю.

Робот Googlebot отримав 624 заблокованих відповіді (403) і 480 помилок «не знайдено» (404), що становить 3% запитів. Тим часом ChatGPT-User досяг 99,99% успіху. PerplexityBot досяг ідеальних 100%.

Чому розрив? Найбільш імовірним поясненням є вік індексу та поведінка сканування, а не неправильна конфігурація сайту.

Робот Googlebot підтримує масивний застарілий індекс, створений протягом багатьох років безперервного сканування. Він регулярно повторно запитує URL-адреси, про які йому вже відомо, включаючи сторінки, які згодом було видалено (404s) або реструктуризовано (403s). Це нормальна поведінка для пошукової системи, яка підтримує індекс такого масштабу, але це означає, що значний відсоток запитів Googlebot спрямовано на URL-адреси, які більше не існують.

Штучні сканери не несуть такого багажу. ChatGPT-User отримує конкретні сторінки у відповідь на запити користувачів у реальному часі, орієнтуючись на актуальний на даний момент вміст і посилання. Це структурна перевага, яка забезпечує майже ідеальні показники успіху.

Галузеві звіти підтверджують, що сканування ШІ зросло в 15 разів у 2025 році

Ці висновки узгоджуються з ширшими галузевими тенденціями. Аналіз Cloudflare за 2025 рік повідомив, що запити ChatGPT-User зросли на 2825% порівняно з аналогічним періодом минулого року, а сканування «дій користувача» ШІ зросло більш ніж у 15 разів протягом 2025 року. Akamai визначила OpenAI як найбільшого оператора ботів ШІ, на частку якого припадає 42,4% усіх запитів ботів ШІ. Аналіз сайту nextjs.org, проведений Vercel, підтвердив, що наразі жоден із основних сканерів ШІ не відтворює JavaScript.

Наші дані свідчать про те, що це перехрещення може вже відбуватися на рівні сайту для ресурсів, які активно дають доступ сканеру AI.

Ваша нова стратегія SEO: як проводити аудит, очищення та оптимізацію для сканерів AI

1. Перевірте файл robots.txt на пошуки ШІ сьогодні

Більшість файлів robots.txt були написані для Googlebot-first world. Майте як мінімум чіткі директиви для ChatGPT-User, GPTBot, ClaudeBot, Amazonbot, PerplexityBot, Applebot, Bytespider, CCBot і Google-Extended.

Наша рекомендація: Більшість компаній виграють від дозволу обох сканерів пошуку (ChatGPT-User, PerplexityBot, ClaudeBot) і навчальні сканери (GPTBot, CCBot, Bytespider), навчальні дані – це те, що навчає ці моделі про ваш бренд, продукти та досвід. Блокування навчальних сканерів сьогодні означає, що завтра моделі штучного інтелекту менше дізнаються про вас, що зменшує ваші шанси бути цитованими у відповідях, згенерованих штучним інтелектом.

Виняток: якщо у вас є вміст, який потрібно захистити від навчання моделі (власне дослідження, закритий вміст), використовуйте гранульований Заборонити правила для цих шляхів, а не загальні блоки.

2. Очистіть застарілі URL-адреси в Google Search Console

Наші дані показують, що Googlebot досягає 3% помилок, в основному 403 і 404, тоді як ШІ-сканери досягають майже ідеальних показників успіху. Ця прогалина, ймовірно, відображає повторне сканування Googlebot застарілих URL-адрес, яких більше не існує. Але ці невдалі запити все одно витрачають бюджет сканування.

Перевірте свою статистику сканування GSC для повторюваних 404 і 403. Налаштуйте належне переспрямування для реструктурованих URL-адрес і надішліть оновлені карти сайту.

3. Розглядайте доступність AI-сканера як окремий канал SEO

Рейтинг у відповідях ChatGPT, результатах Perplexity та відповідях Клода стає окремим каналом видимості. Якщо ваш вміст недоступний для цих сканерів, особливо якщо ви використовуєте фреймворки з інтенсивним використанням JavaScript, ви невидимі в пошуку AI.

Ми опублікували a жива інформаційна панель показує, як трафік ШІ-сканера розбиває на реальний сайт: які платформи відвідують, як часто та їх частка в загальному трафіку; якщо ви хочете побачити, як це виглядає на практиці.

4. Плануйте обсяг, а не лише вагу окремого запиту

Штучні сканери надсилають легкі, швидкі запити, але вони надсилають багато з них. Лише ChatGPT-User нарахував понад 133 000 запитів за 55 днів. Сукупне навантаження на сервер від веб-сканерів ШІ тепер, імовірно, перевищує навантаження вашого робота Googlebot. Переконайтеся, що ваш хостинг і CDN можуть це впоратися. Низький час відповіді на запит у наших даних відображає той факт, що Alli AI обслуговує попередньо відрендерений статичний HTML із краю CDN, що є саме тією архітектурою, яка поглинає цей обсяг, не обкладаючи податку на вихідний сервер.

Методологія

Цей аналіз базується на 24 411 048 запитах HTTP-проксі, оброблених через платформу підтримки сканера Alli AI у період з 14 січня по 9 березня 2026 року, що охоплює 69 веб-сайтів клієнтів.

Ідентифікація сканера використовувала відповідність рядка агента користувача, перевірену за опублікованими діапазонами IP-адрес. Зокрема, для сканерів OpenAI кожен запит порівнювався з опублікованими діапазонами CIDR OpenAI. Це підтвердило, що 100% запитів GPTBot і 99,76% запитів ChatGPT-User надходять з інфраструктури OpenAI. Решта 0,24% (запити від підроблених агентів користувачів) були виключені.

Обмеження: Набір даних доступний для клієнтів Alli AI, які ввімкнули сканер. Сканери, які не ідентифікуються за допомогою агента користувача, не захоплюються. Вимірювання часу відповіді здійснюється на рівні проксі, а не на вихідному сервері.

Про Alli AI

Alli AI надає серверну інфраструктуру візуалізації для ШІ та пошукових систем. Цей аналіз було проведено з використанням даних із нашої проксі-інфраструктури, щоб допомогти спільноті SEO краще зрозуміти ландшафт сканера, що розвивається.

Хочете побачити ці дані в дії? Подивіться розбивку з перших вуст, відвідавши нашу панель видимості AI.

---

Автори зображень

Рекомендоване зображення: зображення Alli AI. Використовується з дозволу.

Зображення в публікації: зображення від Alli AI. Використовується з дозволу.