Plus de sites d’actualités bloquent par défaut les robots d’exploration IA
Reuters et Time bloquent désormais par défaut les robots IA, autorisant uniquement les robots d’exploration approuvés via les listes autorisées, rapporte Digiday.
Les deux éditeurs ont pris cette décision en mai, rejoignant People Inc. et The Atlantic, qui ont adopté des configurations similaires au cours de l’année écoulée.
Reuters affirme que le changement ne lui a pas coûté de trafic, tout en réduisant ses dépenses au service des robots. Les dirigeants attribuent à ces frictions supplémentaires le fait d’avoir contribué à pousser les entreprises d’IA vers des négociations sur les licences.
Pourquoi les listes de blocage n’étaient pas suffisantes
Robots.txt ne fonctionne que lorsque les robots choisissent de l’honorer. Digiday a cité un rapport de Tollbit révélant que 30 % du total des grattages de robots IA ne respectaient pas les autorisations explicites du fichier robots.txt.
Le blocage à d’autres niveaux a encore du mordant, affirment les dirigeants. Les grattoirs qui contournent les blocs paient pour les solutions de contournement, et cette dépense est le point important.
Une liste de blocage ne capture que les robots qu’un éditeur peut nommer. People Inc. a appris que le passage à une liste verte augmentait le nombre d’agents utilisateurs bloqués d’environ 2 100 à plus de 30 000. Lindsay Van Kirk, vice-présidente de l’innovation, a partagé les chiffres lors d’un événement IAB Tech Lab fin mai.
Cette échelle correspond à ce que les données robots.txt montrent depuis des mois. Une analyse BuzzStream que nous avons couverte en janvier a révélé que 79 % des principaux éditeurs de presse bloquent au moins un robot de formation à l’IA. La documentation du robot d’exploration d’Anthropic avertit désormais les éditeurs du coût de visibilité lié au blocage de son robot de recherche. Au Royaume-Uni, une nouvelle exigence de conduite oblige Google à permettre aux sites Web de désactiver les fonctionnalités de recherche de l’IA.
Comment les éditeurs décident quels robots autoriser
Le blocage par défaut, une configuration parfois appelée refus par défaut, modifie la décision de savoir quels robots bloquer ou quels robots laisser entrer.
Reuters approuve un robot lorsqu’il propose un « échange à la juste valeur », a déclaré à Digiday Josh London, responsable de Reuters Professional. Cet échange couvre quatre types de valeur. Un robot peut payer pour le contenu via des licences, renvoyer du trafic, maintenir le site en fonctionnement ou prendre en charge la monétisation.
Le résultat est visible dans le fichier robots.txt en direct de Reuters. Il répertorie les robots d’exploration approuvés d’Amazon, Google, Bing/Microsoft, Yahoo et OpenAI, puis interdit les autres robots de la plupart du site.
Pourquoi c’est important
L’accès aux robots fonctionne de la même manière depuis la création du fichier robots.txt. Chaque robot entre à moins qu’un éditeur ne le nomme et ne le bloque.
Aujourd’hui, Reuters et Time annulent ce défaut, et les chiffres de People Inc. montrent pourquoi. Vous ne pouvez pas bloquer un bot dont vous n’avez jamais entendu parler.
Le blocage a cependant un coût. Bloquez un robot d’exploration et vous perdez tout ce qu’il renvoyait, comme la visibilité de la recherche IA ou le trafic de référence. C’est pourquoi les deux éditeurs demandent ce que chaque bot leur donne avant de l’autoriser. C’est une question qui mérite d’être posée à propos de votre propre fichier robots.txt.
Regarder vers l’avenir
Les éditeurs parient sur la force du nombre. Un site bloquant les robots IA est facile à ignorer. La Coalition SPUR élabore des normes communes en matière de licences et d’utilisation du contenu. Le nombre d’organisations est passé à 36 ce mois-ci après l’ajout de 30 membres. Il est plus difficile de rejeter trente-six éditeurs qui bloquent ensemble qu’un seul.
Ce qui est moins clair, c’est pour qui cela fonctionne. Reuters s’est présenté à la table avec une activité de presse et des accords de licence déjà signés. Les petits éditeurs sont confrontés au même choix sans cet effet de levier. Ils peuvent bloquer, mais cela coûte de la visibilité à l’IA et ne garantit pas que quiconque se présente pour négocier.
Dans une étude approfondie que j’ai écrite il y a quelques mois, j’ai découvert que les pools de paiement restaient petits par rapport aux revenus de recherche traditionnels. Si les accords ne concernent que les plus grands noms, le refus par défaut pourrait rester un outil pour les grands éditeurs.
Image en vedette : Grenar/Shutterstock
