manuboss
[ad_1]
Google a mis à jour sa documentation centrale de recherche pour vérifier Googlebot, en ajoutant de la documentation sur les visites de robots déclenchées par l’utilisateur, des informations qui manquaient dans la documentation précédente de Googlebot, ce qui a semé la confusion pendant de nombreuses années, certains éditeurs bloquant les plages d’adresses IP des visites légitimes.
Documentation sur les robots récemment mise à jour
Google a ajouté une nouvelle documentation qui catégorise les trois différents types de bots auxquels les éditeurs doivent s’attendre.
Voici les trois catégories de robots Google :
- Googlebot – Robot de recherche
- Robots d’exploration de cas particuliers
- Extracteurs déclenchés par l’utilisateur (GoogleUserContent)
Ce dernier, GoogleUserContent est celui qui a longtemps dérouté les éditeurs car Google n’avait aucune documentation à ce sujet.
Voici ce que dit Google à propos de GoogleUserContent :
« Récupérateurs déclenchés par l’utilisateur
Outils et fonctions de produit où l’utilisateur final déclenche une récupération.
Par exemple, Google Site Verifier agit à la demande d’un utilisateur.
Étant donné que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent les règles robots.txt. »
La documentation indique que le masque DNS inversé affichera le domaine suivant :
« ***-***-***-***.gae.googleusercontent.com »
Dans le passé, ce que m’ont dit certains membres de la communauté SEO, c’est que l’activité de bot à partir d’adresses IP associées à GoogleUserContent.com était déclenchée lorsqu’un utilisateur consultait un site Web via une fonction de traduction qui se trouvait auparavant dans les résultats de recherche, une fonctionnalité qui n’existe plus dans les SERP de Google.
Je ne sais pas si c’est vrai ou non. Il suffisait de savoir qu’il s’agissait d’une visite de Google, déclenchée par les utilisateurs.
La nouvelle documentation de Google explique que l’activité des bots à partir des adresses IP associées à GoogleUserContent.com peut être déclenchée par l’outil Google Site Verifier.
Mais Google ne dit pas quoi d’autre pourrait déclencher un bot à partir des adresses IP de GoogleUserContent.com.
L’autre changement dans la documentation est une référence à googleusercontent.com dans le contexte des adresses IP attribuées au nom de domaine, GoogleUserContent.com.
Voici le nouveau texte :
« Vérifiez que le nom de domaine est soit googlebot.com, google.com ou googleusercontent.com. »
Un autre nouvel ajout est le texte suivant qui a été développé à partir de l’ancienne page :
« Vous pouvez également identifier Googlebot par son adresse IP en faisant correspondre l’adresse IP du robot d’exploration aux listes des plages d’adresses IP des robots d’exploration et de récupération :
Googlebot
Robots d’exploration spéciaux comme AdsBot
Récupérations déclenchées par l’utilisateur »
Documentation sur l’identification des bots Google
La nouvelle documentation contient enfin quelque chose sur les bots qui utilisent des adresses IP associées à GoogleUserContent.
Les spécialistes du marketing de recherche ont été déconcertés par ces adresses IP et ont supposé que ces bots étaient des spams.
Une discussion sur l’aide de Google Search Console de 2020 montre à quel point les gens étaient confus quant à l’activité associée à GoogleUserContent.
Beaucoup dans cette discussion ont conclu à juste titre qu’il ne s’agissait pas de Googlebot, mais ont ensuite conclu à tort qu’il s’agissait d’un faux bot se faisant passer pour Google.
Un utilisateur a posté :
« Le comportement que je vois venir de ces adresses est très proche (sinon identique) du comportement légitime de Googlebot, et il touche plusieurs de nos sites.
… Si ce n’est pas le cas, cela semble indiquer qu’il existe une activité généralisée de robots malveillants par quelqu’un qui s’efforce de ressembler à Google sur nos sites, ce qui est préoccupant.
Après plusieurs réponses, la personne qui a lancé la discussion conclut que l’activité de GoogleUserContent était du spam.
Ils ont écrit:
« … Les Googlebots en question imitent les agents utilisateurs officiels, mais dans l’état actuel des choses, les preuves semblent indiquer qu’ils sont faux.
Je vais les bloquer pour l’instant.
Nous savons maintenant que l’activité des bots provenant des adresses IP associées à GoogleUserContent ne sont pas des spams ou des bots pirates.
Ils viennent vraiment de Google. Les éditeurs qui bloquent actuellement les adresses IP associées à GoogleUserContent devraient probablement les débloquer.
La liste actuelle de Les adresses IP de récupération déclenchées par l’utilisateur sont disponibles ici.
Lisez la documentation mise à jour de Google :
Vérification de Googlebot et d’autres robots d’exploration Google
Image sélectionnée par Shutterstock/Asier Romero
[ad_2]
