manuboss
Google a ajouté deux nouveaux robots d'exploration à la famille de robots d'exploration Googlebot :
- GoogleAutre-Image
- GoogleAutre-Vidéo
Google a déclaré que ces deux nouveaux robots d'exploration sont des versions de GoogleOther optimisées pour récupérer des octets d'images et de vidéos. GoogleOther a été ajouté en avril 2023 pour être utilisé en interne par les équipes de Google pour explorer le Web public et libérer certaines ressources pour les principaux robots d'exploration de Googlebot.
GoogleAutre-Image. GoogleAutre-Image, selon le Documentation, est la version de GoogleOther optimisée pour récupérer des URL d'images accessibles au public. Il passera sous les jetons de l'agent utilisateur de GoogleOther-Image et GoogleOther et la chaîne complète de l'agent utilisateur sera GoogleOther-Image/1.0.
GoogleAutre-Vidéo. GoogleAutre-Vidéo, selon le Documentation, est la version de GoogleOther optimisée pour récupérer des URL de vidéos accessibles au public. Il passera sous les jetons de l'agent utilisateur de GoogleOther-Video et GoogleOther et la chaîne complète de l'agent utilisateur sera GoogleOther-Video/1.0.
Pourquoi ces nouveaux robots. Google dit« les nouveaux robots d'exploration ont été lancés pour mieux prendre en charge l'exploration des données binaires pouvant être utilisées pour la recherche et le développement. »
En savoir plus sur les robots d'exploration Google. Les types de robots d'exploration Googlebot incluent :
- Googlebot – Le principal robot d'exploration des produits de recherche de Google. Google affirme que ce robot respecte toujours les règles robots.txt.
- Robots d'exploration de cas spéciaux – Les robots qui exécutent des fonctions spécifiques (telles que AdsBot), qui peuvent ou non respecter les règles robots.txt.
- Récupérateurs déclenchés par l'utilisateur – Outils et fonctions du produit où l'utilisateur final déclenche une récupération. Par exemple, Google Site Verifier agit à la demande d'un utilisateur ou certains outils de la console de recherche de Google enverront Google récupérer la page en fonction d'une action effectuée par un utilisateur.
Google a également répertorié les plages d'adresses IP et le masque DNS inversé pour chaque type :
Pourquoi nous nous en soucions. Vous êtes nombreux à vérifier vos activités d'exploration et l'activité de vos robots sur votre site Web et dans vos fichiers journaux. Lorsque vous voyez ce nouveau GoogleAutres robots d'exploration, ne vous inquiétez pas. C'est un vrai Googlebot.
Nouveau sur Search Engine Land
A propos de l'auteur
Barry Schwartz est rédacteur en chef de Search Engine Land et membre de l'équipe de programmation des événements SMX. Il possède RouilléBrique, une société de conseil Web basée à New York. Il court également Table ronde sur les moteurs de recherche, un blog de recherche populaire sur des sujets SEM très avancés. Barry peut être suivi sur Twitter ici.
