manuboss
Des outils d'IA comme Chatgpt et la perplexité influencent les décisions et les pistes de conduite… tout sans fournir des données d'utilisation ou de recherche. Donc, alors que tout le monde attend toujours des données d'impression ou des classements dans les aperçus de l'IA, nous nous sommes posés une question différente: Pouvons-nous utiliser des fichiers journaux pour voir si ces robots Genai atteignent réellement notre contenu?
Dans un monde sans volume de recherche ni données d'impression, tirer parti des tubes à partir de bots d'IA est actuellement le meilleur moyen d'analyser la visibilité réelle de votre site Web dans les LLM. Les fichiers journaux nous donnent un aperçu de la façon dont les grands modèles de langue (LLMS) interagissent avec nos sites.
Les robots d'IA de sociétés comme OpenAI sont «différemment» de sites Web que les robots de moteur de recherche. Openai seul a 3 différents types de robots Webchacun servant un objectif différent:
- Oai-Searchbot – Utilisé pour la fonctionnalité de recherche et l'indexation
- Chat de chatpt – pour les demandes d'utilisateurs en temps réel
- Gptbot – Utilisé pour la formation du modèle Chatgpt
En analysant leur activité dans les fichiers journaux, nous pouvons découvrir:
- Quelles pages LLMS sont et ne visitent pas
- Quelles pages LLMS font surface dans leurs résultats
- Comment les robots AI hidisent, découvrent et indexent le contenu
- Quels éléments de contenu, technique ou structurelle peuvent influencer le comportement des robots
C'est le fondement du test de visibilité dans les expériences axées sur la LLM.
Voici comment nous utilisons des fichiers journaux pour analyser les performances de LLMS.
1. AI BOTS ≠ Googlebot: Pourquoi le comportement de rampe est important
Pendant de nombreuses années, Googlebot a été conçu pour indexer le contenu de votre site Web et vous renvoyer les visiteurs. Avec la montée de Présentation de l'IA impactant CTRil est plus important que jamais de voir comment les autres robots interagissent avec votre site.
Googlebot a un robot de robot bien étudié / documenté. Ses modèles de narration sont familiers, cohérents, systématiques et approfondis.
AI Bots ne nécessairement Prioriser les mêmes éléments que Googlebot (ce qui signifie qu'il y a encore une certaine incertitude sur la façon dont les robots AI explorent nos sites Web).
Les Crawlers d'Openai n'exécutent pas bien le JavaScript, probablement en raison de la quantité de puissance de traitement qui nécessite. Google a construit cette puissance au cours des années et des années et cela n'est pas facilement reproduit en peu de temps.
Pourquoi est-ce important? Les sites Web qui dépendent fortement de JavaScript pour rendre leur contenu plutôt que dans la source HTML pourraient ne pas obtenir le même budget de rampe que plus de sites Web axés sur le HTML.
Et si AI Bots ne peut pas rendre JS ainsi que Google et Les bots d'IA n'utilisent pas de sitemaps XML… alors ces sites Web pourraient avoir moins de visibilité dans certains résultats d'IA.
Alignez les codes de statut pour les robots d'Openai contre Googlebot. Les modèles correspondent-ils? Nous savons qu'ils rampent différemment, donc la comparaison des codes de statut peut aider les différences de surface dans les modèles de manche.
Par exemple: si les 4xx apparaissent plus que prévu, c'est un signal, quelque chose pourrait être cassé, inaccessible ou dépréné par les bots AI.
2. Où les robots AI atteignent des zones à haute friction
Une fois que vous avez cartographié les modèles de rampe, creusez dans le «pourquoi».
L'analyse des fichiers journaux peut vous montrer où les robots AI atteignent le frottement: les redirectes et les erreurs peuvent bloquer les chemins d'exploration et limiter ce que le contenu est réellement «vu». Si les bots se heurtent à des impasses, c'est un écart de visibilité potentiellement majeur, d'autant plus que les LLM gagnent en vapeur en tant que canal pour la découverte de contenu
Concentrez-vous sur ces zones à haute friction.
Ces zones créent des frictions car elles interrompent ou empêchent le bot d'atteindre et de comprendre le contenu, ce qui peut entraîner:
- Couverture manquée ou incomplète de votre site dans LLMS
- Les pages importantes sont entièrement ignorées
- Une présence plus faible dans les expériences générées par l'AI
Tester comment vous pouvez corriger ces zones de friction aide à garantir que votre contenu le plus important est accessible – non seulement pour les moteurs de recherche, mais pour les systèmes d'IA qui réécrivent les règles d'exposition au contenu.
Pro-tip: To reduce friction and improve crawlability for AI bots, fixes can include:- Strengthening internal linking
- Minimizing redirect chains
- Ensuring priority pages aren’t JavaScript heavy
3. Quelles pages attirent l'attention de l'IA (et pourquoi)
Une fois que nous avons une référence de ce que les robots AI rampent, creusez en volume: Quelles pages obtiennent frapper le la plupart?
Certains ont vu des milliers de demandes. Autres? Rien.
Nous superposons ces données avec la structure du site et les types de contenu pour repérer les modèles:
- Les bots sont-ils favorables aux URL de niveau supérieur?
- Les pages de produits sont-elles priorisées sur le contenu du blog?
- Les sections entières sont-elles ignorées?
Ce que nous voyons n'est pas une taille unique, varie selon l'industrie.
Dans certains secteurs verticaux, le contenu haut de gamme et de style leadership obtient le plus de visibilité et les hits des robots d'Openai. Dans d'autres, ce sont les pages de produits qui dominent. Où votre site s'inscrit dans ce spectre aide à façonner vos priorités – quel contenu doubler et ce qui peut avoir besoin d'ajustements techniques ou structurels pour être découvert.
Pro-tip: Don’t underestimate LLM traffic. In some cases, users arriving via AI-generated experiences are more engaged and even convert better than those from organic or paid channels.
4. Utilisation de schéma pour guider les robots LLM
Le schéma a toujours joué un rôle dans la façon dont les moteurs de recherche comprennent le contenu. Nous testons maintenant son impact sur l'activité IA Bot.
Dans les analyses initiales, nous commençons à voir des signes que les données structurées peuvent jouer un rôle dans la façon dont les robots AI hiérartissent et interpréter les pages.
Dans des analyses plus récentes, nous constatons que les pages en utilisant certains types de données structurées sont rampées plus fréquemment que les pages sans elle. Dans certains cas, il y avait des différences minimales dans la mise en page et le contenu, de sorte que la structure du balisage du schéma peut aider les robots naissants Openai dans la compréhension du contenu de la page.
Nous associons les données d'exploration avec la présence de schéma pour identifier les lacunes, similaires à ce qui a été historiquement fait pour les robots de Google – puis recommandant des tests où le schéma pourrait aider à les fermer. Et nous ne nous arrêtons pas à un type: selon le site, nous évaluons tout, de la tarification et du schéma de produit à l'emplacement, à l'événement et à la balisage lié à la recherche.
Bien qu'il s'agisse d'une meilleure hygiène de référencement, il s'agit d'envoyer des signaux plus clairs aux LLM, en particulier sur les pages où la précision et le contexte comptent le plus.
5. LLMS.TXT: Tester un nouvel outil pour le contrôle de la narration de l'IA
Nous testons actuellement des fichiers LLMS.TXT comme moyen d'obtenir un contrôle plus granulaire sur ce que les Crawlers de l'IA voient et potentiellement hiérarchiser.
Il y a un débat sur l'efficacité l'a comparé à la balise Meta Mots-clés: quelque chose que vous pouvez ajouter, mais pas nécessairement quelque chose que les robots écoutent.
Openai n'a pas confirmé le soutien à LLMS.txt, bien que leurs robots de l'honneur de l'honneur de Honor Robots.txt, ce qui nous donne une certaine confiance de référence.
Il n'y a aucune garantie que ce fichier influence ce qui apparaît dans les réponses de recherche généré par l'IA, mais c'est une expérience prospective – destinée à guider les systèmes d'IA vers le bon contenu et à définir des limites plus claires pour l'utilisation.
C'est pourquoi il est important d'utiliser vos propres données et de tester ces facteurs.
Pourquoi votre visibilité est importante, maintenant
Alors que l'IA continue de remodeler la façon dont les utilisateurs découvrent le contenu, nous entrons dans une nouvelle ère de visibilité: apparaissez-vous dans les réponses d'IA?
Les fichiers journaux deviennent rapidement notre meilleur outil pour comprendre comment les LLM interagissent avec nos sites: ce qu'ils rampent, ce qu'ils sautent et ce qui pourrait influencer ce comportement.
Qu'il s'agisse de tester le schéma, de repérer la friction d'exploration ou d'expérimenter avec LLMS.TXT, les stratégies évoluent rapidement.
Le point à emporter? N'attendez pas les réponses définitives. Utilisez vos propres données, exécutez des tests et restez proactif.
De plus, il y a une hygiène précoce décrite ci-dessus qui aidera votre site dans le référencement et probablement Aidera votre site dans les réponses de l'IA. Aucune évidence.
Prêt à commencer à évaluer votre visibilité sur l'IA? Parlons.
