Comment mesurer la performance de la marque à l'ère des LLM

Imaginez ceci. Vous êtes assis après Thanksgiving entouré de vos amis et de votre famille. La conversation dérive vers l’IA, car ce sera le cas à un moment donné. Lorsque c’est le cas, essayez un exercice rapide : demandez à tout le monde autour de la table de choisir son camp.

D’un côté, vous êtes le consommateur. Vous utilisez ChatGPT pour planifier vos achats de Noël. Vous demandez à Perplexité de nouvelles recettes. Vous comptez sur les aperçus de l'IA de Google avant d'acheter quoi que ce soit. L’IA a déjà changé la façon dont vous découvrez des informations, que vous le remarquiez ou non.

De l’autre côté, vous êtes le spécialiste du marketing de la marque. Votre responsabilité est de vous assurer que votre marque apparaisse lorsque les consommateurs posent des questions sur les outils d'IA dans votre catégorie. Vous devez savoir… Votre marque est-elle visible ? Est-ce fiable ? Est-il choisi au moment où les décisions sont prises ?

Voici la réalité. La plupart des spécialistes du marketing n’ont aucun moyen de répondre à ces questions. Les KPI de recherche traditionnels tels que les impressions, les classements et les taux de clics ne peuvent pas mesurer ce qui se passe lorsque l'IA répond directement aux questions. Le flux de clics se brise. L'entonnoir se brise. Pauses d’attribution.

Nous avons donc construit une nouvelle approche.

Chez Seer Interactive, nous avons passé des mois à rechercher comment mesurer les performances de la marque dans les environnements de recherche IA. Zut, j'ai écrit Le *NOUVEAU* Grand Livre des KPI pour aider les spécialistes du marketing à mesurer les humains dans notre monde numérique. Oui, je pense probablement trop aux KPI. C'est aussi malsain que de manger ce deuxième morceau de tarte à la citrouille, mais je vais quand même le faire. Au travail, je mets constamment mes collègues au défi de réfléchir à leurs mesures de réussite et de se demander… Que ferez-vous si ce KPI change… ? Wil Reynolds nous a dit pourquoi les KPI SEO de 2020 ne fonctionneront plus.

Récemment, j'ai tourné mon attention vers l'analyse des KPI de recherche d'IA qui émergent dans l'industrie du référencement, ou je l'appelle l'industrie GEO-AIO en évolution rapide. Nous les avons testés sur des ensembles de données clients réels et avons développé un cadre qui donne aux spécialistes du marketing une voie à suivre claire et pratique.

Ces KPI sont déjà utilisés par notre clientèle, soutenus par un système assisté par agent qui évalue des centaines ou des milliers de réponses d'IA à grande échelle. Nous ne l’avons peut-être pas perfectionné, mais nous ne laissons pas cela nous arrêter.

Mais avant de plonger dans le cadre, comprenons le changement qui se produit…

La recherche IA n’est pas un outil unique. C’est un écosystème qui se développe rapidement.

Aperçus de l'IA de Google
Recherche ChatGPT
Perplexité
Copilote Microsoft
Claude, Gemini et d'autres LLM travaillant sur la récupération

Les utilisateurs passent d'une découverte basée sur des mots clés à une découverte basée sur des conversations. Ce changement nécessite une réinitialisation fondamentale des mesures. Si le comportement de recherche change, des mesures marketing doivent suivre.

Generative Engine Optimization (GEO) tente de décrire les tactiques. Mais sans mesure, GEO n’est qu’une conjecture. Vous avez besoin de KPI qui révèlent la visibilité, la crédibilité et les résultats dans des environnements pilotés par l'IA.

La recherche IA change la façon dont les utilisateurs découvrent les marques, évaluent leur crédibilité et prennent des décisions. Pour mesurer ce nouveau voyage, nous utilisons un cadre simple mais puissant.

1. Soyez vu

Êtes-vous visible lorsque les outils d’IA répondent aux questions de votre catégorie ?

2. Soyez cru

L’IA représente-t-elle votre marque de manière précise et crédible ?

3. Soyez choisi

Les interactions influencées par l’IA ont-elles un impact commercial ?

Les anciens KPI ne peuvent pas répondre à ces questions. Ils supposent un clic, une session et un chemin linéaire. La recherche AI supprime les trois.

Parmi les outils et recherches émergents du secteur de la recherche IA, nous avons sélectionné 17 KPI qui peuvent être utilisés pour mesurer la visibilité, la crédibilité et l’influence de la recherche IA. Si ceux-ci vous intéressent ou si vous souhaitez les utiliser pour mesurer votre marque, nous vous encourageons à le faire. Voici un CustomGPT que j'ai construit pour vous aider à former des KPI appropriés. Ne les utilisez pas tous !

Visibilité

Taux de citation de l'IA
Taux de source primaire
Part de voix de l'IA
Couverture du sujet
Présence de l'entité
Visibilité des extraits d'IA

Crédibilité

Taux de précision des réponses
Profondeur du contenu
Pertinence sémantique
Force du signal de confiance

Résultats

Score d'impact zéro clic
Rétention des requêtes de marque
Ascenseur transmanche
Taux de conversion influencé par l'IA

Ils ont tous de la valeur. Mais si vous confiez ces 17 KPI à une équipe marketing, elle passera les six prochains mois à débattre de la méthodologie au lieu d'améliorer les performances.

Nous avons donc simplifié. Si nous ne pouvions mesurer qu’un seul KPI pour chaque phase du parcours, quels sont les trois plus importants ?

Ces.

Avant d'entrer dans le vif du sujet, je tiens à souligner que ces KPI sont censés être pris en compte, débattus et déterminés uniquement s'ils sont significatifs pour votre marque. Si cela ne fonctionne pas pour vous, abandonnez-les et développez quelque chose qui fonctionne. Cela dit, voici où nous voyons les choses évoluer :

Soyez vu : taux de signal IA

Le score Seer Signals remonte à nos racines de mesure des mentions d’IA. Nous posons des questions et nous mesurons combien de fois une marque apparaît dans les réponses. C'est un signal de votre présence. Nous pouvons comparer cela à un ensemble concurrentiel ou à des performances de référence au fil du temps. À mesure que le contenu est optimisé pour l'IA et que vous testez ce qui fait apparaître votre marque, votre « signal » devrait devenir plus fort. Nous ne nous contentons pas d'en parler, nous le testons et nous le prouvons.

Définition
À quelle fréquence votre marque est mentionnée dans les réponses générées par l'IA pour les requêtes de votre catégorie.

Formule

IA Mention Taux = (Nombre de IA réponses que mention ton marque) / (Total IA questions posées)

Pourquoi c'est important
La visibilité est le point de départ. Si les outils d’IA ne mentionnent pas votre marque, vous êtes invisible là où la découverte se produit actuellement.

Exemple
Si quelqu'un demande à Perplexity : « meilleur endroit pour acheter des cadeaux pour enfants le Black Friday », votre marque apparaît-elle ? À quelle fréquence?

À quoi ressemble le bien
Les leaders d'une catégorie peuvent atteindre des taux de citation de 60 à 80 pour cent. Les marques Challenger pourraient commencer à 5 à 10 pour cent. Suivre la direction, pas la perfection.

Soyez cru : taux d’exactitude des réponses

Il existe de nombreuses façons de croire. Nous le voyons dans nos données lorsque des humains visitent notre site à partir des réseaux sociaux. Cela signifie qu'ils vous ont trouvé sur la base de ce qu'un autre humain a dit… c'est croire ! On pourrait donc peut-être affirmer qu’il s’agit davantage d’une question de confiance. Vos clients peuvent-ils vous faire confiance (ainsi qu’à l’IA) pour obtenir des réponses précises sur votre marque ? C'est pourquoi nous nous sommes concentrés sur la précision des réponses.

Nous nous mesurons par rapport à une marque Canon que nous définissons avec nos clients afin de garantir que nous capturons qui ils sont et ce qu'ils représentent en tant que marque. Nous capturons les déclarations de mission, les valeurs fondamentales et toute information qu'une marque souhaite diffuser. Et puis on voit ce que les IA rapportent. C’est la nouvelle ère de la gestion de la réputation et les marques qui la mesurent peuvent la gérer.

Définition
La précision avec laquelle les systèmes d'IA représentent votre marque, mesurée à travers une rubrique structurée.

Formule

Répondre Précision Taux = (Total rubrique points gagné) / (Total possible rubrique points)

Pourquoi c'est important
La visibilité sans précision est un risque. Si les gens obtiennent des informations incorrectes sur votre marque, la crédibilité s’érode.

Comment nous le mesurons
Chaque réponse est notée sur des traits, chacun valant de 0 à 2 points.

Exactitude des faits
Alignement avec Canon
Présence hallucinatoire

Le score maximum est de 6 points par réponse.

Exemple
Si ChatGPT prétend que votre produit fait quelque chose qu'il ne peut pas faire, c'est un échec de crédibilité.

À quoi ressemble le bien
Les marques dotées d’un contenu solide peuvent atteindre des taux de précision supérieurs à 85 %. Des scores inférieurs à 70 pour cent indiquent un risque réel.

Soyez choisi : taux de conversion influencé par l'IA

Selon nous, être choisi, c'est avant tout amener les consommateurs à choisir votre marque. Que vous vendiez des widgets ou des services professionnels, c'est cet événement de conversion que nous recherchons ici. Nous mesurons cela en nous connectant à vos plateformes d'analyse pour identifier le trafic de référencement IA vers vos sites Web, puis en comprenant les taux d'engagement et de conversion. Cela nous indique à quelle fréquence nous sommes choisis par des humains qui nous ont trouvés grâce à l'IA.

Définition
Le taux de conversion parmi les utilisateurs ou les sessions influencées par le contenu diffusé par l'IA.

Formule

Influencé par l'IA Conversion Taux = (Conversions depuis Influencé par l'IA séances) / (Total Influencé par l'IA séances)

Pourquoi c'est important
C’est le KPI qui intéresse votre directeur financier. Il relie la visibilité de l’IA à l’impact réel sur l’entreprise.

Trois façons de le mesurer

Suivi direct
UTM ou référents identifiés à l'aide de groupes de canaux personnalisés à partir de plateformes d'IA.
Inférence comportementale
Des modèles tels que les occurrences de recherche de marque ou la saisie de pages approfondies.
Enquêtes post-conversion
« Qu'est-ce qui vous a amené ici aujourd'hui ?

À quoi ressemble le bien
Les sessions influencées par l'IA convertissent souvent entre 3 et 16 %, ce qui est souvent supérieur au trafic moyen. Nous le constatons dans nos données et nous le suivons de près.

L'évaluation manuelle des réponses de l'IA fonctionne pour les contrôles ponctuels. Cela ne fonctionne pas pour les mesures à grande échelle.
Nous avons donc construit un système hybride combinant automatisation et surveillance humaine.

Comment ça marche

Notre outil de suivi LLM Froisser génère et exécute des invites avec et sans marque dans les outils d'IA.
Nous nourrissons cela à notre Chat Ninja agent, qui évalue chaque réponse de l'IA à l'aide des rubriques.
L'agent attribue un score de confiance (0 à 100).
L'agent demande à l'évaluateur de choisir un seuil de confiance (nous commençons à 75 % mais descendons généralement plus bas pour entraîner le modèle et assurer l'exactitude des réponses).
Toute réponse inférieure au seuil est transmise à un humain.

Les avis humains alimentent la formation de l'agent.

Cela garantit une mesure qui est :

évolutif

cohérent

explicable

haute qualité

Et surtout, cela permet à votre équipe de suivre les tendances des performances au fil du temps.

Étape 1 : Créez votre ensemble de requêtes

Visez 100 invites (utilisez 80 sans marque et 20 avec marque) dans les intentions de catégorie, de comparaison, d'éducation et de résolution de problèmes.

Étape 2 : Établissez votre référence

Exécutez votre ensemble de requêtes sur les outils et documents d'IA :

Apparence de la marque

Précision

Mauvaises attributions

Présence des concurrents

Étape 3 : Auditez votre base de contenu

Évaluez votre site pour en vérifier l'exhaustivité, la clarté, l'exactitude de l'entité et les signaux de confiance.

Étape 4 : Mettre en œuvre un suivi influencé par l'IA

C’est ainsi que vous reliez la visibilité aux résultats.

Étape 5 : Mesurez de manière cohérente

Nous recommandons deux fois par semaine pour la plupart des marques.

Étape 6 : Optimiser de manière itérative

Brouillon. Mesure. Apprendre. Améliorer. Répéter.

La recherche par l’IA n’émerge pas. C'est ici.
Les consommateurs découvrent déjà les marques, comparent les options et prennent des décisions grâce à l’IA.

Si vous voulez gagner dans la recherche IA, vous avez besoin de 3 KPI :

Taux de conversion influencé par l'IA

Tout le reste est détail.

Commencez par votre ligne de base. Mesurez de manière cohérente. Améliorez votre contenu. Suivez votre impact.

C'est la nouvelle discipline analytique. Les marques qui l’adopteront tôt gagneront. Qu'en penses-tu? Ces KPI correspondent-ils à vous et à votre marque ? Sinon, nous voulons avoir de vos nouvelles et savoir sur quoi vous vous concentrez.

Si vous souhaitez obtenir de l'aide pour mettre en œuvre la mesure de la recherche par l'IA ou si vous souhaitez voir les performances de votre marque aujourd'hui, contactez-nous. Mais s'il vous plaît, profitez d'abord de votre Thanksgiving.