La plupart du suivi des sentiments LLM est erroné

Si vous suivez le sentiment de toutes les sorties LLM dans votre outil de surveillance AI, vous mesurez probablement la mauvaise chose.

Le sentiment est une illusion. Les LLM comme Chatgpt, Claude ou Gemini ne se forment pas d'opinions. Ils ne pensent pas de manière créative ou n'offrent pas de perspective. Ils sont formés pour générer des réponses à consonance humaine basées sur des ensembles de données massifs de langage humain: forums, blogs, critiques de produits, threads Reddit, articles de presse, etc.

Alors, qu'en est-il de l'utilisation de LLMS comme agrégateur?

Ils peuvent synthétiser l'opinion publique sur des milliers de sources pour donner une compréhension de haut niveau.

Si je devais demander: «Que disent les gens sur Reddit [Product]? «

La réponse du modèle reflète de vrais schémas de sentiment humain, même s'il s'agit d'un écho. Et je suis d'accord qu'il y a encore une certaine valeur, mais la plupart des gens suivent non seulement «Que disent les gens [thing]«Type Questions dans leur outil de surveillance de l'IA.

Pourquoi la plupart des gens se trompent

Voici où j'ai un problème avec l'analyse des sentiments sur les réponses LLM – beaucoup de gens qui font le suivi de LLM posent des questions comme:

«Quels sont les meilleurs CRM?»
«Quelles sont les principales plateformes de marketing par e-mail?»
«Quelles sont les meilleures solutions pour [industry problem]? «

Ensuite, ils analysent le sentiment de la sortie de la LLM – essayant de comprendre comment ces modèles «ressentent» de leur marque.

Le problème? Ces types de requêtes de recherche de solutions n'ont pas de sentiment. Il s'agit de la visibilité et du classement des recommandations de la marque, pas de l'émotion. Le LLM ne choisit pas en fonction de la préférence – il prédit ce que quelqu'un pourrait dire en fonction des modèles les plus courants de ses données de formation.

Ce n'est pas parce qu'une marque apparaît dans une liste que le modèle l'approuve. Visibilité ≠ favorabilité.

Mais le LLM parle probablement de ses propres recommandations favorablement, donc le sentiment sera positif. C'est une prophétie auto-réalisatrice.

Framer des questions (beaucoup)

Disons que quelqu'un demande au modèle une entreprise spécifique:

«Parlez-moi [Company X] »

C'est probablement le meilleur scénario où le suivi des sentiments pourrait être utile – surtout si vous analysez un grand nombre d'invites spécifiques à l'entreprise en utilisant un format d'entrée cohérent.

Mais voici le problème: les gens introduisent souvent un biais de cadrage sans s'en rendre compte. Ils demandent:

«Quelles sont les choses positives [Company X]? «

«Quelles sont les choses négatives [Company X]? «

Vous avez introduit un biais. Vous avez dit au modèle quel ton prendre. Toute analyse des sentiments qui suit n'est que le reflet de votre invite – pas un signal sur la façon dont le monde voit la marque.

Lorsque les équipes prennent ce type d'analyse des sentiments à sa valeur nominale, ils risquent de construire la messagerie, de positionner ou même des campagnes en fonction des résultats qui ont été biaisés par la structure rapide elle-même.

Analyse des sentiments ≠ perspicacité

C'est là que le suivi de la plupart des sentiments LLM n'a pas de sens. Vous mesurez ce que le modèle pense que quelqu'un pourrait dire dans un certain contexte en fonction du ton que vous avez invité.

Il y a des cas d'utilisation où le suivi des sentiments pourrait aider:

Des requêtes de haut niveau comme «Parlez-moi [Company]”Avec des invites neutres cohérentes
Benchmarking contrôlé à l'aide d'ensembles rapides ou de modèles affinés
Suivi du biais LLM lui-même, comme le reflet des données de formation ou du comportement du modèle

Mais si vous essayez d'analyser les sorties LLM pour déterminer le sentiment de qui se classe plus haut dans une liste des 10 premiers, vous posez les mauvaises questions.

Alors, que devez-vous faire?

Si vous suivez le sentiment dans les sorties LLM, voici comment vous assurer qu'elle est précieuse:

1. Soyez intentionnel avec vos invites

Si vous allez mesurer le sentiment, assurez-vous de poser des questions ouvertes et neutres. Pas de langue principale. Pas de ton intégré. Évitez le phrasé rapide comme «Quels sont les avantages et les inconvénients de…» ou «ce qui est génial à propos de…» à moins que vous ne vouliez que le modèle prenne parti (parce qu'il le fera).

Si vous suivez également d'autres types d'invites – comme la visibilité de la marque ou les recommandations de solutions – gardez-les séparés. Ne traitez pas toutes les sorties LLM comme des sources de sentiment égales. Les invites de recommandation et les invites de sentiment sont à des fins différentes – n'essayez pas de les mélanger.

2. Allez à la source

Vous voulez un vrai sentiment? Essayez d'aller là où les gens parlent réellement.

Regardez les fils Reddit. Lisez les critiques. Creusez dans les témoignages et les commentaires du blog. Les LLM peuvent être un outil utile pour résumer ou classer ce contenu généré par l'homme, mais ne les traitez pas comme un raccourci vers l'opinion humaine.

Si votre objectif est de comprendre ce que les gens pensent réellement – essayez de commencer par les gens. Les LLM peuvent vous aider à évoluer vos informations, mais elles ne devraient pas être votre source de vérité.

Comprendre où aller et quoi mesurer dans le marketing numérique + LLMS est dur. Quiconque dit qu'il a la réponse vous tire la jambe. Vous voulez commencer à réinventer la façon dont votre stratégie est construite et mesurée en fonction de vos données clients? Discutons.