manuboss
[ad_1]
Parlons du bruit. Pas le type de votre voiture qui vous fait monter la chaîne stéréo, mais le genre qui peut rendre vos tests marketing extrêmement difficiles à lire.
La plupart d’entre nous y sont probablement allés – vous lancez un nouveau test et le lendemain, un reportage sur la marque sort, la Fed change les taux d’intérêt ou Outkast sort un album de retrouvailles. Ces événements peuvent perturber des performances par ailleurs stables et ils sont totalement hors de notre contrôle en tant que spécialistes du marketing. Même les conditions météorologiques changeantes peuvent avoir un impact significatif sur certaines industries.
Ce bruit peut rendre très difficile pour un spécialiste du marketing de séparer le véritable impact d’une optimisation de tout ce qui se passe dans le monde.
Vous êtes peut-être en train de lire ceci et de penser : « ouais, non, c’est pourquoi nous effectuons des tests A/B ». C’est juste, et bien que mes doutes personnels concernant les brouillons et les expériences de Google soient un blog pour une autre fois, les tests A/B sont généralement un excellent moyen de compenser le bruit et de générer des résultats de test précis. Il existe cependant de nombreux cas dans lesquels un test A/B n’est tout simplement pas viable.
Par exemple, vous changez de stratégie d’enchères sur une campagne de recherche payante, une promotion est mise en ligne, Apple déploie iOS 14.5. Il n’y a pas de pénurie de cas où il n’est pas possible ou tout simplement pas souhaité de conserver un groupe d’exclusion pour un test A/B.
Des cas comme ceux-ci, où un groupe de contrôle vrai et identique n’est pas réalisable, obligent les spécialistes du marketing à effectuer des analyses pré/post. Ici, nous rencontrons du bruit, sommes obligés de rapporter des résultats « boueux » ou pouvons être dupés pour tirer de mauvaises conclusions.
L’analyse de l’impact causal peut réduire le bruit et fournir un véritable aperçu statistique de vos efforts, vous donnant la confiance nécessaire pour aller de l’avant ou annuler les initiatives marketing.
Qu’est-ce que l’analyse d’impact causal ?
Causal Impact est un algorithme conçu par Google pour créer un modèle de série chronologique structurel bayésien basé sur plusieurs groupes de contrôle afin d’estimer une série de valeurs de référence pour le temps post-intervention. OK, cela peut être un peu intimidant, mais nous n’avons pas besoin d’être des statisticiens pour comprendre et utiliser l’impact causal.
En le décomposant en termes plus digestes, l’impact causal :
- Identifie les relations entre un groupe test et des groupes « témoins » comparables (c’est-à-dire que la campagne A génère régulièrement 50 % de conversions en plus que la campagne B, 30 % en plus que la campagne C, etc.)
- Utilise ces relations pour tracer les performances attendues après l’intervention ou la date de début du test. Ce graphique est considéré comme une ligne de base synthétique. Ce n’est pas un groupe de contrôle réel, mais un synthétique une fois créé avec de nombreux groupes de contrôle
- Compare les résultats réels aux résultats attendus pour déterminer l’impact de l’intervention
Visuellement, il peut prendre un graphique comme celui-ci, dont il est difficile de tirer des conclusions :
Et transformez-le en un graphique comme celui-ci :
Ce visuel Casual Impact nous montre maintenant que même si le volume de test est en hausse au cours de la période de publication, il n’a pas augmenté autant que prévu compte tenu des performances des autres canaux connexes.
Lire le résultat de l’impact causal
L’impact causal peut produire un certain nombre de résultats, mais deux sont particulièrement utiles : les graphiques ci-dessus et un résumé de l’impact.
- Original: Trace la ligne de base synthétique créée par les groupes de contrôle dans une ligne noire en pointillé. Les performances réelles du groupe de test sont tracées en noir uni. Le contour bleu représente les limites d’un intervalle de confiance à 95%
- Point par point : Trace la différence entre le résultat observé et le résultat prévu. Dans l’exemple ci-dessus, la différence entre les résultats réels et prévus est de 0 jusqu’à la période d’intervention. Dans la plupart des ensembles de données du monde réel, il y aura une certaine variation par rapport à 0 dans la pré-période. Si les variations de la pré-période sont significatives et que l’intervalle de confiance est très large, les dates de pré-période ou les groupes de contrôle doivent être ajustés pour réduire l’intervalle de confiance.
- Cumul : Trace la différence cumulative entre le résultat observé et le résultat prévu.
Résumé de l’impact
- Réel: Affiche les valeurs quotidiennes moyennes et les valeurs cumulées par rapport à ce que le modèle a prédit dans la période de publication. La ligne IC à 95 % représente les limites d’un intervalle de confiance à 95 % pour le modèle.
- Effet absolu : Affiche la différence moyenne quotidienne et cumulative entre les valeurs réelles et les valeurs prédites au cours de la période de publication.
- Effet relatif : Transforme l’effet absolu en pourcentage
Un cas d’utilisation à impact causal
Supposons que vous travaillez pour un annonceur de commerce électronique qui exécute la recherche Google, la recherche Microsoft et les publicités Facebook. Dans vos annonces Google Paid Search, vous utilisez un flux de données pour insérer les prix des produits, mais vous ne le faites sur aucun autre canal.
En raison de l’augmentation des coûts des matériaux, l’annonceur augmente les prix de ses produits de 20 % dans tous les domaines.
Vous ne pouvez pas contrôler les prix des produits, mais vous pouvez contrôler le contenu publicitaire de Google Paid Search. Vous vous tournez donc vers l’impact causal pour comprendre l’impact des changements de prix sur le volume de clics. Parce que c’est la saison chargée de l’annonceur, les clics sont en hausse après l’augmentation des prix sur Google Paid Search et tous les autres canaux.
En surface, il semble qu’aucun changement ne soit nécessaire. Cependant, un annonceur averti voudra savoir si des prix moins compétitifs dans le texte publicitaire nuisent réellement au volume de clics.
Dans ce cas, vous pouvez utiliser le volume de recherche payante Google comme groupe de test avec des groupes de contrôle organiques, directs, sociaux et Microsoft. L’exécution des données via Causal Impact peut montrer que le volume de clics via la recherche payante Google est en fait inférieur à ce que le modèle prédit.
?? Vous pouvez maintenant recommander remplacer le texte publicitaire qui met en évidence les prix par une autre proposition de valeur.
Ce n’est qu’un exemple des innombrables façons de tirer parti d’une analyse d’impact causal. D’autres utilisations peuvent inclure l’analyse de l’impact des modifications d’enchères, des promotions, des mises à jour des pages de destination et même des lancements de campagnes. Les possibilités d’appliquer cette analyse à la prise de décision sont pratiquement infinies.
Limites de l’impact causal
Comme tous les algorithmes, Causal Impact est seulement aussi bon que les données qu’il alimente.
Les groupes de contrôle doivent être raisonnablement corrélés aux groupes de test et contrôlés avant d’être utilisés. Si vous effectuez un test sur une publicité de groupe de campagnes « chandails », une campagne publicitaire de groupe « Nachos » ne sera probablement pas un contrôle utile.
Les groupes de test et de contrôle devraient être touchés par les événements macro de la même manière. Une campagne publicitaire de groupe « écharpes » constituerait un bien meilleur groupe témoin, car la vente de pulls et d’écharpes est probablement touchée de la même manière par les macro-événements.
Il est également important de considérer ce qui se passe dans les groupes de contrôle pendant la période post-analyse. Ce groupe de contrôle des foulards est excellent en théorie, mais si l’annonceur est à court d’inventaire pendant la période de publication, continuer à utiliser ces campagnes comme contrôle pourrait produire des résultats trompeurs.
Prenez le temps de trouver des groupes de contrôle stables et utiles lors de l’exécution d’une analyse d’impact causal pour produire les meilleurs résultats.
Enfin, l’impact causal est plus utile avec des ensembles de données plus volumineux sur une plus longue période. Bien qu’il soit techniquement possible d’utiliser ce modèle pour une promotion d’une journée, une analyse pré/post fournirait des résultats similaires en moins de temps.
De même, lorsque le modèle ne dispose pas de suffisamment de données pour travailler, l’intervalle de confiance peut être si large que l’analyse n’a pratiquement aucune valeur. Ces mises en garde peuvent exclure l’analyse d’impact causal pour les ventes à découvert d’un produit très spécifique, par exemple.
Exécution d’une analyse d’impact causal
Voici la déception, bien que vous n’ayez pas besoin d’un diplôme en science des données, exécuter des scénarios via un modèle d’impact causal n’est pas aussi intuitif qu’un modèle pré/post. Cependant, il est relativement simple à implémenter dans R.
En prime, cela ne vous coûtera pas un centime de plus que votre temps. Bien que R puisse être intimidant au début, je vous implore de lui donner du temps. Une fois que vous avez exécuté avec succès votre première analyse, il vous sera beaucoup plus facile et rapide d’exécuter les analyses suivantes.
Étant donné que ce blog n’est pas destiné à être un tutoriel sur R, mais plutôt à susciter l’intérêt pour Causal Impact, je suggère de suivre ces ressources :
Faites-nous savoir dans les commentaires comment vous utilisez Causal Impact ou comment vous aimeriez utiliser Causal Impact pour améliorer les performances !
Inscrivez-vous à notre newsletter pour recevoir plus de messages comme celui-ci directement dans votre boîte de réception :
[ad_2]
