in

Pourquoi nous avons créé notre propre outil de suivi du classement des mots clés


Ce message a été rédigé par : Christina Blake et Ethan Lyon.

Pourquoi créer un outil de suivi de classement personnalisé ?

Il existe de nombreux excellents outils sur le marché pour le suivi du classement des mots clés – mais chez Seer, nous avons constaté que nous avions de nombreux cas d’utilisation avec des données de classement organique qui n’étaient pas traitées par ces outils.

Beaucoup de nos analyses extraient de grandes quantités de données (pensez à 100 000, 200 000, 500 000+ mots-clés à la fois !) pour un aperçu des informations – peut-être analysons-nous les lacunes de contenu ou essayons-nous de rechercher un nouveau secteur d’activité pour un client. Nous n’avons pas besoin de classements quotidiens pour cela – nous avons besoin d’une extraction de données massive et unique.

Pour certains clients, nous pouvons avoir des termes de recherche sur lesquels nous voulons garder le pouls, mais avons-nous besoin de données quotidiennes ? Nous pourrions vouloir mélanger notre suivi – des mots-clés prioritaires quotidiennement, d’autres mots-clés pour nous aider à comprendre les changements de paysage hebdomadaires ou mensuels.

Si un client prévoyait une migration ou un changement majeur sur son site, nous pourrions même vouloir changer de mots clés hebdomadaires ou mensuels pour suivre quotidiennement afin que nous puissions surveiller de plus près les changements pendant ces périodes à haut risque.

💡Dans cet article, nous expliquerons comment nous avons abordé la création de notre propre outil de suivi des mots clés à partir de zéro.


Quels sont les avantages d’un outil de suivi des mots clés personnalisés ?

Souplesse

Les outils de suivi des mots clés que nous utilisions ne nous donnaient pas la possibilité de modifier la fréquence de suivi – les membres de l’équipe devaient soumettre de grands ensembles de mots-clés, puis surveiller de près afin que nous puissions désactiver le suivi dès que les données étaient renvoyées pour empêcher le suivi de 500 000 mots-clés par jour pour une analyse que nous n’avions besoin d’exécuter que deux fois par an. Si un membre de l’équipe oubliait de désactiver le suivi, nous pourrions avoir des coûts assez élevés pour une erreur très simple.

Supposons qu’un membre de l’équipe souhaite soumettre 50 000 termes de recherche pour une analyse instantanée et que le coût de notre ancien outil était d’environ 400 $/jour pour 50 000 mots clés.

À l’aide de notre ancien outil, les membres de notre équipe soumettaient leurs mots clés, puis vérifiaient chaque jour quand les données étaient revenues, généralement dans un délai de 3 à 5 jours. Ensuite, ils devraient arrêter le suivi immédiatement et télécharger les données, sinon ces mots-clés continueraient à entraîner des coûts.

Et si l’un des clients de ce membre de l’équipe avait un problème majeur et qu’il devait intervenir pour l’aider ? Il serait facile (et compréhensible) d’oublier de désactiver le suivi si ce membre de l’équipe avait une analyse et une présentation majeures à venir, puis un incendie client qu’il devait résoudre en plus. (Christina peut en témoigner – elle fait partie de ces membres de l’équipe qui ont oublié de désactiver le suivi auparavant).

En utilisant nos anciens outils, ces mots-clés continueraient à entraîner des coûts de l’ordre de 400 $/jour jusqu’à ce que ce membre de l’équipe se souvienne de les désactiver ou si l’un des membres de notre équipe qui surveillait les dépassements majeurs l’attrapait. Maintenant, appliquez ce risque à toute une équipe. Des erreurs humaines se produisent – et quelque chose que nous pourrions faire pour aider notre équipe est d’enlever la responsabilité de se souvenir de désactiver les mots-clés.

Lors de l’analyse des mots-clés instantanés (classement ponctuel) de notre ancien outil, nous avons constaté que nous suivions (et payions) 4 à 5 fois les classements dont nous avions réellement besoin, principalement en raison du fait que les données mettaient parfois plusieurs jours à revenir et parfois les membres de l’équipe n’ont pas désactivé le suivi immédiatement. Environ 80 % de ces classements étaient redondants.

An Nombre de mots-clés instantanés Nombre de mots-clés d’instantanés dédupliqués % de déchets
2019 12 059 428 2 461 270 79,59 %
2020 5 276 197 1 083 009 79,47%

Avec notre propre outil de suivi des mots clés, ce même membre de l’équipe soumet ses 50 000 termes de recherche en utilisant la fréquence « unique » et c’est tout. Lorsque leurs données sont disponibles, ils peuvent les utiliser – aucune étape supplémentaire n’est nécessaire.

Nous sommes également en mesure de soumettre davantage de mots clés en nous associant à Données de trajectoire que jamais auparavant – nous sommes passés de 26 millions de classements en 2019 à 61 millions de classements en 2020, l’année où nous avons lancé notre outil de suivi de classement interne.

Le jour de la rédaction de cet article de blog (10/02/22), nous avions 4,6 milliards de lignes de données de mots-clés dans notre lac de données de suivi des classements.

De tous les classements traités avec Traject, nous voyons les fréquences suivantes :

La fréquence Nombre de mots clés suivis % au total
du quotidien 8 420 170 7,89 %
Hebdomadaire 8 955 622 8,39%
Mensuel 2 157 943 2,02 %
Trimestriel 586 760 0,55 %
Une fois 86 578 430 81,14%

C’est plus de 80 % de tous les termes de recherche suivis à une fréquence unique au cours des 2 dernières années ! Imaginez tout le temps économisé et les dépassements de coûts évités en donnant aux utilisateurs la possibilité de suivre à différentes fréquences.

Accessibilité

Lorsque nous utilisions encore d’autres outils de suivi de classement, nous devions exporter les données si nous voulions personnaliser quoi que ce soit en dehors de leur logiciel. Même si nous avons créé des modèles dans des outils de visualisation comme Power BI ou Google Data Studio pour accélérer le temps de construction, ces modèles attendraient des entrées très spécifiques – si un outil changeait le nom d’une colonne ou si un membre de l’équipe suivait une liste d’étapes à exporter les données ont manqué une étape, cela pourrait entraîner des erreurs et de la confusion.

Par exemple, un membre de l’équipe effectuant une analyse peut suivre 10 à 20 instructions pour exporter les données d’une manière spécifique – peut-être cela nécessite-t-il un rapport spécifique ou filtre-t-il les données d’une certaine manière avant l’exportation. Le membre de l’équipe exporte son CSV vers son ordinateur, ouvre le modèle et sélectionne son CSV comme source.

Tout à coup, tout se brise et ils sont frappés par un message d’erreur flagrant – “La colonne “Page de destination” n’a pas été trouvée.” Toutes les autres sources de données de l’analyse échouent également, en raison de l’échec de la colonne “Page de destination” manquante.

Le membre de l’équipe n’est pas sûr de ce qui s’est passé – après tout, il a suivi toutes les étapes ! Ils se lancent dans une conversation et demandent de l’aide à d’autres membres de l’équipe. Un membre de l’équipe demande une capture d’écran du message d’erreur. Un autre membre de l’équipe dit qu’il peut sauter sur un chat vidéo pour aider à résoudre les problèmes.

Enfin, quelqu’un qui a déjà rencontré ce problème demande à notre membre d’origine d’ouvrir le CSV qu’il a téléchargé. La colonne “Page de destination” n’est pas dans le CSV – elle a été remplacée par le nom de champ “URL”.

“Parfois, cet outil change simplement les noms de colonnes et nous ne le découvrons pas jusqu’à ce qu’il casse quelque chose – je vais appuyer sur la personne qui possède le modèle et les instructions pour faire une mise à jour” dit notre membre de l’équipe plus expérimenté.

Problème résolu, mais ce processus a pris peut-être 30 minutes à plusieurs membres de l’équipe pour le résoudre. Notre membre de l’équipe d’origine ne voulait faire perdre de temps à personne – ils auraient peut-être passé une heure à essayer de le réparer eux-mêmes avant même de demander de l’aide.

En contrôlant nos données, nous nous assurons que de tels changements n’arrivent pas aux membres de l’équipe. Même si un fournisseur apporte une modification, nous pouvons “masquer” ces types de modifications à l’équipe dans notre couche de transformation – peut-être renommer la colonne “URL” en “Page de destination” dans une étape de nettoyage avant que les données n’entrent dans les mains de notre équipe.

Réutilisabilité

Garder nos données dans notre entrepôt nous donne également la possibilité de réutiliser les données. Nous pourrions avoir plusieurs produits qui ont une source de données en commun – si ceux-ci pouvaient utiliser les mêmes données, nous pourrions créer plus de valeur sans augmenter les coûts.

Nous pouvons également multiplier ces économies en créant des files d’attente vers des microservices qui dédupliquent et mettent en cache les données, ce qui réduit les coûts et augmente les délais d’exécution pour que les membres de l’équipe obtiennent des données.

Nos données peuvent circuler dans des tableaux de bord et des rapports évolutifs pour obtenir des informations que chaque membre de l’équipe SEO souhaite connaître (comme “Comment mon classement pour les mots clés prioritaires a-t-il changé d’une semaine à l’autre ?” ou “comment notre classement s’est-il amélioré après la mise en œuvre de cet audit de contenu ?”) mais il peut également être utilisé dans des analyses personnalisées par nos équipes d’analyse lorsque nous nous joignons aux données de recherche payante ou CRM d’un client.

Après seulement quelques mois de lancement de notre outil de suivi de classement interne, nous avons commencé à rencontrer des limites de taille de données dans notre outil de visualisation, et avec la croissance exponentielle de nos données, nous avons dû passer à une plate-forme de données capable d’interroger des pétaoctets contre des gigaoctets. Nous avons pu nous donner une certaine piste en mettant en œuvre des actualisations incrémentielles ou en filtrant les données qui n’étaient pas indispensables dans chaque tableau de bord (ce qui a entraîné un temps supplémentaire pour créer chaque produit de données).

Fin 2021, nous avons migré nos produits de données (y compris les données de suivi de classement) d’une plate-forme de données vers notre propre application Web alimentée par Analyses intégrées de Looker.

Parce que les données se trouvaient dans notre entrepôt, nous avons pu transformer les données et reconstruire en utilisant les meilleures pratiques pour notre nouvelle plateforme de données. Nous avons conservé notre ancienne plateforme jusqu’à ce que notre nouvelle plateforme soit prête à être lancée, ce qui n’aurait peut-être pas été possible sans la possibilité d’utiliser les mêmes données dans plusieurs applications.

Sécurité

L’un des principaux avantages de la création de notre propre outil de suivi des classements est la capacité à intégrer une sécurité robuste dans le système.non seulement en protégeant nos données dans notre entrepôt, mais en utilisant des autorisations pour créer une meilleure expérience pour les membres de notre équipe.

En associant les données de classement organique de nos clients aux données de notre CRM (comme “quel membre de l’équipe est affecté à quel client”), nous pouvons utiliser l’autorisation pour nous assurer que les données marketing du client ne sont visibles que par les membres de l’équipe travaillant sur ce client. Pour un membre de l’équipe Seer, lorsqu’il ouvre l’un de nos produits de données, il ne voit que les données de ses clients, ce qui facilite la navigation dans les produits.

Cela nous donne également la possibilité d’anonymiser les données et de les combiner pour obtenir des tendances et des informations au niveau de l’industrie, sans compter sur des méthodes manuelles plus sujettes aux erreurs de l’utilisateur.

Démocratisation

Avoir notre propre outil de suivi de classement signifie que toutes ces données circulent dans notre entrepôt de données, où nous pouvons les diriger de différentes manières pour que notre équipe les consomme – nous pouvons démocratiser nos données en permettant aux membres de notre équipe de prendre des décisions fondées sur les données et se sentent en confiance avec les données, quelle que soit leur expertise technique.

Vous souvenez-vous du membre de notre équipe avec le problème CSV ?

Ils avaient également ces données stockées localement dans un CSV sur leur ordinateur. Si un autre membre de l’équipe souhaitait créer une analyse différente avec les mêmes données, il devrait recommencer toutes ces étapes ou demander au premier membre de l’équipe de lui envoyer son CSV par e-mail. Tout ce travail et ces données sont décentralisés.

Le stockage des données dans notre entrepôt nous donne la flexibilité d’accorder aux membres de l’équipe l’accès aux mêmes données centralisées dans différents formats. Les produits de données qui s’adaptent à l’ensemble de l’équipe peuvent utiliser des lacs de données, mais nous créons également des tableaux miniatures et des vues organisées qui peuvent être visualisées dans Power BI, Google Data Studio, Tableau ou tout autre outil qu’un membre de l’équipe pourrait souhaiter utiliser – nous ne les forçons pas à choisir un outil spécifique, mais nous encourageons les membres de l’équipe à utiliser les outils qu’ils maîtrisent à l’aise.

Cela réduit également la formation et le temps de création – pour les rapports auxquels chaque membre de l’équipe, quelle que soit son expérience ou son rôle, devrait avoir accès, nous créerons un tableau de bord sur lequel il suffit de cliquer pour l’ouvrir. Ils n’ont pas besoin de télécharger les données, de les nettoyer et de les transformer, puis de créer des visualisations par-dessus. Il leur suffit de se connecter et d’ouvrir le tableau de bord et le tour est joué !

Pour les membres de l’équipe qui créent des tableaux de bord personnalisés dans le cadre de leur rôle, nous leur fournirons des données structurées qui peuvent les aider à établir rapidement la base de leur analyse, puis ils utiliseront leurs compétences pour la personnaliser.

Comment la création de notre propre produit de suivi des classements a-t-elle changé notre façon de travailler ?

En 2019, notre équipe a obtenu 24 millions de classements à une fréquence quotidienne. Nous avons suivi 12 millions de classements d’instantanés, mais environ 80 % étaient redondants (seulement 2,4 millions de classements uniques).

Au premier semestre 2020, nous avons obtenu 14 millions de classements à une fréquence quotidienne et un autre classement instantané de 5 millions (encore une fois, environ 80 % des classements instantanés étaient redondants – nous n’avions besoin que de 1 million). Après avoir migré vers notre outil de suivi des classements en juillet 2020, nous avons traité 46 millions de classements au total sur plusieurs fréquences.

En 2021, nous sommes revenus 56 millions de classements. 76% du total des classements ont été exécutés sur une fréquence unique. Seuls 9 % de ces mots clés ont été suivis quotidiennement.

Nous ne sommes qu’à quelques semaines de 2022 et nous sommes de retour 4,6 millions de classements jusqu’à présent, avec 65 % des classements suivis à une fréquence unique. Nous pouvons traiter jusqu’à 1M de mots clés par jouret que les données circulent dans plusieurs produits et outils sur notre plate-forme centralisée.

Et pas un seul membre de l’équipe n’effectue de vérifications quotidiennes pour voir si leurs données ont été renvoyées afin de pouvoir désactiver le suivi.

Vous voulez travailler avec des données plus volumineuses ?

Si vous êtes un consultant né qui aime résoudre des problèmes à grande échelle à l’aide de mégadonnées, explorez Seer Careers et postulez maintenant (nous embauchons des gens comme vous !)

REJOINS NOTRE ÉQUIPE


What do you think?

0 points
Upvote Downvote

Written by manuboss

4 meilleurs emplois SEO près de Miami, FL (sélectionnés à la main pour 2022)

Conseils PPC qui peuvent améliorer votre référencement