Par essence, les « vanity metrics » sont inconstantes, faussement encourageantes et toujours séduisantes. Elles sont bien connues des analystes de la data, qui, pour la plupart, les réprouvent secrètement. En plus de comprendre ce que sont ces indicateurs, il est important de bien comprendre pourquoi ils ne sont pas efficaces. Dans cet article, nous allons définir le concept des « vanity metrics », vous aider à les identifier, en proposer quelques exemples et nommer les indicateurs alternatifs à privilégier.
À quoi correspond le concept de « vanity metrics » ?
Il s'agit d'indicateurs qui semblent revêtir un attrait tout particulier, mais ne vous permettent pour autant pas de comprendre vos performances ni d'orienter votre future stratégie. Ces indicateurs sont généralement exploités lorsqu'ils permettent de donner une impression d'amélioration, mais ne donnent lieu à aucune mesure et ne sont associés à aucun facteur contrôlable ou reproductible. Ils s'opposent généralement aux indicateurs exploitables, à savoir des données qui vous aident à prendre des décisions, à atteindre vos objectifs ou à développer vos activités.
Il est important de noter que tout type d'indicateur peut être une « vanity metric ». Certains signes ne trompent pas : il s'agit d'indicateurs attrayants en apparence, mais dénués de substance. Un nombre total de 10 000 comptes enregistrés peut par exemple sembler impressionnant, mais peu perdre tout intérêt si le nombre d'utilisateurs actifs n'est que de 100 chaque mois. Pour autant, ce nombre d'utilisateurs actifs peut lui aussi constituer une « vanity metric » s'il n'est pas correctement analysé.
Pour une entreprise, il n'y a pas de mal en soi à être fière des chiffres qu'elle génère et de l'image que ceux-ci renvoient de ses activités et de ses services. Pourtant, les gros chiffres mis en avant pour décrire une croissance exceptionnelle feront l'objet de communiqués de presse sans grand intérêt et ne sont que rarement liés à une activité ou un projet.
Les indicateurs futiles sont souvent décriés en raison de leur mesure exagérément simpliste, et de leur manque de nuance et de contexte. Ils sont souvent trompeurs et ne permettent pas de définir des améliorations pertinentes. Ils peuvent effectivement être utiles pour flatter votre ego et éblouir les millions de followers de votre marque sur Twitter, mais le nombre de followers importe peu si vous n'êtes pas en mesure de les transformer en ventes.
En somme, il s'agit d'indicateurs impressionnants en apparence, mais dénués de sens.
3 points à garder à l'esprit pour identifier les « vanity metrics »
Avant d'aborder les différents aspects généraux, nous vous recommandons de vous documenter sur les KPI SMART, à savoir les indicateurs qui sont mesurables, réalistes et délimités dans le temps. L'application de ces critères SMART est une méthode éprouvée pour éviter la plupart des écueils liés aux indicateurs.
1. Quelle décision de gestion l'indicateur permet-il de prendre ?
Il peut être compliqué d'inspecter de grands volumes de données pour distinguer celles qui sont utiles de celles qui n'en ont que l'apparence. Si vous n'êtes pas sûr de savoir si un indicateur est futile ou non, posez-vous une question simple : « Cet indicateur peut-il m'aider à mettre en place les bonnes actions ou à prendre une décision éclairée ? »
SI la réponse est négative ou si vous ne pouvez pas répondre à cette question, il est probable que l'indicateur ne soit pas pertinent.
Les indicateurs exploitables et pertinents vous aident dans la prise de décisions et donnent des indications et du contexte sur les projets de votre entreprise et leurs performances. Ils vous permettent d'ajuster vos stratégies marketing pour attirer des clients, ou de peaufiner votre approche commerciale dans un secteur particulier. Les données que vous suivez et utilisez doivent vous aider à améliorer vos résultats.
Exemple : Prenons une landing page permettant de télécharger un ebook. Mesurer le nombre de pages consultées ne vous permet pas de prendre une décision de gestion, mais l'analyse du taux de téléchargement pourrait vous inciter à changer la formulation du texte sur votre page, à rajouter des boutons d'invite, ou à introduire un formulaire.
2. Que pouvez-vous faire pour reproduire ce même résultat ?
Pouvez-vous gérer les causes et les conséquences qu'illustrent vos données ? Il n'est guère utile d'observer les phénomènes aléatoires, car la foudre ne tombe que rarement au même endroit. Des consultations générées par un contenu devenu viral sont formidables en soi, mais ne garantiront pas votre réussite si vous n'êtes pas en mesure de capitaliser sur ce phénomène,
et ces données perdront encore de leur utilité si vous n'avez pas anticipé ce soudain gain de popularité (voir les critères SMART cités plus haut). Pouvez-vous reproduire les résultats obtenus de manière systématique ? Si vous n'êtes pas en mesure de contrôler les variables ni de reproduire le processus permettant d'obtenir un indicateur similaire sur le plan statistique, vous ne pouvez pas améliorer ce processus. Et si vous ne pouvez pas améliorer ce processus, vous ne pourrez pas améliorer cet indicateur, qui n'a donc que peu d'intérêt.
Exemple : Prenons un quotidien avec un grand nombre d'abonnés, comme le New York Times. De temps à autre, le nombre total d'abonnés connaît un pic important, lorsque le Président des États-Unis tweete à son sujet. Néanmoins, ce résultat est très intimement lié à un facteur externe incontrôlable, et il n'est pas possible de le reproduire de manière fiable.
3. Les données sont-elles une source d'informations fiable ?
Bien souvent, les données peuvent être manipulées, ou artificiellement grossies en engageant des budgets supplémentaires. Les indicateurs liés aux médias sociaux sont par exemple intéressants à observer, mais le simple fait de pouvoir faire gonfler les chiffres à coups de dollars les rend très peu fiables au final. En effet, vous pouvez obtenir 90 000 followers pour à peine 50 $, et vous créer une identité de star du Net en seulement quelques heures. Cela signifie que le nombre de followers de votre marque est une « vanity metric », mais que vous pourriez capitaliser dessus en optimisant le nombre de followers que vous pouvez acheter avec 50 $.
Par ailleurs, vous devez déterminer si votre source de données est fiable ou non, ou si les données sont influencées par des algorithmes tiers, comme ceux de Google, ou par un élément de saisonnalité que vous ne pouvez pas contrôler. Une visualisation d'un mois sur l'autre peut paraître impressionnante quand elle représente les fêtes de fin d'année ou la fin d'un trimestre. De tels facteurs ne rendent pas vos données inutiles de fait, mais doivent être pris en considération dans le choix de vos indicateurs.
Exemple : Revenons aux médias sociaux. En janvier 2018, Facebook a radicalement changé les algorithmes de son fil d'actualité, qui donnent à présent la priorité aux actualités locales. En conséquence, les médias locaux ont gagné en valeur par rapport aux médias internationaux, ce qui peut paraître contradictoire quand on observe les différentes plates-formes de médias sociaux et les autres réseaux de distribution.
Les « vanity metrcis » peuvent être difficiles à identifier, et peuvent varier en fonction des besoins d'un secteur ou d'une entreprise. La principale question que vous devez vous poser est de savoir si un indicateur particulier va vous aider à atteindre vos objectifs.
Exemples de « vanity metrics »
Rappelez-vous que tout type d'indicateur peut être futile, et que tout dépend de votre analyse. Voici une liste d'exemples d'indicateurs susceptibles d'être des « vanity metrics ».
Pages consultées
Il s'agit de l'un des exemples les plus courants. En apparence, le nombre de pages consultées est formidable. Vous vous dites que votre public aime votre site, ou votre marque. Il peut s'agir d'un indicateur puissant si vous réussissez à le transformer en quelque chose de concret ou à démontrer comment il est lié à vos objectifs. Pourtant, en soi et sans contexte, il ne donne qu'une apparence de popularité. Il est plus important de savoir exactement qui consulte votre site et comment convertir ces visites en ventes.
Alternatives : Au lieu de vous limiter aux pages consultées, focalisez-vous sur la qualité et le comportement de ces vues. Analysez plutôt le taux de rebond, le temps passé sur une page, le nombre de sessions et de pages par sessions, ou encore le taux de clic des appels à l'action. Si le trafic généré par les liens commerciaux vers le site d'une de vos marques est important, vous pouvez envisager d'analyser le trafic que vous gagnez par dollar dépensé en campagne publicitaire, ou le trafic de marque direct et généré par les résultats naturels, pour déterminer si vos campagnes incitent davantage votre audience à rechercher votre nom de marque. Envisagez les indicateurs suivants :
- Taux de rebond
- Temps passé sur la page
- Sessions
- Utilisateurs uniques
- Pages par session
- Pages par utilisateur par mois
- Impact sur les recherches de marque naturelles
- Impact sur le trafic direct
- Coût par lead, leads qualifiés par le marketing et leads qualifiés par les ventes
Total cumulé des clients
Cet indicateur communique lui aussi une impression positive, mais hors contexte. Non seulement ce chiffre ne peut pas baisser, mais il ne vous donne aucune information sur la santé de vos activités. Vous trouverez au bas de cette page un très bon exemple de mauvaise utilisation de cet indicateur.
Alternatives : Vous pouvez mieux exploiter vos données clients en analysant combien vos clients dépensent par commande, ou encore en comparant le nombre d'achats répétés au nombre de commandes ponctuelles. Dans le secteur du SaaS, le nombre d'abonnements, de renouvellements ou de mises à niveau effectuées, le montant des dépenses consacrées aux formations ou le développement des comptes sont autant d'indicateurs exploitables et pertinents. Envisagez les indicateurs suivants :
- Montant par commande
- Articles par commande
- Pourcentage de nouveaux clients/d'anciens clients
- Abonnements actifs
- Taux de renouvellement
- Taux de mise à niveau
- Dépenses consacrées aux formations par compte
- Opportunités générées par les comptes existants
Total cumulé des achats ou des téléchargements
Cet indicateur concerne particulièrement les logiciels, jeux, versions d'évaluation ou applications. Tout comme le nombre total de clients, c'est un chiffre qui ne peut qu'augmenter, mais ne montre pas ce qui se cache derrière vos données. Atteindre le million de téléchargements peut être grisant, mais quel intérêt si 900 000 d'entre eux se sont ensuite soldés par une désinstallation de votre produit.
Alternatives : Au lieu d'utiliser un total cumulé, envisagez des totaux d'une année ou d'un mois sur l'autre, associés à des différences de pourcentage. Au lieu de compter le nombre d'achats ou de téléchargements, vous pourriez vous focaliser sur les statistiques d'utilisation, comme le nombre d'achats effectués par les utilisateurs dans une application par rapport à sa fréquence d'ouverture, le nombre d'utilisateurs qui conservent l'application ou la désinstallent, le taux de conversion après une période d'évaluation, les renouvellements d'abonnement, ou encore les tendances de croissance comme l'évolution du nombre de téléchargements naturels d'une année sur l'autre. Envisagez les indicateurs suivants :
- Total des achats d'une année sur l'autre et évolution en pourcentage d'une année sur l'autre
- Temps passé dans le logiciel par ouverture/utilisateur
- Taux de désinstallation
- Taux de conversion après période d'évaluation
- Taux de renouvellement
- Taux de mise à niveau
- Croissance générée par les résultats naturels d'une année sur l'autre
- Coût de la croissance générée par les liens commerciaux
- Croissance du programme de sites référents
- Ajustements saisonniers
- Données de télémétrie ou relatives au comportement des utilisateurs : utilisation active, fréquence d'utilisation d'une fonction ou action spécifique, etc.
Followers sur les médias sociaux
Ces statistiques sont également trompeuses et ne reflètent pas la qualité ni l'impact de votre présence sur les plates-formes sociales. Par ailleurs, ces chiffres peuvent être gonflés par l'achat de followers ou de likes. Bien évidemment, moyennant finance, vous pouvez obtenir 10 000 likes sur Instagram ou 600 nouveaux followers sur Twitter, mais ces chiffres ont rarement des retombées en termes de ventes ou d'engagement. Dans de rares cas, il arrive qu'une nouvelle marque attire de vrais nouveaux followers en affichant un nombre élevé de followers, mais il faudrait alors pouvoir analyser l'augmentation du nombre de followers découlant de l'attrait d'un nombre élevé de followers. Au final, un like n'est jamais que le résultat d'un clic ponctuel, de la part d'un utilisateur ou d'un bot.
Alternatives : Un nombre élevé de followers peut vous donner l'illusion qu'un grand nombre de personnes s'intéressent à vous, mais il existe des indicateurs plus utiles relatives au trafic, à l'engagement et à la part de marché par rapport à la concurrence. Quel est le pourcentage de vos followers qui interagissent avec votre marque ? Combien d'entre eux se rendent sur votre site et deviennent de véritables clients ? Vous pouvez diviser vos followers selon la fonction annoncée dans leur biographie ou vous focaliser sur vos followers les plus fidèles, dont l'influence est plus forte. Envisagez les indicateurs suivants :
- Sessions provenant des médias sociaux
- Taux de clic
- Engagement par publication/follower
- Part de marché par rapport à la concurrence
- Analyse des sentiments
- Mentions et partages par des followers VIP
Illustration concrète des implications des « vanity metrics »
Le secteur du jeu et du divertissement sur console regorge de « vanity metrics » vouées à générer du buzz. En 2016, Microsoft a publiquement abandonné une « vanity metric » très répandue, à savoir les ventes de ses consoles. Au lieu de communiquer sur le total cumulé des ventes de consoles Xbox, Microsoft a choisi de se focaliser sur le nombre mensuel d'utilisateurs actifs pour son service Xbox Live.
Phil Spencer, responsable de la branche Xbox, explique ce choix : « Ce qu'il y a de bien avec le nombre de ventes d'une console, c'est que ce chiffre ne peut qu'augmenter. Mais il ne reflète en rien la santé réelle de votre écosystème. Nous nous focalisons sur la base des utilisateurs actifs chaque mois car nous savons qu'ils font le choix conscient d'allumer leur console, de jouer à nos jeux et d'utiliser notre plate-forme et notre service. Nous choisissons désormais de mesurer notre réussite en fonction du degré de satisfaction et d'engagement de ces clients. »
Dans ce cas précis, le total cumulé des ventes de consoles constituait une « vanity metric ». Ce chiffre ne peut jamais baisser, n'est pas un bon indicateur de réussite et était uniquement lié aux ventes ponctuelles de console, alors que les abonnements au service sont récurrents et plus lucratifs. L'ancien indicateur ne faisait pas de distinction entre une vente à un nouvel utilisateur passionné et une vente à un utilisateur qui délaisse sa nouvelle console dans un coin du salon. Même s'il peut être risqué de baser son reporting sur quelque chose d'aussi volatile que le nombre d'abonnements actifs, cet indicateur est bien plus pertinent et reflète mieux la santé et la longévité du service.