Archives par mot-clé : analytics

Journalisme et nombre de clics : 4 mauvais réflexes dont il faut se débarrasser

“La Nuit étoilée”, de Van Gogh, revisitée façon camembert (Mario Klingemann/Flickr/CC-BY).
“La Nuit étoilée”, de Van Gogh, revisitée façon camembert (Mario Klingemann/Flickr/CC-BY).

C’est une de mes marottes : ouvrir le tableau de bord Google Analytics d’un site, parcourir les courbes et tableaux qui s’affichent puis tenter d’en tirer les leçons et les actions à entreprendre.

Coup de chance pour les fadas de data comme moi, le thème était au cœur de la conférence annuelle  « Nouvelles pratiques du journalisme » organisée début décembre par l’Ecole de journalisme de Sciences Po. Un choix logique, vu l’importance que prennent ces données dans un univers médiatique toujours plus numérique.

J’ai manqué de temps à cette période pour en faire un compte-rendu, je profite donc de ce dimanche pluvieux pour rattraper mon retard —  comme toujours,  n’hésitez pas à me signaler erreurs ou approximations en m’écrivant un message ou en laissant un commentaire.

1. Les chiffres ne font pas des journalistes web des robots, mais plutôt des accros

Chercheuse au Tow Center, Caitlin Petre s’est rendu compte en visitant des rédactions que les journalistes passaient beaucoup de temps devant les tableaux de bord montrant le trafic de leur site.

Elle a aussi découvert que si le rôle de ces derniers suscitait des débats passionnés dans la profession, il n’y avait pas forcément beaucoup de travaux de recherche sur ce sujet.

Son étude The Traffic Factories (« les usines à trafic ») repose notamment sur des entretiens avec des employés de Chartbeat — un service de statistiques en temps réel très utilisé dans les médias –, du New York Times et de Gawker.

Elle en a tiré plusieurs enseignements :

  • Les chiffres suscitent des émotions fortes chez les journalistes parce qu’ils montrent en temps réel l’impact de leur travail, et peuvent susciter des explosions de joie comme des moments de profond abattement.  Une rédactrice lui a ainsi expliqué qu’elle était inquiète des effets qu’ils pouvaient avoir sur sa vie personnelle et qu’elle en parlait à son psy.
  • Les services comme Chartbeat sont très addictifs parce qu’ils sont conçus pour l’être, avec des interfaces simplifiées montrant des jauges et des compteurs qui bougent en permanence. En face, ceux qui publient et organisent le contenu jouent à un jeu auquel ils ont envie de gagner, mais qui n’a pas vraiment de fin,  un peu comme avec une machine à sous. Ou plutôt comme au poker : même si on est bon, il y a une part d’aléatoire importante dans le résultat final.
  • L’accès aux analytics renforce la concurrence entre les journalistes. A Gawker, il existe un classement individuel des employés selon le trafic que leurs articles apportent. Il est détesté en interne, notamment parce qu’une part importante du travail est collective et ne se mesure pas avec un tel outil. Et du coup, deux journalistes vont se mettre à comparer leurs chiffres alors qu’ils traitent chacun d’un secteur très différent, ce qui n’a pas de sens.
  • « Visiteurs uniques », « pages vues » et autres « taux de rebond » servent parfois davantage comme un outil de management que comme un outil éditorial. La direction va s’en servir pour « faire passer la pilule » lorsque des décisions sont prises.  « Si je dois trouver un argument pour convaincre mes troupes, je vais voir les stats », explique ainsi un chef du New York Times.

2. Facebook est important, mais ce n’est pas une raison pour faire n’importe quoi

« Les médias se comportent avec les géants du Web comme des ados de 13 ans se comportent avec One Direction », déplore Chris Moran, responsable de l’analyse du trafic au Guardian, qui recommande aux directions de garder la tête froide quand les « Gafa » leur proposent une nouveauté.

Dernier exemple en date : le service Instant Articles de Facebook, qui permet, quand on est sur son mobile, de lire un article sans quitter Facebook et après un temps de chargement très réduit — en France, Le Parisien et Libération l’ont notamment adopté.

Les premiers titres à l’utiliser se sont aperçu qu’en échange de leurs productions, le réseau social ne leur donnait accès qu’à peu de statistiques. Or,  « quand on donne ainsi du contenu à une plateforme extérieure, on crée de la distance avec le média d’origine, explique Renée Kaplan, qui étudie ces chiffres au Financial Times. Le risque est que le gain d’audience ne soit pas à la hauteur de ce sacrifice ». D’où l’importance d’y avoir accès, si possible en détail.

Et les contenus eux-mêmes ?  « Un bon réflexe est de se dire qu’on n’écrit pas pour Facebook, mais pour son lecteur sur Facebook », décrit Cécile Dehesdin, la boss de Buzzfeed France. Chris Moran ne dit pas autre chose :

« L’intérêt des statistiques, c’est qu’elles aident à déterminer quel est le type de journalisme que les gens ont envie d’avoir.

Si on prend en compte celles de Facebook, ça ne veut pas forcément dire qu’il faut publier des papiers sur Justin Bieber, mais peut-être qu’il faut privilégier des sujets plus simples, par exemple. […]

Pour moi, la montée en puissance de Facebook est une bonne nouvelle parce que ça donne plus de visibilité aux contenus longs et fouillés, qu’on ne peut pas garder éternellement en haut de la page d’accueil ».

3. Ce n’est pas parce que les chiffres sont trompeurs qu’il faut s’en désintéresser

C’est l’histoire d’un article publié sur le site du Guardian qui semblait passionner les internautes : le temps médian qu’ils passaient sur la page atteignait 54 secondes, une éternité ! Un peu plus tard, patatras : ce chiffre tombe à 5 secondes seulement.

Entretemps, l’article avait été repéré par un contributeur de Reddit, site de partage de liens très populaire mais dont les visiteurs « zappent » facilement d’un sujet à l’autre. « Le deuxième chiffre n’est donc pas un indicateur du comportement des lecteurs de l’article, mais tout simplement de celui des internautes  de Reddit », analyse Chris Moran.

Les biais de ce type sont nombreux dès qu’on commence à mettre son nez dans les tableaux de Google Analytics ou dans ceux d’AT Internet. Surtout si on y ajoute une dose de mauvaise foi, comme le raconte Chris Moran :

 « Quand un article fait peu de pages vues, on se dit que c’est la faute aux internautes qui sont stupides. Dans le cas inverse, on se dit que c’est la preuve que le journalisme de qualité marche »

Mais ça ne veut pas dire qu’il faut laisser cet exercice aux services marketing ou abonnement. « Si vous ne regardez pas vos “datas”, vous ne regardez pas vos lecteurs, assène Cécile Dehesdin. Et si vous ne regardez pas vos lecteurs, pourquoi faites-vous ce métier ? Nous écrivons parce que nous voulons être lus. » 

4. OK, les stats, c’est compliqué, mais il ne faut pas les laisser aux seuls spécialistes

Pour Chris Moran, il faut  « communiquer beaucoup de données aux journalistes, mais en les choisissant avec précaution », et en prenant le temps de les expliquer :

« Je suis nul en maths, et je pense que ça m’aide dans mon travail, parce que je suis mieux à même d’expliquer ces sujets à des journalistes qui sont aussi nuls que moi. »

Et pour que ça fonctionne, il faut qu” « une conversation honnête et transparente à propos de la qualité des données se tienne au sein de la rédaction », conclut-il.  Trop souvent,  « les gens ne savent pas très bien ce que le management ou le service technique fait de ces données », ajoute Caitlin Petre.

C’est vrai qu’en matière de journalisme , il est plus difficile de tirer les leçons des statistiques que pour un site de e-commerce ou un moteur de recherche. Mais  « le journalisme n’existe que dans le contexte de son public, c’est pour ça qu’on cherche à augmenter la taille de dernier », estime Chris Moran.

Les médias sur abonnement ont un avantage : leur lecteur ont tapé un identifiant et un mot de passe pour entrer, et on sait beaucoup mieux qui ils sont en termes d’âge, de revenus ou de situation familiale. Renée Kaplan :

« Pour chacun d’entre eux, on s’intéresse à ce qu’on appelle le RFV, comme recency, frequency, volume. Des chiffres comme le temps écoulé depuis sa dernière connexion, la fréquence de ses visites, le nombres d’articles qu’il a lu.

C’est une combinaison qui est au cœur de la mesure d’audience web, et pas seulement dans le payant. »

Pour aller plus loin, le Financial Times et en train de revoir son outil à destination des journalistes, pour répondre à deux grandes familles de question:

  • Est-ce que mon article a marché ?
  • Quel type d’action a-t-il provoqué ?

L’ambition commune, c’est d’être informé par les données (data-informed) et pas guidé par elles (data-led).

Pourquoi les sites d’actu se servent mal de leurs stats, et comment ça peut changer

La salle de contrôle des vols spatiaux de la Nasa en 2005 (Nasa).
La salle de contrôle des vols spatiaux de la Nasa en 2005 (Nasa).

Ça fait partie de ces conférences où l’on se surprend à applaudir et à encourager mentalement l’intervenant pendant son exposé, tant ce qu’il dit paraît pertinent.

Stijn Debrouwere, spécialiste des statistiques des sites de médias, parlait jeudi au Festival international de journalisme de Pérouse. Voici une retranscription que j’espère fidèle, mille excuses d’avance si j’ai déformé un propos ou raté une idée importante

Stijn Debouwere. Je travaille sur les statistiques des sites d’information depuis quatre à cinq ans, j’ai commencé dans des médias locaux (télévisions et quotidien), ensuite j’ai rejoint le service d’analyse des données du Guardian. Récemment, j’ai réalisé une mission pour le Tow Center  sur ces sujets.

J’ai pu voir des statistiques de beaucoup d’entreprises différentes, et je me suis aperçu que les mêmes problèmes apparaissent un peu partout.

Quand on parle des statistiques d’un site, bien souvent l’image mentale qui se forme est celle d’une salle de contrôle sophistiquée, comme celle de la Nasa à Houston, où chaque employé a plein de moniteurs différents.

Travailler de cette façon a bien marché pour la Nasa : dans le cas d’Apollo 13, c’est même ce qui a permis de ramener les astronautes sur Terre malgré les défaillances, grâce à toutes les données à disposition que les ingénieurs ont pu analyser pour déterminer la marche à suivre.

Ça peut aussi marcher dans des start-ups ou des entreprises centrées sur les nouvelles technologies, on voit qu’elles réussissent à lever des fonds ou réaliser un bon chiffre d’affaires en utilisant correctement les indicateurs dont elles disposent.

Mais ça ne marche pas aussi bien pour les médias. On voudrait des outils simples, objectifs et qui aident à la décision, et ce qu’on a bien souvent, c’est du « bruit », des fausses pistes et un miroir aux vanités.

Et quand on utilise mal les statistiques, ça peut avoir des conséquences néfastes, comme ces posts sur Facebook où on « optimise » les titres pour chasser les clics, avec des formules du type « vous n’allez pas croire ce qui arrive à ce chat après ça ».

Selon le consultant américain Peter Drucker, la meilleure façon de supprimer toute perception est d’inonder les sens avec des stimuli. Ça veut dire que les services que vous utilisez doivent être configurés pour vous donner uniquement l’information que vous souhaitez avoir. Sinon, vous ne pourrez rien faire.

Dans les rédactions aujourd’hui, les métriques se sont peu à peu accumulées : Google Analytics, Facebook Insights, Twitter Analytics… Ce sont de bons outils, mais on se retrouve avec des dizaines de tableaux de bord différents, tous mis à jour constamment.

Il faut se poser des questions de base. Pourquoi est-ce qu’on regarde des stats ? Parce qu’on veut pouvoir en tirer des conclusions. Mais en réalité, peu de rédactions sont capables de réagir immédiatement à une donnée, par exemple faire un article quand un sujet est en train de buzzer.

Je croise des journalistes très accros à Chartbeat [service de statistiques sur la fréquentation de son site mesurées en temps réel, ndlr], il faudrait leur passer sur le corps pour leur enlever ça. Mais quand je leur demande à quoi ça leur sert vraiment, ils ne savent pas trop quoi répondre.

Et vous avez sûrement déjà assisté à une réunion où quelqu’un débarque avec une grande idée, un changement à faire sur le site, en ayant au préalable sélectionné précisément LA donnée qui va dans son sens, en ignorant tout le reste.

Sans parler des biais qui peuvent se glisser. Il y a quelques années, YouTube a fait un gros effort pour optimiser les pages, et accélérer le chargement des vidéos. Quand ils ont mis ces changements en production, ils se sont rendus comptes que les métriques allaient dans le mauvais sens, qu’en fait le temps de chargement des vidéos avait tendance à augmenter.

C’est une donnée cruciale pour eux, donc ils avaient un vrai problème. En analysant davantage, ils se sont aperçus qu’ils avaient tellement bien travaillé que des internautes avec des connexions lentes ou de vieux ordinateurs s’étaient mis à regarder des vidéos, alors qu’avant ils ne pouvaient pas du tout le faire.

Et ce sont ces nouveaux utilisateurs qui faisaient plonger les statistiques, parce que les vidéos mettaient beaucoup de temps à se charger pour eux — mais au moins, ils pouvaient les voir. Les mêmes données qui les ont induits en erreur leur ont permis de comprendre vraiment ce qui se passait, en les examinant de plus près.

Sachant tout ça, qu’est-ce qu’on peut faire pour mieux travailler les statistiques ?

1. Avant de regarder vos statistiques, regardez votre site

D’abord, il faut garder en tête qu’il y a plein de changements possibles sans même avoir à les consulter, il suffit d’ouvrir les yeux.

On sait par exemple que les newsletters sont une façon de gagner du trafic et d’avoir des lecteurs plus fidèles. Regarder votre site : combien de temps vous faut-il pour vous inscrire à la newsletter ?

Même remarque pour le placement des boutons de partage des réseaux sociaux : est-ce qu’ils sont accessibles, est-ce qu’ils sont assez visibles ? Ce sont des choses très simples à corriger.

Un autre conseil que je donne, c’est d’avoir une check-list à remplir avant toute publication d’un contenu.

Je m’aperçois que dans beaucoup de sites, il y a toute une partie du contenu qui n’est jamais mis en avant nulle part, ni sur la page d’accueil, ni sur les réseaux sociaux. Il faut passer par une sous-sous-rubrique pour y accéder. Même leur auteur ne tweete pas un lien vers son article une fois publié !

Il faut avoir une stratégie interne pour chaque publication, par exemple programmer des tweets avec outils comme Buffer pour couvrir les différents fuseaux horaires. Vérifier que l’article comporte bien des liens externes et internes, c’est aussi important, et c’est le genre de choses qu’on peut mettre dans une check-list. Vous voyez, il y a zéro technologie en jeu ici, juste du bon sens.

2. Ne vous contentez pas des valeurs proposées par défaut

Ensuite, il faut mesurer les bonnes choses. Trop souvent, on se contente des métriques qui sont proposées par défaut. Si Google Analytics vous propose trois mesures quand on charge la page (par exemple « sessions », « utilisateurs » et « pages vue »), ça ne veut pas forcément dire que ce sont ces trois métriques-là que vous devez surveiller.

Au début, il était beaucoup question de pages vues, ensuite de « reach », après d’engagement. Je me souviens qu’un type a publié une tribune un jour sur Medium pour expliquer qu’il fallait vraiment regarder le temps passé sur le site, que c’était ça l’important.

Des clients ont commencé à m’appeler et à me dire qu’ils voulaient faire pareil, et je leur ai dit : « Vous allez vraiment changer complètement de stratégie, juste parce qu’un type a écrit ça sur Medium ? »

3. Regardez les ratios plutôt que les totaux

Il faut s’intéresser davantage aux ratios qu’aux valeurs absolues. Le nombre de pages vues, par exemple, ça ne m’intéresse pas forcément si je le prends isolément. En revanche, si je compare avec le nombre d’articles publiés dans la journée, ça peut devenir intéressant.

Si le nombre de pages vues aujourd’hui est le double de celui d’hier et que le nombre d’articles publiés a doublé aussi, ce n’est pas une bonne nouvelle, ça veut dire qu’on n’a pas amélioré la visibilité de chaque contenu. Regarder le nombre de pages vues par auteur, ça peut être bien aussi.

Des rédacteurs en chef me disent : « On ne publie pas beaucoup le week-end parce qu’on n’a pas beaucoup de visiteurs le week-end. » Mais en fait, c’est parce qu’ils publient peu le week-end qu’ils n’ont pas beaucoup de trafic le week-end — en tout cas, c’est une hypothèse que je ferais…

Si on regarde le nombre de pages vues par article, à chaque heure du jour ou bien pour chaque jour de la semaine, on peut sortir de ce type de problème d’œuf et de poule.

4. Suivez moins d’indicateurs mais suivez-les mieux

Il faut aussi réduire le nombre de métriques surveillées. Se concentrer sur la fidélité des lecteurs par exemple, c’est un bon réflexe, mais ça peut vous mettre dans des situations surprenantes. Mettons qu’un de vos articles devienne viral : ça va faire chuter vos indicateurs de  fidélité, parce que vous allez attirer soudain des gens qui ne viendront qu’une fois chez vous, pour un seul contenu.

Ce que je préfère observer, c’est l’évolution des frequent users, les lecteurs réguliers, une notion utilisée par les entreprises technologiques : par exemple, on regarde l’évolution de ceux qui ont passé au moins dix sessions dans les trois derniers jours. Et là, on se rend compte que c’est une courbe beaucoup plus stable, les pics de trafic sont gommés.

Quand Facebook s’est lancé, on ne pouvait s’y enregistrer qu’avec e-mail hébergé par une série d’universités américaines. Ça faisait donc très peu d’utilisateurs en valeur absolue. Mais les fondateurs ont senti qu’ils tenaient un service intéressant quand ils se sont aperçus que les gens restaient très longtemps quand ils venaient.

Dans les rédactions, on ne mesure pas assez la qualité des contenus. Une expérience simple à réaliser, c’est de demander aux journalistes de donner une note de 1 à 10 au contenu qu’il vient de publier. On peut demander aux lecteurs de le faire aussi. Au final, cette statistique obtenue de façon artisanale est aussi importante que les chiffres de Google Analytics.

5. Cherchez un bon compromis plutôt qu’un objectif isolé

Plutôt que des cibles ou des objectifs, il faut chercher des sweet spots, de bons compromis. « Surperformer » peut être aussi mauvais pour un site que « sous-performer ».

Mettons que vous vouliez absolument multiplier le nombre de contenus en ligne. Vous allez vous organiser pour que vos auteurs publient 50 articles chaque semaine. Votre trafic va augmenter, OK, ça peut sembler super. Mais la qualité de ce qui est produit va plonger, et si vous ne la mesurez pas, vous ne le saurez jamais.

Du coup on va plutôt se dire : peut-être qu’on peut réduire un peu la longueur des articles, ce qui nous permettrait d’en publier un peu plus, sans que le lecteur ne se sente lésé.

J’entends dire : « Notre objectif est d’attirer un million de visiteurs en plus en provenance des réseaux sociaux. » OK, mais quel effet ça va avoir sur les autres métriques ?

Sur le Web, on s’est vite aperçu qu’il n’y avait pas de corrélation entre la longueur d’un article et le nombre de visites qu’il reçoit. Ce n’est pas parce que le texte est plus long qu’il sera plus vu.

Du coup, certains ont dit : il faut faire court, pour faire plus de pages vues. D’accord, mais on en fait quoi ? La plupart des sites ont déjà trop d’inventaire, les campagnes publicitaires ne sont pas assez nombreuses pour remplir tous les emplacements.

Si vous ne le monétisez pas, ce trafic supplémentaire, c’est un trafic-poubelle : en vérité, vous n’en voulez pas ; ce que vous voulez, ce sont des lecteurs qui reviennent souvent.

Les statistiques doivent être au service d’un projet, ce ne sont pas des buts en soit.

Quand je parle à des gens des entreprises de technologie, ils se demandent comment utiliser leurs statistiques pour améliorer le service qu’ils rendent aux internautes ? Mais côté médias, la question qu’on me pose c’est : quelle est la statistique que je dois cibler ? Ils ne veulent pas faire grandir le site, le rendre meilleur. Juste faire monter des chiffres.

6. Faites des tests sur la durée avant de décider

Il ne faut pas hésiter à faire des expériences, comme celle des articles evergreen de Vox : ils ont pris des contenus forts publiés plusieurs mois avant, ils les ont mis à jour et republié. Et ils ont gagné beaucoup de pages vues, pour des contenus qui étaient enterrés dans les archives. Certains lecteurs les avaient ratés, d’autres les avaient oubliés, dans tous les cas ils étaient contents de les lire.

Slate aussi tente des choses : par exemple, ils demandent à leur rédacteur de faire du  trafic whoring pendant toute une journée ; chasser les clics avec un maximum de contenus très attractifs. En échange, ils vont avoir deux ou trois jours sans contraintes, pour creuser un sujet.

Même chose avec Quartz, et leur théorie sur les contenus de longueur moyenne, qu’il faut éviter de publier, pour privilégier les articles soit plus courts, soit plus longs [la Quartz curve, ndlr].

Il faut cependant laisser ces expériences vivre assez longtemps. Un seul article sur une nouvelle thématique ne suffit pas à savoir s’il faut lancer une nouvelle rubrique, pourtant je l’ai vu faire aussi.

D’abord parce que Google Analytics pratique l’échantillonnage : les calculs ne sont pas forcément fait sur l’ensemble des stats, mais sur un échantillon, pour que ça aille plus vite. Du coup un changement ponctuel aura moins d’impact.

Mais surtout parce qu’il y a un tas de facteurs extérieurs qui peuvent influer énormément, comme l’auteur de l’article ou l’heure de publication.

7. Montrez à vos journalistes des mesures qui ont du sens pour eux

Une bonne pratique, c’est aussi de proposer la bonne métrique à la bonne personne. Souvent, la frustration ressentie face aux statistiques vient du fait qu’on n’a pas vraiment de prise sur les chiffres qu’on vous donne.

Par exemple, améliorer la visibilité de l’abonnement à la newsletter, c’est un objectif intéressant pour designer, mais pas pour le journaliste, qui ne peut rien faire pour changer ça.

Pour un journaliste, savoir le nombre de visites que son article a fait, ça n’est pas très utile finalement, puisqu’il a déjà terminé son travail.

Même chose si vous mettez un grand panneau lumineux dans la rédaction avec des informations du type : « les pages vues ont baissé de 5% par rapport à hier ». Le journaliste va se dire : « OK, mais qu’est-ce que je peux y faire ‚à mon niveau ? » Au final, ça aura des effets néfastes sur sa motivation.

8. Analysez vous-même vos données

Quand vous regardez vos statistiques, sachez que le bouton « Exporter » est votre meilleur ami. Récupérer les données brutes et les analyse vous-mêmes dans un tableur de type Excel, ça va vous permettre de creuser davantage et de garder le plus pertinent.

Au final, les stats en temps réel ont leur intérêt, c’est cool à regarder, ça donne l’impression que vous êtes dans la salle de contrôle de la Nasa. Mais régler des petits problèmes sur le site, cocher des cases sur une check-list, c’est peut-être moins prestigieux, cependant c’est ça  qui fait la différence. Et pour les médias il y a de gros gains à faire avec un minimum d’efforts, dans certains cas il suffit de se baisser pour les ramasser.

L’économiste Robert Solow a décrit dans les années 70 un paradoxe : les entreprises disposaient d’ordinateurs, de tableurs (c’était nouveau à l’époque), mais pourtant la productivité ne s’est pas vraiment améliorée à cette période.

C’est un peu pareil pour les médias : les statistiques ont le potentiel de vraiment améliorer les choses, mais ce n’est pas le cas pour le moment. D’où l’intérêt d’écouter Peter Drucker, et d’arrêter de se laisser submerger par elles.

Mis à jour le 17/4 à 21h30. Quelques précisions et menus changements grâce aux retours du conférencier que j’ai reçus par e-mail. Une erreur corrigée : c’est YouTube et non Facebook qui a eu des stats surprenantes après avoir optimisé le chargement des vidéos.

Stijn Debrouwere a eu la gentillesse d’y ajouter une série de liens pour ceux qui souhaitent prolonger leur réflexion sur le sujet :