Ça fait partie de ces conférences où l’on se surprend à applaudir et à encourager mentalement l’intervenant pendant son exposé, tant ce qu’il dit paraît pertinent.

Stijn Debrouwere, spécialiste des statistiques des sites de médias, parlait jeudi au Festival international de journalisme de Pérouse. Voici une retranscription que j’espère fidèle, mille excuses d’avance si j’ai déformé un propos ou raté une idée importante

Stijn Debouwere. Je travaille sur les statistiques des sites d’information depuis quatre à cinq ans, j’ai commencé dans des médias locaux (télévisions et quotidien), ensuite j’ai rejoint le service d’analyse des données du Guardian. Récemment, j’ai réalisé une mission pour le Tow Center  sur ces sujets.

J’ai pu voir des statistiques de beaucoup d’entreprises différentes, et je me suis aperçu que les mêmes problèmes apparaissent un peu partout.

Quand on parle des statistiques d’un site, bien souvent l’image mentale qui se forme est celle d’une salle de contrôle sophistiquée, comme celle de la Nasa à Houston, où chaque employé a plein de moniteurs différents.

Travailler de cette façon a bien marché pour la Nasa : dans le cas d’Apollo 13, c’est même ce qui a permis de ramener les astronautes sur Terre malgré les défaillances, grâce à toutes les données à disposition que les ingénieurs ont pu analyser pour déterminer la marche à suivre.

Ça peut aussi marcher dans des start-ups ou des entreprises centrées sur les nouvelles technologies, on voit qu’elles réussissent à lever des fonds ou réaliser un bon chiffre d’affaires en utilisant correctement les indicateurs dont elles disposent.

Mais ça ne marche pas aussi bien pour les médias. On voudrait des outils simples, objectifs et qui aident à la décision, et ce qu’on a bien souvent, c’est du « bruit », des fausses pistes et un miroir aux vanités.

Et quand on utilise mal les statistiques, ça peut avoir des conséquences néfastes, comme ces posts sur Facebook où on « optimise » les titres pour chasser les clics, avec des formules du type « vous n’allez pas croire ce qui arrive à ce chat après ça ».

Selon le consultant américain Peter Drucker, la meilleure façon de supprimer toute perception est d’inonder les sens avec des stimuli. Ça veut dire que les services que vous utilisez doivent être configurés pour vous donner uniquement l’information que vous souhaitez avoir. Sinon, vous ne pourrez rien faire.

Dans les rédactions aujourd’hui, les métriques se sont peu à peu accumulées : Google Analytics, Facebook Insights, Twitter Analytics… Ce sont de bons outils, mais on se retrouve avec des dizaines de tableaux de bord différents, tous mis à jour constamment.

Il faut se poser des questions de base. Pourquoi est-ce qu’on regarde des stats ? Parce qu’on veut pouvoir en tirer des conclusions. Mais en réalité, peu de rédactions sont capables de réagir immédiatement à une donnée, par exemple faire un article quand un sujet est en train de buzzer.

Je croise des journalistes très accros à Chartbeat [service de statistiques sur la fréquentation de son site mesurées en temps réel, ndlr], il faudrait leur passer sur le corps pour leur enlever ça. Mais quand je leur demande à quoi ça leur sert vraiment, ils ne savent pas trop quoi répondre.

Et vous avez sûrement déjà assisté à une réunion où quelqu’un débarque avec une grande idée, un changement à faire sur le site, en ayant au préalable sélectionné précisément LA donnée qui va dans son sens, en ignorant tout le reste.

Sans parler des biais qui peuvent se glisser. Il y a quelques années, YouTube a fait un gros effort pour optimiser les pages, et accélérer le chargement des vidéos. Quand ils ont mis ces changements en production, ils se sont rendus comptes que les métriques allaient dans le mauvais sens, qu’en fait le temps de chargement des vidéos avait tendance à augmenter.

C’est une donnée cruciale pour eux, donc ils avaient un vrai problème. En analysant davantage, ils se sont aperçus qu’ils avaient tellement bien travaillé que des internautes avec des connexions lentes ou de vieux ordinateurs s’étaient mis à regarder des vidéos, alors qu’avant ils ne pouvaient pas du tout le faire.

Et ce sont ces nouveaux utilisateurs qui faisaient plonger les statistiques, parce que les vidéos mettaient beaucoup de temps à se charger pour eux – mais au moins, ils pouvaient les voir. Les mêmes données qui les ont induits en erreur leur ont permis de comprendre vraiment ce qui se passait, en les examinant de plus près.

Sachant tout ça, qu’est-ce qu’on peut faire pour mieux travailler les statistiques ?

1. Avant de regarder vos statistiques, regardez votre site

D’abord, il faut garder en tête qu’il y a plein de changements possibles sans même avoir à les consulter, il suffit d’ouvrir les yeux.

On sait par exemple que les newsletters sont une façon de gagner du trafic et d’avoir des lecteurs plus fidèles. Regarder votre site : combien de temps vous faut-il pour vous inscrire à la newsletter ?

Même remarque pour le placement des boutons de partage des réseaux sociaux : est-ce qu’ils sont accessibles, est-ce qu’ils sont assez visibles ? Ce sont des choses très simples à corriger.

Un autre conseil que je donne, c’est d’avoir une check-list à remplir avant toute publication d’un contenu.

Je m’aperçois que dans beaucoup de sites, il y a toute une partie du contenu qui n’est jamais mis en avant nulle part, ni sur la page d’accueil, ni sur les réseaux sociaux. Il faut passer par une sous-sous-rubrique pour y accéder. Même leur auteur ne tweete pas un lien vers son article une fois publié !

Il faut avoir une stratégie interne pour chaque publication, par exemple programmer des tweets avec outils comme Buffer pour couvrir les différents fuseaux horaires. Vérifier que l’article comporte bien des liens externes et internes, c’est aussi important, et c’est le genre de choses qu’on peut mettre dans une check-list. Vous voyez, il y a zéro technologie en jeu ici, juste du bon sens.

2. Ne vous contentez pas des valeurs proposées par défaut

Ensuite, il faut mesurer les bonnes choses. Trop souvent, on se contente des métriques qui sont proposées par défaut. Si Google Analytics vous propose trois mesures quand on charge la page (par exemple « sessions », « utilisateurs » et « pages vue »), ça ne veut pas forcément dire que ce sont ces trois métriques-là que vous devez surveiller.

Au début, il était beaucoup question de pages vues, ensuite de « reach », après d’engagement. Je me souviens qu’un type a publié une tribune un jour sur Medium pour expliquer qu’il fallait vraiment regarder le temps passé sur le site, que c’était ça l’important.

Des clients ont commencé à m’appeler et à me dire qu’ils voulaient faire pareil, et je leur ai dit : « Vous allez vraiment changer complètement de stratégie, juste parce qu’un type a écrit ça sur Medium ? »

3. Regardez les ratios plutôt que les totaux

Il faut s’intéresser davantage aux ratios qu’aux valeurs absolues. Le nombre de pages vues, par exemple, ça ne m’intéresse pas forcément si je le prends isolément. En revanche, si je compare avec le nombre d’articles publiés dans la journée, ça peut devenir intéressant.

Si le nombre de pages vues aujourd’hui est le double de celui d’hier et que le nombre d’articles publiés a doublé aussi, ce n’est pas une bonne nouvelle, ça veut dire qu’on n’a pas amélioré la visibilité de chaque contenu. Regarder le nombre de pages vues par auteur, ça peut être bien aussi.

Des rédacteurs en chef me disent : « On ne publie pas beaucoup le week-end parce qu’on n’a pas beaucoup de visiteurs le week-end. » Mais en fait, c’est parce qu’ils publient peu le week-end qu’ils n’ont pas beaucoup de trafic le week-end – en tout cas, c’est une hypothèse que je ferais…

Si on regarde le nombre de pages vues par article, à chaque heure du jour ou bien pour chaque jour de la semaine, on peut sortir de ce type de problème d’œuf et de poule.

4. Suivez moins d’indicateurs mais suivez-les mieux

Il faut aussi réduire le nombre de métriques surveillées. Se concentrer sur la fidélité des lecteurs par exemple, c’est un bon réflexe, mais ça peut vous mettre dans des situations surprenantes. Mettons qu’un de vos articles devienne viral : ça va faire chuter vos indicateurs de  fidélité, parce que vous allez attirer soudain des gens qui ne viendront qu’une fois chez vous, pour un seul contenu.

Ce que je préfère observer, c’est l’évolution des frequent users, les lecteurs réguliers, une notion utilisée par les entreprises technologiques : par exemple, on regarde l’évolution de ceux qui ont passé au moins dix sessions dans les trois derniers jours. Et là, on se rend compte que c’est une courbe beaucoup plus stable, les pics de trafic sont gommés.

Quand Facebook s’est lancé, on ne pouvait s’y enregistrer qu’avec e‑mail hébergé par une série d’universités américaines. Ça faisait donc très peu d’utilisateurs en valeur absolue. Mais les fondateurs ont senti qu’ils tenaient un service intéressant quand ils se sont aperçus que les gens restaient très longtemps quand ils venaient.

Dans les rédactions, on ne mesure pas assez la qualité des contenus. Une expérience simple à réaliser, c’est de demander aux journalistes de donner une note de 1 à 10 au contenu qu’il vient de publier. On peut demander aux lecteurs de le faire aussi. Au final, cette statistique obtenue de façon artisanale est aussi importante que les chiffres de Google Analytics.

5. Cherchez un bon compromis plutôt qu’un objectif isolé

Plutôt que des cibles ou des objectifs, il faut chercher des sweet spots, de bons compromis. « Surperformer » peut être aussi mauvais pour un site que « sous-performer ».

Mettons que vous vouliez absolument multiplier le nombre de contenus en ligne. Vous allez vous organiser pour que vos auteurs publient 50 articles chaque semaine. Votre trafic va augmenter, OK, ça peut sembler super. Mais la qualité de ce qui est produit va plonger, et si vous ne la mesurez pas, vous ne le saurez jamais.

Du coup on va plutôt se dire : peut-être qu’on peut réduire un peu la longueur des articles, ce qui nous permettrait d’en publier un peu plus, sans que le lecteur ne se sente lésé.

J’entends dire : « Notre objectif est d’attirer un million de visiteurs en plus en provenance des réseaux sociaux. » OK, mais quel effet ça va avoir sur les autres métriques ?

Sur le Web, on s’est vite aperçu qu’il n’y avait pas de corrélation entre la longueur d’un article et le nombre de visites qu’il reçoit. Ce n’est pas parce que le texte est plus long qu’il sera plus vu.

Du coup, certains ont dit : il faut faire court, pour faire plus de pages vues. D’accord, mais on en fait quoi ? La plupart des sites ont déjà trop d’inventaire, les campagnes publicitaires ne sont pas assez nombreuses pour remplir tous les emplacements.

Si vous ne le monétisez pas, ce trafic supplémentaire, c’est un trafic-poubelle : en vérité, vous n’en voulez pas ; ce que vous voulez, ce sont des lecteurs qui reviennent souvent.

Les statistiques doivent être au service d’un projet, ce ne sont pas des buts en soit.

Quand je parle à des gens des entreprises de technologie, ils se demandent comment utiliser leurs statistiques pour améliorer le service qu’ils rendent aux internautes ? Mais côté médias, la question qu’on me pose c’est : quelle est la statistique que je dois cibler ? Ils ne veulent pas faire grandir le site, le rendre meilleur. Juste faire monter des chiffres.

6. Faites des tests sur la durée avant de décider

Il ne faut pas hésiter à faire des expériences, comme celle des articles evergreen de Vox : ils ont pris des contenus forts publiés plusieurs mois avant, ils les ont mis à jour et republié. Et ils ont gagné beaucoup de pages vues, pour des contenus qui étaient enterrés dans les archives. Certains lecteurs les avaient ratés, d’autres les avaient oubliés, dans tous les cas ils étaient contents de les lire.

Slate aussi tente des choses : par exemple, ils demandent à leur rédacteur de faire du  trafic whoring pendant toute une journée ; chasser les clics avec un maximum de contenus très attractifs. En échange, ils vont avoir deux ou trois jours sans contraintes, pour creuser un sujet.

Même chose avec Quartz, et leur théorie sur les contenus de longueur moyenne, qu’il faut éviter de publier, pour privilégier les articles soit plus courts, soit plus longs [la Quartz curve, ndlr].

Il faut cependant laisser ces expériences vivre assez longtemps. Un seul article sur une nouvelle thématique ne suffit pas à savoir s’il faut lancer une nouvelle rubrique, pourtant je l’ai vu faire aussi.

D’abord parce que Google Analytics pratique l’échantillonnage : les calculs ne sont pas forcément fait sur l’ensemble des stats, mais sur un échantillon, pour que ça aille plus vite. Du coup un changement ponctuel aura moins d’impact.

Mais surtout parce qu’il y a un tas de facteurs extérieurs qui peuvent influer énormément, comme l’auteur de l’article ou l’heure de publication.

7. Montrez à vos journalistes des mesures qui ont du sens pour eux

Une bonne pratique, c’est aussi de proposer la bonne métrique à la bonne personne. Souvent, la frustration ressentie face aux statistiques vient du fait qu’on n’a pas vraiment de prise sur les chiffres qu’on vous donne.

Par exemple, améliorer la visibilité de l’abonnement à la newsletter, c’est un objectif intéressant pour designer, mais pas pour le journaliste, qui ne peut rien faire pour changer ça.

Pour un journaliste, savoir le nombre de visites que son article a fait, ça n’est pas très utile finalement, puisqu’il a déjà terminé son travail.

Même chose si vous mettez un grand panneau lumineux dans la rédaction avec des informations du type : « les pages vues ont baissé de 5% par rapport à hier ». Le journaliste va se dire : « OK, mais qu’est-ce que je peux y faire ‚à mon niveau ? » Au final, ça aura des effets néfastes sur sa motivation.

8. Analysez vous-même vos données

Quand vous regardez vos statistiques, sachez que le bouton « Exporter » est votre meilleur ami. Récupérer les données brutes et les analyse vous-mêmes dans un tableur de type Excel, ça va vous permettre de creuser davantage et de garder le plus pertinent.

Au final, les stats en temps réel ont leur intérêt, c’est cool à regarder, ça donne l’impression que vous êtes dans la salle de contrôle de la Nasa. Mais régler des petits problèmes sur le site, cocher des cases sur une check-list, c’est peut-être moins prestigieux, cependant c’est ça  qui fait la différence. Et pour les médias il y a de gros gains à faire avec un minimum d’efforts, dans certains cas il suffit de se baisser pour les ramasser.

L’économiste Robert Solow a décrit dans les années 70 un paradoxe : les entreprises disposaient d’ordinateurs, de tableurs (c’était nouveau à l’époque), mais pourtant la productivité ne s’est pas vraiment améliorée à cette période.

C’est un peu pareil pour les médias : les statistiques ont le potentiel de vraiment améliorer les choses, mais ce n’est pas le cas pour le moment. D’où l’intérêt d’écouter Peter Drucker, et d’arrêter de se laisser submerger par elles.

Mis à jour le 17/4 à 21h30. Quelques précisions et menus changements grâce aux retours du conférencier que j’ai reçus par e‑mail. Une erreur corrigée : c’est YouTube et non Facebook qui a eu des stats surprenantes après avoir optimisé le chargement des vidéos.

Stijn Debrouwere a eu la gentillesse d’y ajouter une série de liens pour ceux qui souhaitent prolonger leur réflexion sur le sujet :

• It’s tempting to copy what other people are doing. Doesn’t work
• Are your lights on ? Don’t make your problems harder than they need to be
• Many of our metrics are vanity metrics…
• … but pageviews ain’t the problem
• When working with metrics, look for sweet spots, not targets or goals
• Great metrics always start with the question : who needs this number, why ? 
• Little experiments : Vox evergreens , Slate longform, Quartz article length 
• Look at *all* your data, not just yesterday’s.
• What figures do I need, when and how ?