Pourquoi les sites d’actu se servent mal de leurs stats, et comment ça peut changer

La salle de contrôle des vols spatiaux de la Nasa en 2005 (Nasa).
La salle de contrôle des vols spa­tiaux de la Nasa en 2005 (Nasa).

Ça fait par­tie de ces confé­rences où l’on se sur­prend à applau­dir et à encou­ra­ger men­ta­le­ment l’intervenant pen­dant son expo­sé, tant ce qu’il dit paraît per­ti­nent.

Sti­jn Debrou­were, spé­cia­liste des sta­tis­tiques des sites de médias, par­lait jeu­di au Fes­ti­val inter­na­tio­nal de jour­na­lisme de Pérouse. Voi­ci une retrans­crip­tion que j’espère fidèle, mille excuses d’avance si j’ai défor­mé un pro­pos ou raté une idée impor­tante

Sti­jn Debou­were. Je tra­vaille sur les sta­tis­tiques des sites d’information depuis quatre à cinq ans, j’ai com­men­cé dans des médias locaux (télé­vi­sions et quo­ti­dien), ensuite j’ai rejoint le ser­vice d’analyse des don­nées du Guar­dian. Récem­ment, j’ai réa­li­sé une mis­sion pour le Tow Cen­ter  sur ces sujets.

J’ai pu voir des sta­tis­tiques de beau­coup d’entreprises dif­fé­rentes, et je me suis aper­çu que les mêmes pro­blèmes appa­raissent un peu par­tout.

Quand on parle des sta­tis­tiques d’un site, bien sou­vent l’image men­tale qui se forme est celle d’une salle de contrôle sophis­ti­quée, comme celle de la Nasa à Hous­ton, où chaque employé a plein de moni­teurs dif­fé­rents.

Tra­vailler de cette façon a bien mar­ché pour la Nasa : dans le cas d’Apol­lo 13, c’est même ce qui a per­mis de rame­ner les astro­nautes sur Terre mal­gré les défaillances, grâce à toutes les don­nées à dis­po­si­tion que les ingé­nieurs ont pu ana­ly­ser pour déter­mi­ner la marche à suivre.

Ça peut aus­si mar­cher dans des start-ups ou des entre­prises cen­trées sur les nou­velles tech­no­lo­gies, on voit qu’elles réus­sissent à lever des fonds ou réa­li­ser un bon chiffre d’affaires en uti­li­sant cor­rec­te­ment les indi­ca­teurs dont elles dis­posent.

Mais ça ne marche pas aus­si bien pour les médias. On vou­drait des outils simples, objec­tifs et qui aident à la déci­sion, et ce qu’on a bien sou­vent, c’est du « bruit », des fausses pistes et un miroir aux vani­tés.

Et quand on uti­lise mal les sta­tis­tiques, ça peut avoir des consé­quences néfastes, comme ces posts sur Face­book où on « opti­mise » les titres pour chas­ser les clics, avec des for­mules du type « vous n’allez pas croire ce qui arrive à ce chat après ça ».

Selon le consul­tant amé­ri­cain Peter Dru­cker, la meilleure façon de sup­pri­mer toute per­cep­tion est d’inonder les sens avec des sti­mu­li. Ça veut dire que les ser­vices que vous uti­li­sez doivent être confi­gu­rés pour vous don­ner uni­que­ment l’information que vous sou­hai­tez avoir. Sinon, vous ne pour­rez rien faire.

Dans les rédac­tions aujourd’hui, les métriques se sont peu à peu accu­mu­lées : Google Ana­ly­tics, Face­book Insights, Twit­ter Ana­ly­tics… Ce sont de bons outils, mais on se retrouve avec des dizaines de tableaux de bord dif­fé­rents, tous mis à jour constam­ment.

Il faut se poser des ques­tions de base. Pour­quoi est-ce qu’on regarde des stats ? Parce qu’on veut pou­voir en tirer des conclu­sions. Mais en réa­li­té, peu de rédac­tions sont capables de réagir immé­dia­te­ment à une don­née, par exemple faire un article quand un sujet est en train de buz­zer.

Je croise des jour­na­listes très accros à Chart­beat [ser­vice de sta­tis­tiques sur la fré­quen­ta­tion de son site mesu­rées en temps réel, ndlr], il fau­drait leur pas­ser sur le corps pour leur enle­ver ça. Mais quand je leur demande à quoi ça leur sert vrai­ment, ils ne savent pas trop quoi répondre.

Et vous avez sûre­ment déjà assis­té à une réunion où quelqu’un débarque avec une grande idée, un chan­ge­ment à faire sur le site, en ayant au préa­lable sélec­tion­né pré­ci­sé­ment LA don­née qui va dans son sens, en igno­rant tout le reste.

Sans par­ler des biais qui peuvent se glis­ser. Il y a quelques années, You­Tube a fait un gros effort pour opti­mi­ser les pages, et accé­lé­rer le char­ge­ment des vidéos. Quand ils ont mis ces chan­ge­ments en pro­duc­tion, ils se sont ren­dus comptes que les métriques allaient dans le mau­vais sens, qu’en fait le temps de char­ge­ment des vidéos avait ten­dance à aug­men­ter.

C’est une don­née cru­ciale pour eux, donc ils avaient un vrai pro­blème. En ana­ly­sant davan­tage, ils se sont aper­çus qu’ils avaient tel­le­ment bien tra­vaillé que des inter­nautes avec des connexions lentes ou de vieux ordi­na­teurs s’étaient mis à regar­der des vidéos, alors qu’avant ils ne pou­vaient pas du tout le faire.

Et ce sont ces nou­veaux uti­li­sa­teurs qui fai­saient plon­ger les sta­tis­tiques, parce que les vidéos met­taient beau­coup de temps à se char­ger pour eux – mais au moins, ils pou­vaient les voir. Les mêmes don­nées qui les ont induits en erreur leur ont per­mis de com­prendre vrai­ment ce qui se pas­sait, en les exa­mi­nant de plus près.

Sachant tout ça, qu’est-ce qu’on peut faire pour mieux tra­vailler les sta­tis­tiques ?

1. Avant de regarder vos statistiques, regardez votre site

D’abord, il faut gar­der en tête qu’il y a plein de chan­ge­ments pos­sibles sans même avoir à les consul­ter, il suf­fit d’ouvrir les yeux.

On sait par exemple que les news­let­ters sont une façon de gagner du tra­fic et d’avoir des lec­teurs plus fidèles. Regar­der votre site : com­bien de temps vous faut-il pour vous ins­crire à la news­let­ter ?

Même remarque pour le pla­ce­ment des bou­tons de par­tage des réseaux sociaux : est-ce qu’ils sont acces­sibles, est-ce qu’ils sont assez visibles ? Ce sont des choses très simples à cor­ri­ger.

Un autre conseil que je donne, c’est d’avoir une check-list à rem­plir avant toute publi­ca­tion d’un conte­nu.

Je m’aperçois que dans beau­coup de sites, il y a toute une par­tie du conte­nu qui n’est jamais mis en avant nulle part, ni sur la page d’accueil, ni sur les réseaux sociaux. Il faut pas­ser par une sous-sous-rubrique pour y accé­der. Même leur auteur ne tweete pas un lien vers son article une fois publié !

Il faut avoir une stra­té­gie interne pour chaque publi­ca­tion, par exemple pro­gram­mer des tweets avec outils comme Buf­fer pour cou­vrir les dif­fé­rents fuseaux horaires. Véri­fier que l’article com­porte bien des liens externes et internes, c’est aus­si impor­tant, et c’est le genre de choses qu’on peut mettre dans une check-list. Vous voyez, il y a zéro tech­no­lo­gie en jeu ici, juste du bon sens.

2. Ne vous contentez pas des valeurs proposées par défaut

Ensuite, il faut mesu­rer les bonnes choses. Trop sou­vent, on se contente des métriques qui sont pro­po­sées par défaut. Si Google Ana­ly­tics vous pro­pose trois mesures quand on charge la page (par exemple « ses­sions », « uti­li­sa­teurs » et « pages vue»), ça ne veut pas for­cé­ment dire que ce sont ces trois métriques-là que vous devez sur­veiller.

Au début, il était beau­coup ques­tion de pages vues, ensuite de « reach », après d’engagement. Je me sou­viens qu’un type a publié une tri­bune un jour sur Medium pour expli­quer qu’il fal­lait vrai­ment regar­der le temps pas­sé sur le site, que c’était ça l’important.

Des clients ont com­men­cé à m’appeler et à me dire qu’ils vou­laient faire pareil, et je leur ai dit : « Vous allez vrai­ment chan­ger com­plè­te­ment de stra­té­gie, juste parce qu’un type a écrit ça sur Medium ?»

3. Regardez les ratios plutôt que les totaux

Il faut s’intéresser davan­tage aux ratios qu’aux valeurs abso­lues. Le nombre de pages vues, par exemple, ça ne m’intéresse pas for­cé­ment si je le prends iso­lé­ment. En revanche, si je com­pare avec le nombre d’articles publiés dans la jour­née, ça peut deve­nir inté­res­sant.

Si le nombre de pages vues aujourd’hui est le double de celui d’hier et que le nombre d’articles publiés a dou­blé aus­si, ce n’est pas une bonne nou­velle, ça veut dire qu’on n’a pas amé­lio­ré la visi­bi­li­té de chaque conte­nu. Regar­der le nombre de pages vues par auteur, ça peut être bien aus­si.

Des rédac­teurs en chef me disent : « On ne publie pas beau­coup le week-end parce qu’on n’a pas beau­coup de visi­teurs le week-end. » Mais en fait, c’est parce qu’ils publient peu le week-end qu’ils n’ont pas beau­coup de tra­fic le week-end – en tout cas, c’est une hypo­thèse que je ferais…

Si on regarde le nombre de pages vues par article, à chaque heure du jour ou bien pour chaque jour de la semaine, on peut sor­tir de ce type de pro­blème d’œuf et de poule.

4. Suivez moins d’indicateurs mais suivez-les mieux

Il faut aus­si réduire le nombre de métriques sur­veillées. Se concen­trer sur la fidé­li­té des lec­teurs par exemple, c’est un bon réflexe, mais ça peut vous mettre dans des situa­tions sur­pre­nantes. Met­tons qu’un de vos articles devienne viral : ça va faire chu­ter vos indi­ca­teurs de  fidé­li­té, parce que vous allez atti­rer sou­dain des gens qui ne vien­dront qu’une fois chez vous, pour un seul conte­nu.

Ce que je pré­fère obser­ver, c’est l’évolution des frequent users, les lec­teurs régu­liers, une notion uti­li­sée par les entre­prises tech­no­lo­giques : par exemple, on regarde l’évolution de ceux qui ont pas­sé au moins dix ses­sions dans les trois der­niers jours. Et là, on se rend compte que c’est une courbe beau­coup plus stable, les pics de tra­fic sont gom­més.

Quand Face­book s’est lan­cé, on ne pou­vait s’y enre­gis­trer qu’avec e-mail héber­gé par une série d’universités amé­ri­caines. Ça fai­sait donc très peu d’utilisateurs en valeur abso­lue. Mais les fon­da­teurs ont sen­ti qu’ils tenaient un ser­vice inté­res­sant quand ils se sont aper­çus que les gens res­taient très long­temps quand ils venaient.

Dans les rédac­tions, on ne mesure pas assez la qua­li­té des conte­nus. Une expé­rience simple à réa­li­ser, c’est de deman­der aux jour­na­listes de don­ner une note de 1 à 10 au conte­nu qu’il vient de publier. On peut deman­der aux lec­teurs de le faire aus­si. Au final, cette sta­tis­tique obte­nue de façon arti­sa­nale est aus­si impor­tante que les chiffres de Google Ana­ly­tics.

5. Cherchez un bon compromis plutôt qu’un objectif isolé

Plu­tôt que des cibles ou des objec­tifs, il faut cher­cher des sweet spots, de bons com­pro­mis. « Sur­per­for­mer » peut être aus­si mau­vais pour un site que « sous-per­for­mer ».

Met­tons que vous vou­liez abso­lu­ment mul­ti­plier le nombre de conte­nus en ligne. Vous allez vous orga­ni­ser pour que vos auteurs publient 50 articles chaque semaine. Votre tra­fic va aug­men­ter, OK, ça peut sem­bler super. Mais la qua­li­té de ce qui est pro­duit va plon­ger, et si vous ne la mesu­rez pas, vous ne le sau­rez jamais.

Du coup on va plu­tôt se dire : peut-être qu’on peut réduire un peu la lon­gueur des articles, ce qui nous per­met­trait d’en publier un peu plus, sans que le lec­teur ne se sente lésé.

J’entends dire : « Notre objec­tif est d’attirer un mil­lion de visi­teurs en plus en pro­ve­nance des réseaux sociaux. » OK, mais quel effet ça va avoir sur les autres métriques ?

Sur le Web, on s’est vite aper­çu qu’il n’y avait pas de cor­ré­la­tion entre la lon­gueur d’un article et le nombre de visites qu’il reçoit. Ce n’est pas parce que le texte est plus long qu’il sera plus vu.

Du coup, cer­tains ont dit : il faut faire court, pour faire plus de pages vues. D’accord, mais on en fait quoi ? La plu­part des sites ont déjà trop d’inventaire, les cam­pagnes publi­ci­taires ne sont pas assez nom­breuses pour rem­plir tous les empla­ce­ments.

Si vous ne le moné­ti­sez pas, ce tra­fic sup­plé­men­taire, c’est un tra­fic-pou­belle : en véri­té, vous n’en vou­lez pas ; ce que vous vou­lez, ce sont des lec­teurs qui reviennent sou­vent.

Les sta­tis­tiques doivent être au ser­vice d’un pro­jet, ce ne sont pas des buts en soit.

Quand je parle à des gens des entre­prises de tech­no­lo­gie, ils se demandent com­ment uti­li­ser leurs sta­tis­tiques pour amé­lio­rer le ser­vice qu’ils rendent aux inter­nautes ? Mais côté médias, la ques­tion qu’on me pose c’est : quelle est la sta­tis­tique que je dois cibler ? Ils ne veulent pas faire gran­dir le site, le rendre meilleur. Juste faire mon­ter des chiffres.

6. Faites des tests sur la durée avant de décider

Il ne faut pas hési­ter à faire des expé­riences, comme celle des articles ever­green de Vox : ils ont pris des conte­nus forts publiés plu­sieurs mois avant, ils les ont mis à jour et repu­blié. Et ils ont gagné beau­coup de pages vues, pour des conte­nus qui étaient enter­rés dans les archives. Cer­tains lec­teurs les avaient ratés, d’autres les avaient oubliés, dans tous les cas ils étaient contents de les lire.

Slate aus­si tente des choses : par exemple, ils demandent à leur rédac­teur de faire du  tra­fic who­ring pen­dant toute une jour­née ; chas­ser les clics avec un maxi­mum de conte­nus très attrac­tifs. En échange, ils vont avoir deux ou trois jours sans contraintes, pour creu­ser un sujet.

Même chose avec Quartz, et leur théo­rie sur les conte­nus de lon­gueur moyenne, qu’il faut évi­ter de publier, pour pri­vi­lé­gier les articles soit plus courts, soit plus longs [la Quartz curve, ndlr].

Il faut cepen­dant lais­ser ces expé­riences vivre assez long­temps. Un seul article sur une nou­velle thé­ma­tique ne suf­fit pas à savoir s’il faut lan­cer une nou­velle rubrique, pour­tant je l’ai vu faire aus­si.

D’abord parce que Google Ana­ly­tics pra­tique l’échantillonnage : les cal­culs ne sont pas for­cé­ment fait sur l’ensemble des stats, mais sur un échan­tillon, pour que ça aille plus vite. Du coup un chan­ge­ment ponc­tuel aura moins d’impact.

Mais sur­tout parce qu’il y a un tas de fac­teurs exté­rieurs qui peuvent influer énor­mé­ment, comme l’auteur de l’article ou l’heure de publi­ca­tion.

7. Montrez à vos journalistes des mesures qui ont du sens pour eux

Une bonne pra­tique, c’est aus­si de pro­po­ser la bonne métrique à la bonne per­sonne. Sou­vent, la frus­tra­tion res­sen­tie face aux sta­tis­tiques vient du fait qu’on n’a pas vrai­ment de prise sur les chiffres qu’on vous donne.

Par exemple, amé­lio­rer la visi­bi­li­té de l’abonnement à la news­let­ter, c’est un objec­tif inté­res­sant pour desi­gner, mais pas pour le jour­na­liste, qui ne peut rien faire pour chan­ger ça.

Pour un jour­na­liste, savoir le nombre de visites que son article a fait, ça n’est pas très utile fina­le­ment, puisqu’il a déjà ter­mi­né son tra­vail.

Même chose si vous met­tez un grand pan­neau lumi­neux dans la rédac­tion avec des infor­ma­tions du type : « les pages vues ont bais­sé de 5% par rap­port à hier ». Le jour­na­liste va se dire : « OK, mais qu’est-ce que je peux y faire ‚à mon niveau ?» Au final, ça aura des effets néfastes sur sa moti­va­tion.

8. Analysez vous-même vos données

Quand vous regar­dez vos sta­tis­tiques, sachez que le bou­ton « Expor­ter » est votre meilleur ami. Récu­pé­rer les don­nées brutes et les ana­lyse vous-mêmes dans un tableur de type Excel, ça va vous per­mettre de creu­ser davan­tage et de gar­der le plus per­ti­nent.

Au final, les stats en temps réel ont leur inté­rêt, c’est cool à regar­der, ça donne l’impression que vous êtes dans la salle de contrôle de la Nasa. Mais régler des petits pro­blèmes sur le site, cocher des cases sur une check-list, c’est peut-être moins pres­ti­gieux, cepen­dant c’est ça  qui fait la dif­fé­rence. Et pour les médias il y a de gros gains à faire avec un mini­mum d’efforts, dans cer­tains cas il suf­fit de se bais­ser pour les ramas­ser.

L’économiste Robert Solow a décrit dans les années 70 un para­doxe : les entre­prises dis­po­saient d’ordinateurs, de tableurs (c’était nou­veau à l’époque), mais pour­tant la pro­duc­ti­vi­té ne s’est pas vrai­ment amé­lio­rée à cette période.

C’est un peu pareil pour les médias : les sta­tis­tiques ont le poten­tiel de vrai­ment amé­lio­rer les choses, mais ce n’est pas le cas pour le moment. D’où l’intérêt d’écouter Peter Dru­cker, et d’arrêter de se lais­ser sub­mer­ger par elles.

Mis à jour le 17/4 à 21h30. Quelques pré­ci­sions et menus chan­ge­ments grâce aux retours du confé­ren­cier que j’ai reçus par e-mail. Une erreur cor­ri­gée : c’est You­Tube et non Face­book qui a eu des stats sur­pre­nantes après avoir opti­mi­sé le char­ge­ment des vidéos.

Sti­jn Debrou­were a eu la gen­tillesse d’y ajou­ter une série de liens pour ceux qui sou­haitent pro­lon­ger leur réflexion sur le sujet :

Puisque vous passez par là…

J’ai besoin de votre aide : je m’intéresse à la mesure d’audience des médias en ligne (dans Google Analytics, sur Facebook, sur Twitter…) et à ce que les journalistes en font. En participant à ma petite enquête sur le sujet, vous m’aiderez à concevoir de nouveaux services intéressants.

Partager cet article

Lien copié !
C'est nul, je veux de gros boutons colorés !

Partager cet article

On en discute ?