contenu de la page
Connectez-vous S'inscrire
PiccMi.Com



ETUDE-CHOC SUR LA FIABILITE DE WIKIPEDIA : 90% des journalistes se sont trompés !





ETUDE-CHOC SUR LA FIABILITE DE WIKIPEDIA : 90% des journalistes se sont trompés !
PICCMI.COM- Depuis quelques jours, la presse française parle beaucoup d’une nouvelle étude américaine sur la fiabilité de Wikipédia. Le sujet est grave et le constat sans appel : sur dix articles consacrés à des problèmes de santé majeurs, neuf sont entachés d’erreur. Or, médecins et patients se réfèrent fréquemment à Wikipédia : l’encyclopédie participative nuirait-elle à la santé publique ?

Paradoxalement, cette étude qui exprime un avis aussi tranché sur la fiabilité de Wikipédia n’est pas très fiable…
Des données contradictoires

Soulignons d’emblée qu’une source de vulgarisation comme Wikipédia ne peut en aucun cas permettre d’établir un diagnostic. L’étude ne se contente pas de rappeler cette vérité première : elle va jusqu’à décourager les étudiants et les médecins d’utiliser l’encyclopédie participative pour leurs besoins d’information au quotidien.

Pour accréditer cette injonction, l’étude met en œuvre le mécanisme suivant : dix articles ont été soumis à un comité d’évaluation de dix « spécialistes ». Les spécialistes en question sont en fait des internes, soit des étudiants en médecine n’ayant qu’une expérience restreinte en matière d’évaluation scientifique et de relecture d’articles universitaires. Chaque interne devait évaluer deux articles. Cette double relecture vise à éviter les appréciations subjectives.

Les informations contenues dans Wikipédia sont alors confrontées aux acquis actuels de la recherche, tels que consignés dans la bases d’articles scientifiques UpToDate. Faute d’être étayée par cette littérature universitaire, une affirmation de Wikipédia est décomptée comme une erreur.

J’ai calculé les proportions d’erreurs repérées par chaque évaluateur. Pour l’ensemble de l’échantillon, ce taux d’erreur s’établit à un peu moins de 22% (soit 78% d’exactitude).

Le mirage du vrai/faux

Comment justifier un tel écart ? Les évaluateurs ont fait appel aux sources les plus fiables qui soient (des synthèses scientifiques récentes). Et pourtant, ils ne parviennent pas à s’accorder sur le taux d’erreur contenu dans Wikipédia. Le dispositif de l’étude est biaisé. La recherche scientifique ne se résume pas à une simple accumulation de vérités absolues.

Si certains sujets sont suffisamment connus pour que l’on puisse se contenter d’un raisonnement vrai/faux, dans de nombreux cas les connaissances sont bien plus incertaines : les champs de recherche sont alors dynamiques et évoluent constamment en fonction des expériences réalisées ou des tentatives de théorisations effectuées. Ainsi deux spécialistes, découvrant le même corpus et travaillant dans le même cadre méthodologique, ne parviendront pas aux mêmes conclusions.

Les contributeurs du projet médecine de la Wikipédia anglophone (qui sont souvent eux-mêmes des médecins qualifiés) s’étonnent de cette naïveté :

« La littérature médicale comprend de nombreux faits contradictoires. La pondération et l’interprétation de ces données est un défi même pour des médecins qui ont des années d’expérience en la matière et lisent des articles universitaires tous les jours – ce qui n’est évidemment pas le cas d’internes en plein apprentissage. »

Un devoir plutôt qu’une étude ?

Pourquoi s’en être tenu à un schéma vrai/faux aussi simpliste, qui génère des données quasiment inutilisables ? Peut-être parce qu’il ne s’agit pas d’une véritable étude. Souvenons-nous que les évaluateurs sont des étudiants. Le dispositif adopté s’apparente grandement à un devoir collectif. L’échantillon est défini arbitrairement, de même que la base de données des sources universitaires (UpToDate). L’analyse se limite à une vérification élémentaire de faits contenus dans la littérature scientifique.

Dès lors, les incohérences de l’étude prennent sens. Les auteurs transforment immédiatement le taux de discordance entre Wikipédia et la littérature scientifique en taux d’erreur, ce qu’aucun chercheur sérieux ne se risquerait à faire. En effet, le cadre d’évaluation repose sur des sources très récentes : une affirmation ancienne est alors décomptée comme une erreur. Les méthodologies statistiques sont mal appliquées.

L’étude considère ainsi que l’article concussion est l’article le plus fiable du corpus, alors que les données disent exactement le contraire : c’est l’un des pires articles, avec un taux d’erreur de 32%. Cette erreur flagrante découle d’un choix méthodologique aberrant : utiliser le test de concordance de McNemar pour des valeurs qui ne concordent pas (chaque évaluateur produisant un nombre de faits distinct…).

Enfin, il n’y a pas de mètre-étalon : seule Wikipédia a été évaluée. Or, la fiabilité n’est pas une valeur absolue. Plusieurs études comparatives montrent que les encyclopédies traditionnelles sont tout aussi mauvaises (ou bonnes) que Wikipédia.

Ainsi, une évaluation des publications de vulgarisation sur les maladies mentales conclut que Wikipédia est l’une des sources les plus fiables qui soit :

« La qualité de l’information sur la dépression et la schizophrénie sur Wikipédia est supérieure à celle de Britannica. »

Les errements du buzz…

Cette petite étude a eu une destinée inattendue : elle déclenche un buzz mondial. Après un emballement initial, la presse anglo-saxonne émet des doutes. Une enquête détaillée publiée dans The Atlantic relativise fortement la portée de l’étude. Pour l’heure, on ne voit rien venir de tel dans la presse française : Le Monde, Le Figaro, le Huffington Post se laissent entraîner sans réfléchir à ce qu’ils relayent.

Par un effet de boomerang insoupçonné, le destin de l’étude questionne davantage la fiabilité de la presse que celle de Wikipédia. Les médias se laissent volontiers tromper par une apparence de sérieux. Statistiques, échantillons, bibliographies : tous ces éléments purement formels font illusion. Ce phénomène est amplifié par un certain goût pour le spectaculaire. Le Huffington Post va ainsi jusqu’à parler, confusément, de 90% d’erreurs dans Wikipédia.

Le webcomic « SMBC » vient de résumer en un strip plein d’esprit les conséquences possibles de cette déformation médiatique. Ces errements étaient excusables tant que la littérature scientifique restait difficilement accessible. Avec le développement du libre accès, les études sont, de plus en plus souvent, à la portée d’un clic. Le développement d’un journalisme scientifique rigoureux apparaît plus que jamais comme une nécessité…


Jeudi 5 Juin 2014 - 14:58



Nouveau commentaire :
Facebook Twitter

Face à certains abus et dérives, nous vous rappelons que cet espace a vocation à partager vos avis sur nos contenus et à débattre mais en aucun cas à proférer des propos calomnieux, violents ou injurieux. Nous vous rappelons également que nous modérons ces commentaires et que nous pouvons être amenés à bloquer les comptes qui contreviendraient de façon récurrente à nos conditions d'utilisation.