Faith-Based Fudging (ou l’art d’améliorer les données quand on a la foi)
Comment un programme de « prison chrétienne » soutenu par Bush prétend au succès grâce au bricolage des données.
Par Mark A.R. Kleiman
paru le 5 août 2003 dans le journal web Slate

La Maison Blanche, le Wall Street Journal, et les conservateurs chrétiens n’ont pas cessé de se péter les bretelles depuis juin (2003), quand un des projets favoris du Président George W. Bush, une « initiative basée sur la foi », a fait la manchette en tant que succès total.

Alors qu’il était gouverneur du Texas, Bush a invité l’organisation Prison Fellowship de Charles Colson, à démarrer le InnerChange Freedom Initiative, un programme centré sur la Bible, avec une « prison-dans-la-prison » où les prisonniers sont soumis à une évangélisation vigoureuse avec sessions de prières et conseils intensifs. Une étude (voir study) produite par le Centre de recherche sur la religion et la société civile urbaine de l’Université de Pennsylvanie rapporte que les diplômés du programme InnerChange ont été ré-arrêtés et ré-emprisonnés en bien moins grands nombres que ceux d’un groupe de contrôle équivalent.

Pour ceux qui savent à quel point les taux de récidive sont difficiles à réduire, les résultats rapportés étaient impressionnants. Colson a donc célébré ce rapport par une visite à la Maison Blanche incluant une photo avec le président. Le chef de la majorité en Chambre, Tom DeLay, a alors émis un communiqué de presse triomphant. Le Journal à donc flagellé les critiques des programmes basés sur la foi pour leur "aveuglement devant la science" en s’opposant à InnerChange. Le rapport a réchauffé le cœur des officiels dans les quatre états qui ont un tel programme InnerChange et a conforté le plan du Président Bush pour introduire ce programme chrétien dans les prisons fédérales.

Il n’est pas nécessaire de croire en la foi-guérisseuse pour penser qu’un programme intensif de 16 mois, avec suivi après libération, géré par des gens profondément concernés pourrait être l’occasion, pour quelques prisonniers, de reprendre leur vie en main. Le rapport semble placer les « libéraux sécularistes » américains devant une alternative pénible : avoir les prisonniers « sauvés » par Colson, ou bien accepter qu’ils commettent d’autres crimes et retournent en prison ?

Mais, quand on se donne la peine d’examiner l’étude en question, il est clair que le programme n’a pas fonctionné. Les participants à InnerChange firent légèrement pire que le groupe de contrôle. Ils ont été légèrement plus enclins à être arrêtés de nouveau et sensiblement plus sujets (24 % contre 20 %) à être internés de nouveau. Si la foi est, comme le dit St-Paul aux Hébreux, l’évidence des choses invisibles, alors InnerChange est une occasion pour cultiver sa foi : nous n’avons certainement rien vu comme résultats.

Comment donc l’étude de l’université de Pennsylvanie a-t-elle pu être pervertie en une preuve qu’InnerChange fonctionne? A l’aide d’un des plus vieux tours de passe-passe, un tour qui garanti pratiquement le succès de n’importe quel programme : compter les gagnants et ignorer les perdants. En statistique, le terme savant pour ce tour est « polarisation par sélection » ; les patrons des programmes appèlent cela « écrémer ». Anne Piehl, professeur de politiques publiques à Harvard qui a passé l’étude en revue avant sa publication, appelle cette façon de faire "cuisiner les livres"

Voici comment l’étude a été frelatée.

InnerChange a commencé avec 177 prisonniers volontaires mais seulement 75 d’entre eux ont été "diplômés." L’obtention du diplôme implique la participation au programme non seulement en prison mais aussi après la libération. Aucun n’a été compté comme diplômé, par exemple, à moins de trouver du travail. Naturellement les diplômés ont fait mieux que le groupe de contrôle. N’importe quel truc qui sélectionne les seuls « au travail » dans un groupe d’ex-prisonniers va apparaître comme une cure miracle, parce que trouver un travail et le garder est l’un des meilleurs indicateurs prédictifs de réhabilitation. Un prisonnier qui réussi à passer au travers de 16 mois d’un programme d’auto-amélioration très exigeant a probablement plus de ressources intérieures et une plus forte détermination à changer sa vie que la moyenne des prisonniers.

Les chefs de claque de InnerChange ont simplement ignoré les autres 102 participants qui ont lâché, qui ont été éliminés, ou qui ont bénéficié d’une libération anticipée et qui n’ont pas terminé le programme. Naturellement ces non-diplômés ont fait pire que le groupe de contrôle. Si vous sélectionnez les gagnants, vous laissez dehors principalement des perdants.

Dans l’ensemble, les 177 entrants ont fait un peu moins bien que les contrôles. Cela aurait dû décourager les tenants d’InnerChange, mais au contraire, ils se sont encouragés parce qu’ils ont ignoré l’échec des perdants et se sont concentrés sur le succès des gagnants.

L’étude de l’Université ne cache aucunement ces pauvres résultats: tous les faits rapportés précédemment proviennent directement de ce rapport. Mais l’étude dévie pour accrocher un sourire aux tristes résultats, ce qui a mené aux chiffres des diplômés seuls avant d’arriver aux faits déprimants. Apparemment, le bureau de presse de Prison Fellowship a simplement écrit un communiqué de presse sélectif, et la Maison Blanche a repris l’information à partir du communiqué de presse. Vraisemblablement personne n’a véritablement menti ; ils ont simplement cru et répété comme étant des faits ce qu’ils voulaient croire. Il est difficile de savoir avec certitude ce que pensaient les personnes impliquées. L’auteur de l’étude, Byron Johnson, a annulé une entrevue au dernier moment. La maison Blanche n’a pas répondu aux demandes de commentaires.

Le gérant du programme InnerChange, Jerry Wilger, dit qu’il ne connaît pas grand chose en recherche, mais il ne pense pas qu’il soit correct de compter contre lui les participants qui ont lâché son programme, une objection qui sonne juste mais qui manque totalement la cible. Si le groupe des 177 participants à InnerChange étaient véritablement comparé au groupe de contrôle et se révélait avoir plus de récidives, alors ou bien le succès apparent des diplômés était dû à l’écrémage ou bien le programme a réussi ce tour de force de rendre les non-diplômés pires que ce qu’ils étaient au départ. Si le programme avait effectivement aidé ses diplômés sans enfoncer les non-diplômés, et si le groupe entier des participants était véritablement comparé au groupe de contrôle, alors le groupe des 177 participants aurait dû faire mieux ensemble que le groupe de contrôle. Ce qu’ils n’ont pas fait.

En conclusion, cette analyse optimiste de gagnants seuls ne vaut même le papier sur laquelle elle est imprimée. Seule une analyse du groupe complet (techniquement désignée "intent-to-treat", un terme issu de la recherche médicale) a une valeur réelle. Et sur cette base, ce programme a un effet nul ou un peu moins bon que nul. Cela en fait un échec.

John DiIulio, un intellectuel sérieux, tenant des programmes basés sur la foi, a été directeur des initiatives basées sur la foi de l’administration Bush et le fondateur du Centre de recherche de l’Université de Pennsylvanie. Il a franchement admit que les résultats n’étaient pas ce qu’un supporter de tels programmes avait espéré. Mais il a souligné qu’une étude isolée ne fournit presque jamais un oui ou un non convaincant pour un concept de programme. Les croyants orthodoxes montrent le seul résultat positif et disent que cela prouve que les programmes basés sur la foi fonctionnent. Les sécularistes orthodoxes montrent un seul résultat négatif et disent que cela prouve que les programmes basés sur la foi ne fonctionnent jamais. Ils ont tous tort.

Les pauvres résultats de InnerChange ne signifie pas qu’aucun programme basé sur la foi ne puisse fonctionner, mais ils signifient que ce programme particulier n’a pas fonctionné, à tout le moins, jusqu’à maintenant. Il rejoint une longue lignée de ce qui semblait de bonnes idées pour réduire la récidive mais qui ont échouées lorsque soumises à une évaluation rigoureuse. Il est possible que ma propre lubie, l’alphabétisation (voir literacy training), ne ferait pas mieux dans un test vraiment aléatoire. Mais c’est pour cela que l’on fait des évaluations; elles nous racontent des choses que nous ne voulons pas entendre. Si vous êtes honnête, vous les écouter.

Et si vous êtes malin, vous n’écouterez pas les politiciens tenants des ceci et cela basés sur la foi quand ils vous disent qu’ils ne demandent votre soutien que pour des programmes qui ont été « prouvés » fonctionnels.

Mark A.R. Kleiman, expert en contrôle de la criminalité, enseigne les politiques publiques à l’Université de Californie à Los Angeles. Son Weblog est à markarkleiman.blogspot.com.

Illustration par Robert Neubecker

Traduit de l’anglais par Michel Virard, février 2005