stats count

samedi 10 janvier 2009

La révolution des « randomistas »


Esther Duflo vient d’inaugurer sa leçon au Collège de France et elle a les honneurs mérités de The Economist, du Monde et bien sûr d’Ecopublix. C’est l’occasion de revenir sur une controverse qui anime le petit monde des économistes du développement, avec à son cœur l’approche empirique défendue par notre petite Française. On n’y parle pas des milliards de dollars des banques, mais de la meilleure façon d’améliorer l’aide en faveur des milliards de personnes qui vivent avec quelques dollars par jour. Le débat se concentre sur la pertinence des « expériences contrôlées » pour accroître l’efficacité des politiques d’aide au développement initiées par les organismes tels que la Banque Mondiale ou les ONG. Alors que l’expérimentation est devenue une méthode de référence en économie empirique, des voix s’élèvent pour mettre en garde contre les espoirs que ce type de méthodes suscite. Qu’en penser ?

I. La révolution des expériences contrôlées

Pour comprendre l’enthousiasme récent des économistes pour les expériences contrôlées, il est nécessaire de faire un (rapide) survol des méthodes utilisées par les économistes dans le passé. Dans les années 1980, la méthode reine est la régression en coupe internationale : on rassemble des données sur 100 pays et on regarde les corrélations entre différentes variables. Par exemple, on constate que le montant de l’aide au développement est négativement associé à la croissance du pays. Il est alors évident que l’on ne peut en tirer aucune conclusion en termes de causalité : l’aide au développement cause–t-elle une faible croissance, ou l’inverse ?

James Heckman, prix Nobel d’économie et grand monsieur de l’économétrie, a inventé (après d’autres) une solution statistique au problème : il suffit de trouver un « instrument », c’est-à-dire une variable qui permette d’expliquer le niveau de l’aide versée mais qui soit indépendante de la croissance. L’instrument ainsi trouvé permettra d’approcher l’effet causal de l’aide sur la croissance : il s’agit de la méthode des variables instrumentales.

Cette méthode a été reprise puis adaptée aux cas des « expériences naturelles ». Celles-ci reposent sur l’idée que si l’on peut identifier deux groupes identiques et si l’un de ces groupes bénéficie de – ou subit – un « traitement » (une politique, un choc économique), il est possible de tirer des conclusions sur l’effet net moyen de ce « traitement » sur différentes variables (le revenu, la probabilité d’emploi, la santé, etc.). Si les conditions sont réalisées on pourra alors parler de causalité.

Toute une école d’économistes s’est lancée dans ces nouvelles méthodes, en particulier à Harvard et au MIT (Orley Ashenfelter, Josh Angrist ou plus récemment Steven Levitt sont des exemples parmi beaucoup d’autres). Les expériences naturelles ont fleuri et avec elles de multiples techniques (double différence, matching, regression dicscontinuity, etc). Avec la prolifération de ce type d’études, la qualité des travaux s’est néanmoins détériorée. Les multiples vérifications, pour s’assurer que les groupes de contrôle et groupes tests ne sont pas touchés par la réforme étudiée, étaient plus rarement mises en pratique. Le stock de « bonnes expériences naturelles » ou de « bons instruments » est vite apparu comme limité. Quelques chercheurs, particulièrement conscients des difficultés qu’il y avait à réaliser ces bonnes expériences naturelles, ne souhaitaient pas en rester là. Si les expériences naturelles étaient rares, ne fallait-il pas créer ce que la « nature » n’avait pas produit et passer à l’expérimentation « contrôlée » ?

L’expérimentation en économie s’est développée dans deux domaines en particulier : l’évaluation des politiques publiques et l’économie du développement. Dans les deux cas, l’évaluation avait pour objectif d’optimiser l’utilisation de ressources rares (l’argent des contribuables ou l’aide au développement) afin de maximiser l’efficacité pour les bénéficiaires.

En économie du développement, les chercheurs qui ont le plus œuvré dans cette direction sont deux brillants économistes du MIT, Esther Duflo et Abhijit  Banerjee. Ils ont créé une fondation « Abdul Latif Jameel Poverty Action Lab » dédiée entièrement au financement d’expérimentation de différentes politiques d’aide aux pays en voie de développement. L’objectif était de sortir des contraintes des expériences naturelles (où l’on est dépendant de l’expérience que l’on trouve) afin de se concentrer sur les questions pour lesquelles on cherchait des réponses. Le choix de l’expérimentation repose sur l’avantage considérable du tirage aléatoire (randomization) pour mesurer les effets d’une politique (ou d’une aide spécifique). Les résultats sont précis et robustes. De multiples études ont été réalisées qui nous ont appris beaucoup sur la façon de bien conduire de l’aide au développement (voir cet article récent qui liste les résultats surprenants d’expérimentations récentes). De plus en plus d’ONG calquent leur pratique sur les enseignements de ces études et travaillent avec des chercheurs pour améliorer l’efficacité de leurs actions. A l’opposé de la caricature d’économistes loin de la réalité en train de manipuler de grandes théories, ces chercheurs ouvrent la boite noire de la production des politiques publiques. Par exemple comment améliorer l’éducation dans les pays en voie de développement ? Faut-il embaucher plus de professeurs, payer des livres, subventionner les cantines scolaires ou vérifier la présence des professeurs. Banerjee et Duflo expliquent que les expérimentations ont pu mettre en lumière  l’efficacité sensiblement différente des politiques pour obtenir le même niveau d’éducation. L’enthousiasme, légitime, de ces jeunes chercheurs les a amené à considérer l’expérimentation comme l’idéal méthodologique (le « gold standard ») de l’économie empirique mais aussi comme l’espoir d’un renouveau de l’engagement citoyen et la promesse d’un monde meilleur...

II. Les critiques des sceptiques

Ces nouvelles méthodes n’ont pourtant pas convaincu tout le monde. Elles suscitent même de sérieuses controverses parmi les économistes (relatées en partie par The Economist). Récemment, à l’occasion de la publication d’un livre au MIT Press par Abhijit  Banerjee, Making Aid Work, puis d’une conférence organisée par le Brookings Institute, le très respecté Angus Deaton (Princeton) et le non moins écouté Dani Rodrik (Harvard) ont chacun fait part de leurs inquiétudes devant le développement de ces méthodes (ou les attentes que l’on peut en avoir). Deaton raille ainsi ces « randomistas » qui ont développé une passion pour les expérimentations et dénonce les expérimentations comme la dernière lubie à la mode. Deux types de critique sont mises en avant.

1. L’éthique en question

Le premier problème de l’expérimentation est un problème éthique. L’identification d’un groupe de contrôle et d’un groupe test suppose que l’on choisit consciemment de ne pas « traiter » tout le monde. Comme le « traitement » est généralement une politique ou de l’aide que l’on juge a priori bénéfique, il est difficile de ne pas voir une injustice à ne pas offrir cette aide à tout le monde. L’argument des chercheurs a été de pointer le fait qu’on ne connaît pas l’efficacité des différentes aides possibles. Les ressources étant rares, chaque ONG est finalement contrainte à faire un choix d’un pays et même d’une petite région où opérer. En testant les différentes aides possibles par expérimentation, les ONG peuvent non seulement lever plus de ressources mais également privilégier les méthodes les plus efficaces, aidant ainsi un nombre bien plus large d’individus.

Mais cette justification apparaît parfois difficile à tenir. Si personne ne réagit fortement lorsque l’on évalue l’aide à l’éducation en comparant l’achat de livres par rapport à l’achat de l’uniforme ou l’effet de la présence des enseignants, lorsqu’on parle de l’effet de traitement médicaux sur les performances scolaires, de légitimes questions doivent être posées. Edward Miguel et Michael Kremer ont ainsi étudié l’effet d’un traitement contre les vers intestinaux sur l’absentéisme à l’école afin de mesurer les effets d’externalité des politiques de santé sur l’accumulation de capital humain. Cet article, qui est par ailleurs un article « phare » de cette école de recherche, a causé des discussions animées sur la justification éthique de telles recherches. Le processus expérimental a consisté à tirer au hasard des enfants kenyans en administrant à seulement la moitié d’entre eux le traitement contre les vers pour mesurer l’effet du traitement sur les performances scolaires (on connaît l’efficacité directe du traitement en terme de santé et le coût du traitement est très faible). Les chercheurs pointent que cette étude a permis de mettre en évidence qu’un traitement qui coûte 30 centimes permet d’obtenir un supplément d’éducation aussi tangible que de couteuses politiques à plus de 6000 $. Au lieu de financer des livres pour chaque enfant, il est possible – pour le même coût – d’être vingt mille fois plus efficace en offrant un traitement contre les vers à tous les enfants africains.

Le résultat de cette étude valait-il le coût éthique de cette expérimentation ? Est-il mieux de pouvoir mesurer cette externalité ou faut-il savoir limiter les champs d’expérimentation ? En d’autres termes, la fin justifie-t-elle les moyens ? Même si l’objectif final est d’aider ces populations, on ne peut s’empêcher de penser que s’il est plus facile de réaliser ces expériences dans les pays en voie de développement c’est aussi parce que dans les pays développés, les citoyens ont leur mot à dire sur l’opportunité de ces études…

2. Les limites méthodologiques

Plus que le problème éthique, ce qui semble le plus agacer les sceptiques, ce sont les prétentions de supériorité méthodologique.

James Heckman rappelle que la validité des expérimentations n’est que conditionnelle. Les résultats ne sont valables que dans le contexte de l’expérimentation (dans le pays, sur l’échantillon traité, selon les conditions macroéconomiques, etc.) . Ainsi, si une expérience met en évidence que l’aide aux chômeurs en Suède pendant une forte période de croissance est positive sur le retour à l’emploi, cela ne permet pas d’en déduire l’effet d’une politique similaire en France pendant une période de récession. Selon les mots de Deaton, le risque est d’amasser des faits et non de la connaissance. Les défenseurs des expérimentations lui rétorque que c’est une raison supplémentaire de faire plus d’expériences et non moins !

Les sceptiques répliquent alors que la multiplication des expérimentations de résout pas le fait qu’elles ne mesurent pas tous les effets. Ainsi, une politique peut être efficace à dose homéopathique (lorsqu’elle n’a pas d’impact sur les coûts ou les marchés du travail) mais peut se révéler complètement inefficace une fois qu’on prend en compte ses impacts macroéconomiques. C’est pourquoi Deaton raille les espoirs mis dans les expérimentations car, selon lui, elles ne peuvent qu’évaluer des petites politiques mais deviennent obsolètes dès que l’aide versée est suffisamment importante pour faire une différence.

L’autre point du débat est l’opposition entre vision micro et macro. Si les méthodes empiriques des macroéconomistes ont été discréditées au profit d’analyses micro plus rigoureuses et plus ciblées, les analyses globales (institutions, ouverture commerciale, etc.) n’en restent pas moins pertinentes pour expliquer le développement économique. Comme Deaton et Rodrik le soulignent, les pays qui se sont développés récemment (et ont sorti de la pauvreté des millions d’individus) ne l’ont pas fait en s’appuyant sur une aide extérieure et encore moins sur des politiques de développement expérimentées au préalable, mais en s’ouvrant au commerce, en garantissant les droits de propriété et en luttant contre la corruption.

Au final, doit-on reprocher à l’expérimentation d’apporter des informations très précises certes mais sur des points somme toute négligeables ?

III. Qu’en conclure?

Ce débat peut laisser songeur. Lorsque l’on compare la défense des expérimentations par Duflo et Banerjee et les critiques qui leur sont faites, on ne peut s’empêcher de penser que tout le monde s’accorde en fait sur deux points essentiels : les expérimentations sont extrêmement utiles et correspondent à un progrès substantiel par rapport aux analyses passées. Mais ce n’est pas la fin de l’histoire pour autant et d’autres méthodes, avec une meilleure compréhension des mécanismes, devront être développées. Une des voies d’avenir serait de parvenir à modéliser les comportements économiques en testant les hypothèses lors d’expériences : si le modèle est robuste à ces tests, il peut être utilisé pour juger d’autres politiques, hors du contexte de l’expérimentation ou pour évaluer des politiques qui ne peuvent pas être soumises à l’expérimentation.

L’opposition micro/macro est aussi stérile. Certes, les grands mouvements macroéconomiques (croissance, commerce) sont probablement plus importants pour la réduction de la pauvreté dans les pays pauvres, mais en rester à un niveau d’analyse macro n’a souvent aucun intérêt pratique : savoir si l’aide en soi est bonne ou pas pour la croissance n’est pas forcément la bonne question à poser au vu de l’hétérogénéité de l’aide possible. Essayer de comprendre quel type d’aide est efficace, ou est contreproductif, est probablement plus important. Pour ce faire, une combinaison d’expérimentations et de modélisation d’effets macroéconomiques sera déterminante.

Il est enfin difficile de reprocher aux partisans des expérimentations le souhait de voir ajouter au mur de la connaissance économique des petites mais solides pierres, quand on compte le nombre de grandes théories qui n’ont pas survécu à leur auteur. La modestie de ces approches est au contraire tout à l’honneur des chercheurs qui les poursuivent. Ceux qui en viennent à professer que les expérimentations sont la seule voie pour sauver le monde n’en ont simplement pas compris la philosophie.

_Antoine_

9 commentaires:

Gu Si Fang a dit…

Quelle distinction Heckman fait-il entre "l'accumulation de faits" et l'usage des statistiques? Il me semble que les limites des expériences randomisées sont aussi valables pour l'économétrie.

Quelqu'un a-t-il à assister à la leçon inaugurale? J'ai renoncé en voyant la bonne centaine de personnes qui attendaient devant les grilles du Collège de France par -5°C. On aurait dit un concert de Patricia Kaas ;-)

verel a dit…

En kisant le compte rendu du Monde, je me suis dit que cette approche pragmatique était une très bonne idée

En vous lisant, j'ai eu un doute;

J'ai en effet repensé à cette fameuse expérience de Mayo à Hawthorne qui a montré que les moyens utilisés pour suivre l'expérience' avait eu un impact bien plus grand sur le résultat que les moyens que l'on voulait expérimenter
N'a t-on pas le même risque ici?
Le fait de suivre l'expérimentation ne modifie t-il pas en profondeur les modes de fonctionnement des acteurs en présence?

Antoine a dit…

@Gu Si Fang: Je suis assez d'accord avec vous. L'économétrie non expérimentale repose aussi sur une identification propre au cas particulier et aux données. Ce que veulent dire les critiques, ce n'est pas tant l'opposition aux méthodes expérimentales que l'opposition à l'idée que l'expérimentation soit une fin en soit qui dispense de réfléchir aux modèles et à la façon dont les faits s'enchaînent.

@Verel: oui bien sûr, il y a pleins de problèmes possibles dans les expérimentations, mais ce sont des problèmes que l'on peut réduire en prenant des précautions et en réalisant des expérimentations dans les règles de l'art.

J'espère par contre que ce post ne vous rend pas méfiant contre les expérimentations. Ce sont des méthodes très attrayantes et les travaux d'Esther Duflo et de ses collègues sont fascinants!

Le doute ne fait pas de mal s'il ne se traduit pas en scepticisme généralisé!

Yves-Marie a dit…

C'est étonnant, mais les arguments évoqués par les sceptiques de ces expérimentations me rappellent ceux énoncés par les opposants à Galilée lorsque celui-ci commença à faire... des expérimentations. En moins philosophique toutefois ; à savoir, que l'observation à travers une lunette d'un corps sur Terre (monde profane) ne montre rien quand l'observation de la Lune dans l'éther (monde sacré) depuis la Terre. Ou que la chute des corps sur Terre ne montre rien quant à la chute de la Lune.

Antoine a dit…

Voir aussi le post d'Etienne Wassmer avec quelques exemples très intéressants.

Anonyme a dit…

Mon désarroi, plutôt mon désaccord est au niveau du rôle que vous donnez au Duflo et A.Banerjee en laisant M.Kremer à la marge. Il me semble que c'est lui le chef de fil...Il a même fallu remporté de J.Bates à cause de ça aussi.

Je ne suis pas entrain de dire que les deux sont négligeables, au contraire, ils sont les ténors de l'approche. Seulement, selon toute vraisemblance, c'est à Kremer que revient le rôle de chef de file...

Tom Roud a dit…

En tant que scientifique, j'ai un peu de mal à comprendre comment il peut être "révolutionnaire" de faire des expériences ! C'est assez fascinant et va dans le sens de cet article de Bouchaud, sûrement très critiquable mais qui met manifestement le doigt où ça fait mal.

Je suis aussi un peu étonné sur le débat pour-contre. Par exemple, le fait de savoir si c'est moral de ne pas aider tout le monde : la question se pose exactement de la même façon lorsque l'on teste des nouveaux traitements médicaux entre un groupe témoin et un groupe sous traitement. Le deuxième point sur l'impact du contexte se pose je pense tout autant. Tout cela me donne l'impression que l'économie est une science un peu trop fermée sur elle-même.

Anonyme a dit…

economie ou psykologie apliquée?

"cette fameuse expérience de Mayo à Hawthorne qui a montré que les moyens utilisés pour suivre l'expérience' avait eu un impact bien plus grand sur le résultat que les moyens que l'on voulait expérimenter"

oui

Anonyme a dit…

Bonjour,
Merci pour cet article bien intéressant. Ce débat entre expérimentalistes et déctracteurs a déjà eu lieu dans les 70's aux Etats-Unis autour des premières formes d'évaluation des politiques publiques, d'inspiration expérimentales (voir les passages qui y sont consacrés dans le livre de Monnier, Evaluations de l'action des pouvoirs publics, 1992). On retrouve les mêmes termes du débat (éthique, utilité et validité), rien de bien nouveau donc... si ce n'est les avancées des travaux des gens du MIT (que je ne connaissais pas) qui semblent produire des résultats étonnants et intéressants sur des sujets ciblés. Et vous dites qu'ils sont utilisés? Là il y aurait du nouveau...! Pour finir ça me fait penser aux principes politiques de Dewey qui prône l'expérimentation sociale comme voie de progrès (tester des politiques et ne garder que celles qui "marchent")... A suivre...
Claire Tourmen (MConf Dijon et pas économiste!)

Enregistrer un commentaire