Pour clarifier les enjeux, il faut clairement distinguer les objectifs et les moyens de l’action publique. Les objectifs sont de l’ordre des choix politiques des citoyens dans le cadre de la démocratie. Faut-il dépenser plus dans l’éducation ou dans l’armée, dans les retraites ou la recherche, pour l’aide au développement ou pour la santé ? A l’inverse une partie des choix des politiques publiques sont de l’ordre des moyens. Tout le monde s’accorde à vouloir un taux de chômage plus faible, mais la question est comment faire ? Faut-il faire des préretraites, les 35 heures, modifier le contrat de travail, modifier le système d’assurance chômage, mettre en place des baisses de charges sociales, modifier le salaire minimum, baisser les impôts, faire du déficit public… ?
Une première possibilité consiste à évaluer l’efficacité de ces différentes politiques en vue de l’objectif fixé et à juger si celles-ci ont des effets non désirés. Si par exemple améliorer la flexibilité du marché du travail permet de baisser le chômage en dégradant les conditions de vie des salariés, les citoyens sont en droit de refuser une telle politique en faveur d’une autre plus adéquate. Mais pour faire ce choix en connaissance de cause, il faut d’abord étudier quels sont les effets des différentes politiques proposées. Et ceci n’a rien d’évident.
La difficulté majeure de l’évaluation des politiques publiques vient du fait qu’il est techniquement difficile d’estimer « l’effet pur » des politiques publiques. On ne peut pas observer un même pays avec une politique x et sans cette politique. Toute la question de l’évaluation repose sur ce problème : il n’est pas possible d’observer le « contrefactuel » (ce qui ce serait passé si cette politique n’avait pas eu lieu).
Prenons l’exemple du CNE : on mesure qu’un an après l’introduction du nouveau contrat, 570 000 contrats ont été signés (de septembre 2005 à août 2006 selon l’Acoss). Qu’en conclure ?
Le problème fondamental est qu’une « France sans CNE » n’existe pas en même temps qu’une « France avec CNE » : estimer la causalité de l’existence du CNE sur l’emploi n’a donc rien d’évident !
L’approche la plus basique consiste à comparer l’emploi après avec celui avant l’introduction de la politique publique (en l’occurrence le CNE) qui nous intéresse. Or imaginons qu’au moment où le CNE est mis en place le dollar monte, l’Allemagne sort de récession ou encore l’hiver dure moins longtemps : comment peut-on faire pour savoir quelle part de ce qu’on observe attribuer au CNE et quelle part aux autres facteurs favorables qui se sont manifestés de manière simultanée ?
Une autre méthode consiste à comparer deux groupes, les entreprises touchées par le CNE (moins de 20 salariés) et les entreprises non touchées par le CNE (plus de 20 salariés) : peut-on déduire de la comparaison de ces deux groupes que la différence d’embauche est liée au CNE ? Pas vraiment. Cette différence représenterait l’effet du CNE uniquement si les entreprises de moins de 20 salariés et celles de plus de 20 salariés sont en tout points identiques quant à l’embauche et au cycle économique. Pas besoin de longues études d’économie pour être d’accord sur le point que ces deux groupes ne sont pas tout à fait comparable : le biais de sélection est évident.
Les économistes ont alors cherché à utiliser des méthodes statistiques pour isoler l’effet de causalité et s’émanciper des biais de sélection. Pour établir des relations de causalité, la méthode la plus convaincante est de faire une expérience. On tirer au sort deux groupes, l’un « test » à qui la réforme est appliquée, l’autre « de contrôle », sert de groupe de comparaison. Le choix aléatoire des deux groupes les rend identiques et donc retire le biais de sélection. Si cette méthode a des atouts indéniables du point de vue scientifique, elle est coûteuse à mettre en place et fait souvent face à l’opposition de ceux qui considèrent l’expérimentation des politiques sociales comme non éthique.
Pour pallier le manque de telles expériences, les économistes ont recours à des expériences naturelles, c’est-à-dire l’étude de réformes ou de variations qui se rapprochent d’une expérience contrôlée (différents groupes touchés différemment). Une des méthodes les plus utilisées aujourd’hui (parmi d’autres méthodes), s’appelle « la double différence ». L’idée est de comparer la différence entre deux groupes (l’un touché par la réforme, l’autre pas) avant la réforme puis après la réforme. Si les deux groupes n’évoluent pas de façon différente (hormis à cause de la réforme), on va pouvoir identifier l’effet pur de celle-ci. Cette méthode a l’avantage d’être très transparente pour les évaluations et donc de pouvoir plus facilement convaincre des lecteurs non spécialistes. C’est un avantage considérable qui explique largement son succès. Toute la difficulté consiste à trouver des groupes tests et de contrôle convaincants, c’est-à-dire qui soient aussi similaires les uns des autres avant la réforme, comme s’ils avaient été tirés au sort.
Pour autant, la recherche économique qui s’est concentrée sur les évaluations de politiques publiques est beaucoup plus complexe et a développé bien d’autres méthodes, non pas pour maintenir le débat aux mains d’experts tout puissants, mais parce les questions en jeu sont d’une réelle complexité. Plusieurs exemples peuvent aider à préciser cette nécessité :
D’abord, l’effet à court terme peut être différent d’un effet à long terme. Par exemple, l’introduction du CNE peut conduire à court terme à la création de nouveaux emplois, mais qui vont progressivement se substituer aux CDI qui disparaissent. Ou, à l’inverse, la création d’un nouveau contrat de travail n’a que peu d’effet à court terme mais accroît à plus long terme l’embauche de tous les salariés.
Ensuite, une politique économique touche les individus de façon différente : certains peuvent réagir nettement d’autres pas du tout. Effectuer des simples comparaisons des effets moyens masque parfois la diversité des situations : il est possible que le CNE soit très efficace pour offrir des emplois à des jeunes sans qualification qui étaient exclus avant du marché du travail car les employeurs ne voulaient pas leur faire confiance pour un essai, mais que ce contrat soit destructeur de stabilité pour les plus qualifiés. Un effet moyen masque alors des situations très différentes, voire opposées (les économistes appellent ce problème l’hétérogénéité des réactions).
Enfin, le problème de l’équilibre général se pose de façon nette à tous les spécialistes de l’évaluation : une politique peut avoir un effet au niveau micro (en équilibre partiel) et avoir un effet net très différent une fois que son impact sur toutes les autres variables est pris en compte. Ainsi, si le CNE incite à la création d’emploi (hypothèse), les salaires vont réagir à l’augmentation de la demande de travail (ils risquent d’augmenter si l’offre de travail est contrainte), ce qui va faire baisser en retour la demande de travail (si la demande de travail est sensible à son coût) ou l’augmenter (selon un effet keynésien d’augmentation de la consommation). L’effet net d’une politique va dépendre au final d’un certain nombre de réactions de l’économie que les économistes cherchent à étudier séparément. Les méthodes des expériences naturelles ont l’avantage de mesurer un effet global à un moment donné, mais comme la décomposition des effets est difficile, elles se prêtent mal à des généralisations. Par exemple si l’introduction du CNE est évalué comme positif pour l’emploi (hypothèse), cela ne prouve pas que le CPE (qui vise un autre public) va être efficace.
Les méthodes d’évaluation des politiques publiques sont en amélioration permanente depuis une quinzaine d’année. Elles se sont diffusées depuis les universités (américaines) pour alimenter de larges pans de la recherche économique. Pour que ces innovations parviennent à alimenter des évaluations de qualité, il faut un contact permanent et intense entre les institutions qui mènent les évaluations et la recherche de pointe dans ces domaines. Il y a donc une seconde difficulté à l’évaluation, institutionnelle cette fois… Suite au prochain numéro !
Une première possibilité consiste à évaluer l’efficacité de ces différentes politiques en vue de l’objectif fixé et à juger si celles-ci ont des effets non désirés. Si par exemple améliorer la flexibilité du marché du travail permet de baisser le chômage en dégradant les conditions de vie des salariés, les citoyens sont en droit de refuser une telle politique en faveur d’une autre plus adéquate. Mais pour faire ce choix en connaissance de cause, il faut d’abord étudier quels sont les effets des différentes politiques proposées. Et ceci n’a rien d’évident.
La difficulté majeure de l’évaluation des politiques publiques vient du fait qu’il est techniquement difficile d’estimer « l’effet pur » des politiques publiques. On ne peut pas observer un même pays avec une politique x et sans cette politique. Toute la question de l’évaluation repose sur ce problème : il n’est pas possible d’observer le « contrefactuel » (ce qui ce serait passé si cette politique n’avait pas eu lieu).
Prenons l’exemple du CNE : on mesure qu’un an après l’introduction du nouveau contrat, 570 000 contrats ont été signés (de septembre 2005 à août 2006 selon l’Acoss). Qu’en conclure ?
- Que le CNE a « permis de créer 570 000 nouveaux emplois » ? (ça serait le cas si l’on pouvait vérifier que, dans un monde sans CNE, le nombre d’emplois créés serait inférieur de 570 000) ;
- Que le CNE a « a simplement conduit à une substitution de CNE à des CDI » ? (ça serait le cas si l’on pouvait vérifier que, dans un monde sans CNE, au bout d’un an 570 000 nouveau CDI auraient de toutes les façons été créés).
Le problème fondamental est qu’une « France sans CNE » n’existe pas en même temps qu’une « France avec CNE » : estimer la causalité de l’existence du CNE sur l’emploi n’a donc rien d’évident !
L’approche la plus basique consiste à comparer l’emploi après avec celui avant l’introduction de la politique publique (en l’occurrence le CNE) qui nous intéresse. Or imaginons qu’au moment où le CNE est mis en place le dollar monte, l’Allemagne sort de récession ou encore l’hiver dure moins longtemps : comment peut-on faire pour savoir quelle part de ce qu’on observe attribuer au CNE et quelle part aux autres facteurs favorables qui se sont manifestés de manière simultanée ?
Une autre méthode consiste à comparer deux groupes, les entreprises touchées par le CNE (moins de 20 salariés) et les entreprises non touchées par le CNE (plus de 20 salariés) : peut-on déduire de la comparaison de ces deux groupes que la différence d’embauche est liée au CNE ? Pas vraiment. Cette différence représenterait l’effet du CNE uniquement si les entreprises de moins de 20 salariés et celles de plus de 20 salariés sont en tout points identiques quant à l’embauche et au cycle économique. Pas besoin de longues études d’économie pour être d’accord sur le point que ces deux groupes ne sont pas tout à fait comparable : le biais de sélection est évident.
Les économistes ont alors cherché à utiliser des méthodes statistiques pour isoler l’effet de causalité et s’émanciper des biais de sélection. Pour établir des relations de causalité, la méthode la plus convaincante est de faire une expérience. On tirer au sort deux groupes, l’un « test » à qui la réforme est appliquée, l’autre « de contrôle », sert de groupe de comparaison. Le choix aléatoire des deux groupes les rend identiques et donc retire le biais de sélection. Si cette méthode a des atouts indéniables du point de vue scientifique, elle est coûteuse à mettre en place et fait souvent face à l’opposition de ceux qui considèrent l’expérimentation des politiques sociales comme non éthique.
Pour pallier le manque de telles expériences, les économistes ont recours à des expériences naturelles, c’est-à-dire l’étude de réformes ou de variations qui se rapprochent d’une expérience contrôlée (différents groupes touchés différemment). Une des méthodes les plus utilisées aujourd’hui (parmi d’autres méthodes), s’appelle « la double différence ». L’idée est de comparer la différence entre deux groupes (l’un touché par la réforme, l’autre pas) avant la réforme puis après la réforme. Si les deux groupes n’évoluent pas de façon différente (hormis à cause de la réforme), on va pouvoir identifier l’effet pur de celle-ci. Cette méthode a l’avantage d’être très transparente pour les évaluations et donc de pouvoir plus facilement convaincre des lecteurs non spécialistes. C’est un avantage considérable qui explique largement son succès. Toute la difficulté consiste à trouver des groupes tests et de contrôle convaincants, c’est-à-dire qui soient aussi similaires les uns des autres avant la réforme, comme s’ils avaient été tirés au sort.
Pour autant, la recherche économique qui s’est concentrée sur les évaluations de politiques publiques est beaucoup plus complexe et a développé bien d’autres méthodes, non pas pour maintenir le débat aux mains d’experts tout puissants, mais parce les questions en jeu sont d’une réelle complexité. Plusieurs exemples peuvent aider à préciser cette nécessité :
D’abord, l’effet à court terme peut être différent d’un effet à long terme. Par exemple, l’introduction du CNE peut conduire à court terme à la création de nouveaux emplois, mais qui vont progressivement se substituer aux CDI qui disparaissent. Ou, à l’inverse, la création d’un nouveau contrat de travail n’a que peu d’effet à court terme mais accroît à plus long terme l’embauche de tous les salariés.
Ensuite, une politique économique touche les individus de façon différente : certains peuvent réagir nettement d’autres pas du tout. Effectuer des simples comparaisons des effets moyens masque parfois la diversité des situations : il est possible que le CNE soit très efficace pour offrir des emplois à des jeunes sans qualification qui étaient exclus avant du marché du travail car les employeurs ne voulaient pas leur faire confiance pour un essai, mais que ce contrat soit destructeur de stabilité pour les plus qualifiés. Un effet moyen masque alors des situations très différentes, voire opposées (les économistes appellent ce problème l’hétérogénéité des réactions).
Enfin, le problème de l’équilibre général se pose de façon nette à tous les spécialistes de l’évaluation : une politique peut avoir un effet au niveau micro (en équilibre partiel) et avoir un effet net très différent une fois que son impact sur toutes les autres variables est pris en compte. Ainsi, si le CNE incite à la création d’emploi (hypothèse), les salaires vont réagir à l’augmentation de la demande de travail (ils risquent d’augmenter si l’offre de travail est contrainte), ce qui va faire baisser en retour la demande de travail (si la demande de travail est sensible à son coût) ou l’augmenter (selon un effet keynésien d’augmentation de la consommation). L’effet net d’une politique va dépendre au final d’un certain nombre de réactions de l’économie que les économistes cherchent à étudier séparément. Les méthodes des expériences naturelles ont l’avantage de mesurer un effet global à un moment donné, mais comme la décomposition des effets est difficile, elles se prêtent mal à des généralisations. Par exemple si l’introduction du CNE est évalué comme positif pour l’emploi (hypothèse), cela ne prouve pas que le CPE (qui vise un autre public) va être efficace.
Les méthodes d’évaluation des politiques publiques sont en amélioration permanente depuis une quinzaine d’année. Elles se sont diffusées depuis les universités (américaines) pour alimenter de larges pans de la recherche économique. Pour que ces innovations parviennent à alimenter des évaluations de qualité, il faut un contact permanent et intense entre les institutions qui mènent les évaluations et la recherche de pointe dans ces domaines. Il y a donc une seconde difficulté à l’évaluation, institutionnelle cette fois… Suite au prochain numéro !
