Dans cet article de blog, nous examinons la fiabilité et les limites de la méthode des différences-en-différences, largement utilisée pour évaluer les effets des politiques dans des situations où il est difficile de mener des expériences.
En économie, il est souvent nécessaire d'évaluer les effets d'une politique afin d'alimenter les débats politiques par des données probantes. Ce processus est crucial pour résoudre les problèmes socio-économiques et démontrer la validité des politiques mises en œuvre. Il est notamment essentiel de déterminer clairement si l'introduction d'une politique économique ou d'un programme social a effectivement produit des effets positifs ou a engendré des effets secondaires imprévus. Évaluer l'effet d'une politique consiste à comparer les résultats obtenus après sa mise en œuvre avec ceux qui auraient été observés en l'absence de cette politique. Cette comparaison fournit des informations essentielles aux décideurs politiques, éclairant la conception des politiques futures et contribuant, en définitive, à l'amélioration du bien-être social général.
Cependant, comme les résultats hypothétiques ne peuvent être observés, l'effet d'un événement est évalué en comparant les résultats d'un groupe expérimental (composé d'individus ayant subi l'événement) à ceux d'un groupe témoin (composé d'individus n'ayant pas subi l'événement). La composition des groupes témoin et expérimental est un facteur déterminant pour la précision de l'évaluation. Si les deux groupes diffèrent par d'autres facteurs que l'événement lui-même, ces différences peuvent fausser les résultats. Par conséquent, la clé de ce processus est de constituer deux groupes pour lesquels il n'y a aucune raison que les résultats diffèrent, hormis l'événement lui-même. Par exemple, lors de l'évaluation de l'effet d'un événement sur les salaires, les groupes doivent être constitués de telle sorte qu'en l'absence de l'événement, les salaires moyens du groupe expérimental et du groupe témoin soient nécessairement identiques. Pour ce faire, un plan expérimental dans lequel les individus sont assignés aléatoirement aux deux groupes est idéal. Toutefois, cette méthode est souvent inapplicable lorsqu'il s'agit de sujets humains ou de problématiques sociales.
En raison de ces difficultés, les méthodes quasi-expérimentales sont fréquemment utilisées lorsque les méthodes expérimentales ne peuvent être mises en œuvre. La méthode des différences-en-différences (DID) est une technique largement employée parmi ces méthodes quasi-expérimentales. Elle évalue l'effet d'un événement en soustrayant la variation observée dans le groupe témoin de celle observée dans le groupe traité. Cette évaluation repose sur l'hypothèse de tendances parallèles, selon laquelle, même en l'absence de l'événement, une variation d'amplitude identique se serait produite dans le groupe traité et dans le groupe témoin. Si cette hypothèse est vérifiée, il n'est pas nécessaire de s'assurer que les conditions pré-événementielles des deux groupes sont, en moyenne, identiques.
L'utilité de la méthode des différences-en-différences est reconnue non seulement en économie, mais aussi dans diverses études en sciences sociales. Historiquement, on sait que John Snow a utilisé cette méthode pour la première fois en 1854. Il s'est intéressé aux habitants d'un même quartier de Londres, alimentés en eau par deux compagnies différentes. Parmi ces deux compagnies, qui utilisaient la même source, une seule a changé de fournisseur, sans que les habitants ne sachent laquelle. John Snow a comparé l'évolution des taux de mortalité par choléra avant et après ce changement de source d'eau entre les habitants concernés et ceux dont le fournisseur était resté le même. Il a conclu que le choléra se transmettait par l'eau et non par l'air. Ceci démontre que la méthode des différences-en-différences peut constituer un outil puissant non seulement en analyse économique, mais aussi dans d'autres domaines comme la santé publique. En économie, cette méthode a été utilisée pour la première fois dans les années 1910 pour évaluer les effets de l'introduction du salaire minimum.
Toutefois, lors de l'utilisation de la méthode des différences-en-différences, il est essentiel de vérifier si l'hypothèse sous-jacente de tendances parallèles est satisfaite. Si cette hypothèse n'est pas vérifiée, l'application de la méthode des différences-en-différences conduira à une évaluation erronée de l'effet du traitement. Par exemple, lors de l'évaluation de l'effet d'un programme de formation professionnelle sur l'emploi, l'hypothèse de tendances parallèles ne sera pas vérifiée si la proportion de travailleurs dans les secteurs connaissant des pertes d'emplois rapides est plus élevée dans le groupe expérimental que dans le groupe témoin. Cependant, le simple fait de désigner le groupe d'intervention d'une période antérieure à l'événement comme groupe de comparaison afin d'accroître la similarité statistique des échantillons entre les groupes ne garantit pas le respect de l'hypothèse de tendances parallèles. En effet, pour les changements sensibles aux fluctuations économiques, tels que l'emploi, la simultanéité des changements peut être plus importante pour satisfaire cette hypothèse que la similarité statistique des échantillons entre les groupes.
Pour rendre l'application de la méthode des différences-en-différences plus fiable, il est important que les chercheurs constituent plusieurs groupes de comparaison et vérifient la cohérence des résultats d'évaluation obtenus en appliquant la méthode à chaque groupe. Ces méthodes permettent d'améliorer la fiabilité des évaluations utilisant la méthode des différences-en-différences. De plus, la constitution de groupes de comparaison présentant une forte similarité statistique avec le groupe de traitement, et ce, pour diverses caractéristiques, peut réduire le risque de violation de l'hypothèse de tendances parallèles. L'importance de ces méthodes est particulièrement manifeste dans la recherche en sciences sociales, où les méthodes expérimentales sont difficiles à mettre en œuvre.
La méthode des différences-en-différences est un outil analytique puissant qui peut être utilisé dans divers domaines, notamment l'évaluation de l'impact des politiques publiques, l'analyse des stratégies de gestion d'entreprise et l'évaluation de l'efficacité des programmes éducatifs. Cependant, avant de l'appliquer, il est important d'examiner attentivement la validité de l'hypothèse des tendances parallèles et, si nécessaire, de l'utiliser conjointement avec d'autres méthodes complémentaires.
