W tym wpisie na blogu analizujemy niezawodność i ograniczenia metody różnicy w różnicach, która jest powszechnie stosowana do oceny skutków polityki w sytuacjach, w których przeprowadzenie eksperymentów jest utrudnione.
W ekonomii istnieje wiele przypadków, w których konieczna jest ocena skutków danej polityki, aby ułatwić dyskusję opartą na dowodach. Proces ten ma kluczowe znaczenie dla rozwiązywania problemów społecznych i gospodarczych oraz wykazywania zasadności polityki. W szczególności kluczowe jest jednoznaczne ustalenie, czy wprowadzenie polityki gospodarczej lub programu społecznego rzeczywiście przyniosło pozytywne skutki, czy też spowodowało niezamierzone skutki uboczne. Ocena skutków danej polityki polega na porównaniu rezultatów po jej wdrożeniu z rezultatami, które miałyby miejsce, gdyby nie została wdrożona. To porównanie dostarcza decydentom istotnych informacji, kształtując przyszłą politykę i ostatecznie przyczyniając się do poprawy ogólnego dobrobytu społecznego.
Ponieważ jednak nie można zaobserwować hipotetycznych wyników, wpływ zdarzenia ocenia się, porównując wyniki grupy badanej – złożonej z próbek, które doświadczyły zdarzenia – z wynikami grupy kontrolnej – złożonej z próbek, które nie doświadczyły zdarzenia. Skład grupy kontrolnej i grupy badanej jest kluczowym czynnikiem decydującym o dokładności oceny. Jeśli obie grupy różnią się pod względem innych czynników niż samo zdarzenie, różnice te mogą zniekształcić wyniki oceny. Dlatego kluczem do tego procesu jest utworzenie dwóch grup, dla których nie ma powodu, aby wyniki różniły się poza samym zdarzeniem. Na przykład, oceniając wpływ zdarzenia na płace, grupy powinny być tak utworzone, aby w przypadku braku zdarzenia średnie płace grupy badanej i grupy kontrolnej były koniecznie takie same. Aby to osiągnąć, idealny jest projekt eksperymentalny, w którym próbki są losowo przydzielane do obu grup. Jednak ta metoda jest często niemożliwa do zastosowania w przypadku osób lub zagadnień społecznych.
Z powodu tych trudności, metody quasi-eksperymentalne są często stosowane w sytuacjach, w których nie można zastosować metod eksperymentalnych. Metoda różnicy w różnicach (DID) jest szeroko stosowaną techniką wśród tych metod quasi-eksperymentalnych. Metoda różnicy w różnicach (DID) ocenia wpływ zdarzenia poprzez odjęcie zmiany zaobserwowanej w grupie kontrolnej od zmiany zaobserwowanej w grupie leczonej. Ocena ta opiera się na założeniu równoległych trendów, które zakłada, że nawet w przypadku braku zdarzenia, w grupie leczonej wystąpiłaby zmiana o tej samej skali, co w grupie kontrolnej. Jeśli to założenie jest spełnione, nie ma potrzeby upewniania się, że warunki przed zdarzeniem w obu grupach są średnio takie same.
Przydatność metody różnicy w różnicach jest uznawana nie tylko w ekonomii, ale także w różnych badaniach nauk społecznych. Patrząc na jej historyczne korzenie, wiadomo, że John Snow po raz pierwszy zastosował tę metodę w 1854 roku. Skupił się na mieszkańcach tej samej dzielnicy Londynu, którzy otrzymywali wodę z dwóch różnych przedsiębiorstw wodociągowych. Spośród dwóch przedsiębiorstw korzystających z tego samego źródła wody, tylko jedno zmieniło swoje źródło, a mieszkańcy nie wiedzieli, które przedsiębiorstwo dostarczało im wodę. „John Snow” porównał zmiany wskaźników śmiertelności z powodu cholery przed i po zmianie źródła wody wśród mieszkańców, których źródło się zmieniło, i tych, których nie, i doszedł do wniosku, że cholera jest przenoszona drogą wodną, a nie powietrzną. To pokazuje, że metoda różnicy w różnicach może służyć jako potężne narzędzie nie tylko w analizie ekonomicznej, ale także w innych dziedzinach, takich jak zdrowie publiczne. W ekonomii metoda ta została po raz pierwszy zastosowana w latach 1910. XX wieku do oceny skutków wprowadzenia przepisów o płacy minimalnej.
Jednakże, stosując metodę różnicy w różnicach, istotne jest sprawdzenie, czy podstawowe założenie trendów równoległych jest spełnione. Jeśli założenie trendów równoległych nie jest spełnione, zastosowanie metody różnicy w różnicach doprowadzi do nieprawidłowej oceny efektu leczenia. Na przykład, przy ocenie efektu programu szkolenia pracowników na zwiększenie zatrudnienia, założenie trendów równoległych nie będzie spełnione, jeśli odsetek pracowników w branżach doświadczających szybkiej utraty miejsc pracy jest wyższy w grupie leczonej niż w grupie kontrolnej. Jednak samo wyznaczenie grupy interwencyjnej z okresu poprzedzającego zdarzenie jako grupy kontrolnej w celu zwiększenia statystycznego podobieństwa próbek między grupami nie gwarantuje spełnienia założenia trendów równoległych. Dzieje się tak, ponieważ w przypadku zmian wrażliwych na wahania gospodarcze — takich jak zatrudnienie — jednoczesność zmian może być ważniejsza dla spełnienia tego założenia niż statystyczne podobieństwo próbek między grupami.
Aby zwiększyć wiarygodność metody różnicy w różnicach, ważne jest, aby badacze konstruowali wiele grup porównawczych i weryfikowali, czy wyniki ewaluacji uzyskane w wyniku zastosowania tej metody do każdej z nich są spójne. Metody te mogą zwiększyć wiarygodność ewaluacji z wykorzystaniem metody różnicy w różnicach. Ponadto, konstruowanie grup porównawczych, które wykazują wysokie podobieństwo statystyczne do grupy badanej pod względem różnych cech, może zmniejszyć prawdopodobieństwo naruszenia założenia o równoległych trendach. Znaczenie tych metod jest szczególnie widoczne w badaniach z zakresu nauk społecznych, gdzie metody eksperymentalne są trudne do zastosowania.
Metoda różnicy w różnicach to potężne narzędzie analityczne, które można wykorzystać w różnych dziedzinach, w tym w ocenie wpływu polityki, ocenie strategii zarządzania przedsiębiorstwem oraz analizie skuteczności programów edukacyjnych. Przed jej zastosowaniem należy jednak dokładnie przeanalizować zasadność założenia o równoległych trendach i, w razie potrzeby, zastosować ją w połączeniu z innymi, uzupełniającymi metodami.
