V tomto blogovém příspěvku zkoumáme spolehlivost a omezení metody rozdílu v rozdílech, která se široce používá k hodnocení účinků politik v situacích, kdy je obtížné provádět experimenty.
V ekonomii existuje mnoho případů, kdy je nutné vyhodnotit dopady politiky, aby se usnadnily politické diskuse založené na důkazech. Tento proces je klíčový pro řešení sociálních a ekonomických problémů a prokázání platnosti politik. Zejména je nezbytné jasně určit, zda zavedení hospodářské politiky nebo sociálního programu skutečně přineslo pozitivní účinky, nebo způsobilo nezamýšlené vedlejší účinky. Hodnocení dopadu politiky zahrnuje porovnání výsledků po jejím zavedení s výsledky, které by nastaly, kdyby politika zavedena nebyla. Toto srovnání slouží jako zásadní informace pro tvůrce politik, informuje o budoucím návrhu politik a v konečném důsledku přispívá ke zlepšení celkového společenského blahobytu.
Protože však hypotetické výsledky nelze pozorovat, účinek události se hodnotí porovnáním výsledků léčebné skupiny – složené ze vzorků, které událost zažily – s výsledky kontrolní skupiny – složené ze vzorků, které událost nezažily. Složení kontrolní a léčebné skupiny je kritickým faktorem určujícím přesnost hodnocení. Pokud se obě skupiny liší v jiných faktorech než samotnou událostí, mohou tyto rozdíly zkreslit výsledky hodnocení. Klíčem k tomuto procesu je proto vytvoření dvou skupin, u kterých neexistuje žádný jiný důvod pro rozdíly ve výsledcích než samotná událost. Například při hodnocení vlivu události na mzdy by měly být skupiny vytvořeny tak, aby v případě nepřítomnosti události byly průměrné mzdy léčebné skupiny a srovnávací skupiny nutně stejné. K dosažení tohoto cíle je ideální experimentální design, ve kterém jsou vzorky náhodně přiděleny do obou skupin. Tato metoda je však často nepoužitelná při práci s lidskými subjekty nebo sociálními problémy.
Vzhledem k těmto obtížím se kvaziexperimentální metody často používají v situacích, kdy nelze experimentální metody použít. Metoda Difference-in-Differences (DID) je mezi těmito kvaziexperimentálními metodami široce používanou technikou. Metoda Difference-in-Differences (DID) vyhodnocuje vliv události odečtením změny pozorované ve srovnávací skupině od změny pozorované ve skupině s léčbou. Toto hodnocení je založeno na předpokladu paralelních trendů, který předpokládá, že i v nepřítomnosti události by došlo ke změně stejného rozsahu v léčebné skupině jako ve skupině s léčbou. Pokud tento předpoklad platí, není nutné zajistit, aby podmínky před událostí v obou skupinách byly v průměru stejné.
Užitečnost metody rozdílu v rozdílech je uznávána nejen v ekonomii, ale i v různých společenskovědních studiích. Při pohledu na její historický původ je známo, že John Snow tuto metodu poprvé použil v roce 1854. Zaměřil se na obyvatele stejné oblasti Londýna, kteří odebírali vodu od dvou různých vodárenských společností. Z těchto dvou společností používajících stejný zdroj vody pouze jedna změnila zdroj, přesto obyvatelé nevěděli, která společnost jim vodu dodává. „John Snow“ porovnával změny v úmrtnosti na choleru před a po změně zdroje vody mezi obyvateli, jejichž zdroj se změnil, a těmi, jejichž zdroj se nezměnil, a dospěl k závěru, že cholera se přenáší vodou, nikoli vzduchem. To ukazuje, že metoda rozdílu v rozdílech může sloužit jako účinný nástroj nejen v ekonomické analýze, ale i v dalších oblastech, jako je veřejné zdraví. V ekonomii byla tato metoda poprvé použita v 10. letech 20. století k posouzení dopadů zavedení zákonů o minimální mzdě.
Při použití metody rozdílu v rozdílech je však nezbytné ověřit, zda je splněn základní předpoklad paralelních trendů. Pokud předpoklad paralelních trendů splněn není, povede použití metody rozdílu v rozdílech k nesprávnému posouzení efektu léčby. Například při hodnocení efektu vzdělávacího programu pracovníků na zvýšení zaměstnanosti nebude předpoklad paralelních trendů platný, pokud je podíl pracovníků v odvětvích, která zažívají rychlé ztráty pracovních míst, vyšší v léčebné skupině než v kontrolní skupině. Pouhé určení intervenční skupiny z období před událostí jako srovnávací skupiny za účelem zvýšení statistické podobnosti vzorků mezi skupinami však nezaručuje, že je splněn předpoklad paralelních trendů. Je to proto, že u změn citlivých na ekonomické výkyvy – jako je zaměstnanost – může být pro splnění tohoto předpokladu důležitější simultánnost změn než statistická podobnost vzorků mezi skupinami.
Aby byla aplikace metody rozdílu v rozdílech spolehlivější, je důležité, aby výzkumníci vytvořili více srovnávacích skupin a ověřili, zda jsou výsledky hodnocení získané aplikací metody na každou skupinu konzistentní. Tyto metody mohou zvýšit spolehlivost hodnocení pomocí metody rozdílu v rozdílech. Kromě toho může vytvoření srovnávacích skupin, které vykazují vysokou statistickou podobnost s léčenou skupinou napříč různými charakteristikami, snížit pravděpodobnost porušení předpokladu paralelních trendů. Význam těchto metod je obzvláště zdůrazněn ve výzkumu v sociálních vědách, kde je obtížné aplikovat experimentální metody.
Metoda rozdílu v rozdílech je účinný analytický nástroj, který lze využít v různých oblastech, včetně hodnocení dopadů politik, hodnocení strategie řízení podniků a analýzy efektivity vzdělávacích programů. Před jejím použitím je však důležité pečlivě prozkoumat platnost předpokladu paralelních trendů a v případě potřeby ji použít ve spojení s dalšími doplňkovými metodami.
