Tässä blogikirjoituksessa tarkastelemme difference-in-differences-menetelmän luotettavuutta ja rajoituksia. Menetelmää käytetään laajalti politiikan vaikutusten arviointiin tilanteissa, joissa kokeiluja on vaikea suorittaa.
Taloustieteessä on monia tapauksia, joissa politiikan vaikutuksia on arvioitava näyttöön perustuvien poliittisten keskustelujen helpottamiseksi. Tämä prosessi on ratkaisevan tärkeä sosiaalisten ja taloudellisten ongelmien ratkaisemiseksi ja politiikan pätevyyden osoittamiseksi. Erityisesti on tärkeää määrittää selvästi, onko talouspolitiikan tai sosiaaliohjelman käyttöönotto todella tuottanut myönteisiä vaikutuksia vai aiheuttanut tahattomia sivuvaikutuksia. Politiikan vaikutusten arviointiin kuuluu politiikan toteuttamisen jälkeisten tulosten vertaaminen tuloksiin, jotka olisivat syntyneet, jos politiikkaa ei olisi toteutettu. Tämä vertailu toimii olennaisena tietona poliittisille päättäjille, ja se ohjaa tulevaa politiikan suunnittelua ja lopulta edistää yleistä sosiaalista hyvinvointia.
Koska hypoteettisia tuloksia ei kuitenkaan voida havaita, tapahtuman vaikutusta arvioidaan vertaamalla hoitoryhmän – joka koostuu tapahtuman kokeneista otoksista – tuloksia kontrolliryhmän – joka koostuu tapahtumaa kokeneista otoksista – tuloksiin. Kontrolliryhmän ja hoitoryhmän koostumus on kriittinen tekijä arvioinnin tarkkuuden kannalta. Jos kaksi ryhmää eroavat toisistaan muiden tekijöiden kuin itse tapahtuman osalta, nämä erot voivat vääristää arviointituloksia. Siksi tämän prosessin avain on muodostaa kaksi ryhmää, joiden tulosten eroavuudelle ei ole muuta syytä kuin itse tapahtuma. Esimerkiksi arvioitaessa tapahtuman vaikutusta palkkoihin ryhmät tulisi muodostaa siten, että tapahtuman puuttuessa hoitoryhmän ja vertailuryhmän keskimääräiset palkat olisivat välttämättä samat. Tämän saavuttamiseksi on ihanteellinen kokeellinen asetelma, jossa otokset jaetaan satunnaisesti kahteen ryhmään. Tämä menetelmä on kuitenkin usein mahdotonta soveltaa käsiteltäessä ihmisiä tai sosiaalisia kysymyksiä.
Näiden vaikeuksien vuoksi kvasikokeellisia menetelmiä käytetään usein tilanteissa, joissa kokeellisia menetelmiä ei voida soveltaa. Difference-in-Differences (DID) -menetelmä on laajalti käytetty tekniikka näiden kvasikokeellisten menetelmien joukossa. Difference-in-Differences (DID) -menetelmässä tapahtuman vaikutusta arvioidaan vähentämällä vertailuryhmässä havaittu muutos hoitoryhmässä havaitusta muutoksesta. Tämä arviointi perustuu oletukseen rinnakkaisista trendeistä, mikä olettaa, että jopa ilman tapahtumaa hoitoryhmässä olisi tapahtunut saman suuruinen muutos kuin vertailuryhmässä. Jos tämä oletus pätee, ei ole tarpeen varmistaa, että kahden ryhmän olosuhteet ennen tapahtumaa ovat keskimäärin samat.
Difference-in-differences-menetelmän hyödyllisyys tunnustetaan paitsi taloustieteessä myös useissa yhteiskuntatieteellisissä tutkimuksissa. Tarkasteltaessa menetelmän historiallista alkuperää tiedetään, että John Snow käytti sitä ensimmäisen kerran vuonna 1854. Hän keskittyi saman Lontoon alueen asukkaisiin, jotka saivat vettä kahdelta eri vesiyhtiöltä. Kahdesta samaa vesilähdettä käyttävästä yhtiöstä vain toinen vaihtoi lähdettään, mutta asukkaat eivät tienneet, mikä yhtiö toimitti heille veden. 'John Snow' vertasi kolerakuolleisuuden muutoksia ennen vesilähteen vaihtoa ja sen jälkeen asukkaiden keskuudessa, joiden vesilähde oli vaihtunut, ja niiden, joiden vesilähde ei ollut vaihtunut, ja päätteli, että kolera levisi veden eikä ilman välityksellä. Tämä osoittaa, että difference-in-differences-menetelmä voi toimia tehokkaana työkaluna paitsi taloudellisessa analyysissä myös muilla aloilla, kuten kansanterveydessä. Taloustieteessä tätä menetelmää käytettiin ensimmäisen kerran 1910-luvulla minimipalkkalakien käyttöönoton vaikutusten arvioimiseen.
Käytettäessä difference-in-differences-menetelmää on kuitenkin tärkeää varmistaa, täyttyykö rinnakkaisten trendien taustalla oleva oletus. Jos rinnakkaisten trendien oletus ei täyty, difference-in-differences-menetelmän soveltaminen johtaa virheelliseen arviointiin hoitovaikutuksesta. Esimerkiksi työntekijöiden koulutusohjelman työllisyyttä lisäävää vaikutusta arvioitaessa rinnakkaisten trendien oletus ei päde, jos nopeasti työpaikkojen menetyksiä kokevien toimialojen työntekijöiden osuus on suurempi hoitoryhmässä kuin kontrolliryhmässä. Interventioryhmän nimeäminen tapahtumaa edeltävältä ajalta vertailuryhmäksi ryhmien välisten otosten tilastollisen samankaltaisuuden lisäämiseksi ei kuitenkaan takaa, että rinnakkaisten trendien oletus täyttyy. Tämä johtuu siitä, että taloudellisille heilahteluille herkkien muutosten – kuten työllisyyden – kohdalla muutosten samanaikaisuus voi olla tärkeämpää tämän oletuksen täyttämiseksi kuin ryhmien välisten otosten tilastollinen samankaltaisuus.
Jotta difference-in-differences-menetelmän soveltaminen olisi luotettavampaa, tutkijoiden on tärkeää muodostaa useita vertailuryhmiä ja varmistaa, ovatko menetelmän soveltamisella kuhunkin ryhmään saadut arviointitulokset johdonmukaisia. Nämä menetelmät voivat parantaa difference-in-differences-menetelmää käyttävien arviointien luotettavuutta. Lisäksi vertailuryhmien muodostaminen, joilla on korkea tilastollinen samankaltaisuus koeryhmän kanssa eri ominaisuuksien osalta, voi vähentää rinnakkaisten trendien oletuksen rikkomisen todennäköisyyttä. Näiden menetelmien merkitys korostuu erityisesti yhteiskuntatieteellisessä tutkimuksessa, jossa kokeellisia menetelmiä on vaikea soveltaa.
Difference-in-differences-menetelmä on tehokas analyyttinen työkalu, jota voidaan hyödyntää useilla eri aloilla, mukaan lukien politiikan vaikutusten arviointi, yritysjohtamisstrategian arviointi ja koulutusohjelmien tehokkuuden analysointi. Ennen sen soveltamista on kuitenkin tärkeää tutkia huolellisesti rinnakkaisten trendien oletuksen pätevyys ja tarvittaessa käyttää sitä yhdessä muiden täydentävien menetelmien kanssa.
