I dette blogindlæg undersøger vi pålideligheden og begrænsningerne af forskel-i-forskelle-metoden, som er meget anvendt til at evaluere politiske effekter i situationer, hvor eksperimenter er vanskelige at udføre.
Inden for økonomi er der mange tilfælde, hvor virkningerne af en politik skal evalueres for at fremme evidensbaserede politiske diskussioner. Denne proces er afgørende for at løse sociale og økonomiske spørgsmål og demonstrere gyldigheden af politikker. Det er især vigtigt at fastslå klart, om indførelsen af en økonomisk politik eller et socialt program faktisk har givet positive effekter eller forårsaget utilsigtede bivirkninger. Evaluering af effekten af en politik indebærer at sammenligne resultaterne efter, at politikken blev implementeret, med de resultater, der ville være opstået, hvis politikken ikke var blevet implementeret. Denne sammenligning tjener som vigtig information for beslutningstagere, informerer fremtidig politikudformning og bidrager i sidste ende til at forbedre den samlede sociale velfærd.
Da hypotetiske udfald imidlertid ikke kan observeres, evalueres effekten af en begivenhed ved at sammenligne resultaterne af en behandlingsgruppe – bestående af stikprøver, der oplevede begivenheden – med resultaterne af en kontrolgruppe – bestående af stikprøver, der ikke oplevede begivenheden. Sammensætningen af kontrol- og behandlingsgrupperne er en kritisk faktor, der bestemmer evalueringens nøjagtighed. Hvis de to grupper adskiller sig i andre faktorer end selve begivenheden, kan disse forskelle forvrænge evalueringsresultaterne. Nøglen til denne proces er derfor at danne to grupper, for hvilke der ikke er nogen grund til, at resultaterne afviger ud over selve begivenheden. For eksempel, når man evaluerer effekten af en begivenhed på lønninger, bør grupperne dannes således, at den gennemsnitlige løn for behandlingsgruppen og sammenligningsgruppen nødvendigvis ville være den samme i fravær af begivenheden. For at opnå dette er et eksperimentelt design, hvor stikprøver tilfældigt tildeles de to grupper, ideelt. Denne metode er dog ofte ikke anvendelig, når man beskæftiger sig med mennesker eller sociale problemstillinger.
På grund af disse vanskeligheder anvendes kvasieksperimentelle metoder ofte i situationer, hvor eksperimentelle metoder ikke kan anvendes. Difference-in-Differences (DID)-metoden er en udbredt teknik blandt disse kvasieksperimentelle metoder. Difference-in-Differences (DID)-metoden evaluerer effekten af en begivenhed ved at trække den observerede ændring i sammenligningsgruppen fra den observerede ændring i behandlingsgruppen. Denne evaluering er baseret på antagelsen om parallelle tendenser, hvilket postulerer, at selv i fravær af begivenheden ville der være forekommet en ændring af samme størrelsesorden i behandlingsgruppen som i sammenligningsgruppen. Hvis denne antagelse holder, er det ikke nødvendigt at sikre, at betingelserne før begivenheden for de to grupper i gennemsnit er de samme.
Nytten af difference-in-differences-metoden er anerkendt ikke kun inden for økonomi, men også i forskellige samfundsvidenskabelige studier. Når man ser på dens historiske oprindelse, vides det, at John Snow først brugte denne metode i 1854. Han fokuserede på beboere i det samme område af London, der modtog vand fra to forskellige vandselskaber. Af de to selskaber, der brugte den samme vandkilde, ændrede kun ét sin kilde, men beboerne var ikke klar over, hvilket selskab der leverede deres vand. 'John Snow' sammenlignede ændringer i koleradødelighed før og efter vandkildeskiftet blandt beboere, hvis kilde havde ændret sig, og dem, hvis ikke havde, og konkluderede, at kolera blev overført via vand snarere end luft. Dette viser, at difference-in-differences-metoden kan tjene som et effektivt værktøj ikke kun inden for økonomisk analyse, men også inden for andre områder såsom folkesundhed. Inden for økonomi blev denne metode først brugt i 1910'erne til at vurdere virkningerne af indførelsen af mindstelønslove.
Når man bruger difference-in-differences-metoden, er det dog vigtigt at verificere, om den underliggende antagelse om parallelle tendenser er opfyldt. Hvis antagelsen om parallelle tendenser ikke er opfyldt, vil anvendelsen af difference-in-differences-metoden føre til en forkert vurdering af behandlingseffekten. For eksempel, når man evaluerer den beskæftigelsesforøgende effekt af et arbejdstageruddannelsesprogram, vil antagelsen om parallelle tendenser ikke holde, hvis andelen af arbejdstagere i brancher, der oplever hurtige jobtab, er højere i behandlingsgruppen end i kontrolgruppen. Det er dog ikke garanteret, at antagelsen om parallelle tendenser er opfyldt blot ved at udpege interventionsgruppen fra en periode før begivenheden som sammenligningsgruppe for at øge den statistiske lighed mellem stikprøverne mellem grupperne. Dette skyldes, at for ændringer, der er følsomme over for økonomiske udsving - såsom beskæftigelse - kan samtidigheden af ændringerne være vigtigere for at opfylde denne antagelse end den statistiske lighed mellem stikprøverne mellem grupperne.
For at gøre anvendelsen af difference-in-differences-metoden mere pålidelig er det vigtigt for forskere at konstruere flere sammenligningsgrupper og verificere, om de evalueringsresultater, der opnås ved at anvende metoden på hver gruppe, er konsistente. Disse metoder kan forbedre pålideligheden af evalueringer ved hjælp af difference-in-differences-metoden. Desuden kan konstruktionen af sammenligningsgrupper, der udviser høj statistisk lighed med behandlingsgruppen på tværs af forskellige karakteristika, reducere sandsynligheden for, at antagelsen om parallelle tendenser overtrædes. Vigtigheden af disse metoder er især fremhævet i samfundsvidenskabelig forskning, hvor eksperimentelle metoder er vanskelige at anvende.
Forskel-i-forskelle-metoden er et kraftfuldt analyseværktøj, der kan anvendes inden for forskellige områder, herunder evaluering af politiske konsekvenser, vurdering af virksomhedsledelse og analyse af uddannelsesprogrammers effektivitet. Før den anvendes, er det dog vigtigt at undersøge gyldigheden af antagelsen om parallelle tendenser nøje og om nødvendigt bruge den i forbindelse med andre komplementære metoder.
