Dalam postingan blog ini, kami mengkaji keandalan dan keterbatasan metode difference-in-differences, yang banyak digunakan untuk mengevaluasi dampak kebijakan dalam situasi di mana eksperimen sulit dilakukan.
Dalam ilmu ekonomi, terdapat banyak contoh di mana dampak suatu kebijakan harus dievaluasi untuk memfasilitasi diskusi kebijakan berbasis bukti. Proses ini sangat penting untuk menyelesaikan masalah sosial dan ekonomi serta menunjukkan validitas kebijakan. Secara khusus, sangat penting untuk menentukan secara jelas apakah pengenalan kebijakan ekonomi atau program sosial benar-benar menghasilkan dampak positif atau menyebabkan efek samping yang tidak diinginkan. Mengevaluasi dampak suatu kebijakan melibatkan perbandingan hasil setelah kebijakan diimplementasikan dengan hasil yang akan terjadi jika kebijakan tersebut tidak diimplementasikan. Perbandingan ini berfungsi sebagai informasi penting bagi para pembuat kebijakan, yang menjadi dasar perancangan kebijakan di masa mendatang dan pada akhirnya berkontribusi pada peningkatan kesejahteraan sosial secara keseluruhan.
Namun, karena hasil hipotetis tidak dapat diamati, efek suatu peristiwa dievaluasi dengan membandingkan hasil dari kelompok perlakuan—yang terdiri dari sampel yang mengalami peristiwa tersebut—dengan hasil dari kelompok kontrol—yang terdiri dari sampel yang tidak mengalami peristiwa tersebut. Komposisi kelompok kontrol dan perlakuan merupakan faktor penting yang menentukan keakuratan evaluasi. Jika kedua kelompok berbeda dalam faktor selain peristiwa itu sendiri, perbedaan ini dapat mendistorsi hasil evaluasi. Oleh karena itu, kunci dari proses ini adalah membentuk dua kelompok yang tidak memiliki alasan untuk menghasilkan perbedaan selain peristiwa itu sendiri. Misalnya, ketika mengevaluasi efek suatu peristiwa terhadap upah, kelompok-kelompok tersebut harus dibentuk sedemikian rupa sehingga, tanpa adanya peristiwa tersebut, upah rata-rata kelompok perlakuan dan kelompok pembanding akan sama. Untuk mencapai hal ini, desain eksperimental di mana sampel secara acak ditugaskan ke dua kelompok adalah ideal. Namun, metode ini seringkali tidak dapat diterapkan ketika berurusan dengan subjek manusia atau masalah sosial.
Karena kesulitan-kesulitan ini, metode kuasi-eksperimental sering digunakan dalam situasi di mana metode eksperimental tidak dapat diterapkan. Metode Difference-in-Differences (DID) adalah teknik yang banyak digunakan di antara metode kuasi-eksperimental ini. Metode Difference-in-Differences (DID) mengevaluasi efek suatu peristiwa dengan mengurangi perubahan yang diamati pada kelompok pembanding dari perubahan yang diamati pada kelompok perlakuan. Evaluasi ini didasarkan pada asumsi tren paralel, yang menyatakan bahwa bahkan tanpa adanya peristiwa tersebut, perubahan dengan besaran yang sama akan terjadi pada kelompok perlakuan seperti pada kelompok pembanding. Jika asumsi ini berlaku, tidak perlu memastikan bahwa kondisi pra-peristiwa dari kedua kelompok tersebut, rata-rata, sama.
Kegunaan metode perbedaan-dalam-perbedaan diakui tidak hanya dalam bidang ekonomi tetapi juga dalam berbagai studi ilmu sosial. Melihat asal-usul historisnya, diketahui bahwa John Snow pertama kali menggunakan metode ini pada tahun 1854. Ia berfokus pada penduduk di wilayah London yang sama yang menerima air dari dua perusahaan air yang berbeda. Dari dua perusahaan yang menggunakan sumber air yang sama, hanya satu yang mengubah sumbernya, namun penduduk tidak menyadari perusahaan mana yang memasok air mereka. 'John Snow' membandingkan perubahan tingkat kematian akibat kolera sebelum dan sesudah perubahan sumber air di antara penduduk yang sumber airnya telah berubah dan mereka yang tidak, dan menyimpulkan bahwa kolera ditularkan melalui air dan bukan melalui udara. Ini menunjukkan bahwa metode perbedaan-dalam-perbedaan dapat berfungsi sebagai alat yang ampuh tidak hanya dalam analisis ekonomi tetapi juga di bidang lain seperti kesehatan masyarakat. Dalam bidang ekonomi, metode ini pertama kali digunakan pada tahun 1910-an untuk menilai dampak dari pengenalan undang-undang upah minimum.
Namun, ketika menggunakan metode perbedaan-dalam-perbedaan, sangat penting untuk memverifikasi apakah asumsi tren paralel yang mendasarinya terpenuhi. Jika asumsi tren paralel tidak terpenuhi, penerapan metode perbedaan-dalam-perbedaan akan menyebabkan penilaian yang salah terhadap efek perlakuan. Misalnya, ketika mengevaluasi efek peningkatan lapangan kerja dari program pelatihan pekerja, asumsi tren paralel tidak akan berlaku jika proporsi pekerja di industri yang mengalami kehilangan pekerjaan secara cepat lebih tinggi di kelompok perlakuan daripada di kelompok kontrol. Namun, hanya dengan menetapkan kelompok intervensi dari periode sebelum kejadian sebagai kelompok pembanding untuk meningkatkan kesamaan statistik sampel antar kelompok tidak menjamin bahwa asumsi tren paralel terpenuhi. Hal ini karena, untuk perubahan yang sensitif terhadap fluktuasi ekonomi—seperti lapangan kerja—keserempakan perubahan mungkin lebih penting untuk memenuhi asumsi ini daripada kesamaan statistik sampel antar kelompok.
Untuk membuat penerapan metode perbedaan-dalam-perbedaan lebih andal, penting bagi peneliti untuk membangun beberapa kelompok perbandingan dan memverifikasi apakah hasil evaluasi yang diperoleh dengan menerapkan metode tersebut pada setiap kelompok konsisten. Metode-metode ini dapat meningkatkan keandalan evaluasi menggunakan metode perbedaan-dalam-perbedaan. Lebih lanjut, membangun kelompok perbandingan yang menunjukkan kesamaan statistik yang tinggi dengan kelompok perlakuan di berbagai karakteristik dapat mengurangi kemungkinan pelanggaran asumsi tren paralel. Pentingnya metode-metode ini sangat ditekankan dalam penelitian ilmu sosial, di mana metode eksperimental sulit diterapkan.
Metode perbedaan-dalam-perbedaan adalah alat analisis yang ampuh yang dapat digunakan di berbagai bidang, termasuk evaluasi dampak kebijakan, penilaian strategi manajemen perusahaan, dan analisis efektivitas program pendidikan. Namun, sebelum menerapkannya, penting untuk memeriksa dengan cermat validitas asumsi tren paralel dan, jika perlu, menggunakannya bersamaan dengan metode pelengkap lainnya.
