このブログ記事では、実験の実施が困難な状況において政策効果を評価するために広く用いられている差分の差分法の信頼性と限界について検証します。
経済学においては、政策に関するエビデンスに基づいた議論を促進するために、政策の効果を評価する必要がある場面が数多く存在する。このプロセスは、社会経済的な問題を解決し、政策の妥当性を証明する上で極めて重要である。特に、経済政策や社会プログラムの導入が実際にプラスの効果をもたらしたのか、あるいは意図しない副作用を引き起こしたのかを明確に判断することが不可欠である。政策の効果を評価するには、政策実施後の結果と、政策が実施されなかった場合の結果を比較する必要がある。この比較は政策立案者にとって重要な情報となり、将来の政策設計に役立ち、最終的には社会全体の福祉向上に貢献する。
しかし、仮説上の結果は観察できないため、事象の影響は、事象を経験したサンプルで構成される処置群の結果と、事象を経験しなかったサンプルで構成される対照群の結果を比較することによって評価されます。対照群と処置群の構成は、評価の正確性を決定する重要な要素です。両群が事象自体以外の要因で異なる場合、これらの違いが評価結果を歪める可能性があります。したがって、このプロセスの鍵は、事象自体以外に結果が異なる理由がない2つのグループを形成することです。たとえば、事象が賃金に与える影響を評価する場合、事象がない場合、処置群と比較群の平均賃金が必然的に同じになるようにグループを形成する必要があります。これを実現するには、サンプルを2つのグループにランダムに割り当てる実験計画が理想的です。しかし、この方法は、人間を対象とする場合や社会問題を扱う場合には適用できない場合が多いです。
こうした困難さから、実験的手法が適用できない状況では、準実験的手法が頻繁に用いられる。差分の差分法（DID法）は、こうした準実験的手法の中でも広く用いられている手法である。差分の差分法（DID法）は、処置群で観察された変化から比較群で観察された変化を差し引くことで、事象の影響を評価する。この評価は、並行傾向の仮定に基づいている。この仮定は、事象がなかったとしても、処置群と比較群で同じ大きさの変化が生じたであろうと想定している。この仮定が成り立つ場合、事象発生前の2つの群の状態が平均的に同じであることを確認する必要はない。
差分の差分法の有用性は、経済学だけでなく、さまざまな社会科学研究においても認められています。その歴史的起源を見ると、ジョン・スノーが1854年にこの方法を初めて使用したことが知られています。彼は、ロンドンの同じ地域に住む、2つの異なる水道会社から給水を受けている住民に焦点を当てました。同じ水源を使用している2つの会社のうち、水源を変更したのは1社だけでしたが、住民はどちらの会社が給水しているかを知りませんでした。「ジョン・スノー」は、水源が変更された住民と変更されていない住民の間で、水源変更前後のコレラ死亡率の変化を比較し、コレラは空気感染ではなく水を介して伝染すると結論付けました。これは、差分の差分法が経済分析だけでなく、公衆衛生などの他の分野でも強力なツールとして役立つことを示しています。経済学では、この方法は1910年代に最低賃金法の導入の影響を評価するために初めて使用されました。
しかし、差分の差分法を用いる場合、並行トレンドの仮定が満たされているかどうかを確認することが不可欠です。並行トレンドの仮定が満たされていない場合、差分の差分法を適用すると、処置効果の評価が誤りとなります。例えば、労働者訓練プログラムによる雇用増加効果を評価する場合、急速な雇用喪失を経験している産業の労働者の割合が、対照群よりも処置群で高い場合、並行トレンドの仮定は成り立ちません。しかし、介入群をイベント前の期間から比較群として指定し、群間のサンプルの統計的類似性を高めるだけでは、並行トレンドの仮定が満たされるとは限りません。これは、雇用など経済変動に敏感な変化の場合、この仮定を満たすためには、群間のサンプルの統計的類似性よりも、変化の同時性の方が重要となる可能性があるためです。
差分の差分法の適用をより信頼性の高いものにするためには、研究者は複数の比較グループを構築し、各グループにこの方法を適用して得られた評価結果が一貫しているかどうかを検証することが重要です。これらの方法は、差分の差分法を用いた評価の信頼性を高めることができます。さらに、様々な特性において治療群と高い統計的類似性を示す比較グループを構築することで、並行傾向の仮定が破られる可能性を低減できます。これらの方法の重要性は、実験的手法の適用が困難な社会科学研究において特に顕著です。
差分の差分法は、政策影響評価、企業経営戦略評価、教育プログラムの効果分析など、様々な分野で活用できる強力な分析ツールです。しかし、適用する前に、並行トレンド仮定の妥当性を慎重に検討し、必要に応じて他の補完的な手法と併用することが重要です。
