Szakpolitikai programok és intézményi változások hatásának elemzése Kézdi Gábor Közép-európai Egyetem (CEU) és MTA KRTK A Magyar Agrárközgazdasági Egyesület konferenciája Budapest
A hatás tényellentétes definíciója Realizált eredmények összehasonlítása tényellentétes eredményekkel Mi történik Y-nal amikor X megtörténik Y egy realizált eredmény ha X valóban megtörténik összehasonlítva azzal, ami Y-nal történne, ha X nem történne meg Y egy tényellentétes eredmény ha X nem történik meg Példa: egy agrártámogatási program hatása A gazdálkodónál mért eredmény (kibocsátás, árak,stb.) agrártámogatás mellett összehasonlítva azzal, ami a gazdálkodó eredménye lenne agrártámogatás nélkül 2
A tényellentétes eredmény mérése A tényellentétes eredmények mérése a fő probléma Mi lett volna ha? De nem az történt, így nem megfigyelhető Mégis mérni kell, különben nem mondhatunk semmit a hatásról A tényellentétes eredményt is csak valamilyen megfigyelhető eredménnyel mérhetjük Olyan helyzetben, amikor X nem történik meg És úgy gondoljuk, hogy az jól mutatja a tényellentétes eredményt Vagyis azt, hogy mi történt volna a minket érdeklő megfigyeléssel akkor, ha X nem történt volna meg vele Minden hatáselemzés tesz feltételezéseket a tényellentétes eredményre vonatkozóan A jobb elemzések ezt explicit módon teszik meg 3
Mérési lehetőségek Randomizált kísérletek Nem kísérleti módszerek ( kvázi-kísérletek ) úgy teszünk, mintha kísérletet elemeznénk Ezen belül több módszer is használatos Diszkontinuitás modellek Difference-in-differences és általánosításai Fixed effects, correlated random effects, synthetic controls... Matching Többváltozós regresszió Bevallottan torz mérések Tudjuk, hogy a mérésünk torz, de megpróbáljuk a valószínű torzítás irányát és mértékét meghatározni és figyelembe venni 4
Randomizált kísérletek Véletlennek köszönhető, hogy kivel történik meg a hatás Véletlenszerű, hogy ki kerül a kezelt csoportba (érinti a policy vagy intézményi változás) és ki kerül a kontroll csoportba (nem érinti a változás) A gyógyszerkísérlet-analógia hasznos A véletlenszerű csoportba rendelés miatt a kontroll csoport eredményei jól mutatják, hogy mi történt volna a kezelt csoporttal, ha nem kapják meg a kezelést Átlagosan Ha minden jól történik Egyszerű az elemzés: össze kell hasonlítani a két csoportban mért átlagot A tesztelés kicsit bonyolult tud lenni ha nem elég nagyok a minták 5
Egy randomizált kísérlet Ghanai gazdálkodók (Pace Phillips, Innovations for Poverty Action) Azért fektetnek keveset a gazdálkodók a gazdaságukba, mert nem férnek hozzá megfelelő hitelhez, vagy mert kockázatkerülők? 1377 gazdálkodó 22 faluban Véletlenszerű besorolás 4 csoportba 1. Biztosítást vásárolhatnak a csapadékmennyiségre (729 gazdálkodó) 2. Kedvezményes hitelt kaphatnak (363 gazdálkodó) 3. Biztoítást is vásárolhatnak és hitelt is kaphanak (108 gazdálkodó) 4. Kontroll csoport (177 gazdálkodó) A véletlenszerű kiválasztás miatt a csoportok átlagosan nagyon hasonlóak Mindenben, ami a kísérlet előtt mérhető volt 6
Randomizált kísérlet, eredmények Ghanai gazdálkodók Összehasonlítva a kontrollcsoporttal, 1. Aki biztosítást vásárolt, azok 13 százalékkal növelték a gazdaságukra fordított kiadásaikat (befektetéseiket) 2. Akik hitelt kaptak, azok is növelték a kiadásokat, de kisebb mértékben, és csak műtrágyára 3. Akik biztosítást is vásároltak és hitelt is kaptak, azok növelték leginkább a kiadásaikat De a kiadások növekedése nem járt együtt a profit növekedésével Konklúzió: a kockázatkerülés és a hitelekhez való hozzáférés hiánya is probléma A kockázatkerülés hatása jelentősen enyhíthető megfelelő biztosítással De számos kérdés maradt 7
Egy diff-in-diffs elemzés Etiópiai gazdálkodók (Matsumoto és Yamato, National Graduate Institute for Policy Studies, Tokyo) Magasabb hozamot érnek-e el a gazdálkodók, ha hitelt vesznek fel? Probléma: az, aki hitelt vesz fel, sok minden másban is különbözik attól, aki nem vesze föl hitelt, és ez számíthat a hozamoknál is... 400 gazdálkodó 40 faluban Megfigyelés 2004-ben és 2006-ban Hogyan változott azoknál a hozam, akik felvettek hitelt a két időpont között Összehasonlítva azokkal, akik nem vettek föl hitelt? Feltevés: Ha nem vettek volna föl hitelt, a hozam úgy változott volna azoknál, akik hitel vettek föl mint azoknál, akik nem vettek fel hitelt 8
Diff-in-diffs Jobb, mint a hitelt felvevők és a hitelt nem felvevők hozamainak egyszerű összehasonlítása Mert kontrollál a hitel felvétele előtti hozamokra Szükséges a közös trend Feltevés: ha nem vettek volna fel hitelt, a hitelfelvevők hozamai ugyanúgy változtak volna, mint a hitelt nem felvevők hozamai Nem szükséges a közös szint De megengedjük, hogy a hitelfelvevők hozamai átlagosan eltérjenek a nem hitelfelvevők hozamaitól akkor is, ha nem vettek volna fel hitelt Általában jobb, mint a keresztmetszeti regresszió Egy keresztmetszeti regresszióban magyarázó változók bevonásával próbáljuk meg kontrollálni mindazt, ami miatt a hitelfelvevők hozamai hitelfevétel nélkül is eltérhenének a hitelt nem felvevők hozamaitól Mindent kontrollálni hiú remény 9
Diff-in-diffs Rosszabb, mint a kísérlet A közös trend feltevés csak egy feltevés Bár több időpontra vonatkozó adattal megvizsgálható, hogy két olyan időpont között hasonlóak voltak-e a valtozások a későbbi hitelfelvevők és nem hitelfelvevők között, amikor még a későbbi hitelfelvevők sem vettek fel hitelt Megvalósítható anélkül, hogy beleszólnánk a policy menetébe Randomizált kísérletnél mindennek úgy kell történnie, ahogy a hatáselemzés megkívánja Egyszerűbb és robusztosabb mint a többáltozós regresszió vagy a bonyolultabb modellek (pl. Heckman-féle szelekciós modellek ) Könnyebb kommunikálni Mi magunk is jobban értjük, hogy pontosan mi is történik a becslés során 10
Eredmények az etióp tanulmányból 1994: 100% hitelbiztosítás trágya vásárlásra adott hitelre 2000-es évek elejére a vásárolt trágya 90%-a ilyen hitelből történt Probléma lehet ha a hitelt nem a legmegfelelőbb trágyára használják A 100% garancia torzíthatja az ösztönzőket Minta több területen működő gazdálkodókból Megfigyelés kétszer: 2004-ben és 2006-ban Diff-in-diffs eredmények Jobban nőtt a trágya felhasználás azoknák, akik hitelfelvevők lettek De nem nőtt jobban a hozam a kukorica és búza esetében azoknák, akik hitelfelvevők lettek Csak a teff esetében mutatható ki nagyobb hozamnövekedés Még ezek a nem-eredmények is valószínűleg torzak felfelé 11
Eredmények az etióp tanulmányból 12
Eredmények az etióp tanulmányból 13
Eredmények az etióp tanulmányból 14
Eredmények az etióp tanulmányból 15
Konklúziók A tényellentétes eredményekről való gondolkodás alapvető része a policy és intézményi hatások elemzésének A tényellentétes eredmények mérése az ilyen elemzések kucsproblémája A legjobban ezt a randomizált kísérletek kezelik Ritkák de egyre gyakrabbak A nem kísérletes módszerek csak erősebb feltevések mellett működnek Ezeket a feltevéseket explicitté kell tenni Jobbak azok a módszerek, amiknél kevésb erés feltevéseket kell tenni És általában egyszerűbbek is De mindig explicitté kell tenni, hogy milyen irányba torzíthatnak 16
Köszönöm a figyelmet! Kézdi Gábor Közép-európai Egyetem (CEU) és MTA KRTK kezdig@ceu.hu