OKTATÁSI FEJLESZTÉSEK HATÁSAINAK

Átírás

1 OKTATÁSI FEJLESZTÉSEK HATÁSAINAK VIZSGÁLATA Sági Matild Oktatáskutató és Fejlesztő Intézet EDUCATIO Nemzetközi Oktatási Szakkiállítás Budapest Január 16.

2 HATÁSVIZSGÁLAT Hatásvizsgálatokkal egy meghatározott beavatkozás meghatározott célcsoportra vonatkozó meghatározott céljának elérését mérjük A hatásvizsgálatok a tényekre alapozott döntések eszközei Első hírvivő terület az egészségügy 2

3 A HAJNÖVESZTŐ SZER PÉLDÁJA Jól meghatározható cél : 3

4 A HAJNÖVESZTŐ SZER PÉLDÁJA Jól meghatározható a beavatkozás: 4

5 A HAJNÖVESZTŐ SZER PÉLDÁJA Rövid idő alatt jól mérhető a célzott hatás mértéke: 5

6 A HAJNÖVESZTŐ SZER PÉLDÁJA Mérhető a nem teljesen tökéletes hatás: 6

7 A HAJNÖVESZTŐ SZER PÉLDÁJA Jól tetten érhetőek a nem szándékolt hatások is: 7

8 HATÁSVIZSGÁLATOK MINT A TÉNYEKRE ALAPOZOTT DÖNTÉSHOZATAL ESZKÖZEI Hatásvizsgálatokkal egy meghatározott beavatkozás meghatározott célcsoportra vonatkozó meghatározott céljának Mi a cél? Hogyan mérjük? Mi a beavatkozás? Mi a célcsoport? elérését tudjuk mérni. Mikor várható a hatás? (Időzítés) 8

9 HATÁSOK TÍPUSAI Közvetlen közvetett Közvetlen hatás: a programban résztvevőkre gyakorolt hatás. Közvetett hatás: azokra gyakorolt hatás, akik nem vesznek részt a programban, de a program hatásai érintik őket. Szándékolt nem szándékolt Szándékolt hatás: a program céljának, céljainak teljesülése. Nem szándékolt hatás: olyan hatás, amelyet a program kidolgozói nem szerettek volna elérni. Nincs, vagy nem mérhető a hatás A program szándékolt hatása és a nem szándékolt hatások kioltják egymást, illetve a hatások mérése ütközik nehézségbe Placebo hatás Ebben az esetben közvetlenül nem a programnak, hanem a program tényének hatásáról beszélhetünk (tipikus esete az orvosi vizsgálatokban a hatóanyag nélküli kezelések) 9

10 A HATÁSVIZSGÁLATOK TÍPUSAI Előzetes (ex-ante) hatásvizsgálat Egy (még) meg nem valósított program hatásait, következményeit méri Várható hatások mérése Jellemzően a program tervezésekor (döntés-előkészítés) Sok esetben a korábbi hazai és nemzetközi kutatások, illetve szakértői becslések felhasználása Leggyakrabban valamilyen előrejelző modell segítségével történik (mikroszimuláció) Példa: Hermann Varga (2012): A népesség iskolázottságának előrejelzése 2020-ig (ISMIK) Utólagos (ex-post) hatásvizsgálat Egy már megvalósított program hatásait, következményeit méri 10

11 PÉLDÁK EX-POST HATÁSVIZSGÁLATOKRA No Child Left Behind Program (USA): 2002-ben indult a program a hátrányos helyzetű gyerekek támogatására, a cél a tanulói eredményesség és elszámoltathatóság növelése ->az iskola finanszírozását teszik függővé az iskola teljesítményétől (ennek egy része a longitudinális vizsgálat, NAEP tesztekkel való összevetés, éves előrehaladási jelentés tanulónként, iskolai éves jelentés, tanártovábbképzés) Integrációs program hatásvizsgálata (Kézdi- Surányi) Közgazdasági költség-haszon elemzések Az iskolázottság megtérülési rátáinak elemzése Ex-post Hatásvizsgálatok az Oktatáskutató és fejlesztő Intézetben 11

12 CSAK VÁLTOZÁS VAGY HATÁS? Egy program/beavatkozás hatásvizsgálatának végső kérdése az, hogy milyen eredményt értek el a résztvevők, összehasonlítva azzal, hogy akkor milyen eredményt értek volna el, ha nem vettek volna részt a programban / nem történt volna beavatkozás. Önmagában a változás tényét NEM lehet a képzés hatásaként értelmezni! Mert lehet, hogy más hatás(ok) érvényesült(ek): Munkanélküliek számára indított képzést követően a programban résztvevők 30%-a elhelyezkedett. Ennek oka lehet például: - megváltoztak a gazdasági körülmények (pl. általános gazdasági fellendülés volt, vagy a régióba települt egy nagy gyár) - szezonális hatások voltak (beérett a szőlő, szüretelő munkásokra volt szükség) Mert lehet, hogy nem volt különösebb hatása semminek: akkor is ennyien tudtak volna helyezkedni, ha nem vettek volna részt a képzésben 12

13 HOGYAN TUDJUK MÉRNI A HATÁST? Identifikációs probléma: Azt akarjuk megtudni, hogy mi történt volna a résztvevőkkel, ha nem vesznek részt a programban / nem történik beavatkozás de ezt sosem tudhatjuk meg, mert részt vettek benne! A megoldás: matematikai statisztikai módszerekkel meg tudjuk becsülni, hogy mi történt volna, ha a résztvevők nem vettek volna részt a programban ( tényellentétes állapot ) így a célfüggvény (aminek a változását mérjük) beavatkozás nélküli, és a beavatkozással való értékének a különbségét is becsülni tudjuk. Milyen mért adatokra tudunk támaszkodni? a programban részt vevők: (1) a program előtt és (2) után a programban nem résztvevők: (3) a program előtt és (4) után Ha ennek a 4 tényezőnek bármelyike hiányzik, nem tudunk megbízható hatásbecslést csinálni! Pusztán a program résztvevőinek vizsgálatával nem azonosítható a program hatása kontrollcsoportra van szükség 13

14 HATÁSBECSLÉSI MÓDSZEREK A hatásbecslések 4 fő típusa: 1. Tervezett kísérletek 2. Természetes kísérletek 3. Párosításos (matching) modellek 4. Ökonometriai modellek Keresztmetszeti regressziók Szelekciós modellek A módszer megválasztása függ attól, hogy: milyen adatok állnak a rendelkezésünkre milyen a kontrollcsoport milyen típusú összefüggést feltételezünk ok és okozat között 14

15 PROGRAMÉRTÉKELÉS ÉS HATÁSVIZSGÁLAT KÖZÖS ELEMEK: a célok teljesülésének vizsgálata a hasznok, hatások, eredményesség megállapítása minőségbiztosítási eszközök visszacsatolási-és visszajelzési folyamatok erősítése a (későbbi) döntések megalapozása KÜLÖNBSÉG: A hatásvizsgálatok oksági magyarázatot ad a beavatkozások valamint azok megfigyelt vagy várható hatásai közötti kapcsolatra, de nem értékelnek A programértékelés értékeket rendel e beavatkozásokhoz, minősíti azok erényeit vagy hiányosságait, egy előre megadott kritériumrendszer segítségével 15

16 A TÉNYEKRE ALAPOZOTT DÖNTÉSHOZATAL Jobb kormányzás ( Better regulation ) Kormányzati működés hatékonyságának, eredményességének javítása. Jogi szabályázás minőségének előtérbe kerülése, különös tekintettel annak hatásaira. Egyre nagyobb figyelmet kap az Európai Unióban, nemzetközi szervezetekben. Különösen erősen jelentkezik az angolszász és skandináv országokban. Jogszabályi hatásvizsgálatok (RIA Regulatory Impact Assessment) A jobb kormányzás alappillére Alapvető cél: a tapasztalati tényekre alapuló információgyűjtés és elemzés segítségével növelje a jogszabályok hatékonyságát és minőségét, 16 segítse a deregulációt és a megalapozottabb jogalkotói döntéshozatalt.

17 NEMZETKÖZI FOLYAMATOK A tényeken alapuló döntéshozatali kultúra elterjedése valamennyi szakpolitika esetében Isztanbul Declaration, Measuring the Progress of Societies: World Forum on Statistics, Knowledge and Policy konferencia, 2007 OECD, Világbank és az ENSZ képviselőinek közös nyilatkozata. Szakmailag egyre fejlettebb és szigorúbb nemzetközi standardok Világbank Pl. Monitoring & Evaluation: Some Tools, Methods & Approaches, 2004: eszközök, módszerek, megközelítések Pl. Worldbank Independent Evaluation Group OECD EU Pl. jó gyakorlatok, keretrendszer, hatásvizsgálati rendszerek nemzetközi összehasonlítása (lásd: 17

18 AZ EURÓPAI UNIÓ HATÁSVIZSGÁLATI RENDSZERE 2006 óta külön Hatásvizsgálati Bizottság (Impact Assessment Board) minőségellenőrzés támogatás Európai Bizottság Főigazgatóságai jogszabályokhoz tartozó hatásvizsgálatok elvégzése jelentések (pl. Európai Bizottság foglalkoztatásért, szociális ügyekért és a társadalmi befogadásért felelős főigazgatóság jelentései) Európai Bizottság hatásvizsgálati iránymutatásai (Impact Assissment Guidelines, 2009): fogalmi keretek, hatásvizsgálat lépései, alkalmazás feltételei és módjai, vizsgálatokat segítő módszertani eszközrendszer (adatgyűjtési- és elemzési technikák, módszerek). 18

19 EX-POST HATÁSVIZSGÁLATOK AZ OKTATÁSKUTATÓ ÉS FEJLESZTŐ INTÉZETBEN TÁMOP alprojekt Korábbi fejlesztési programok hatásvizsgálatai Az alprojekt az elmúlt évtized legfontosabb oktatáspolitikai programjai hatásainak vizsgálata Tehetséggondozás Felzárkóztatás Szakiskolai Fejlesztési Programok Pedagógus továbbképzések 19

20 TEHETSÉGGONDOZÁS HATÁSVIZSGÁLATA Módszerek: szakirodalom- és dokumentumelemzés, különféle programok vizsgálata kérdőív, interjú, fókuszcsoport módszereivel, esettanulmányok, költség-haszon elemzés (AJP, Útravaló, ösztöndíjak, Tehetségpontok, TÁMOP-fejlesztések), nyomonkövetéses vizsgálat (K+F) Felhasználók: szakpolitikusok, helyi szintű vezetők (fenntartók, iskolavezetők), fejlesztők, innovátorok és pedagógusok Produktumok: tanulmánykötet, tehetséggondozó programok regisztere, infografikai megjelenítés (térképek), szakpolitikai ajánlás

21 FELZÁRKÓZTATÁS HATÁSVIZSGÁLATA Cél: lemorzsolódást megakadályozó, illetve a már lemorzsolódottak közoktatásba való visszavezetését támogató rendszer kiépítése, ehhez hatásvizsgálati rendszer kialakítása- ennek segítségével a programok rendszerbe integrálása Módszer: kisebb hatásvizsgálatok (tereptanulmányok, K+F), metodika kidolgozása, és tesztelése(k+f) Felhasználók: szakpolitikusok, helyi szintű vezetők (fenntartók, iskolavezetők), fejlesztők, innovátorok Produktumok: hatásvizsgálati mechanizmus és módszertan, felzárkóztatással foglalkozó programok regisztere, tanulmányok, szakpolitikai ajánlás

22 SZAKISKOLAI FEJLESZTÉSI PROGRAMOK HATÁSVIZSGÁLATA Cél: feltárja az SZFP I. és SZFP. II. iskoláiban a Program fejlesztéseinek továbbélő hatását, eredményeit, összehasonlítsa a három szakiskolai csoportot Módszer: szakirodalom- és dokumentumelemzés, valamint kérdőíves és interjús adatfelvétel pedagógusok és iskolaigazgatók körében (K+F), fókuszcsoportos beszélgetések, meglévő adatbázisokból készítendő új adatbázisok feldolgozása, elemzése Felhasználók: szakpolitikusok, helyi szintű vezetők (fenntartók, iskolavezetők), fejlesztők, innovátorok Produktumok: tanulmánykötet, szakpolitikai javaslatok, infografikai megjelenítés (térképek)

23 A PEDAGÓGUS TOVÁBBKÉPZÉSEK HATÁSÁNAK VIZSGÁLATA Célok: Az oktatás területén végzett hatásvizsgálatok módszertani kérdéseinek tisztázása, fejlesztése, az oktatás minősége és a pedagógus hivatás megerősítése érdekében történő gyakorlati alkalmazási lehetőségeinek feltárása; A pedagógus-továbbképzési rendszer fejlesztéseinek olyan módon való hatásvizsgálata, amely a továbbképzéseket a pedagógus munka minősége javításának komplex rendszerében elemzi; A pedagógusok szakmai támogatását célzó fejlesztési programok és az oktatás eredményessége közötti összefüggések feltárása

24 Az oktatás területén végzett hatásvizsgálatok módszertani kérdései Cél: Az oktatás területén végzett fejlesztések, implementációk utólagos hatásvizsgálata módszertanának tisztázása, fejlesztése Módszer: Desk research és belső képzések Felhasználók: Oktatási szakemberek, kutatók, fejlesztők és szakpolitikusok Produktumok: Hatásvizsgálat módszertani kézikönyv (fejlesztők és oktatási szakemberek számára) Gyakorlatban alkalmazható részletes módszertani összefoglalók

25 A pedagógus továbbképzések korábbi hatásvizsgálatainak (HEFOP, TÁMOP hatásvizsgálatok) összegyűjtése, tartalmi és módszertani elemzése Cél: Az elmúlt időszakban különböző helyeken és különböző módszertanokkal végzett hatástanulmányok összegyűjtése, egységes szempontok szerinti elemzése, és az eredmények elérhetővé tétele a fejlesztők és a döntéshozók számára Módszer: Desk research (adatgyűjtés és szintetizáló elemzés) Felhasználók: Fejlesztők, szakpolitikusok Produktumok: Összegző tanulmány

26 A pedagógus továbbképzési rendszer finanszírozásának hazai és nemzetközi gyakorlatának feltárása: Cél: A pedagógus továbbképzési rendszer finanszírozásának nemzetközi gyakorlatának és hatásainak összegyűjtése, elemzése, hazai alkalmazhatóságának vizsgálata; A pedagógus továbbképzések finanszírozása másfél évtizedes hazai történetének feltárása, elemzése Módszer: Desk research Felhasználók: Fejlesztők, szakpolitikusok Produktumok: Összegző tanulmányok

27 Kérdőíves hatásvizsgálat az iskolavezetők és a pedagógusok körében Cél: A pedagógus továbbképzéseket érintő változások megalapozott statisztikai módszerekkel való hatásvizsgálata; Az eredményekről visszajelzés a fejlesztők számára (a fejlesztések szakmai támogatása) A tényekre alapozott oktatási döntéshozatal szakmai támogatása Módszer: Nagy mintás online adatfelvétel ( pedagógus); Felhasználók: fejlesztők, oktatási szakemberek, szakpolitikusok Produktumok: Tényfeltáró összegzések a fejlesztők és döntéshozók számára Pedagógus továbbképzések hatásvizsgálata kiadvány Nagy mintás pedagógus adatbázis

28 HASZNOSULÁS Visszajelzés a megvalósult beavatkozás sikerességéről fejlesztők és döntéshozók számára; A fejlesztések, beavatkozások finomhangolásának szakmai támogatása A szakmai szolgáltatások rendszerének kialakítása során a pedagógiai intézetek feladathálójának létrehozásához a kutatásból nyert információkat is fel lehet használni Az adatok/eredmények az OFI online tudástár felületén is nyilvánosan elérhetőek lesznek. A tudástárban elérhető anyagok direkt módon hasznosulnak a szakértők körében A vizsgálat során létrejövő nagy mintás ( fős) panel pedagógus adatbázis lehetőséget nyújt arra, hogy speciális célcsoportokban további, cél-orientált elemzéseket végezzünk, amelyek segítik a tényekre alapozott oktatási döntéshozatalt További fejlesztési területekkel és tartalmakkal kapcsolatos döntések tényekre alapozott támogatása. Kiemelten: tényekre alapozott szakmai támogatás a as tervezéshez

29 ELSŐ EREDMÉNYEK: 2014 VÉGÉN

30 KÖSZÖNJÜK A FIGYELMET! SÁGI MATILD Sagi.Matild@ofi.hu