Amit a tanulóiteljesítmény-mérések mutat(hat)nak az oktatási folyamatokról, rendszerekről Széll Krisztián ELTE PPK
Komplex téma néhány fókuszpont Eredményesség az oktatásban Tanulóiteljesítmény-mérések Jellemzők Tendenciák Kritikák Méltányossági dimenzió a tanulói teljesítménymérésekben 2
Oktatási eredményesség I. Az oktatási eredményeknek az oktatási célokhoz való viszonya Az oktatási teljesítmény növelését okozó tényezők, valamint a teljesítménynövelést elősegítő mechanizmusok feltárását és felhasználását jelzi. Eredményesség = kitűzött célok elérése? különböző szereplők, szintek (országos, helyi) eltérő igényei összetett célok => többféle mérőszám nem vagy csak igen nehezen nem (könnyen) számszerűsíthető célok kognitív célok, nem kognitív célok célokat közvetve vagy közvetlenül befolyásoló tényezők tárhaza 3
Oktatási eredményesség II. Nagymértékben kontextusfüggő Rendkívül komplex (számos koncepció) Közvetlenül nem igazán mérhető => többféle dimenzió (egyre komplexebbek, cizelláltabbak, az iskolai hatások feltárása egyre inkább interdiszciplináris, kognitív és nem kognitív jellemzőket szintetizáló modellek) Nincs egy egységes mutató => sokféle indikátor az egészen puhán értelmezett eredményességi jellemzőktől egészen a nagyon konkrét tudást mérő tesztekkel mért teljesítményig 4
Oktatási eredményesség kvantitatív mérhetősége Viszonylag könnyen előállítható egyszerű mutatók (pl. évismétlők száma) Munkaerőpiaci eredményváltozók (pl. jövőbeli bérek, elhelyezkedés) nem köthetők egyszerűen az oktatás adott szintjeihez az információk visszacsatolása lassú Standardizált teszteredmények és hozzáadott érték modell FONTOS: eredményesség tanulói teljesítményméréseken elért teszteredmények 5
Amit érdemes figyelembe venni az eredményesség mérésekor Milyen szintű eredményességet akarunk mérni (tanulói, tanári, osztály, iskolai, helyi, regionális, rendszer)? Milyen képzési szinten akarjuk mérni az eredményességet (közoktatás: óvoda, általános iskola, középfok, felsőoktatás)? Milyen mutatók, háttérváltozók, modelltípusok stb. alapján? Milyen célból (elszámoltathatóság, értékelés, fejlesztés, monitoring, visszajelzés, nyilvánosság tájékoztatása, iskolaválasztás, kutatás stb.)? 6
Tanulóiteljesítmény-mérések előtérbe kerülése Tényeken alapuló döntéshozatal erősödése Elszámoltathatóság (közpénzek felhasználása) Minőség, eredményesség, hatékonyság javítása => legjobb fejlesztés és legjobb implementáció igénye Adat- és információigény Tudományos módszerek, eszközök fejlődése Visszajelzés az oktatási rendszer működéséről (részben az eredmények, részben a folyamatok vizsgálata révén) Nemzetköziesedés, oktatási indikátorok fokozódó szerepe (benchmarkok, célértékek) A learning outcome (tanulási-oktatási kimenetek) szemlélet hangsúlyossá válása Társadalmi-gazdasági igények 7
Tanulóiteljesítmény-mérések létjogosultsága Nem nyújtanak teljes képet az oktatás eredményességéről DE: A megalapozott mérések (modern tesztelmélet, tartalmi keretek) fontos dimenzióit tárják fel az eredményességnek (érvényes eredményességi indikátor). o Oktatáskutatási relevancia (miként, miért stb.) o Pedagógiai relevancia (értékelés, fejlesztés stb.) o Oktatáspolitikai relevancia (értékelés, elszámoltathatóság stb.) Ráirányítják a figyelmet a méltányosság kérdéskörére: lehetőséget teremtenek a tanulói/iskolai eredmények és a családi háttér összefüggéseinek feltárására! A továbbtanulás és a munkaerőpiaci sikeresség szempontjából is fontos alapkompetenciákat mérnek. Az egyik leggyakoribb legalábbis a kvantitatív elemzésekben eredményességi indikátort adják (tanulói teszteredmények). Oktatási rendszer kiadásaihoz mérten csekély költséggel megvalósíthatóak. Objektív adatokkal látják el az oktatási rendszer közvetlen szereplőit, felhasználóit és a szélesebb nyilvánosságot is. 8
Mi jellemez egy tanulóiteljesítmény-mérést? Ki a megrendelő (gazdasági társaság, tudományos társaság, állam stb.)? Kiket mér, ki a célcsoport (életkor, képzési szint stb.)? Milyen mintán történik (reprezentatív, teljes körű stb.)? Milyen képességterülete(ke)t mér (matematika, szövegértés, természettudomány, problémamegoldás, szociális készségek stb.)? Mi a mérés célja (elszámoltathatóság, értékelés, összehasonlítás, monitorozás, diagnosztizálás stb.)? Van-e közvetlen vagy közvetett oktatáspolitikai hatása? 9
Jellemzők PIRLS TIMSS PISA OKM Megrendelő IEA * IEA * OECD ** Magyar Kormány Minta 150 iskola, iskolánként 1 osztály, kb. 5 400 tanuló 150 iskola, iskolánként 2 osztály, kb. 5 400 tanuló 150 iskola, iskolánként 35 tanuló, kb. 4 800 tanuló Teljes körű mérés (bizonyos kivételekkel ) Célcsoport 4. évfolyamos tanulók 4. és 8. évfolyamos tanulók Fő mérési területek Szövegértés (tantervi tartalmak) Matematika, természettudomány (tantervi tartalmak) 15 éves tanulók 6., 8., 10. évfolyamos tanulók Szövegértés, matematika, természettudomány (alkalmazott műveltség) Szövegértés, matematika (alkalmazott műveltség) Gyakoriság 2001 óta 5 évente 1995 óta 4 évente 2000 óta 3 évente 2003 óta évente Visszajelzés nemzetközi nemzetközi szintjei országos/régiók országos/régiók nemzetközi országos/régiók képzési programok * International Association for the Evaluation of Educational Assessment Tanulói Teljesítmények Vizsgálatának Nemzetközi Társasága * * Organisation for Economic Co-operation and Development (Gazdasági Együttműködési és Fejlesztési Szervezet) országos/régió/megye FIT: fenntartó/intézmény/ telephely osztály/tanuló 10
Ránézésre mit mutatnak a mérések: PIRLS 560 A 4. évfolyamos magyar tanulók PIRLS-méréseken elért eredményei 550 540 530 520 2001 2006 2011 11
Ránézésre mit mutatnak a mérések: TIMSS A 4. évfolyamos magyar tanulók TIMSS-méréseken elért eredményei 560 560 A 8. évfolyamos magyar tanulók TIMSS-méréseken elért eredményei 540 540 520 520 500 500 480 1995 2003 2007 2011 480 1995 1999 2003 2007 2011 Matematika Természettudomány Matematika Természettudomány 12
Ránézésre mit mutatnak a mérések: PISA A 15 éves magyar tanulók eredményeinek változásai a PISA-felmérésben Szövegértés Matematika Természettudomány 510 505 500 495 490 485 480 475 470 2000 2003 2006 2009 2012 13
Ránézésre mit mutatnak a mérések: OKM Forrás: Balázsi és mtsai., 2014:9 14
Mire is figyeljünk az eredmények értelmezésekor? Összevethetőek-e egy az egyben a különböző mérések eredményei? NEM! o Az esetleges ellentmondások okai a mérések eltérő jellemzői (pl. célcsoport, gyakoriság, mért képességterületek, tantervi alapú vs. alkalmazott műveltség, eszköztudás) Csupán az átlagok alapján kijelenhető-e bármilyen tendencia? NEM! o Szignifikáns az eltérések vizsgálata (pl. rangsorban elfoglalt helyek valós különbségeket takarnak-e avagy sem) => alapkérdés: milyez képest: évek között, bizonyos évhez viszonyítva, átlaghoz viszonyítva, más országhoz/iskolacsoporthoz viszonyítva stb.? o Átlagok információveszteséggel járnak => képességszintek, nemek, szövegtípusok stb. szerinti megoszlás, méltányossági szempontok (hozzáadott érték, reziliencia)? 15
OECD ORSZÁGOK Az OECD országok átlagpontszámai a 2012. évi PISA-felmérésben I. ÁTLAGPONTSZÁM Matematika Szövegértés Természettudomány OECD-ÁTLAG 494 496 501 Korea 554 536 538 Japán 536 538 547 Svájc 531 509 515 Hollandia 523 511 522 Észtország 521 516 541 Finnország 519 524 545 Kanada 518 523 525 Lengyelország 518 518 526 Belgium 515 509 505 Németország 514 508 524 Ausztria 506 490 * 506 Ausztrália 504 512 521 Írország 501 523 522 Szlovénia 501 481 514 Dánia 500 496 * 498 * Új-Zéland 500 512 516 * Szignifikánsan nem különböznek Magyarország eredményeitől. Statisztikailag szignifikánsan magasabb az OECD-átlagnál Szignifikánsan nem különbözik az OECD-átlagtól. 16 MAGYAR SZOCIOLÓGIAI TÁRSASÁG ÉVES VÁNDORGYŰLÉSE, PTE Statisztikailag szignifikánsan alacsonyabb az OECD-átlagnál. 2016. október 21.
Az OECD országok átlagpontszámai a 2012. évi PISA-felmérésben II. OECD ORSZÁGOK ÁTLAGPONTSZÁM Matematika Szövegértés Természettudomány OECD-ÁTLAG 494 496 501 Csehország 499 493 * 508 Franciaország 495 505 499 * Egyesült Királyság 494 499 514 Izland 493 483 * 478 Luxemburg 490 488 * 491 * Norvégia 489 504 495 * Portugália 487 488 * 489 * Olaszország 485 490 * 494 * Spanyolország 484 * 488 * 496 * Szlovákia 482 * 463 471 Egyesült Államok 481 * 498 * 497 * Svédország 478 * 483 * 485 Magyarország 477 488 494 Izrael 466 * 486 * 470 Görögország 453 477 467 Törökország 448 475 463 Chile 423 441 445 Mexikó * Szignifikánsan nem különböznek Magyarország eredményeitől. 413 424 Statisztikailag szignifikánsan magasabb az OECD-átlagnál 415 Szignifikánsan nem különbözik az OECD-átlagtól. 17 MAGYAR SZOCIOLÓGIAI TÁRSASÁG ÉVES VÁNDORGYŰLÉSE, PTE Statisztikailag szignifikánsan alacsonyabb az OECD-átlagnál. 2016. október 21.
Kritikus megközelítés fontossága Az eredményesség csak egy (bár igen fontos) aspektusát vizsgálja => tágabb fogalom Pl.: Az eredményesség nem kizárólag csak az oktatáshoz, hanem a neveléshez is köthető A gyenge és az erős ösztönzők, szankciók, valamint kizárólag a tanulói teljesítménymérések eredményei alapján történő értékelések negatív hatásokat eredményezhetnek (pl. tesztre tanítás, csalás) Évenként nagyon különböző eredményeket hozhat (kohorsz hatás, adott évfolyamok összetétele, alapmotiváltsága) => ne egy év alapján vonjunk le következtetéseket! PISA-kritika (pl. Heinz-Dieter Meyer német kutató levele: száznál több aláíró) Az oktatást a gazdasági előrejutás eszközévé redukálja. Csak bizonyos mérhető képességterületre fókuszál, így elvonja a figyelmet más nem mérhető területektől (pl. demokráciára nevelés). Erősen befolyásolják a közoktatás gyakorlatát a részt vevő országokban (reformok alapjai: eredmények öncélú javítása, rövid távú előnyök, célértékekhez való igazodás) A felmérés indokolatlan mértékben megnöveli a diákokra és tanárokra nehezedő stresszt. Érdemes a kritikai észrevételeket is kritikai reflexiók tárgyává tenni 20
Eredményesség és méltányosság Eredményesség: az oktatási eredményeknek az oktatási célokhoz való viszonya. Méltányosság: az oktatáshoz való hozzáférés esélyegyenlőségét teremti meg. Hazai és nemzetközi tanulóiteljesítmény-mérések eredményei: A családi háttér és a tanulók iskolai teljesítménye közötti nagyon erős összefüggés A legtöbb országban erősebben hat a diákok eredményeire az iskola átlagos szociális, gazdasági és kulturális összetétele, mint a diák családi szociális, gazdasági és kulturális háttere => ez a magyar oktatási rendszerre különösen jellemző Magyarországon a családi háttér hatása főként az iskola átlagos társadalmi összetételén keresztül érvényesül => ha két hasonló családi háttérrel rendelkező diák eltérő átlagos szociális összetételű iskolába jár, akkor jelentősen eltérő eredményeket ér el, viszont hasonló átlagos összetételű iskolába járó tanulók között kismértékű a teljesítménykülönbség, még akkor is, ha az egyéni családi hátterük különbözik egymástól. Magyarország iskolarendszere rendkívül szelektív, vagyis ahelyett, hogy mérsékelné, újratermeli, sőt számos esetben még erősíti is a társadalmi egyenlőtlenségeket. 21
A matematikai teljesítmény éves változása, pontszám Lehet egy oktatási rendszer eredményes és méltányos is egyben? 5 4 3 2 1 0-1 -2-3 A matematikai teljesítmény és a méltányosság változása 2003 és 2012 között Törökország (-18) Javuló méltányosság Mexikó (-11) Németország (-1) Korea (5) Olaszország (-1) Görögország (-2) Romló méltányosság Portugália (7) Lengyelország (1) Svájc (-3) Japán (-2) Egyesült Államok (-7) Spanyolország (6) Norvégia (-8) Ausztria (2) OECD-átlag(0) Luxemburg (2) Írország (2) Magyarország (-3) Kanada (1) Szlovákia (6) Hollandia (0) Belgium (-2) Dánia (1) Franciaország (14) Ausztrália (2) Izland (5) Csehország (5) Új-Zéland (8) Finnország (5) Svédország (-1) -4-15 -10-5 0 5 ESCS-index magyarázó erejének változása 2003 és 2012 között (%-pont) Javuló teljesítmény Romló teljesítmény 22
Az eredményességet és méltányosságot együttesen mérő mutatók Pedagógiai hozzáadott érték (PHÉ) A pedagógus, az iskola által nem befolyásolható tényezők hatásának kiszűrése. Reziliencia Sikeresen megbirkózás képessége a tanulók (iskolák, régiók stb.) kedvezőtlen helyzetéből eredő hátrányokkal, akadályokkal, feltételekkel => pl. a vártnál jelentősen jobban teljesítenek. 23
PHÉ koncepció Kiindulópontja valamilyen teszteredmény, DE: A tanulók eltérő tudásszinttel és különböző környezetből érkeznek az iskolába, s mindezek hatással vannak a tanulók eredményeire, tanulmányi előmenetelére, így az iskolák teljesítményére, eredményességére is. Az egyes iskolák tanulói összetétele nagyon eltérő lehet => egy kedvezőbb összetételű iskolában jellemzően akkor is magasabbak a teszteredmények, ha az oktatás minősége éppen olyan, mint máshol. Az abszolút teszteredmények számos aspektus mentén (előzetes tudás, veleszületett képességek, motiváció, családi-, szociális háttérjellemzők stb.) elrejthetik az tanárok /iskolák pedagógiai munkája közötti tényleges különbségeket. 24
Reziliencia az oktatásban PISA-mérések Azokat a hátrányos helyzetű diákokat tekintik reziliens tanulóknak, akik az adott országra számított családiháttér-index (ESCS: Economic, Social and Cultural Status) alapján az alsó negyedbe, míg a családi háttér hatását kiszűrő hozzáadott érték alapján a felső negyedbe tartoznak o Hátrányos, kedvezőtlen életkörülményeik ellenére jól teljesítenek, jó teszteredményeket érnek el. A 2012-es mérés alapján hazánkban a reziliens tanulók aránya alig haladja meg a négy százalékot (4,1%), ami lényegesen elmarad az OECD országok átlagától (6,4%). Iskolai szinten (is) megjelenik például: Papp Z. Attila elemzéseiben Saját kutatásaimban iskolákra értelmezve (saját kidolgozott PHÉ mutató alapján) 25
Ajánlott irodalom 26