Amit a tanulóiteljesítmény-mérések mutat(hat)nak az oktatási folyamatokról, rendszerekről. Széll Krisztián ELTE PPK

Átírás

1 Amit a tanulóiteljesítmény-mérések mutat(hat)nak az oktatási folyamatokról, rendszerekről Széll Krisztián ELTE PPK

2 Komplex téma néhány fókuszpont Eredményesség az oktatásban Tanulóiteljesítmény-mérések Jellemzők Tendenciák Kritikák Méltányossági dimenzió a tanulói teljesítménymérésekben 2

3 Oktatási eredményesség I. Az oktatási eredményeknek az oktatási célokhoz való viszonya Az oktatási teljesítmény növelését okozó tényezők, valamint a teljesítménynövelést elősegítő mechanizmusok feltárását és felhasználását jelzi. Eredményesség = kitűzött célok elérése? különböző szereplők, szintek (országos, helyi) eltérő igényei összetett célok => többféle mérőszám nem vagy csak igen nehezen nem (könnyen) számszerűsíthető célok kognitív célok, nem kognitív célok célokat közvetve vagy közvetlenül befolyásoló tényezők tárhaza 3

4 Oktatási eredményesség II. Nagymértékben kontextusfüggő Rendkívül komplex (számos koncepció) Közvetlenül nem igazán mérhető => többféle dimenzió (egyre komplexebbek, cizelláltabbak, az iskolai hatások feltárása egyre inkább interdiszciplináris, kognitív és nem kognitív jellemzőket szintetizáló modellek) Nincs egy egységes mutató => sokféle indikátor az egészen puhán értelmezett eredményességi jellemzőktől egészen a nagyon konkrét tudást mérő tesztekkel mért teljesítményig 4

5 Oktatási eredményesség kvantitatív mérhetősége Viszonylag könnyen előállítható egyszerű mutatók (pl. évismétlők száma) Munkaerőpiaci eredményváltozók (pl. jövőbeli bérek, elhelyezkedés) nem köthetők egyszerűen az oktatás adott szintjeihez az információk visszacsatolása lassú Standardizált teszteredmények és hozzáadott érték modell FONTOS: eredményesség tanulói teljesítményméréseken elért teszteredmények 5

6 Amit érdemes figyelembe venni az eredményesség mérésekor Milyen szintű eredményességet akarunk mérni (tanulói, tanári, osztály, iskolai, helyi, regionális, rendszer)? Milyen képzési szinten akarjuk mérni az eredményességet (közoktatás: óvoda, általános iskola, középfok, felsőoktatás)? Milyen mutatók, háttérváltozók, modelltípusok stb. alapján? Milyen célból (elszámoltathatóság, értékelés, fejlesztés, monitoring, visszajelzés, nyilvánosság tájékoztatása, iskolaválasztás, kutatás stb.)? 6

7 Tanulóiteljesítmény-mérések előtérbe kerülése Tényeken alapuló döntéshozatal erősödése Elszámoltathatóság (közpénzek felhasználása) Minőség, eredményesség, hatékonyság javítása => legjobb fejlesztés és legjobb implementáció igénye Adat- és információigény Tudományos módszerek, eszközök fejlődése Visszajelzés az oktatási rendszer működéséről (részben az eredmények, részben a folyamatok vizsgálata révén) Nemzetköziesedés, oktatási indikátorok fokozódó szerepe (benchmarkok, célértékek) A learning outcome (tanulási-oktatási kimenetek) szemlélet hangsúlyossá válása Társadalmi-gazdasági igények 7

8 Tanulóiteljesítmény-mérések létjogosultsága Nem nyújtanak teljes képet az oktatás eredményességéről DE: A megalapozott mérések (modern tesztelmélet, tartalmi keretek) fontos dimenzióit tárják fel az eredményességnek (érvényes eredményességi indikátor). o Oktatáskutatási relevancia (miként, miért stb.) o Pedagógiai relevancia (értékelés, fejlesztés stb.) o Oktatáspolitikai relevancia (értékelés, elszámoltathatóság stb.) Ráirányítják a figyelmet a méltányosság kérdéskörére: lehetőséget teremtenek a tanulói/iskolai eredmények és a családi háttér összefüggéseinek feltárására! A továbbtanulás és a munkaerőpiaci sikeresség szempontjából is fontos alapkompetenciákat mérnek. Az egyik leggyakoribb legalábbis a kvantitatív elemzésekben eredményességi indikátort adják (tanulói teszteredmények). Oktatási rendszer kiadásaihoz mérten csekély költséggel megvalósíthatóak. Objektív adatokkal látják el az oktatási rendszer közvetlen szereplőit, felhasználóit és a szélesebb nyilvánosságot is. 8

9 Mi jellemez egy tanulóiteljesítmény-mérést? Ki a megrendelő (gazdasági társaság, tudományos társaság, állam stb.)? Kiket mér, ki a célcsoport (életkor, képzési szint stb.)? Milyen mintán történik (reprezentatív, teljes körű stb.)? Milyen képességterülete(ke)t mér (matematika, szövegértés, természettudomány, problémamegoldás, szociális készségek stb.)? Mi a mérés célja (elszámoltathatóság, értékelés, összehasonlítás, monitorozás, diagnosztizálás stb.)? Van-e közvetlen vagy közvetett oktatáspolitikai hatása? 9

10 Jellemzők PIRLS TIMSS PISA OKM Megrendelő IEA * IEA * OECD ** Magyar Kormány Minta 150 iskola, iskolánként 1 osztály, kb tanuló 150 iskola, iskolánként 2 osztály, kb tanuló 150 iskola, iskolánként 35 tanuló, kb tanuló Teljes körű mérés (bizonyos kivételekkel ) Célcsoport 4. évfolyamos tanulók 4. és 8. évfolyamos tanulók Fő mérési területek Szövegértés (tantervi tartalmak) Matematika, természettudomány (tantervi tartalmak) 15 éves tanulók 6., 8., 10. évfolyamos tanulók Szövegértés, matematika, természettudomány (alkalmazott műveltség) Szövegértés, matematika (alkalmazott műveltség) Gyakoriság 2001 óta 5 évente 1995 óta 4 évente 2000 óta 3 évente 2003 óta évente Visszajelzés nemzetközi nemzetközi szintjei országos/régiók országos/régiók nemzetközi országos/régiók képzési programok * International Association for the Evaluation of Educational Assessment Tanulói Teljesítmények Vizsgálatának Nemzetközi Társasága * * Organisation for Economic Co-operation and Development (Gazdasági Együttműködési és Fejlesztési Szervezet) országos/régió/megye FIT: fenntartó/intézmény/ telephely osztály/tanuló 10

11 Ránézésre mit mutatnak a mérések: PIRLS 560 A 4. évfolyamos magyar tanulók PIRLS-méréseken elért eredményei

12 Ránézésre mit mutatnak a mérések: TIMSS A 4. évfolyamos magyar tanulók TIMSS-méréseken elért eredményei A 8. évfolyamos magyar tanulók TIMSS-méréseken elért eredményei Matematika Természettudomány Matematika Természettudomány 12

13 Ránézésre mit mutatnak a mérések: PISA A 15 éves magyar tanulók eredményeinek változásai a PISA-felmérésben Szövegértés Matematika Természettudomány

14 Ránézésre mit mutatnak a mérések: OKM Forrás: Balázsi és mtsai., 2014:9 14

15 Mire is figyeljünk az eredmények értelmezésekor? Összevethetőek-e egy az egyben a különböző mérések eredményei? NEM! o Az esetleges ellentmondások okai a mérések eltérő jellemzői (pl. célcsoport, gyakoriság, mért képességterületek, tantervi alapú vs. alkalmazott műveltség, eszköztudás) Csupán az átlagok alapján kijelenhető-e bármilyen tendencia? NEM! o Szignifikáns az eltérések vizsgálata (pl. rangsorban elfoglalt helyek valós különbségeket takarnak-e avagy sem) => alapkérdés: milyez képest: évek között, bizonyos évhez viszonyítva, átlaghoz viszonyítva, más országhoz/iskolacsoporthoz viszonyítva stb.? o Átlagok információveszteséggel járnak => képességszintek, nemek, szövegtípusok stb. szerinti megoszlás, méltányossági szempontok (hozzáadott érték, reziliencia)? 15

16 OECD ORSZÁGOK Az OECD országok átlagpontszámai a évi PISA-felmérésben I. ÁTLAGPONTSZÁM Matematika Szövegértés Természettudomány OECD-ÁTLAG Korea Japán Svájc Hollandia Észtország Finnország Kanada Lengyelország Belgium Németország Ausztria * 506 Ausztrália Írország Szlovénia Dánia * 498 * Új-Zéland * Szignifikánsan nem különböznek Magyarország eredményeitől. Statisztikailag szignifikánsan magasabb az OECD-átlagnál Szignifikánsan nem különbözik az OECD-átlagtól. 16 MAGYAR SZOCIOLÓGIAI TÁRSASÁG ÉVES VÁNDORGYŰLÉSE, PTE Statisztikailag szignifikánsan alacsonyabb az OECD-átlagnál október 21.

17 Az OECD országok átlagpontszámai a évi PISA-felmérésben II. OECD ORSZÁGOK ÁTLAGPONTSZÁM Matematika Szövegértés Természettudomány OECD-ÁTLAG Csehország * 508 Franciaország * Egyesült Királyság Izland * 478 Luxemburg * 491 * Norvégia * Portugália * 489 * Olaszország * 494 * Spanyolország 484 * 488 * 496 * Szlovákia 482 * Egyesült Államok 481 * 498 * 497 * Svédország 478 * 483 * 485 Magyarország Izrael 466 * 486 * 470 Görögország Törökország Chile Mexikó * Szignifikánsan nem különböznek Magyarország eredményeitől Statisztikailag szignifikánsan magasabb az OECD-átlagnál 415 Szignifikánsan nem különbözik az OECD-átlagtól. 17 MAGYAR SZOCIOLÓGIAI TÁRSASÁG ÉVES VÁNDORGYŰLÉSE, PTE Statisztikailag szignifikánsan alacsonyabb az OECD-átlagnál október 21.

18 Kritikus megközelítés fontossága Az eredményesség csak egy (bár igen fontos) aspektusát vizsgálja => tágabb fogalom Pl.: Az eredményesség nem kizárólag csak az oktatáshoz, hanem a neveléshez is köthető A gyenge és az erős ösztönzők, szankciók, valamint kizárólag a tanulói teljesítménymérések eredményei alapján történő értékelések negatív hatásokat eredményezhetnek (pl. tesztre tanítás, csalás) Évenként nagyon különböző eredményeket hozhat (kohorsz hatás, adott évfolyamok összetétele, alapmotiváltsága) => ne egy év alapján vonjunk le következtetéseket! PISA-kritika (pl. Heinz-Dieter Meyer német kutató levele: száznál több aláíró) Az oktatást a gazdasági előrejutás eszközévé redukálja. Csak bizonyos mérhető képességterületre fókuszál, így elvonja a figyelmet más nem mérhető területektől (pl. demokráciára nevelés). Erősen befolyásolják a közoktatás gyakorlatát a részt vevő országokban (reformok alapjai: eredmények öncélú javítása, rövid távú előnyök, célértékekhez való igazodás) A felmérés indokolatlan mértékben megnöveli a diákokra és tanárokra nehezedő stresszt. Érdemes a kritikai észrevételeket is kritikai reflexiók tárgyává tenni 20

19 Eredményesség és méltányosság Eredményesség: az oktatási eredményeknek az oktatási célokhoz való viszonya. Méltányosság: az oktatáshoz való hozzáférés esélyegyenlőségét teremti meg. Hazai és nemzetközi tanulóiteljesítmény-mérések eredményei: A családi háttér és a tanulók iskolai teljesítménye közötti nagyon erős összefüggés A legtöbb országban erősebben hat a diákok eredményeire az iskola átlagos szociális, gazdasági és kulturális összetétele, mint a diák családi szociális, gazdasági és kulturális háttere => ez a magyar oktatási rendszerre különösen jellemző Magyarországon a családi háttér hatása főként az iskola átlagos társadalmi összetételén keresztül érvényesül => ha két hasonló családi háttérrel rendelkező diák eltérő átlagos szociális összetételű iskolába jár, akkor jelentősen eltérő eredményeket ér el, viszont hasonló átlagos összetételű iskolába járó tanulók között kismértékű a teljesítménykülönbség, még akkor is, ha az egyéni családi hátterük különbözik egymástól. Magyarország iskolarendszere rendkívül szelektív, vagyis ahelyett, hogy mérsékelné, újratermeli, sőt számos esetben még erősíti is a társadalmi egyenlőtlenségeket. 21

20 A matematikai teljesítmény éves változása, pontszám Lehet egy oktatási rendszer eredményes és méltányos is egyben? A matematikai teljesítmény és a méltányosság változása 2003 és 2012 között Törökország (-18) Javuló méltányosság Mexikó (-11) Németország (-1) Korea (5) Olaszország (-1) Görögország (-2) Romló méltányosság Portugália (7) Lengyelország (1) Svájc (-3) Japán (-2) Egyesült Államok (-7) Spanyolország (6) Norvégia (-8) Ausztria (2) OECD-átlag(0) Luxemburg (2) Írország (2) Magyarország (-3) Kanada (1) Szlovákia (6) Hollandia (0) Belgium (-2) Dánia (1) Franciaország (14) Ausztrália (2) Izland (5) Csehország (5) Új-Zéland (8) Finnország (5) Svédország (-1) ESCS-index magyarázó erejének változása 2003 és 2012 között (%-pont) Javuló teljesítmény Romló teljesítmény 22

21 Az eredményességet és méltányosságot együttesen mérő mutatók Pedagógiai hozzáadott érték (PHÉ) A pedagógus, az iskola által nem befolyásolható tényezők hatásának kiszűrése. Reziliencia Sikeresen megbirkózás képessége a tanulók (iskolák, régiók stb.) kedvezőtlen helyzetéből eredő hátrányokkal, akadályokkal, feltételekkel => pl. a vártnál jelentősen jobban teljesítenek. 23

22 PHÉ koncepció Kiindulópontja valamilyen teszteredmény, DE: A tanulók eltérő tudásszinttel és különböző környezetből érkeznek az iskolába, s mindezek hatással vannak a tanulók eredményeire, tanulmányi előmenetelére, így az iskolák teljesítményére, eredményességére is. Az egyes iskolák tanulói összetétele nagyon eltérő lehet => egy kedvezőbb összetételű iskolában jellemzően akkor is magasabbak a teszteredmények, ha az oktatás minősége éppen olyan, mint máshol. Az abszolút teszteredmények számos aspektus mentén (előzetes tudás, veleszületett képességek, motiváció, családi-, szociális háttérjellemzők stb.) elrejthetik az tanárok /iskolák pedagógiai munkája közötti tényleges különbségeket. 24

23 Reziliencia az oktatásban PISA-mérések Azokat a hátrányos helyzetű diákokat tekintik reziliens tanulóknak, akik az adott országra számított családiháttér-index (ESCS: Economic, Social and Cultural Status) alapján az alsó negyedbe, míg a családi háttér hatását kiszűrő hozzáadott érték alapján a felső negyedbe tartoznak o Hátrányos, kedvezőtlen életkörülményeik ellenére jól teljesítenek, jó teszteredményeket érnek el. A 2012-es mérés alapján hazánkban a reziliens tanulók aránya alig haladja meg a négy százalékot (4,1%), ami lényegesen elmarad az OECD országok átlagától (6,4%). Iskolai szinten (is) megjelenik például: Papp Z. Attila elemzéseiben Saját kutatásaimban iskolákra értelmezve (saját kidolgozott PHÉ mutató alapján) 25

24 Ajánlott irodalom 26