Ostorics László A PISA-mérések általános jellegzetességei, a PISA 2006 eredményeinek bemutatása Ebben az előadásban a 2006-os PISA-mérés, azon belül is elsősorban a természettudománnyal rendelkező PISA-mérésnek a jellemzőiről fogok beszélni. Utána a 2006-os legfontosabb eredményeit ismertetem, végül pedig rátérek a 2009-es méréssel kapcsolatos esetleges kérdésekre. A PISA-mérés megrendelője az OECD, és ez alapjaiban meghatározza, hogy a PISA nem tantervi tartalmakat akar mérni, hanem azt szeretné vizsgálni, hogy mennyire lehet előre jelezni a munkaerő-piaci sikerét azoknak a diákoknak, akik jó eredményt érnek el a PISA tesztjein. A PISA a mindennapi életben működőképes tudást vizsgálja, illetve azt, hogy egy adott oktatási rendszer mennyire tudja a mindennapi életben működőképes tudással felruházni az iskolát elhagyó diákokat. Arra kíváncsi, hogy képesek-e a tanulók a mindennapi életben az általuk talált szövegekkel kezdeni valamit, képesek e értelmezni azokat, felismernek-e természettudományi vagy a matematikai problémákat. Tudják-e azokat értelmezni, tudnak-e ilyen problémákat megfogalmazni, és a megfogalmazás után azokat értelmezni és megoldani? A PISA három területen mér: szövegértés, matematika és természettudomány. A célpopulációja pedig a 15-éves korosztály, amelyet leginkább azért választották, mert a legtöbb országban a 15-éves diákok közelednek a tankötelezettség végéhez. A PISA felmérés csak azokat a gyerekeket vizsgálja, akik ténylegesen iskolába járnak. Azokat, akik valamilyen okból nem iskolások, el sem éri. A mérés háromévenként ismétlődik, és egy adott mérés egy négyéves ciklus alatt zajlik le teljesen. 2000-ben volt az első, és azóta most már a negyedik zajlik. Minden alkalommal három tudományterületet vizsgálnak, de mindig van egy kiemelt terület, amely hangsúlyosabb a másik kettőnél. Körülbelül a feladatoknak a 60%-a tartozik az éppen hangsúlyos tudományterülethez, és 20-20 feladat oszlik meg a másik kettő között. 2000-ben a szövegértés volt a hangsúlyos terület. A 2003-ban a matematika, 2006-ban pedig a természettudomány volt a fő mérési terület, idén pedig ismét a szövegértés. Részletes elemzést mindig csak a fő területről lehet készíteni. A képességskálát is mindig csak azon a 1
területen lehet rögzíteni, amely a fő mérési terület volt. Így 2000-ben rögzítették a szövegértési skálát, 2003-ban a matematikáét és 3 éve a természettudomány skáláját. Egy PISA-ciklus úgy zajlik, hogy létrehozzák a tartalmi keretet, és a tartalmi keret alapján megkezdődik a feladatok fejlesztése. Ez a 2009-es mérés esetében 2007 januárjában kezdődött, akkor hozták nyilvánosságra a szövegértés tartalmi keretét, és ennek alapján megkezdődött a feladatok fejlesztése. Ez egyrészt a CORE elnevezésű nemzetközi központban zajlik (ennek gerincét az Ausztrál Oktatáskutató Tanács, azaz Australian Council for Educational Research adja). Ők adták a próbamérés feladatainak az 50%-át, másrészt pedig a nemzeti központoknak is nagyon komoly szerepe volt, hiszen annak a 36-37 feladatsornak az 50%-át a nemzeti központok hozták létre. A ciklus második évében lezajlik a próbamérés, és a harmadik évben jutunk el odáig, hogy lebonyolítják a főmérést. A főmérést javítják, kódolják. Majd a következő év (2010) decemberében jutunk hozzá ennek a mérésnek az eredményeihez, és kezdjük el előkészíteni a 2012-es mérést. A PISA alapjában véve papíralapú mérés. Két órán keresztül foglalkoznak a diákok a három műveltségi területtel kapcsolatos feladatokkal és az attitűd kérdésekkel. Ezek az attitűd jellegű kérdések 2006-ban kerültek be először a mérésbe. A vizsgálat tartalmaz egy családi hátteret vizsgáló kérdőívet is, valamint egy iskolai és egy szülői kérdőívet. A mérést szervezői szerettek volna tanári kérdőívet is használni, de ez eddig sikertelen vállalkozás volt. A 2006-os mérésnek 57 résztvevője volt, ebből 31 OECD-ország és 26 társult gazdaság vagy ország. 2009-ben 66 gazdaság vesz részt a felmérésen. Ezzel kapcsolatban érdemes emlékeztetni arra, hogy az eredmények értelmezésekor mindig az OECD-országok átlagához viszonyítunk. A társult államok eredményei nem kerülnek bele az átlagba, az ő eredményeiket csak viszonyítják az OECD-átlaghoz. Azt is érdemes megjegyezni, hogy az OECD-átlagban az összes részt vevő állam azonos súllyal szerepel, nem pedig a 15 éves diákok számának arányában. Hogy mit mér az adott teszt, azt a tartalmi keret határozza meg. Mint már jeleztük, 2006-ban a fő tudományterület a természettudomány volt. Az alkalmazott természettudományi műveltség meghatározásánál itt nagyon könnyű utolérni a PISA-mérés összeállítóinak a filozófiáját. A feladatok válogatásában alapvetően semmiféle tartalmi megkötés nincs, hanem a feladatok kizárólag a készségek és az alkalmazásképes tevékenységekre vonatkoznak. Képes-e az 2
állampolgár kérdéseket feltenni, új ismereteket elsajátítani, megmagyarázni, megfogalmazni, következtetéseket levonni, megérteni a dolgokat. Tartalmi megkötések pedig kizárólag a mérés négy fontos jellemzőinek az értelmezési tartománya kijelölése közben merülhetnek fel. Ez a négy jellemző a feladatok lehetséges kontextusainak a köre, a természettudományi tartalmaknak a köre, a felhasználható kompetenciák és a felhasználható attitűdök köre. A kontextusoknak a körét egyéni, társadalmi és globális szinten értelmezhetjük: az egészség, a természeti erőforrások, a környezet, a veszélyek, illetve a természettudomány és a technika határterületei mint a feladatok lehetséges kontextusterületei. Feltételezem, hogy a 2006-os eredmények többé-kevésbé ismertek. Az eredmények értelmezéshez helyezési tartományokat állapítanak meg, ez ugyanis nem a nemzetek versenye. Magyarországról azt tudjuk mondani, hogy az 57 részt vevő ország rangsorában a 19.-ről a 23. helyre került. Ha csak az OECD-országokat vesszük figyelembe, akkor a 13-17. hely lett a magyar oktatási rendszeré. Ami azt jelenti, hogy a természettudomány területén az OECD-országok átlagával megegyező eredményt ért el Magyarország. Nagyon gyenge eredményt értek el a dél-európai országok, az egykori Szovjetunió utódállamai, valamint a latin-amerikai és a közel-keleti országok. Ebben a mérésben rögzítették a képességszinteket is (ez volt az első olyan mérés, ahol a fő terület a természettudomány volt). Azt állapították meg, hogy a második képességszintet elérő és az azt meghaladó diákok rendelkeznek azokkal a képességekkel, amelyek a társadalomban szükséges túléléshez kellenek. A tartalmi keretre utalva a természettudományi tudás területén a legjobb eredményt a fizikai rendszerek kategóriában értük el. Ennél jobbat ezen a területen csak a finnek értek el. A legszerényebbek a metaismeretekkel kapcsolatos ismeretei a magyar diákoknak. A természettudományi kompetenciák terén a legjobb eredményt a jelenségek természettudományi magyarázata területen érték el a magyar diákok, ami feltehetőleg a magyar oktatási rendszer erősen elméleti oldalának tudható be. Ezekben a feladatokban alkalmazni kellett a megszerzett információkat. A magyar diákok nagyon sok információt szereznek meg, és a jelek szerint tudták alkalmazni. Ugyanakkor viszont a természettudományi problémák felismerésében, amely a leginkább készségjellegű követelmény, a leggyengébb eredményt érték el a különböző kompetenciaterületek közül. A természettudományi bizonyítékok alkalmazása terén elért eredményünk a természettudomány átlagunkkal egyezik meg. Ez az a kompetenciaterület, amelyben azok az államok, amelyek magas eredményt produkáltak a PISA-ban, a legerősebbek. 3
A szövegértés és a matematika eredményeket nem lehet ilyen mélységben elemezni, mert azok csak mellékterületei voltak a 2006-os mérésnek. Itt olyan általánosságokat lehet elmondani, hogy Finnország és Hongkong érte el a legjobb eredményt, Magyarország pedig az OECD-átlag alatt szerepelt. Lengyelország, Szlovénia és Észtország kivételével az összes kelet-európai ország gyengébben teljesített az OECD-átlagnál. A lengyelek 2000-ben rendkívül gyengén szerepeltek, 480 pont körül, és most 508 pontot értek el. A magyar PISA-eredmények tekintetében nincsenek trendek, semmiféle változás nem állt be az elmúl mérések során. Olyan, mintha hat éven keresztül mindig ugyanaz az 5000 gyerek írta volna meg mind a három területen a mérést. Ha a részleteket vizsgáljuk, akkor sem lehet kimutatni változásokat. A fiúk és a lányok eredményeinek összehasonlításában Magyarország ugyanazt az eredményt mutatja, mint az OECD-államok általában. A lányok sokkal jobban tudnak olvasni, mint a fiúk. A fiúk jobban értenek a matematikához, mint a lányok, természettudomány szempontjából pedig nincs szignifikáns különbség nemi alapon. 4
A fenti ábra az egyik kedvenc ábrája a PISA-val foglalkozó másodlagos értelmezéseknek. Ez az ábra a tanulói képességek közötti különbségeknek a magyarázatával foglalkozik. Megmutatja az iskolák közötti, illetve az iskolán belüli képességkülönbségeket. Magyarország esetében azt mondhatjuk, hogy ez a 60%-át magyarázza a képességkülönbségeknek. Feltűnő, hogy Magyarország esetében az iskolák közötti különbségek nagy százalékát megmagyarázza 5
a társadalmi különbség, az iskolákon belülit pedig semmilyen mértékben nem magyarázza meg. A 2009-es mérés abból a szempontból hozhat reményeink szerint változást, hogy jobban meg tudjuk érteni a magyar diákok szövegértési képességének finom szerkezetét. Másrészt Magyarország részt vesz az elektronikus szövegértés mérési projektben is. Itt nem az a feladat, hogy a képernyőn keresztül kell olvasniuk a diákoknak, hanem a hipertextusban való eligazodást próbálja mérni ez a fajta szövegértési mérés. Egy böngésző felületen navigálnak a diákok, és itt kell a PISA szövegértés tartalmi keretnek többé-kevésbé megfelelő feladatokat megoldaniuk. Az információ-visszakeresés szöveges formájára, tartalmára való reflektálás, illetve az értelmezés a feladat. Mivel azonban itt térben is tájékozódniuk kell a szövegen belül a tanulóknak, ezért nagyon komplex feladatokkal kell szembenézniük a diákoknak. Az iskolánként kiválasztott 35 tanulónak egy 14 fős almintája végezte el ezt a tesztet. A teszt egy 10-perces gyakorló feladatsorból és egy 42-perces éles tesztből állt. Ennek a mérésnek a pontozása és a kódolása is érdekes. Az ismert, papíralapú szövegértés-mérésnél azt, hogy a diák eligazodik-e a tartalomjegyzék segítségével, nem igazán értékeljük, de az elektronikus szövegértésben képesek vagyunk az alapján pontozni a diáknak a teljesítményét, hogy milyen úton jut hozzá a kérdéses információhoz. 6
A PISA nemzetközi tanulói képességmérés bemutatása, eredményei Budapest, 2009. 04.30 Ostorics László
ALAPVETŐ JELLEMZŐK
Megrendelő, célok A PISA az OECD (Organization for Economic Cooperation and Development) megbízásából készülő monitorozó jellegű felméréssorozat Az oktatás minősége, a 15 éves tanulók tudása az ország jövőbeni társadalmának és gazdaságának indikátora A PISA nem tantervi tartalmakat mér, hanem alkalmazásképes tudást
A PISA-vizsgálat alapjellemzői Programme for International Students Assessment Mért terület: Szövegértés, matematika, természettudomány Korosztály: 15 év Mérési ciklus: 3 évente, 2000 óta Alkalmanként mindhárom terület, de egyik hangsúlyos PISA 2000 szövegértés PISA 2003 matematika PISA 2006 természettudomány PISA 2009 szövegértés Egyéb, tantárgyközi(bb) mérési területek: 2003: problémamegoldó készség 2006: CBAS (Computer-based Assessment of Science) 2009: ERA (Electronic Reading Assessment)
Hogyan fest egy PISA-ciklus: a PISA 2009 lebonyolításának fázisai 2006 december-2007december: PISA 2006 ellenőrzés és jelentés 2007 január-augusztus: első átnézés és jóváhagyás 2007 szeptember-2008 február: a próbamérés előkészítése 2008 március-július: próbamérés 2008 augusztus-szeptember: második átnézés és jóváhagyás 2008 október-2009 március: a főmérés előkészítése 2009 március-december: főmérés 2009 december-2010 december: ellenőrzés és jelentés 2010 január-augusztus: PISA 2012 első átnézés és jóváhagyás
A teszt technikai jellegzetességei A megírandó teszt : Nagyrészt papíralapú mérés 2 óra, a felmért műveltségi területtel kapcsolatos feladatok és attitűd-kérdések 20-30 perc tanulói háttérkérdőív (családi háttér, informatikai ellátottság, ambíciók) Iskolai és szülői kérdőív (szándék: tanári is) Minta: legalább 150 iskola, iskolánként 35 tanuló véletlen mintavétellel
Részt vevő országok 2006-ban
A Tartalmi keret A alkalmazott természettudományi műveltség az egyénnek az a képessége, hogy a természettudományi ismeretek és azok alkalmazása segítségével képes kérdéseket feltenni, új ismereteket elsajátítani, meg tud magyarázni természettudományi jelenségeket és megfogalmaz természettudományi problémákkal kapcsolatos, bizonyítékokkal alátámasztott következtetéseket. Az egyén megérti az emberi tudásként és emberi felfedezőmunkaként is értelmezhető természettudományok jellemző tulajdonságait és azt, hogy a természettudományok és a technika hogyan alakítja fizikai, szellemi és kulturális környezetünket. Megfontolt állampolgárként, hajlandó magát elkötelezni természettudományi vonatkozású problémák és természettudományi elméletek mellett. A tartalmi keret a mérés eszközeinek kifejlesztése előtt meghatározza a mérés négy fontos jellemzőjének értelmezési tartományát: a feladatok lehetséges kontextusainak körét; a feladatok természettudományi tartalmainak körét; a feladatok megoldása során felhasználható kompetenciák körét; a tanulók természettudományi problémák iránti releváns attitűdjeinek körét.
A felmérés feladatainak lehetséges kontextusai
A természettudományok iránti attitűd
PISA 2006 EREDMÉNYEK
T E R M É S Z E T T U D O M Á N Y
A diákok képességszint szerinti megoszlása természettudomány 2006
A természettudományi tudásterületeken elért eredmények Mérési részterület A magyar diákok átlageredménye Fiúk és lányok átlageredménye közötti különbség A Föld és a világegyetem 512 pont 8 pont Élő rendszerek 509 pont 12 pont Fizikai rendszerek Megismeréssel kapcsolatos ismeretek 533 pont 36 pont 492 pont -5 pont
A természettudományi kompetenciák terén elért eredmények Kompetencia Természettudományi problémák felismerése Jelenségek természettudományi magyarázata Természettudományi bizonyítékok alkalmazása A magyar diákok átlageredménye Fiúk és lányok átlageredménye közötti különbség 483 pont -13 pont 518 pont 22 pont 497 pont -1 pont
S Z Ö V E G É R T É S
M A T E M A T I K A
A PISA 2000, 2003 és 2006 eredményeinek összehasonlítása: vannak-e trendek? Mérési terület 2000 2003 2006 Szövegértés 480 482 482 Matematika 490 491 Természettudomány 504
TANULÓI HÁTTÉR
A fiúk és a lányok eredménye Mérési terület Lányok átlageredménye Fiúk átlageredménye Szövegértés 503 pont 463 pont 38 pont Matematika 486 pont 496 pont 11 pont Különbség OECDátlag Természettudomány 501 pont 507 pont 2 pont
A tanulói teljesítmények iskolák közötti és iskolán belüli varianciája
Szelektív iskolarendszer és a családi háttér hatása Az oktatási rendszerünk szelektivitása képesség és családi háttér szerint is A tanulók közötti képességkülönbség 70%-a az iskolák átlageredménye közötti különbségből származik A tanulók szociális, gazdasági és kulturális helyzetét mérő index különbségeinek 46%-a az iskolák átlagos családi háttere közötti különbségből származik A családi háttér erős hatása a képességre A szociális, gazdasági és kulturális index egységnyi növekedésével 44 ponttal nő a várható természettudomány eredmény A szociális, gazdasági és kulturális index különbségei a képességkülönbségek 21%-át magyarázzák
A három mérési terület OECD-átlaghoz viszonyított eredményei országonként
AKTUALITÁSOK
A PISA 2009 újdonsága: elektronikus szövegértés-mérés Cél: a hipertextusban való eligazodás vizsgálata Almintán: az iskolánként kiválasztott 35 tanulóból 14 írja meg ezt a tesztet 10 perc gyakorlóteszt és 42 perc éles teszt 22 részt vevő Felszabadított feladatok: esasq.acer.edu.au
Name: public Password: access
Elérhetőségek Magyar PISA-oldal: oecd-pisa.hu Nemzetközi PISA-oldal: mypisa.acer.edu.au Hivatali elérhetőségek: kmeo.pisa@oh.gov.hu; ostorics.laszlo@oh.gov.hu
Köszönöm a figyelmet!