Balázsi Ildikó A magyar tanulók tudása nemzetközi összehasonlításban Az Oktatási Hivatalban a Közoktatási Mérési Értékelési Osztály bonyolítja a Magyarországon folyó tanulói teljesítményméréseket a szervezéstől kezdve egészen a sajtótájékoztatóig. Mi végezzük a kompetenciamérésnek a szakmai feladatait is: a tesztfüzetek összeállítását és az iskolajelentések készítését. A nemzetközi mérések elsősorban arra alkalmasak, hogy nemzetközi összehasonlításban lássuk a magyar tanulók eredményeit, és az oktatási rendszer egészére vonatkozó országos következtetéseket vonjunk le belőlük. A kompetenciamérés viszont, mivel minden iskolába eljut, és minden iskola kap róla visszajelzést, közvetlenül az iskolai munkában használható fel. A kompetenciamérés esetében a legfontosabb felhasználási területet az iskolánkénti eredmények adják, továbbá sokkal részletesebb országos jelentések készülhetnek belőle, mint a nemzetközi mérésekből. A nemzetközi mérések ugyanis csak egy mintán zajlanak (150 iskola részvételével), megyei szintű eredményeket például nem lehet az adataikból értelmezni. A kompetenciamérés (mivel teljes körű) erre is alkalmas, akár kistérségi szinten is vizsgálható az eredménye. A nemzetközi mérések menetrendje Egy nemzetközi mérés menetrendje a következő: az első lépés ami nem minden alkalommal ismétlődik a megrendelői igény és a mérés céljainak meghatározása. Ebből következik minden egyéb: hogyan néz ki a tesztfüzet, valamint hogy milyen elemzéseket adnak a végén a szakemberek. Ha ez a megrendelői igény tisztázott, akkor elkezdődhet a többéves munka, amelyet három fő csoportba osztottam. Az első lépés a próbamérés, ami a feladatok kipróbálásáról, a fordításáról és a beméréséről szól minden országban. Ezt követi a fő mérés, majd a munka az értékeléssel zárul. A próbamérés A tartalmi keret A próbamérés első lépése a tartalmi keret fejlesztése és bírálata. A tartalmi keretek fejlesztése a céloknak megfelelően történik. A PISA-mérésnek és az IEA-méréseknek más a célja, és 1
ebből következően másként dolgozták ki a tartalmi kereteiket is. A tartalmi keret fejlesztése a legelső mérés előtt igen nagy munka, amely eltarthat akár egy évig vagy néha tovább is. Egyeztetik a szakemberekkel és a részt vevő országokkal is. Majd mindegyik további mérés előtt ezeket újra előveszik, átnézik, valamelyest módosítják. Nagyon azonban nem lehet, mivel trendekre vonatkozó elemzéseket csak úgy lehet végezni, ha nagyon nem változtatnak a tesztanyagokon. Feladatfejlesztés, a kérdőívek kidolgozása Ha a tartalmi keretek elkészültek, akkor következik a feladatfejlesztés, a kérdőívek kidolgozása és az első bírálata. Ebben a fázisban már a részt vevő országoknak is nagyon nagy szerepük van. A kérdőívek fejlesztésében nagyon figyelembe veszik, hogy az országok mit tartanak fontosnak. Vannak olyan opciók, amelyek azért kerülnek a kérdőívbe, mert a részt vevő országok kifejezetten kérik, illetve olyan is van, ami azért kerül ki, mert nem tartják fontosnak az országok. A feladatok fordítása Ha a feladatok elkészültek, akkor következik a fordítás és annak a többlépcsős ellenőrzése. A feladatokat általában két nyelvről (angol és francia) több fordító fordítja az egyes országok nyelvére, majd összevetik a két fordítást. Így alakul ki az a végleges forma, amit az egyes országokban megfelelőnek tartanak. A fordításnak nagyon fontos szabályai vannak, például az egyes feladatok szövegének azonos bonyolultságúnak kell lennie minden nyelven. Ha mi elkészültünk a magyar verzióval, akkor elküldjük a feladatokat ellenőrzésre, ahol megvizsgálják, hogy egyenértékűek-e az eredeti feladatokkal (a nemzetközi központ véleményezi), majd a véleményt visszaküldik nekünk. Így alakul ki a végleges változata a feladatoknak, a kérdőíveknek és az útmutatóknak is. A mintaválasztás A mintaválasztás is fontos része a folyamatnak, bár a próbamérésnél még nem törekednek reprezentatív mintára, hiszen ott a feladatokat próbálják ki, de ebben a fázisban is lényeges, hogy mindenféle iskola részt vegyen a kipróbálásban. A próbamérésben viszonylag kevesebb iskola és több tesztfüzet szokott kipróbálásra kerülni, körülbelül 40-45 iskola vesz részt benne. * A kipróbálásnál nem csak a tesztanyagot, hanem az eljárásrendet is teszteljük, tehát ugyanolyan szabályok szerint történik a felmérés, mint majd a fő mérés során. A próbamérés 2
után a feladatok javítása következik, amit mi kódolásnak hívunk, majd az adatbevitel. (A kódoláshoz is útmutatóink vannak.) A próbamérés után végezzük el azoknak az adatoknak a gyűjtését, amelyek alapján végül az elemzések készülnek. Ehhez szükséges a feladatoknak és a háttérkérdőíveknek a bírálata a próbamérés adatainak figyelembevételével. A mérés A tesztfüzetek és a háttérkérdőívek összeállítása A próbamérés eredményeinek figyelembevételével kezdődik a fő mérés tesztfüzeteinek és háttérkérdőíveknek az összeállítása. Ezt a nemzetközi központ végzi, de a nemzeti központok adatainak és véleményeinek figyelembevételével. Ebben a folyamatban ismét készülnek fordítások: a próbamérések alapján szükséges változásokat át kell vezetni a nemzeti verziókba. A mintaválasztás A mintaválasztásnál a nemzetközi központok nagyon odafigyelnek arra, hogy reprezentatív mintát válasszanak minden egyes országból. A nemzeti központoknak ebben annyi feladata van, hogy kiküldjük az iskolák listáját a tanulók létszámával. A mintát a nemzetközi központ választja. A mérés és a javítás Ezután következik az adatfelvétel (a feladatok megoldása az iskolában), s végül a kódolással és az adatbevitellel zárul ez a szakasz. A nyíltvégű feladatok javítása és az adatok rögzítése a záró lépés. Az értékelés Az értékelés fázisát az adattisztítással kezdjük, amely több hónapos folyamat. A nemzetközi központok a nemzeti központokkal szoros együttműködésben ellenőrzik az adatokat, kiszűrik a hibás értékeket, a logikailag furcsa értékeket, ezeket ellenőrizzük, visszakeressük a tesztfüzetekben. Kijavítjuk a hibákat. A hibák kijavítását az olyan változóknak a kiszámítása követi, amelyek nem közvetlenül az adatokból származnak. Ilyen a képességpont, amelynek egy viszonylag bonyolult valószínűségelméleti modell az alapja. Ez lesz az az érték, amely a tanulóknak a teszten elért eredményét, illetve a képességeiket modellezi. Ekkor történik a különböző háttérváltozók, 3
összevont mutatók kiszámítása is. A családi és a szociális háttérre képeznek mutatókat, a háttérkérdőívekben megjelenő kérdések alapján. Ezt követően elkészítik a végleges adatbázist, amit megküldenek a nemzeti központoknak. Itt még egy ellenőrzés következik, majd a sajtótájékoztatóval zárul a nemzeti központoknak és a nemzetközi központoknak az alapmunkája. A nemzeti sajtótájékoztatót általában egy nappal később vagy ugyanazon a napon tartják, mint a nemzetközi sajtótájékoztatót, és a nemzeti összefoglaló eredmény is nagyjából egy időben jelenik meg a nemzetközi jelentéssel. A mérések eredményeinek nyilvánosságra hozatala, az elemzések és a másodelemzések megjelenése különböző szakfolyóiratokban a mérések igen fontos része. * Ez a folyamat a tartalmi keret elkészítésétől az értékelésig minimum három és fél éves. A próbamérésre egy évvel a fő mérés előtt kerül sor, és azt megelőzi a feladatok fejlesztése és a tartalmi keret kidolgozása. A nemzetközi sajtótájékoztató pedig körülbelül másfél évvel az adatfelvétel után szokott megtörténni. Tehát 3-4 éves folyamat egy mérési ciklus. A nemzetközi mérések A továbbiakban a PISA-ról, a TIMSS-ről és a PIRLS-ről beszélek. A PISA az OECD megrendelésére készül. (Az igazgatótanács magyar tagja és egyben egyik alelnöke Csapó Benő 1.) A TIMSS és a PIRLS az IEA a Nemzetközi Oktatáskutató Társaság megrendelésével zajlik. Itt az éves közgyűlés magyar tagja Brassói Sándor 2. A mérések lebonyolítását különböző nemzetközi kutatócsoportok végzik. A PISA esetében erre minden alkalommal tendert írnak ki. A 2006-os mérést az Ausztrál Oktatáskutató Társaság (ACER) és a holland CITO oktatáskutatással foglalkozó cég bonyolította le. A TIMSS-t és a PIRLS-t a Bostoni Egyetem TIMSS és PIRLS Nemzetközi Központ (Boston College TIMSS&PIRLS ISC) szervezi és bonyolítja le, ők az adott mérések nemzetközi központjai. A nemzeti lebonyolítókat nemzeti központoknak hívják, és Magyarországon ezt a feladatot mi látjuk el. A mérések különbözőségei a megrendelő szervezetekből levezethetők. Érdemes már a nemzeti felelősöknek az elnevezésére is figyelni. Míg a PISA-mérésben a nemzeti 1 Csapó Benő egyetemi tanár a Szegedi Tudományegyetem Neveléstudományi Intézetének vezetője, az MTA doktora, a Neveléstudományi Doktori Iskola, az MTA SZTE Képességkutató Csoport és az SZTE Oktatáselméleti Kutatócsoport vezetője. 2 Brassói Sándor az Oktatási és Kulturális Minisztérium Közoktatási Főosztályának főosztályvezető helyettese. 4
központokban projektmenedzser, addig a PIRLS-ben és a TIMSS-ben nemzeti kutatásvezető dolgozik. A PISA-ban inkább lebonyolító, menedzselő feladatokat látnak el a nemzeti központokban, a TIMSS és a PIRLS inkább egy kutatásbázisú feladat. A PISA-mérés Az OECD olyan indikátort szeretett volna létrehozni, amely megjeleníti az oktatás minőségét az egyes országokban, vagyis a PISA azt vizsgálja, hogy milyen az adott ország oktatásának minősége. Milyen a hamarosan a munka világába vagy az egyetemekre belépő 15-éves tanulóknak a tudása? Hogyan tudják ezt a tudást alkalmazni? Képesek-e megfelelni a társadalmi és a gazdasági kihívásoknak? Éppen ezért a PISA nem tantervi tartalmakat mér, hanem alkalmazásképes tudást. És ez minden feladatában érződik is. A PISA a 15-évesek szövegértését, matematikatudását és a természettudományos tudását méri. Azért őket, mert ők még minden OECD-országban a kötelező beiskolázás tanulói. A legtöbb 15-éves tanuló ezekben az országokban a közoktatásban található. Háromévente méri ezeknek a tanulóknak a tudását, de minden ciklusban más az, ami hangsúlyosabban megjelenik. Az első PISA-mérésben (2000) a szövegértés volt ez a terület, majd a matematika (2003), utána a természettudomány (2006) és most, 2009-ben ismét a szövegértés. Minden mérési ciklusban igyekeznek valami újat is kipróbálni és újat mérni a kutatók. 2003- ban a problémamegoldó képesség volt ez az új terület, 2006-ban egy számítógépes természettudomány-vizsgálatot végeztek. De ez utóbbi összesen három országban sikerült, mert a megvalósításához laptopok kellettek, és egy viszonylag bonyolult eljárásrendet kellett követniük az országoknak. Majd ezt fejlesztették tovább 2009-re, ahol elektronikus szövegértés mérése történt opcionálisan (tehát ebben nem kötelező részt venni az országoknak). A 2009-es elektronikus szövegértés mérésében viszonylag sok ország (22) részt vett, közöttük Magyarország is. Az elektronikus szövegértés nem egyszerűen szövegértés a számítógép előtt. Ennek a mérésnek egy számítógépes környezetben való eligazodás is része. Például e-maileket kell olvasniuk a tanulóknak, fórumokhoz kell hozzászólniuk. Egyszóval ez a fajta mérés komplexebb, más típusú szövegértést mér, mint a papíralapú mérés. Hiperlinkes, több honlapon való eligazodást és egyéb készségeket is igényel, nem csak a szövegek értését. A 2009-es mérés nemrég fejeződött be, most a kódolás végén tartunk. 5
A PISA, ezeknek a számítógépes kísérleteknek az ellenére, nagyrészt papíralapú mérés. Mindig felmerül, hogy esetleg nagyobb részben támaszkodjanak a számítógépes felmérésekre, de a papíralapú mérés az viszonylag stabil alapnak tűnik. Ezen nem akarnak változtatni, annál is inkább, mert akkor a trend-elemzések lehetőségét veszélyeztetik. A felmérés papíralapú része 2 óra, négyszer 30 perces tagolásban. Mindig arról a területről van a legtöbb feladat, ami éppen hangsúlyosabban szerepel az adott évben. 2006-ban, amikor a természettudomány volt hangsúlyosabb, akkor attitűdkérdések is szerepeltek magában a tesztfüzetben is, tehát a feladatok kapcsán is megkérdezték a tanulókat arról, hogy fontosnak tartják-e az adott területet, érdekli-e őket. E mellett a felmérés tartalmazott egy 20-30 perces tanulói háttérkérdőívet is, ami a családi háttérre, a tanulók informatikai ellátottságára, ambícióira kérdezett rá. A háttérkérdőívek között iskolai és szülői kérdőív is van. Volt olyan szándék, hogy tanári kérdőív is legyen, de ez a PISA esetében nem könnyű, hiszen a mérés nem tantárgyak szerinti, hanem tantárgyközi kompetenciákat mér. E mellett nem osztályalapú a kiválasztás, hanem minden olyan iskolából, amely bekerült a mintába véletlenszerűen 35 15-éves tanulót választanak ki, és az sem egyértelmű, hogy a tanulók melyik tanárának kellene kitöltenie a tanári kérdőívet. Minden ciklusban felmerül a tanári kérdőív lehetősége, de a megvalósítás problémái akkorák a nyerhető információhoz viszonyítva, hogy végül soha nem vállalkoznak rá. Mintán végzik a felmérést. 150 iskola, iskolánként 35 tanuló kerül kiválasztásra, irányított véletlen mintavétellel. Régiónként és iskolatípusonként kontrollált mintavétellel igyekeznek arra, hogy biztosan valid eredményeket kapjanak. Az IEA által megrendelt mérések A TIMSS- és a PIRLS-mérések esetében az IEA a megrendelő. Ezek a mérések szintén mintán történő felméréssorozatok. Nem három, hanem négy- és ötéves ciklusokban dolgoznak. A felmért területek hasonlóak, a különbség annyi, hogy ezeknél a méréseknél a tartalmi kidolgozást alapos tantervelemzés előzi meg, és a méréseket úgy dolgozzák ki, hogy a tartalmi keretek ezeknek a tantervelemzéseknek az alapján készültek. A feladatok is sokkal inkább megfelelnek a tanterveknek. Érzékelhető a különbség a PISA- és a TIMSS-mérés feladatai között, de még inkább a PIRLS és a PISA között. Ez utóbbi kettő több területen is különbözik, mivel azonban a PIRLS a negyedik évfolyamosokat méri, az életkorbeli különbségek is nagyok. 6
A TIMSS a matematikai és a természettudományi területet méri, negyedik és nyolcadik évfolyamon történik az adatfelvétel. A PIRLS a negyedik évfolyamos tanulók szövegértését teszteli. A TIMSS négyévente zajlik, 1995-től kezdődően, a PIRLS ötévente és 2001-ben kezdődött. Mindkét mérés papíralapú. Mindkettő valamivel rövidebb időtartamú, mint a PISA. A negyedik évfolyamon a TIMSS kétszer 35 perces, a PIRLS kétszer 45 perces munkát jelent. A nyolcadik évfolyamon a TIMSS kétszer 40 perc. A tesztfüzetek kitöltését követi egy tanulói háttérkérdőív Ezeknél a méréseknél több kérdés vonatkozik a felmért tantárgyak tanulására. A tanulóktól többet kérdeznek arról, hogy hogyan tanulják a matematikát, a természettudományt, az olvasást. Iskolai, tanári és szülői kérdőívek is csatlakoznak a méréshez. Az IEA felméréseknél a tanári kérdőív nagyon fontos része a felmérésnek a kezdetektől. Hazánkban körülbelül 4000-5000 gyerek vesz részt a mérésekben évfolyamonként. A mintavétel annyiban különbözik a PISA mintavételétől, hogy itt a kiválasztott iskolákból egy-egy teljes osztályt választanak ki. A nemzetközi mérések további jellemzői A részt vevő országok köre egyre bővül mindhárom mérésben. A PISA 2006-os vizsgálatában mintegy 60 ország vett részt. Az összes (30) OECD-ország és nagyon sok partnerország csatlakozott. Láthatóan a csatlakozók köre egyre bővül, a 2009-es vizsgálatban még többen vesznek részt. Mivel OECD megrendelésre készül a felmérés, ezért a PISA-vizsgálatban mindig az OECD-országok adják a kiindulási pontot. A döntéshozó testületben a partnerországoknak véleményezési joguk van, de a döntéseket az OECD-országok képviselői hozzák. A TIMSS felméréseiben részt vevő országok esetében is hosszú a lista. A TIMSS és a PIRLS esetében a különböző döntéseket a részt vevő országok hozzák, egyenlő súllyal szerepel mindenki a döntések meghozatalánál és az értékelésnél is. Több a fejlődő ország a TIMSS- és a PIRLS-vizsgálatokban, a PISA-vizsgálatban a fejlett országok adják a bázist. A PISA-ban az OECD-országok tanulói teljesítményátlagához viszonyítják az egyes országok teljesítményét. Ebben a felmérésben az OECD-országok eredménye a fontos, és a partnerországok is ehhez tudják mérni magukat. A TIMSS-ben és a PIRLS-ben viszont a 7
mérésben részt vevő valamennyi ország eredménye az, ami a nemzetközi skálát adja. Ezt általában 500 pontban rögzítik az első mérés során, a szórás pedig 100 pont. Ezek a mérések normatív mérések, tehát a nemzetközi átlaghoz viszonyíthatjuk az egyes eredményeket, de az nincs meghatározva, hogy mit jelent az a tudás, amit a nemzetközi átlag takar. Így az értelmezhetőség segítésére alakították ki a teljesítményszinteket. A teljesítményszintek kialakítására többféle módszer is létezik. A módszerektől függetlenül azonban az a lényeg, hogy felosztják a teljesítményskálát intervallumokra, és meghatározzák, hogy melyik intervallumban mit tudnak a tanulók. Mi az, amit képesek megoldani, és mi az, amit nem. A magyar tanulók eredményei A 2006-os PISA-mérés természettudományos eredményei A 2006-os PISA-vizsgálaton a magyar diákok természettudományos eredménye 504 pontos volt. Ez az OECD-országok átlagával megegyező. Fontos megjegyezni, hogy az egyes felmérések eredményei esetében nem adhatjuk meg az országok eredményeinek pontos sorrendjét, mivel hibával mérünk. Tehát azt állapíthatjuk meg csupán, hogy melyek azok az országok, amelyek nálunk jobban teljesítettek, melyek azok, amelyek hozzánk hasonlóan, és melyek azok, amelyek statisztikailag kimutatható módon gyengébben. De nincs sorrend, hanem teljesítménytartományok vannak. A 2006-os PISA-mérésben a természettudomány terén Magyarország az OEDC-országok között a 13-17 helyet érte el, tehát egyértelműen a középmezőnybe került a 30 országból. Az összes részt vevő országot tekintve pedig a 19-23 helyezést érte el. Tehát csak ennyire lehet pontosan megmondani, hogy milyen eredményt értek el a magyar tanulók átlagosan. Ugyanezen a mérésen a legjobb teljesítményt elért országok: Finnország, a távol-keleti országok, Kanada és Észtország. Az eredmények értékelésének egy másik megközelítése a képességszintek szerinti megoszlás elemzése. Itt a szerint vannak sorrendbe rendezve az országok, hogy a tanulók hány százaléka teljesített a kettes szint alatt. A legalacsonyabb százalékos értékkel megjelenő ország érte el így a legjobb eredményt. Itt szintén Finnország, Hong-Kong, Észtország szerepelnek az első helyen. Hasonló a sorrend, mint amikor az átlageredmények szerint rendezzük az országokat, de azért egy kicsit különbözik attól. Magyarország előrébb szerepel, mint az átlageredményes skálán. Ez azért van, mert a magyar tanulók viszonylag homogén eredményt értek el, vagyis 8
kicsi a szórása a magyar tanulók eredményeinek. Ezért mind a leggyengébben, mind a legjobban teljesítő tanulók között kevesebben vannak a magyar tanulók. A nagy többség a többi képességszinten található. Vannak persze nagyon jók és nagyon gyengék nálunk is, de nem annyi, mint egy tipikus OECD-országban. Ez a tapasztalat egyébként az összes felmért területen és az összes évfolyamon. Minden mérésben látszik, hogy a magyar tanulók szórása a nemzetközi áltag alatti, tehát viszonylag stabilan teljesítenek. A mérések jelentései az egyes tudásterületekre is, illetve a különböző kompetenciaterületekre is közölnek részeredményeket. A természettudományos PISA-vizsgálatban négy tartalmi területet és három kompetenciaterületet különböztettek meg. A magyar tanulók a fizikai rendszereken teljesítettek a legjobban, abban egészen jó eredményt értek el, és a leggyengébb volt a teljesítményük a megismeréssel kapcsolatos rendszerek területén. Ebben a részben a tudományos vizsgálatok módszereiről alkotott ismeretekhez kapcsolódó kérdések szerepeltek. A kompetenciaterületek közül a magyar tanulók a jelenségek természettudományi magyarázatában jeleskedtek leginkább. A legjobb eredményt elért országok esetén többnyire a természettudományi bizonyítékok alkalmazása kompetenciaterület eredményei a legmagasabbak. A 2006-os PISA-mérés szövegértési eredményei Ha a 2006-os PISA-jelentésből a szövegértés eredményeit tekintjük, látható, hogy 482 ponttal szerepeltünk, ami szignifikánsan az OECD-átlag alatt van, amely 2000 óta szignifikánsan csökkent, 500 pontról 492 pontra. 2006-ban a szövegértésben a 29 ország közül a 17-22 helyet szerezte meg Magyarország. A részterületek eredményei itt kevésbé különböznek egymástól, mint a természettudománynál. A 2006-os PISA-mérés matematika eredményei Matematikából a magyar tanulók átlageredménye 491 pont volt, ez a 18-23 helyet jelenti az OECD-országok között. Ha a tudásterületeket külön-külön megnézzük, akkor láthatjuk, hogy a legjobb eredményt a mennyiségek, változások és összefüggések részterületen érték el a magyar tanulók, a leggyengébbet pedig a tér és alakzatok területen. A 2007-es TIMSS eredmények A magyar negyedik évfolyamosok matematikából az átlag fölött teljesítettek, 510 pontos eredménnyel. 13 ország teljesített ennél az eredménynél jelentősen jobban. A nyolcadik évfolyamos tanulók esetében matematikából Magyarország nagyon előkelő helyet foglal el, 9
mindössze öt ország előz meg bennünket. 517 ponttal egy jól teljesítő csoport elején vagyunk. Előttünk csupán távol-keleti országok találhatók. Ha az elkülönített részterületek eredményeit nézzük, ezekben sincsenek nagyon nagy különbségek, stabil eredményt látunk. Talán egyedül az adat és a valószínűség című részterület nyolcadik évfolyamos eredménye az, ami kiemelkedően jó. A természettudomány eredményei hasonlóan jónak mondhatók. Mindkét korcsoportban a skálaátlag fölött teljesítünk. 536 pontot értünk el a negyedik évfolyamon, és öt ország eredménye volt jobb ennél. A természettudományban negyedik évfolyamon szintén a távolkeleti országok, valamint Oroszország előz meg minket. A nyolcadikosoknál négy ország teljesített nálunk jelentősen jobban. A magyar tanulók teljesítményátlaga 539 pont volt. A részterületeket tekintve a negyedik évfolyamon az élővilág sikerült kiemelkedően, a nyolcadik évfolyamon pedig a fizika az, ami a legjobban ment. A kompetenciaterületeket ebben a mérésben az ismeret, alkalmazás, értelmezés területeire bontják. A negyedikesek az alkalmazás területén érték el a legjobb eredményt, a nyolcadikosok viszont már az ismeretek előhívásában voltak a legjobbak. A 2007-es PIRLS eredmények A PIRLS-mérésben is nagyon jó eredményt értek el a magyar tanulók. Mindössze négy résztvevő előzte meg Magyarországot, 551 ponttal előkelő helyen szerepelnek tanulóink. A PIRLS-mérésben két kategóriába osztották azokat a szövegeket, amelyekkel a tanulók találkoztak. Az egyik csoportba az információszerző szövegek tartoztak, amelyek inkább magyarázó, a tankönyvi szövegekre jobban hasonlító szövegek voltak, a másik csoportot az élményszerző szövegek alkották, amelyek alapvetően irodalmi jellegű szövegek. Ha ezeken a területeken vizsgáljuk az eredményeket, akkor láthatjuk, hogy az élményszerző szövegek esetében teljesítettek jobban a tanulóink, de az információszerző szövegeken elért eredményünk is nagyon jó. Ez utóbbi kategóriában is kevés olyan ország volt, akik jobban teljesítettek. A magyar tanulók eredményeinek változásai az egyes méréseken Ha a trendeket vizsgáljuk, akkor megállapíthatjuk, hogy a PISA-mérésekben nem történt változás az egyes években, az 1-2 pontos különbségek, amelyek a szövegértés és a matematika területén láthatók, nem jelentősek. Nem csak az átlageredmény az, ami mindig ugyanaz, de semmilyen más téren nem mutatkozott elmozdulás. Ezt a tendenciát nem 10
mondhatjuk el a TIMSS- és a PIRLS-mérések esetében. Ott láthatunk elmozdulásokat. A TIMSS-nél már egy viszonylag hosszú adatsort hasonlíthatunk össze. Matematikából 2003- ban volt a negyedik évfolyamon egy kiugróan jó eredmény, ehhez képest 19 ponttal kevesebb a 2007-es eredmény, de a '95-ös kiinduló eredményhez képest is 12 pontos a csökkenés. Bár ez a változás nem túl nagy, de azért kimutatható. Nyolcadik évfolyamon pedig a kezdeti 527 ponthoz képest 10 ponttal csökkent az eredmény, és itt is volt némi ingadozás. A természettudomány esetében a negyedik évfolyamon javult az eredmény, különösen a '95-ös adatokhoz képest. A nyolcadik évfolyamon pedig a kezdeti eredményhez képest nem volt változás. A PIRLS-vizsgálatban a 2001-es eredményhez képest 2006-ban 8 pontos növekedés volt, ami szintén nem mondható jelentősnek, de statisztikailag szignifikáns változás. A mérések eredményeinek összehasonlító elemzése Látható, hogy a PISA-mérésben mindig a középmezőnyben teljesítünk, ugyanakkor a TIMSSben és a PIRLS-ben rendre jó eredményt érnek el a magyar tanulók, alig van olyan ország, akik nálunk jobb eredményt értek el. Joggal merül fel a kérdés, mi ennek az oka. A mérések között lényeges különbségek vannak. A PISA és a TIMSS esetében két műveltségi terület (matematika, természettudomány) megegyezik, de más a mért korosztály. A TIMSS nyolcadik évfolyamos tanulókat mér, akik zömmel 14-évesek, és vannak közöttük 15-, illetve 13-évesek is. A PISA 15-éves tanulókat mér, akik a 9.-10. évfolyamon találhatók, de vannak még valamennyien a 8. évfolyamon is, és a 7. évfolyamon is megmérjük az ott tanuló 15-éveseket. Mint azt már jeleztük, a különböző megrendelők és a különböző mérési célokból következően más a tartalmuk az egyes felméréseknek. Tehát a TIMSS tantárgy közeli, tantervalapú mérés, a PISA pedig az alkalmazásképes tudást méri. Más a résztvevő országok köre is. 25 olyan ország van, ez azért nem olyan kevés, akik mind a két mérésben részt vettek. De a PISA felmérésben az OECD-országok átlagához viszonyítunk, és OECD-országból azért kevesebb olyan van, amely mind a két felmérésben részt vett. A TIMSS-ben pedig a '95-ös részt vevő országok eredményéhez viszonyítunk, tehát mást jelent az 500 pont a PISA felmérésnél és a TIMSS felmérésnél. Ha a két matematikamérésben csak a közös országok (25 ország) eredményét tekintjük, akkor egy ilyen ábra adódik. 11
A PISA 2006 és a TIMSS 2007 eredményeinek összehasonlítása matematikából 680 TIMSS 2007 - a 8. évfolyamos tanulók átlageredménye Korea Tajvan Japán Hongkong Magyarország Oroszország Szlovénia Egy. Áll. Cseho. Szerbia Litvánia Ausztrália 480 Románia Olaszo. Svédo. Izrael Thaiföld Bulgária Norvégia Tunézia Törö kország Jordánia Indonézia Kolumbia Katar 280 270 459 648 PISA 2006 - a tizenöt éves tanulók átlageredménye A 25 ország átlageredményének az átlaga feleltethető meg egymásnak a két mérésnél. Ez 459 pont a PISA-nál, és a 480 pont a TIMSS-nél. Ha ehhez viszonyítjuk Magyarország eredményeit, akkor láthatjuk, hogy azok között az országok között vagyunk, amelyek a 459 pontos PISA-átlagnál és a 480 pontos TIMMS-átlagnál jobb eredményt értek el. Általánosságban is igaz, hogy aki jobb eredményt ért el a PISA-ban, az jobb eredményt ért el a TIMSS-ben is és fordítva. Vannak olyan országok, akik esetében nem igaz a fenti összefüggés, például Ausztráliában a PISA sokkal jobban sikerült, mint a TIMSS. De az országok nagy része, köztük Magyarország is az átló mentén helyezkedik el. Az országok nagyjából annyival teljesítettek e fölött a közös átlag fölött a PISA-mérésben, mint a TIMSSben. Tehát ez a két eredmény valójában nem is különbözik annyira, mint ahogy az az első ránézésre tűnik. 12
Ettől függetlenül az is igaz, hogy másképpen méri a tanulók matematika- és természettudomány-tudását a két mérés. De ha finomítjuk az összehasonlítást, akkor látható, hogy valójában az eredmények nem különböznek annyira, mint amennyire gondolnánk. Vannak országok, amelyek lényegesen jobban teljesítenek az egyik vagy a másik területen, de Magyarország nem ezek közé az országok közé tartozik. Hasonlítsuk össze a PIRLS- és a PISA-vizsgálatokat is. A két mérés között ebben az esetben is vannak jelentős különbségek. A PIRLS-ben a 4. évfolyamos tanulókat mérjük, a PISA-ban pedig a 15-éveseket. A 4. osztályosok az olvasás tanításában még találkoznak olyan jellegű feladatokkal, mint amit a PIRLS mér. A PISA-feladatok ugyanakkor teljesen újszerűek a tanulóknak. Sokkal több feladatban fordul elő a nem folyamatos szöveg, a táblázat, az összesítés, amihez hasonlókkal ők az iskolában többnyire nem foglalkoznak. A részt vevő országok köre ez esetben is más. Mint már láttuk, az eredmények is különböznek. De ha az előzőekhez hasonlóan vetjük össze a két mérés eredményeit, akkor láthatjuk, hogy ez esetben sem olyan nagyok a különbségek, mint azt elsőre gondolnánk. Magyarország azoknak az országoknak a körében van, amelyek a közös országok átlaga fölött teljesítettek mind a PISAban, mind pedig a PIRLS-ben. Ugyanakkor a PIRLS-ben akkor is valamivel jobban teljesít Magyarország, hogyha csak a közös országok átlagát nézzük, és ahhoz viszonyítunk. * Mindegyik mérésben látható, hogy a magyar oktatási rendszerben a családi háttér és a tanulói teljesítmény közötti kapcsolat erős. A PISA jelentéseiben foglalkoznak ezzel a kérdéskörrel, ott vizsgálják és fejtik ki leginkább. A másik, ami a PISA-vizsgálatokból egyértelműen kiolvasható, hogy az egyes iskolák között nagyok a különbségek. A tanulók viszonylag homogén csoportokban tanulnak egy-egy iskolán belül, de az iskolák között sokkal nagyobbak a különbségek, mint más országokban. Ezek a különbségek nem csak a teljesítmény mentén jelentkeznek, hanem a családi háttér mentén is. Viszonylag homogén családi hátterű tanulók tanulnak egy-egy iskolában, és a különbségek az iskolák között jelentkeznek. Ez a jelenség valamilyen mértekben minden országban megjelenik, de Magyarországon nagyon erősen. Érdekes vizsgálati terület a tanárok neme és életkora. Látható, hogy Magyarországon sokkal több az alsósoknál is és a felsőbb évfolyamokon is a női tanár, mint a nemzetközi viszonylatban. Különösen a 8. évfolyamon nagy a különbség. A 4. évfolyamon nemzetközi szinten mindenhol igaz, hogy kb. a tanítók 80%-a nő, Magyarországon ez az arány 95-97%. A 13
8. évfolyamon nemzetközi szinten 57-59% a női tanárok aránya. Magyarországon 76-80%. Ha a tanárok életkori megoszlását tekintjük látható, hogy nemzetközi szinten 40 évnél idősebbek tanítják a diákoknak a 48-55 %-át. Magyarországon a tanulók 72-76%-át, a tanulók háromnegyedét 40 évnél idősebb tanár tanítja. Érdekes még az óraszámok összehasonlító elemzése. Magyarországon alacsonyak a matematika és a természettudomány tantárgyak óraszámai. A 4. évfolyamon matematikából a nemzetközi átlag 144 óra, nálunk ez 110 óra. A 8. évfolyamon 120 óra és 99 óra ez az arány. Természettudományból hasonló a helyzet. Bár itt a 8. évfolyamon az összehasonlítás nem annyira egyszerű. Vannak országok, amelyek integráltan tanítják a természettudományt, ők ezekben az átlagokban nem jelennek meg. Azokban az országokban összességében alacsonyabb az óraszám természettudományból, mint a tantárgyanként tanító országokban. Lehet, hogy az a tanítási módszer hatékonyabb, és nincs szükség olyan magas óraszámokra, de ilyen módon ez az összehasonlítás nem végezhető el. Tehát az önálló tantárgyakat tanító országokhoz viszonyítva a természettudományban is alacsonyabb a magyar óraszám, mint a nemzetközi átlag. Végül kiragadtam a sokféle háttéradatból a PIRLS-vizsgálatok alapján megtett megállapításokat az olvasási szokásokról. Sok kérdés szerepelt arra vonatkozóan, hogy a tanulók és a szüleik mennyit és hogyan olvasnak, és milyen az olvasáshoz való viszonyuk. Ebből azt látható, hogy a magyar tanulók többet olvasnak, mint a nemzetközi átlag. A szülők viszont kevesebbet olvastak 2006-ban, mint 2001-ben, ebben csökkenő tendenciát találtunk. És bár kiemelkedően teljesítettek a tanulóink a PIRLS-vizsgálat szövegértés tesztjében, az olvasás iránti attitűdjük és az olvasói önképük csak a nemzetközi átlag szintjén van, tehát nem olyan magabiztosak, mint amennyire azt az eredményeik indokolnák. Sok további eredmény megtalálható a honlapokon, minden olyan dokumentum, ami alapján az eredményeket értékelni, értelmezni lehet, és a nemzetközi eredmények is letölthetők. 14