A magyar tanulók tudása nemzetközi összehasonlításban

Átírás

1 Balázsi Ildikó A magyar tanulók tudása nemzetközi összehasonlításban Az Oktatási Hivatalban a Közoktatási Mérési Értékelési Osztály bonyolítja a Magyarországon folyó tanulói teljesítményméréseket a szervezéstől kezdve egészen a sajtótájékoztatóig. Mi végezzük a kompetenciamérésnek a szakmai feladatait is: a tesztfüzetek összeállítását és az iskolajelentések készítését. A nemzetközi mérések elsősorban arra alkalmasak, hogy nemzetközi összehasonlításban lássuk a magyar tanulók eredményeit, és az oktatási rendszer egészére vonatkozó országos következtetéseket vonjunk le belőlük. A kompetenciamérés viszont, mivel minden iskolába eljut, és minden iskola kap róla visszajelzést, közvetlenül az iskolai munkában használható fel. A kompetenciamérés esetében a legfontosabb felhasználási területet az iskolánkénti eredmények adják, továbbá sokkal részletesebb országos jelentések készülhetnek belőle, mint a nemzetközi mérésekből. A nemzetközi mérések ugyanis csak egy mintán zajlanak (150 iskola részvételével), megyei szintű eredményeket például nem lehet az adataikból értelmezni. A kompetenciamérés (mivel teljes körű) erre is alkalmas, akár kistérségi szinten is vizsgálható az eredménye. A nemzetközi mérések menetrendje Egy nemzetközi mérés menetrendje a következő: az első lépés ami nem minden alkalommal ismétlődik a megrendelői igény és a mérés céljainak meghatározása. Ebből következik minden egyéb: hogyan néz ki a tesztfüzet, valamint hogy milyen elemzéseket adnak a végén a szakemberek. Ha ez a megrendelői igény tisztázott, akkor elkezdődhet a többéves munka, amelyet három fő csoportba osztottam. Az első lépés a próbamérés, ami a feladatok kipróbálásáról, a fordításáról és a beméréséről szól minden országban. Ezt követi a fő mérés, majd a munka az értékeléssel zárul. A próbamérés A tartalmi keret A próbamérés első lépése a tartalmi keret fejlesztése és bírálata. A tartalmi keretek fejlesztése a céloknak megfelelően történik. A PISA-mérésnek és az IEA-méréseknek más a célja, és 1

2 ebből következően másként dolgozták ki a tartalmi kereteiket is. A tartalmi keret fejlesztése a legelső mérés előtt igen nagy munka, amely eltarthat akár egy évig vagy néha tovább is. Egyeztetik a szakemberekkel és a részt vevő országokkal is. Majd mindegyik további mérés előtt ezeket újra előveszik, átnézik, valamelyest módosítják. Nagyon azonban nem lehet, mivel trendekre vonatkozó elemzéseket csak úgy lehet végezni, ha nagyon nem változtatnak a tesztanyagokon. Feladatfejlesztés, a kérdőívek kidolgozása Ha a tartalmi keretek elkészültek, akkor következik a feladatfejlesztés, a kérdőívek kidolgozása és az első bírálata. Ebben a fázisban már a részt vevő országoknak is nagyon nagy szerepük van. A kérdőívek fejlesztésében nagyon figyelembe veszik, hogy az országok mit tartanak fontosnak. Vannak olyan opciók, amelyek azért kerülnek a kérdőívbe, mert a részt vevő országok kifejezetten kérik, illetve olyan is van, ami azért kerül ki, mert nem tartják fontosnak az országok. A feladatok fordítása Ha a feladatok elkészültek, akkor következik a fordítás és annak a többlépcsős ellenőrzése. A feladatokat általában két nyelvről (angol és francia) több fordító fordítja az egyes országok nyelvére, majd összevetik a két fordítást. Így alakul ki az a végleges forma, amit az egyes országokban megfelelőnek tartanak. A fordításnak nagyon fontos szabályai vannak, például az egyes feladatok szövegének azonos bonyolultságúnak kell lennie minden nyelven. Ha mi elkészültünk a magyar verzióval, akkor elküldjük a feladatokat ellenőrzésre, ahol megvizsgálják, hogy egyenértékűek-e az eredeti feladatokkal (a nemzetközi központ véleményezi), majd a véleményt visszaküldik nekünk. Így alakul ki a végleges változata a feladatoknak, a kérdőíveknek és az útmutatóknak is. A mintaválasztás A mintaválasztás is fontos része a folyamatnak, bár a próbamérésnél még nem törekednek reprezentatív mintára, hiszen ott a feladatokat próbálják ki, de ebben a fázisban is lényeges, hogy mindenféle iskola részt vegyen a kipróbálásban. A próbamérésben viszonylag kevesebb iskola és több tesztfüzet szokott kipróbálásra kerülni, körülbelül iskola vesz részt benne. * A kipróbálásnál nem csak a tesztanyagot, hanem az eljárásrendet is teszteljük, tehát ugyanolyan szabályok szerint történik a felmérés, mint majd a fő mérés során. A próbamérés 2

3 után a feladatok javítása következik, amit mi kódolásnak hívunk, majd az adatbevitel. (A kódoláshoz is útmutatóink vannak.) A próbamérés után végezzük el azoknak az adatoknak a gyűjtését, amelyek alapján végül az elemzések készülnek. Ehhez szükséges a feladatoknak és a háttérkérdőíveknek a bírálata a próbamérés adatainak figyelembevételével. A mérés A tesztfüzetek és a háttérkérdőívek összeállítása A próbamérés eredményeinek figyelembevételével kezdődik a fő mérés tesztfüzeteinek és háttérkérdőíveknek az összeállítása. Ezt a nemzetközi központ végzi, de a nemzeti központok adatainak és véleményeinek figyelembevételével. Ebben a folyamatban ismét készülnek fordítások: a próbamérések alapján szükséges változásokat át kell vezetni a nemzeti verziókba. A mintaválasztás A mintaválasztásnál a nemzetközi központok nagyon odafigyelnek arra, hogy reprezentatív mintát válasszanak minden egyes országból. A nemzeti központoknak ebben annyi feladata van, hogy kiküldjük az iskolák listáját a tanulók létszámával. A mintát a nemzetközi központ választja. A mérés és a javítás Ezután következik az adatfelvétel (a feladatok megoldása az iskolában), s végül a kódolással és az adatbevitellel zárul ez a szakasz. A nyíltvégű feladatok javítása és az adatok rögzítése a záró lépés. Az értékelés Az értékelés fázisát az adattisztítással kezdjük, amely több hónapos folyamat. A nemzetközi központok a nemzeti központokkal szoros együttműködésben ellenőrzik az adatokat, kiszűrik a hibás értékeket, a logikailag furcsa értékeket, ezeket ellenőrizzük, visszakeressük a tesztfüzetekben. Kijavítjuk a hibákat. A hibák kijavítását az olyan változóknak a kiszámítása követi, amelyek nem közvetlenül az adatokból származnak. Ilyen a képességpont, amelynek egy viszonylag bonyolult valószínűségelméleti modell az alapja. Ez lesz az az érték, amely a tanulóknak a teszten elért eredményét, illetve a képességeiket modellezi. Ekkor történik a különböző háttérváltozók, 3

4 összevont mutatók kiszámítása is. A családi és a szociális háttérre képeznek mutatókat, a háttérkérdőívekben megjelenő kérdések alapján. Ezt követően elkészítik a végleges adatbázist, amit megküldenek a nemzeti központoknak. Itt még egy ellenőrzés következik, majd a sajtótájékoztatóval zárul a nemzeti központoknak és a nemzetközi központoknak az alapmunkája. A nemzeti sajtótájékoztatót általában egy nappal később vagy ugyanazon a napon tartják, mint a nemzetközi sajtótájékoztatót, és a nemzeti összefoglaló eredmény is nagyjából egy időben jelenik meg a nemzetközi jelentéssel. A mérések eredményeinek nyilvánosságra hozatala, az elemzések és a másodelemzések megjelenése különböző szakfolyóiratokban a mérések igen fontos része. * Ez a folyamat a tartalmi keret elkészítésétől az értékelésig minimum három és fél éves. A próbamérésre egy évvel a fő mérés előtt kerül sor, és azt megelőzi a feladatok fejlesztése és a tartalmi keret kidolgozása. A nemzetközi sajtótájékoztató pedig körülbelül másfél évvel az adatfelvétel után szokott megtörténni. Tehát 3-4 éves folyamat egy mérési ciklus. A nemzetközi mérések A továbbiakban a PISA-ról, a TIMSS-ről és a PIRLS-ről beszélek. A PISA az OECD megrendelésére készül. (Az igazgatótanács magyar tagja és egyben egyik alelnöke Csapó Benő 1.) A TIMSS és a PIRLS az IEA a Nemzetközi Oktatáskutató Társaság megrendelésével zajlik. Itt az éves közgyűlés magyar tagja Brassói Sándor 2. A mérések lebonyolítását különböző nemzetközi kutatócsoportok végzik. A PISA esetében erre minden alkalommal tendert írnak ki. A 2006-os mérést az Ausztrál Oktatáskutató Társaság (ACER) és a holland CITO oktatáskutatással foglalkozó cég bonyolította le. A TIMSS-t és a PIRLS-t a Bostoni Egyetem TIMSS és PIRLS Nemzetközi Központ (Boston College TIMSS&PIRLS ISC) szervezi és bonyolítja le, ők az adott mérések nemzetközi központjai. A nemzeti lebonyolítókat nemzeti központoknak hívják, és Magyarországon ezt a feladatot mi látjuk el. A mérések különbözőségei a megrendelő szervezetekből levezethetők. Érdemes már a nemzeti felelősöknek az elnevezésére is figyelni. Míg a PISA-mérésben a nemzeti 1 Csapó Benő egyetemi tanár a Szegedi Tudományegyetem Neveléstudományi Intézetének vezetője, az MTA doktora, a Neveléstudományi Doktori Iskola, az MTA SZTE Képességkutató Csoport és az SZTE Oktatáselméleti Kutatócsoport vezetője. 2 Brassói Sándor az Oktatási és Kulturális Minisztérium Közoktatási Főosztályának főosztályvezető helyettese. 4

5 központokban projektmenedzser, addig a PIRLS-ben és a TIMSS-ben nemzeti kutatásvezető dolgozik. A PISA-ban inkább lebonyolító, menedzselő feladatokat látnak el a nemzeti központokban, a TIMSS és a PIRLS inkább egy kutatásbázisú feladat. A PISA-mérés Az OECD olyan indikátort szeretett volna létrehozni, amely megjeleníti az oktatás minőségét az egyes országokban, vagyis a PISA azt vizsgálja, hogy milyen az adott ország oktatásának minősége. Milyen a hamarosan a munka világába vagy az egyetemekre belépő 15-éves tanulóknak a tudása? Hogyan tudják ezt a tudást alkalmazni? Képesek-e megfelelni a társadalmi és a gazdasági kihívásoknak? Éppen ezért a PISA nem tantervi tartalmakat mér, hanem alkalmazásképes tudást. És ez minden feladatában érződik is. A PISA a 15-évesek szövegértését, matematikatudását és a természettudományos tudását méri. Azért őket, mert ők még minden OECD-országban a kötelező beiskolázás tanulói. A legtöbb 15-éves tanuló ezekben az országokban a közoktatásban található. Háromévente méri ezeknek a tanulóknak a tudását, de minden ciklusban más az, ami hangsúlyosabban megjelenik. Az első PISA-mérésben (2000) a szövegértés volt ez a terület, majd a matematika (2003), utána a természettudomány (2006) és most, 2009-ben ismét a szövegértés. Minden mérési ciklusban igyekeznek valami újat is kipróbálni és újat mérni a kutatók ban a problémamegoldó képesség volt ez az új terület, 2006-ban egy számítógépes természettudomány-vizsgálatot végeztek. De ez utóbbi összesen három országban sikerült, mert a megvalósításához laptopok kellettek, és egy viszonylag bonyolult eljárásrendet kellett követniük az országoknak. Majd ezt fejlesztették tovább 2009-re, ahol elektronikus szövegértés mérése történt opcionálisan (tehát ebben nem kötelező részt venni az országoknak). A 2009-es elektronikus szövegértés mérésében viszonylag sok ország (22) részt vett, közöttük Magyarország is. Az elektronikus szövegértés nem egyszerűen szövegértés a számítógép előtt. Ennek a mérésnek egy számítógépes környezetben való eligazodás is része. Például eket kell olvasniuk a tanulóknak, fórumokhoz kell hozzászólniuk. Egyszóval ez a fajta mérés komplexebb, más típusú szövegértést mér, mint a papíralapú mérés. Hiperlinkes, több honlapon való eligazodást és egyéb készségeket is igényel, nem csak a szövegek értését. A 2009-es mérés nemrég fejeződött be, most a kódolás végén tartunk. 5

6 A PISA, ezeknek a számítógépes kísérleteknek az ellenére, nagyrészt papíralapú mérés. Mindig felmerül, hogy esetleg nagyobb részben támaszkodjanak a számítógépes felmérésekre, de a papíralapú mérés az viszonylag stabil alapnak tűnik. Ezen nem akarnak változtatni, annál is inkább, mert akkor a trend-elemzések lehetőségét veszélyeztetik. A felmérés papíralapú része 2 óra, négyszer 30 perces tagolásban. Mindig arról a területről van a legtöbb feladat, ami éppen hangsúlyosabban szerepel az adott évben ban, amikor a természettudomány volt hangsúlyosabb, akkor attitűdkérdések is szerepeltek magában a tesztfüzetben is, tehát a feladatok kapcsán is megkérdezték a tanulókat arról, hogy fontosnak tartják-e az adott területet, érdekli-e őket. E mellett a felmérés tartalmazott egy perces tanulói háttérkérdőívet is, ami a családi háttérre, a tanulók informatikai ellátottságára, ambícióira kérdezett rá. A háttérkérdőívek között iskolai és szülői kérdőív is van. Volt olyan szándék, hogy tanári kérdőív is legyen, de ez a PISA esetében nem könnyű, hiszen a mérés nem tantárgyak szerinti, hanem tantárgyközi kompetenciákat mér. E mellett nem osztályalapú a kiválasztás, hanem minden olyan iskolából, amely bekerült a mintába véletlenszerűen éves tanulót választanak ki, és az sem egyértelmű, hogy a tanulók melyik tanárának kellene kitöltenie a tanári kérdőívet. Minden ciklusban felmerül a tanári kérdőív lehetősége, de a megvalósítás problémái akkorák a nyerhető információhoz viszonyítva, hogy végül soha nem vállalkoznak rá. Mintán végzik a felmérést. 150 iskola, iskolánként 35 tanuló kerül kiválasztásra, irányított véletlen mintavétellel. Régiónként és iskolatípusonként kontrollált mintavétellel igyekeznek arra, hogy biztosan valid eredményeket kapjanak. Az IEA által megrendelt mérések A TIMSS- és a PIRLS-mérések esetében az IEA a megrendelő. Ezek a mérések szintén mintán történő felméréssorozatok. Nem három, hanem négy- és ötéves ciklusokban dolgoznak. A felmért területek hasonlóak, a különbség annyi, hogy ezeknél a méréseknél a tartalmi kidolgozást alapos tantervelemzés előzi meg, és a méréseket úgy dolgozzák ki, hogy a tartalmi keretek ezeknek a tantervelemzéseknek az alapján készültek. A feladatok is sokkal inkább megfelelnek a tanterveknek. Érzékelhető a különbség a PISA- és a TIMSS-mérés feladatai között, de még inkább a PIRLS és a PISA között. Ez utóbbi kettő több területen is különbözik, mivel azonban a PIRLS a negyedik évfolyamosokat méri, az életkorbeli különbségek is nagyok. 6

7 A TIMSS a matematikai és a természettudományi területet méri, negyedik és nyolcadik évfolyamon történik az adatfelvétel. A PIRLS a negyedik évfolyamos tanulók szövegértését teszteli. A TIMSS négyévente zajlik, 1995-től kezdődően, a PIRLS ötévente és 2001-ben kezdődött. Mindkét mérés papíralapú. Mindkettő valamivel rövidebb időtartamú, mint a PISA. A negyedik évfolyamon a TIMSS kétszer 35 perces, a PIRLS kétszer 45 perces munkát jelent. A nyolcadik évfolyamon a TIMSS kétszer 40 perc. A tesztfüzetek kitöltését követi egy tanulói háttérkérdőív Ezeknél a méréseknél több kérdés vonatkozik a felmért tantárgyak tanulására. A tanulóktól többet kérdeznek arról, hogy hogyan tanulják a matematikát, a természettudományt, az olvasást. Iskolai, tanári és szülői kérdőívek is csatlakoznak a méréshez. Az IEA felméréseknél a tanári kérdőív nagyon fontos része a felmérésnek a kezdetektől. Hazánkban körülbelül gyerek vesz részt a mérésekben évfolyamonként. A mintavétel annyiban különbözik a PISA mintavételétől, hogy itt a kiválasztott iskolákból egy-egy teljes osztályt választanak ki. A nemzetközi mérések további jellemzői A részt vevő országok köre egyre bővül mindhárom mérésben. A PISA 2006-os vizsgálatában mintegy 60 ország vett részt. Az összes (30) OECD-ország és nagyon sok partnerország csatlakozott. Láthatóan a csatlakozók köre egyre bővül, a 2009-es vizsgálatban még többen vesznek részt. Mivel OECD megrendelésre készül a felmérés, ezért a PISA-vizsgálatban mindig az OECD-országok adják a kiindulási pontot. A döntéshozó testületben a partnerországoknak véleményezési joguk van, de a döntéseket az OECD-országok képviselői hozzák. A TIMSS felméréseiben részt vevő országok esetében is hosszú a lista. A TIMSS és a PIRLS esetében a különböző döntéseket a részt vevő országok hozzák, egyenlő súllyal szerepel mindenki a döntések meghozatalánál és az értékelésnél is. Több a fejlődő ország a TIMSS- és a PIRLS-vizsgálatokban, a PISA-vizsgálatban a fejlett országok adják a bázist. A PISA-ban az OECD-országok tanulói teljesítményátlagához viszonyítják az egyes országok teljesítményét. Ebben a felmérésben az OECD-országok eredménye a fontos, és a partnerországok is ehhez tudják mérni magukat. A TIMSS-ben és a PIRLS-ben viszont a 7

8 mérésben részt vevő valamennyi ország eredménye az, ami a nemzetközi skálát adja. Ezt általában 500 pontban rögzítik az első mérés során, a szórás pedig 100 pont. Ezek a mérések normatív mérések, tehát a nemzetközi átlaghoz viszonyíthatjuk az egyes eredményeket, de az nincs meghatározva, hogy mit jelent az a tudás, amit a nemzetközi átlag takar. Így az értelmezhetőség segítésére alakították ki a teljesítményszinteket. A teljesítményszintek kialakítására többféle módszer is létezik. A módszerektől függetlenül azonban az a lényeg, hogy felosztják a teljesítményskálát intervallumokra, és meghatározzák, hogy melyik intervallumban mit tudnak a tanulók. Mi az, amit képesek megoldani, és mi az, amit nem. A magyar tanulók eredményei A 2006-os PISA-mérés természettudományos eredményei A 2006-os PISA-vizsgálaton a magyar diákok természettudományos eredménye 504 pontos volt. Ez az OECD-országok átlagával megegyező. Fontos megjegyezni, hogy az egyes felmérések eredményei esetében nem adhatjuk meg az országok eredményeinek pontos sorrendjét, mivel hibával mérünk. Tehát azt állapíthatjuk meg csupán, hogy melyek azok az országok, amelyek nálunk jobban teljesítettek, melyek azok, amelyek hozzánk hasonlóan, és melyek azok, amelyek statisztikailag kimutatható módon gyengébben. De nincs sorrend, hanem teljesítménytartományok vannak. A 2006-os PISA-mérésben a természettudomány terén Magyarország az OEDC-országok között a helyet érte el, tehát egyértelműen a középmezőnybe került a 30 országból. Az összes részt vevő országot tekintve pedig a helyezést érte el. Tehát csak ennyire lehet pontosan megmondani, hogy milyen eredményt értek el a magyar tanulók átlagosan. Ugyanezen a mérésen a legjobb teljesítményt elért országok: Finnország, a távol-keleti országok, Kanada és Észtország. Az eredmények értékelésének egy másik megközelítése a képességszintek szerinti megoszlás elemzése. Itt a szerint vannak sorrendbe rendezve az országok, hogy a tanulók hány százaléka teljesített a kettes szint alatt. A legalacsonyabb százalékos értékkel megjelenő ország érte el így a legjobb eredményt. Itt szintén Finnország, Hong-Kong, Észtország szerepelnek az első helyen. Hasonló a sorrend, mint amikor az átlageredmények szerint rendezzük az országokat, de azért egy kicsit különbözik attól. Magyarország előrébb szerepel, mint az átlageredményes skálán. Ez azért van, mert a magyar tanulók viszonylag homogén eredményt értek el, vagyis 8

9 kicsi a szórása a magyar tanulók eredményeinek. Ezért mind a leggyengébben, mind a legjobban teljesítő tanulók között kevesebben vannak a magyar tanulók. A nagy többség a többi képességszinten található. Vannak persze nagyon jók és nagyon gyengék nálunk is, de nem annyi, mint egy tipikus OECD-országban. Ez a tapasztalat egyébként az összes felmért területen és az összes évfolyamon. Minden mérésben látszik, hogy a magyar tanulók szórása a nemzetközi áltag alatti, tehát viszonylag stabilan teljesítenek. A mérések jelentései az egyes tudásterületekre is, illetve a különböző kompetenciaterületekre is közölnek részeredményeket. A természettudományos PISA-vizsgálatban négy tartalmi területet és három kompetenciaterületet különböztettek meg. A magyar tanulók a fizikai rendszereken teljesítettek a legjobban, abban egészen jó eredményt értek el, és a leggyengébb volt a teljesítményük a megismeréssel kapcsolatos rendszerek területén. Ebben a részben a tudományos vizsgálatok módszereiről alkotott ismeretekhez kapcsolódó kérdések szerepeltek. A kompetenciaterületek közül a magyar tanulók a jelenségek természettudományi magyarázatában jeleskedtek leginkább. A legjobb eredményt elért országok esetén többnyire a természettudományi bizonyítékok alkalmazása kompetenciaterület eredményei a legmagasabbak. A 2006-os PISA-mérés szövegértési eredményei Ha a 2006-os PISA-jelentésből a szövegértés eredményeit tekintjük, látható, hogy 482 ponttal szerepeltünk, ami szignifikánsan az OECD-átlag alatt van, amely 2000 óta szignifikánsan csökkent, 500 pontról 492 pontra ban a szövegértésben a 29 ország közül a helyet szerezte meg Magyarország. A részterületek eredményei itt kevésbé különböznek egymástól, mint a természettudománynál. A 2006-os PISA-mérés matematika eredményei Matematikából a magyar tanulók átlageredménye 491 pont volt, ez a helyet jelenti az OECD-országok között. Ha a tudásterületeket külön-külön megnézzük, akkor láthatjuk, hogy a legjobb eredményt a mennyiségek, változások és összefüggések részterületen érték el a magyar tanulók, a leggyengébbet pedig a tér és alakzatok területen. A 2007-es TIMSS eredmények A magyar negyedik évfolyamosok matematikából az átlag fölött teljesítettek, 510 pontos eredménnyel. 13 ország teljesített ennél az eredménynél jelentősen jobban. A nyolcadik évfolyamos tanulók esetében matematikából Magyarország nagyon előkelő helyet foglal el, 9

10 mindössze öt ország előz meg bennünket. 517 ponttal egy jól teljesítő csoport elején vagyunk. Előttünk csupán távol-keleti országok találhatók. Ha az elkülönített részterületek eredményeit nézzük, ezekben sincsenek nagyon nagy különbségek, stabil eredményt látunk. Talán egyedül az adat és a valószínűség című részterület nyolcadik évfolyamos eredménye az, ami kiemelkedően jó. A természettudomány eredményei hasonlóan jónak mondhatók. Mindkét korcsoportban a skálaátlag fölött teljesítünk. 536 pontot értünk el a negyedik évfolyamon, és öt ország eredménye volt jobb ennél. A természettudományban negyedik évfolyamon szintén a távolkeleti országok, valamint Oroszország előz meg minket. A nyolcadikosoknál négy ország teljesített nálunk jelentősen jobban. A magyar tanulók teljesítményátlaga 539 pont volt. A részterületeket tekintve a negyedik évfolyamon az élővilág sikerült kiemelkedően, a nyolcadik évfolyamon pedig a fizika az, ami a legjobban ment. A kompetenciaterületeket ebben a mérésben az ismeret, alkalmazás, értelmezés területeire bontják. A negyedikesek az alkalmazás területén érték el a legjobb eredményt, a nyolcadikosok viszont már az ismeretek előhívásában voltak a legjobbak. A 2007-es PIRLS eredmények A PIRLS-mérésben is nagyon jó eredményt értek el a magyar tanulók. Mindössze négy résztvevő előzte meg Magyarországot, 551 ponttal előkelő helyen szerepelnek tanulóink. A PIRLS-mérésben két kategóriába osztották azokat a szövegeket, amelyekkel a tanulók találkoztak. Az egyik csoportba az információszerző szövegek tartoztak, amelyek inkább magyarázó, a tankönyvi szövegekre jobban hasonlító szövegek voltak, a másik csoportot az élményszerző szövegek alkották, amelyek alapvetően irodalmi jellegű szövegek. Ha ezeken a területeken vizsgáljuk az eredményeket, akkor láthatjuk, hogy az élményszerző szövegek esetében teljesítettek jobban a tanulóink, de az információszerző szövegeken elért eredményünk is nagyon jó. Ez utóbbi kategóriában is kevés olyan ország volt, akik jobban teljesítettek. A magyar tanulók eredményeinek változásai az egyes méréseken Ha a trendeket vizsgáljuk, akkor megállapíthatjuk, hogy a PISA-mérésekben nem történt változás az egyes években, az 1-2 pontos különbségek, amelyek a szövegértés és a matematika területén láthatók, nem jelentősek. Nem csak az átlageredmény az, ami mindig ugyanaz, de semmilyen más téren nem mutatkozott elmozdulás. Ezt a tendenciát nem 10

11 mondhatjuk el a TIMSS- és a PIRLS-mérések esetében. Ott láthatunk elmozdulásokat. A TIMSS-nél már egy viszonylag hosszú adatsort hasonlíthatunk össze. Matematikából ban volt a negyedik évfolyamon egy kiugróan jó eredmény, ehhez képest 19 ponttal kevesebb a 2007-es eredmény, de a '95-ös kiinduló eredményhez képest is 12 pontos a csökkenés. Bár ez a változás nem túl nagy, de azért kimutatható. Nyolcadik évfolyamon pedig a kezdeti 527 ponthoz képest 10 ponttal csökkent az eredmény, és itt is volt némi ingadozás. A természettudomány esetében a negyedik évfolyamon javult az eredmény, különösen a '95-ös adatokhoz képest. A nyolcadik évfolyamon pedig a kezdeti eredményhez képest nem volt változás. A PIRLS-vizsgálatban a 2001-es eredményhez képest 2006-ban 8 pontos növekedés volt, ami szintén nem mondható jelentősnek, de statisztikailag szignifikáns változás. A mérések eredményeinek összehasonlító elemzése Látható, hogy a PISA-mérésben mindig a középmezőnyben teljesítünk, ugyanakkor a TIMSSben és a PIRLS-ben rendre jó eredményt érnek el a magyar tanulók, alig van olyan ország, akik nálunk jobb eredményt értek el. Joggal merül fel a kérdés, mi ennek az oka. A mérések között lényeges különbségek vannak. A PISA és a TIMSS esetében két műveltségi terület (matematika, természettudomány) megegyezik, de más a mért korosztály. A TIMSS nyolcadik évfolyamos tanulókat mér, akik zömmel 14-évesek, és vannak közöttük 15-, illetve 13-évesek is. A PISA 15-éves tanulókat mér, akik a évfolyamon találhatók, de vannak még valamennyien a 8. évfolyamon is, és a 7. évfolyamon is megmérjük az ott tanuló 15-éveseket. Mint azt már jeleztük, a különböző megrendelők és a különböző mérési célokból következően más a tartalmuk az egyes felméréseknek. Tehát a TIMSS tantárgy közeli, tantervalapú mérés, a PISA pedig az alkalmazásképes tudást méri. Más a résztvevő országok köre is. 25 olyan ország van, ez azért nem olyan kevés, akik mind a két mérésben részt vettek. De a PISA felmérésben az OECD-országok átlagához viszonyítunk, és OECD-országból azért kevesebb olyan van, amely mind a két felmérésben részt vett. A TIMSS-ben pedig a '95-ös részt vevő országok eredményéhez viszonyítunk, tehát mást jelent az 500 pont a PISA felmérésnél és a TIMSS felmérésnél. Ha a két matematikamérésben csak a közös országok (25 ország) eredményét tekintjük, akkor egy ilyen ábra adódik. 11

12 A PISA 2006 és a TIMSS 2007 eredményeinek összehasonlítása matematikából 680 TIMSS a 8. évfolyamos tanulók átlageredménye Korea Tajvan Japán Hongkong Magyarország Oroszország Szlovénia Egy. Áll. Cseho. Szerbia Litvánia Ausztrália 480 Románia Olaszo. Svédo. Izrael Thaiföld Bulgária Norvégia Tunézia Törö kország Jordánia Indonézia Kolumbia Katar PISA a tizenöt éves tanulók átlageredménye A 25 ország átlageredményének az átlaga feleltethető meg egymásnak a két mérésnél. Ez 459 pont a PISA-nál, és a 480 pont a TIMSS-nél. Ha ehhez viszonyítjuk Magyarország eredményeit, akkor láthatjuk, hogy azok között az országok között vagyunk, amelyek a 459 pontos PISA-átlagnál és a 480 pontos TIMMS-átlagnál jobb eredményt értek el. Általánosságban is igaz, hogy aki jobb eredményt ért el a PISA-ban, az jobb eredményt ért el a TIMSS-ben is és fordítva. Vannak olyan országok, akik esetében nem igaz a fenti összefüggés, például Ausztráliában a PISA sokkal jobban sikerült, mint a TIMSS. De az országok nagy része, köztük Magyarország is az átló mentén helyezkedik el. Az országok nagyjából annyival teljesítettek e fölött a közös átlag fölött a PISA-mérésben, mint a TIMSSben. Tehát ez a két eredmény valójában nem is különbözik annyira, mint ahogy az az első ránézésre tűnik. 12

13 Ettől függetlenül az is igaz, hogy másképpen méri a tanulók matematika- és természettudomány-tudását a két mérés. De ha finomítjuk az összehasonlítást, akkor látható, hogy valójában az eredmények nem különböznek annyira, mint amennyire gondolnánk. Vannak országok, amelyek lényegesen jobban teljesítenek az egyik vagy a másik területen, de Magyarország nem ezek közé az országok közé tartozik. Hasonlítsuk össze a PIRLS- és a PISA-vizsgálatokat is. A két mérés között ebben az esetben is vannak jelentős különbségek. A PIRLS-ben a 4. évfolyamos tanulókat mérjük, a PISA-ban pedig a 15-éveseket. A 4. osztályosok az olvasás tanításában még találkoznak olyan jellegű feladatokkal, mint amit a PIRLS mér. A PISA-feladatok ugyanakkor teljesen újszerűek a tanulóknak. Sokkal több feladatban fordul elő a nem folyamatos szöveg, a táblázat, az összesítés, amihez hasonlókkal ők az iskolában többnyire nem foglalkoznak. A részt vevő országok köre ez esetben is más. Mint már láttuk, az eredmények is különböznek. De ha az előzőekhez hasonlóan vetjük össze a két mérés eredményeit, akkor láthatjuk, hogy ez esetben sem olyan nagyok a különbségek, mint azt elsőre gondolnánk. Magyarország azoknak az országoknak a körében van, amelyek a közös országok átlaga fölött teljesítettek mind a PISAban, mind pedig a PIRLS-ben. Ugyanakkor a PIRLS-ben akkor is valamivel jobban teljesít Magyarország, hogyha csak a közös országok átlagát nézzük, és ahhoz viszonyítunk. * Mindegyik mérésben látható, hogy a magyar oktatási rendszerben a családi háttér és a tanulói teljesítmény közötti kapcsolat erős. A PISA jelentéseiben foglalkoznak ezzel a kérdéskörrel, ott vizsgálják és fejtik ki leginkább. A másik, ami a PISA-vizsgálatokból egyértelműen kiolvasható, hogy az egyes iskolák között nagyok a különbségek. A tanulók viszonylag homogén csoportokban tanulnak egy-egy iskolán belül, de az iskolák között sokkal nagyobbak a különbségek, mint más országokban. Ezek a különbségek nem csak a teljesítmény mentén jelentkeznek, hanem a családi háttér mentén is. Viszonylag homogén családi hátterű tanulók tanulnak egy-egy iskolában, és a különbségek az iskolák között jelentkeznek. Ez a jelenség valamilyen mértekben minden országban megjelenik, de Magyarországon nagyon erősen. Érdekes vizsgálati terület a tanárok neme és életkora. Látható, hogy Magyarországon sokkal több az alsósoknál is és a felsőbb évfolyamokon is a női tanár, mint a nemzetközi viszonylatban. Különösen a 8. évfolyamon nagy a különbség. A 4. évfolyamon nemzetközi szinten mindenhol igaz, hogy kb. a tanítók 80%-a nő, Magyarországon ez az arány 95-97%. A 13

14 8. évfolyamon nemzetközi szinten 57-59% a női tanárok aránya. Magyarországon 76-80%. Ha a tanárok életkori megoszlását tekintjük látható, hogy nemzetközi szinten 40 évnél idősebbek tanítják a diákoknak a %-át. Magyarországon a tanulók 72-76%-át, a tanulók háromnegyedét 40 évnél idősebb tanár tanítja. Érdekes még az óraszámok összehasonlító elemzése. Magyarországon alacsonyak a matematika és a természettudomány tantárgyak óraszámai. A 4. évfolyamon matematikából a nemzetközi átlag 144 óra, nálunk ez 110 óra. A 8. évfolyamon 120 óra és 99 óra ez az arány. Természettudományból hasonló a helyzet. Bár itt a 8. évfolyamon az összehasonlítás nem annyira egyszerű. Vannak országok, amelyek integráltan tanítják a természettudományt, ők ezekben az átlagokban nem jelennek meg. Azokban az országokban összességében alacsonyabb az óraszám természettudományból, mint a tantárgyanként tanító országokban. Lehet, hogy az a tanítási módszer hatékonyabb, és nincs szükség olyan magas óraszámokra, de ilyen módon ez az összehasonlítás nem végezhető el. Tehát az önálló tantárgyakat tanító országokhoz viszonyítva a természettudományban is alacsonyabb a magyar óraszám, mint a nemzetközi átlag. Végül kiragadtam a sokféle háttéradatból a PIRLS-vizsgálatok alapján megtett megállapításokat az olvasási szokásokról. Sok kérdés szerepelt arra vonatkozóan, hogy a tanulók és a szüleik mennyit és hogyan olvasnak, és milyen az olvasáshoz való viszonyuk. Ebből azt látható, hogy a magyar tanulók többet olvasnak, mint a nemzetközi átlag. A szülők viszont kevesebbet olvastak 2006-ban, mint 2001-ben, ebben csökkenő tendenciát találtunk. És bár kiemelkedően teljesítettek a tanulóink a PIRLS-vizsgálat szövegértés tesztjében, az olvasás iránti attitűdjük és az olvasói önképük csak a nemzetközi átlag szintjén van, tehát nem olyan magabiztosak, mint amennyire azt az eredményeik indokolnák. Sok további eredmény megtalálható a honlapokon, minden olyan dokumentum, ami alapján az eredményeket értékelni, értelmezni lehet, és a nemzetközi eredmények is letölthetők. 14

15 A magyar tanulók tudása nemzetközi összehasonlításban Balázsi Ildikó Oktatási Hivatal Közoktatási Mérési Értékelési Osztály

16 A KMÉO feladatai Nemzetközi tanulói teljesítménymérések magyarországi szervezése és teljes körű lebonyolítása PISA Programme for International Students Assessment TIMSS Trends in International Mathematic and Science Study PIRLS Progress in International Reading Literacy Study A kompetenciamérés szakmai szervezése A tesztanyag kidolgozása Eljárásrend kidolgozása Az eredmények feldolgozása és visszajelzése

17 Nemzetközi mérések lebonyolításának fázisai Megrendelői igény, a mérés céljai Próbamérés Főmérés Értékelés

18 Próbamérés Tartalmi keret fejlesztése és bírálata Feladatfejlesztés, kérdőívfejlesztés, valamint a feladatok és kérdőívek első bírálata Fordítás és a fordítás többlépcsős ellenőrzése Mintaválasztás Próbamérés Kódolás és adatbevitel

19 Főmérés A feladatok és háttérkérdőívek második bírálata a próbamérés eredményeinek figyelembevételével A főmérés tesztfüzeteinek és háttérkérdőíveinek összeállítása A feladatokban, háttérkérdőívekben és kódolási útmutatókban történt változások implementációjának ellenőrzése Mintaválasztás Főmérés Kódolás és adatbevitel

20 Értékelés Adattisztítás Képességpontok és háttérmutatók képzése A végleges adatbázis elkészítése A nemzetközi kötet publikációja és a sajtótájékoztató Nemzeti jelentések és nemzeti sajtótájékoztatók A mérés eredményeinek nyilvánossága Másodelemzések

21 A nemzetközi mérések szervezeti felépítése Megrendelő és a felmérés felelőse: PISA: OECD Titkárság, Irányító testület: PISA Governing Board, magyar tag: Csapó Benő TIMSS és PIRLS: IEA Nemzetközi Oktatáskutató Társaság, IEA General Assembly magyar tagja Brassói Sándor Nemzetközi lebonyolítók: PISA: Core A (ACER) és Core B (CITO) Konzorcium TIMSS és PIRLS: Bostoni Egyetem Nemzeti lebonyolítók: Nemzeti Központok, Magyarországon a KMÉO PISA: Nemzeti Projekt Managerek TIMSS és PIRLS: Nemzeti Kutatásvezetők

22 Megrendelő, célok PISA A PISA az OECD (Organization for Economic Cooperation and Development) megbízásából készülő monitorozó jellegű felmérés-sorozat Az oktatás minősége, a 15 éves tanulók tudása az ország jövőbeni társadalmának és gazdaságának indikátora A PISA nem tantervi tartalmakat mér, hanem alkalmazásképes tudást

23 A PISA vizsgálat alapjellemzői Programme for International Students Assessment Mért terület: Szövegértés, matematika, természettudomány Korosztály: 15 év Mérési ciklus: 3 évente óta Alkalmanként mindhárom terület, de egyik hangsúlyos PISA 2000 szövegértés PISA 2003 matematika PISA 2006 természettudomány PISA 2009 szövegértés Egyéb, tantárgyközi(bb) mérési területek: 2003: problémamegoldó készség 2006: CBAS (Computer-based Assessment of Science) 2009: ERA (Electronic Reading Assessment)

24 A teszt technikai jellegzetességei A megírandó teszt : Nagyrészt papíralapú mérés 2 óra, a felmért műveltségi területtel kapcsolatos feladatok és attitűd-kérdések perc tanulói háttérkérdőív (családi háttér, informatikai ellátottság, ambíciók) Iskolai és szülői kérdőív (szándék: tanári is) Minta: legalább 150 iskola, iskolánként 35 tanuló véletlen mintavétellel

25 Megrendelő, célok TIMSS, PIRLS Az IEA (International Association for the Evaluation of Educational Achievement) megbízásából készülő monitorozó jellegű felmérés-sorozat A matematika, természettudomány és olvasásszövegértés oktatás fejlesztése érdekében szolgáltat összehasonlító adatokat Alapos tantervelemzés előzi meg, a részt vevő országok tanterveinek alapján készülnek

26 A TIMSS- és a PIRLS-mérés jellemzői Mért terület: matematika és természettudomány (TIMSS), szövegértés (PIRLS) Korosztály: 4. és 8. évfolyam 4. évfolyam Mérési ciklus: 4 évente től, 5 évente től

27 A tesztek technikai jellegzetességei A megírandó teszt : Papíralapú mérés 2*35, 2*40, illetve 2*45 perc tesztírás perc tanulói háttérkérdőív (családi háttér, ambíciók, a felmért tantárgy tanulása) Iskolai, tanári és szülői kérdőív Minta: legalább 150 iskola, iskolánként egy osztály véletlen mintavétellel

28 Részt vevő országok PISA 2006

29 Részt vevő országok TIMSS 2007

30 Részt vevő országok PIRLS 2006

31 Eredmények Az első mérés során rögzítik a skálát: Skálaátlag 500 pont PISA: az OECD országok átlaga TIMSS és PIRLS: valamennyi részt vevő ország átlaga Szórás 100 pont Normatív mérések Teljesítményszintek

32 Eredmények

33 T E R M É S Z E T T U D O M Á N Y

34 A diákok képességszint szerinti megoszlása: természettudomány 2006

35 A természettudományi tudásterületeken és kompetenciák terén elért eredmények Mérési részterület A magyar diákok átlageredménye Kompetencia A magyar diákok átlageredménye A Föld és a világegyetem Élő rendszerek 512 pont 509 pont Természettudományi problémák felismerése 483 pont Fizikai rendszerek Megismeréssel kapcsolatos ismeretek 533 pont 492 pont Jelenségek természettudományi magyarázata Természettudományi bizonyítékok alkalmazása 518 pont 497 pont

36 S Z Ö V E G É R T É S

37 A szövegértés műveleti területeken elért eredmények (PISA 2000) Mérési részterület Információvisszakeresés Értelmezés Reflexió és értékelés A magyar diákok átlageredménye 478 pont 480 pont 481 pont

38 M A T E M A T I K A

39 A matematika tudásterületeken elért eredmények (PISA 2003) Mérési részterület A magyar diákok átlageredménye Tér és alakzatok 479 pont Változások és összefüggések Mennyiségek 495 pont 496 pont Bizonytalanság 489 pont

40 A három mérési terület OECD átlaghoz viszonyított eredményei országonként

41 Eredmények TIMSS 2007 MATEMATIKA 4. évfolyam

42 Eredmények TIMSS 2007 MATEMATIKA 8. évfolyam

43 A matematika részterületein elért Mérési részterület eredmények 4. évfolyam 8. évfolyam A magyar diákok átlag-eredménye Mérési részterület A magyar diákok átlag-eredménye Számok 510 pont Számok 517 pont Algebra 503 pont Geometriai 510 pont Geometria 508 pont alakzatok és mérés Adatábrázolás 504 pont Adat és 524 pont valószínűség Mérési részterület A magyar diákok átlageredménye 4. évfolyam A magyar diákok átlageredménye 8. évfolyam Ismeret 507 pont 513 pont Alkalmazás 511 pont 518 pont Értelmezés 509 pont 513 pont

44 Eredmények TIMSS 2007 TERMÉSZETTUDOMÁNY 4. évfolyam

45 Eredmények TIMSS 2007 TERMÉSZETTUDOMÁNY 8. évfolyam

46 A természettudomány részterületein Mérési részterület elért eredmények 4. évfolyam 8. évfolyam A magyar diákok átlageredménye Mérési részterület A magyar diákok átlageredménye Élő világ 548 pont Biológia 534 pont Fizikai világ 529 pont Kémia 536 pont Fizika 541 pont Földtudomány 517 pont Földtudomány 531 pont Mérési részterület A magyar diákok átlageredménye 4. évfolyam A magyar diákok átlageredménye 8. évfolyam Ismeret 531 pont 549 pont Alkalmazás 540 pont 524 pont Értelmezés 529 pont 530 pont

47 Eredmények PIRLS 2006 SZÖVEGÉRTÉS

48 A szövegértés részterületekein elért Mérési részterület Információszerző szövegek Élményszerző szövegek A magyar diákok átlageredménye 541 pont 557 pont eredmények Mérési részterület Információvisszakeresés és egyenes következtetések Értelmezés, összefoglalás és értékelés A magyar diákok átlageredménye 544 pont 554 pont

49 Trendek

50 A PISA 2000, 2003 és 2006 eredményeinek összehasonlítása: vannak e trendek? Mérési terület Szövegértés Matematika Természettudomány 504

51 A TIMSS 1995, 1999, 2003 és 2007 eredményeinek összehasonlítása Matematika

52 A TIMSS 1995, 1999, 2003 és 2007 eredményeinek összehasonlítása Természettudomány

53 A PIRLS 2001 és 2006 eredményeinek összehasonlítása Év Átlagpontszám S.H. Az átlagpontszám változása ,2 S.H ,0 +8 3,7

54 A mérések eredményei közötti különbségek lehetéses okai

55 TIMSS PISA különbségek a két mérés között Más korosztály: TIMSS: 8. évfolyam PISA 15 évesek (9. és 10. évf.) Más tartalom: TIMSS tantárgy közeli, tantervalapú PISA alkalmazásképes tudást mér Más résztvevők 25 közös ország Ha csak a közös országok eredményét nézzük:

56 A PISA 2006 és a TIMSS 2007 eredményeinek összehasonlítása matematikából 680 TIMSS a 8. évfolyamos tanulók átlageredménye Korea Tajvan Japán Hongkong Magyarország Oroszország Szlovénia Egy. Áll. Cseho. Szerbia Litvánia Ausztrália 480 Románia Olaszo. Svédo. Izrael Bulgária Norvégia Thaiföld Törökország Tunézia Jordánia Indonézia Kolumbia Katar PISA a tizenöt éves tanulók átlageredménye

57 A PISA 2006 és a TIMSS 2007 eredményeinek összehasonlítása természettudományból 652 TIMSS a 8. évfolyamos tanulók átlageredménye 491 Tajvan Korea Cseho. Japán Magyarország Szlovénia Oroszország Egy. Áll. Hongkong Litvánia Ausztrália Svédo. Jordánia Olaszo. Thaiföld Szerbia Norvégia Izrael Románia Bulgária Tu nézia Törökország Indonézia Kolumbia PISA a tizenöt éves tanulók átlageredménye

58 PIRLS PISA összehasonlítása Szempontok IEA PIRLS OECD PISA Célpopuláció 4. osztályosok 15 évesek (többnyire 9. és 10. évfolyam) A teszt és a kerettanterv összevetése Részt vevő országok Nagymértékben fedi egymást 20 OECD + 21 egyéb ország Nem fedi egymást 30 OECD ország + 11 egyéb ország Eredmények Átlag feletti eredmények Átlag alatti eredmények

59

60 További következtetések az adatok és a háttérkérdőívek alapján

61 Szelektív iskolarendszer és a családi háttér hatása a PISA adatai alapján Az oktatási rendszerünk szelektivitása képesség és családi háttér szerint is A tanulók közötti képességkülönbség 70% a az iskolák átlageredménye közötti különbségből származik A tanulók szociális, gazdasági és kulturális helyzetét mérő index különbségeinek 46% a az iskolák átlagos családi háttere közötti különbségből származik A családi háttér erős hatása a képességre A szociális, gazdasági és kulturális index egységnyi növekedésével 44 ponttal nő a várható természettudomány eredmény A szociális, gazdasági és kulturális index különbségei a képességkülönbségek 21% át magyarázzák

62 Tanárok neme, életkora TIMSS és PIRLS alapján Nemek szerinti megoszlás: Nemzetközi szinten jellemző a nők túlsúlya az oktatásban, de Magyarország azon országok egyike, ahol a legkiegyenlítetlenebb a nemek közötti megoszlás. 4. évfolyam: nemzetközi átlag: 79%/83% M.o.: 95%/97% 8. évfolyam: nemzetközi átlag (mat/ttud): 57/59% M.o.: 80/76% Életkor: Nemzetközi szinten a diákok 48 55% át tanítják 40 évnél idősebbek Magyarországon ez az arány 72 76%

63 Óraszámok TIMSS alapján Matematika 4. évfolyam Nemzetközi átlag: 144 óra (1 óra = 60 perc) Magyarország: 110 óra 8. évfolyam Nemzetközi átlag: 120 óra (1 óra = 60 perc) - Magyarország: 99 óra

64 Óraszámok TIMSS alapján Természettudomány 4. évfolyam Nemzetközi átlag: 67 óra (1 óra = 60 perc) Nyugat európai, távol keleti, tengerentúli országok: óra Magyarország: 54 óra 8. évfolyam Óraszámok (nemzetközi átlag/ Magyarország): Biológa: 63/48 Földtudomány: 52/43 Kémia: 60/45 Fizika: 63/42

65 Olvasási szokások PIRLS alapján A magyar tanulók többet olvasnak, mint a nemzetközi átlag A szülők kevesebbet olvastak 2006 ban, mint 2001 ben Tanulóink olvasás iránti attitűdje és olvasói önképe a nemzetközi átlag szintjén

66 Elérhetőségek Magyar PISA oldal: oecd pisa.hu Nemzetközi PISA oldal: mypisa.acer.edu.au Magyar TIMSS oldal: Nemzetközi TIMSS oldal: Magyar PIRLS oldal: Nemzetközi PIRLS oldal: E mailcímünk: kmeo.pisa@oh.gov.hu kmeo.timss@oh.gov.hu kmeo.pirls@oh.gov.hu

67 Köszönöm a figyelmet!