Az Országos kompetenciamérés matematikatesztjének jellemzői és iskolai visszajelzése XLVII. Rátz László Vándorgyűlés Gyula, 2007. július 3-6. Balázsi Ildikó és Szepesi Ildikó
Kompetencia-alapú oktatás és a kompetenciák mérése 90-es évek paradigmaváltása: ismeretek átadása helyett kompetenciák fejlesztése PISA vizsgálat: a munkaerőpiac által elvárt készségek, képességek, kompetenciák mérése EU ajánlás: kulcskompetenciák definiálása
Az értékeléshez kapcsolódó EU ajánlások és törvényi intézkedések 166/2001 EC 1/F erősítendő a külső értékelés fejlesztése annak érdekében, hogy módszertani segítséget nyújtson az iskolai önértékelés számára és olyan külső képet nyújtson az iskolának, amely bátorítja a folyamatos javulást. OECD PISA és IEA ajánlásai a belső nemzeti keretek között szervezendő mérés-értékeléshez. A 2004. évi CXXXV. törvény 91. (14) előírta a rendszeres évenkénti mérés kötelezettségét. Évenkénti intézményértékelési kötelezettség (országos mérés eredményeit is figyelembe véve). Ha az adott iskolában folyó pedagógiai tevékenység az országos mérés, értékelés eredményei szerint nem éri el a jogszabályban meghatározott minimumot, a fenntartó köteles felhívni az iskola igazgatóját, akinek intézkedési tervet kell készítenie a törvényben leírtak figyelembe vételével. A mérés összesített, és intézményi szintű eredményét az OKM honlapján közzé kell tenni (2008/2009).
Az Országos kompetenciamérés
A Kompetenciamérés céljai hatékony eszköz biztosítása az intézményi önértékelés elősegítéséhez: visszajelzés arról, hogy az iskola milyen eredménnyel közvetíti a társadalom által elvárt tudást; az iskola képes legyen teljesítményét összehasonlítani a hozzá hasonló iskolákkal; a tanárok visszajelzést kapjanak arról, hogy az általuk átadott tudást a tanulók mennyire tudják alkalmazni; a mérési-értékelési kultúra terjesztése, a mérés módszereinek megismertetése a pedagógusokkal; az iskolafenntartók informálása saját intézményeik az országos adatokkal megbízhatóan összevethető eredményeiről.
E célok megvalósítása érdekében Az iskolák és fenntartóik visszajelzést kapnak eredményeikről; a tanárok feladatonként is vizsgálhatják az eredményeket; a visszajelzés mellett más dokumentumok, a jelentések értelmezését segítő, az alkalmazott mérésmetodikai módszereket bemutató leírások is szerepelnek a CD-n és a www.kompetenciameres.hu honlapon; az országos szintű eredményekről elemzések készülnek.
OKM 2007 2006. május 30. OKM 2006 2006. május 31. OKM 2004 2004. május 17. OKM 2003 2003. május 28. OKM 2001 2001. november 09. Az eddigi kompetenciamérések időpontja és a felmért évfolyamok 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. évfolyam Országos készség- és képességmérés 2006-tól
A kompetenciamérések főbb jellemzői A tesztek a diákok matematikai eszköztudását és szövegértési képességeit vizsgálják; a diákok önkéntes alapon kitölthetnek egy rövid háttérkérdőívet, amely lehetőséget biztosít a Hozzáadott Pedagógiai Érték vizsgálatára (2003-as méréstől); a Core-teszt alkalmazásával lehetőség nyílik az egymást követő évek eredményeinek összehasonlítására (2003-as méréstől).
A matematikateszt főbb jellemzői
OKM matematikateszt Elsősorban nem a tantervi követelmények teljesülésének vizsgálatára készül, hanem annak megállapítására, hogy a diákokban sikerült-e kifejleszteni azokat a korosztályuknak megfelelő alapkompetenciákat, amelyek a tanuláshoz, mindennapi problémáik megoldásához szükségesek.
A matematikai eszköztudás A matematikai eszköztudás magában foglalja az egyénnek azt a képességét, amely által érti és elemzi a matematika szerepét a valós világban, a matematikai eszköztár készségszintű használatát, az elsajátított matematikai tudás valós élethelyzetekben való alkalmazásának igényét és az erre való képességet, a matematikai eszközök használatát a társadalmi kommunikációban és együttműködésben az egyén életkorának megfelelő szinten.
A teszt összeállításának szempontjai Tartalmi területek Gondolkodási műveletek tesztmátrix Feladattípusok (nyílt végű és feleletválasztásos feladatok) Feladatkontextusok
A tartalmi és a tantervi területek A kompetenciamérés tartalmi területei Mennyiségek és műveletek Hozzárendelések és összefüggések Alakzatok síkban és térben Események statisztikai jellemzői és valószínűsége Tantervi területek Számolás Mérés Algebra Függvények Sorozatok Halmazok Logika Geometria Kombinatorika Valószínűség Leíró statisztika Gráfok
A gondolkodási műveletek három csoportja Tényismeret és rutinműveletek Modellalkotás, integráció Komplex megoldások és kommunikáció
(A 10. évfolyam tesztmátrixa) Tesztmátrixok
Feladattípusok (feladatformák) Feleletválasztós feladatok Egyszerű választásos feladatok Igaz-hamis feladatok Nyílt végű feladatok Rövid választ igénylő feladatok Többlépéses számolást vagy hosszabb kifejtést igénylő feladatok
Kontextusok Matematika a művészetben Matematika játékokban, sportban és egyéb szabadidős tevékenységekben Matematika az informatikában Matematika az utazásban Matematika és más tudományok Matematika és a környezetvédelem Matematika a háztartásban Statisztikai adatok értelmezése Csak matematikai kontextusban megjeleníthető tartalmi területek Egyéb, matematikához kapcsolható kontextus
Néhány módszertani jellemző
A képességskála A diákokat és a feladatokat valószínűségi modell alkalmazásával közös skálára helyeztük, melynek tulajdonságai a következők: A diákok képességeinek országos átlaga 500, szórása 100 pont (az első mérésnél) A feladatokat két paraméter jellemzi: a nehézség és a meredekség A feladat nehézsége az a pont a képességskálán, amely képességérték mellett a diákok 50%-os valószínűséggel oldják meg az adott feladatot
Egypontos feladat megoldási valószínűsége
A skála rögzítése Az első évben az országos átlag 500 pont, a szórás pedig 100 pont Ezt követően a skálát rögzítjük a Core-teszt segítségével: tartalma változatlan; titkos; országosan reprezentatív tanulói minta, kb. 3000 tanuló. Így az egyes években elért eredmények összehasonlíthatók.
A képességszintek A képességskálát szintekre osztottuk és meghatároztuk, hogy milyen képességekkel rendelkeznek az egyes szintek tanulói. A feladatokat nehézségük és a megoldásukhoz szükséges műveletek bonyolultsága alapján 4 szint valamelyikébe soroltuk A diákok képességszintje ezt követően az a legmagasabb szint, amelynek feladataiból összeállított teszten képessége alapján várhatóan legalább 50%-os eredményt érne el
Képességszintek matematikából 1. képességszint Egyszerű, ismerős kontextusú feladatokat megoldása (a szükséges információ könnyen kinyerhető, a megoldáshoz szükséges többnyire egyetlen lépés a feladat szövegéből következik). A jól begyakorolt számítások, a műveletek elvégzése, a legalapvetőbb matematikai tények, tulajdonságok felidézése. 2. képességszint Egyszerűbb szituációban megjelenő problémák átlátása, ismerős eljárások, algoritmusok, képletek megfelelő alkalmazása, adatok egyszerű megjelenítése, ábrázolása, egyszerű műveletek végrehajtására a különbözőképpen (pl. táblázatosan, grafikonon) megjelenített adatokkal. 3. képességszint Bizonyos szituációk matematikai értelmezése, a probléma megoldásához a megfelelő stratégia kiválasztása és alkalmazása. Modellek alkalmazása,alkalmazhatósági feltételeinek meghatározása. Különböző reprezentációk alkalmazása és értelmezése, összekapcsolása valós szituációval. Gondolatmenet, értelmezés megfogalmazása, leírása. 4. képességszint Fejlett matematikai gondolkodás, érvelés, önálló matematikai modell megalkotása összetett problémák esetében is. Általánosítás, ismeretek magabiztos alkalmazása újszerű probléma megoldásakor. Különböző reprezentáció kezelése és értelmezése. Logikus érvelés, a probléma megoldásával kapcsolatos gondolataik, értelmezések megfelelő kommunikációja.
A diákok megoszlása a képességszinteken 0% 10% 20% 6. évfolyam 8. évfolyam 10. évfolyam 2003 2004 2006 2003 2004 2006 2003 2004 2006 4.szint 3.szint 30% 40% 50% 2.szint 60% 70% 1.szint 80% 90% 100% 1.szint alatt
Néhány tesztfeladat
Statisztika Az alábbiakban négy különböző típusú diagram látható. Címek: A- Egy ország népessége korcsoportra lebontva, ezen belül a férfiak és nők aránya B- Egy város népességének alakulása az egymást követő évek során C- Valutaárfolyam alakulása D- Az ipari termelés szerkezete a fővárosban Melyik cím melyik diagramhoz tartozhat? Párosítsd össze a diagramokat a címeikkel! Évf. Nehézség Szint %-os mo. 8. 508 2 46,9
Narancslé Annamari egy narancslé hirdetésében az alábbi grafikont látja. Évf. Nehézség Szint %-os mo. 6. 412 1 60,2 8. 354 1 72,0 Mi a félrevezető ebben a grafikonban? A Rossz sorrendben helyezték el az oszlopokat B Az adatokat oszlopdiagramon ábrázolták, ahelyett, hogy kördiagramot készítettek volna. C A narancslé gyümölcstartalmát százalékban adták meg, ahelyett, hogy a gyümölcs tömegét adták volna meg. D Az oszlopok magassága alapján a G narancslé gyümölcstartalma kétszer akkorának látszik, mint az S-é. 10. 305 1 78,9
Kábítószer-fogyasztás (OKM 2004) A kábítószer-fogyasztás és a drogkereskedelem visszaszorítása érdekében egy közép-amerikai országban 2000-ben új törvényeket vezettek be. Egy napilap, egy évvel a bevezetése után a törvény hatását vizsgálva, közzétett egy grafikont a kábítószeres betegek számának alakulásáról. A megkérdezett igazságügy-miniszter úgy értékelte az újságban megjelent oszlopdiagramot, hogy a törvény hatására nagymértékben csökkent a kábítószer-függőségben szenvedő betegek száma. Egyetértesz-e az oszlopdiagram ezen értékelésével? Válaszodat matematikai érvekkel támaszd alá! Évf. Nehézség Szint %-os mo. 10. 726 4 10,1
Pohár Az ábrán négy különböző pohár oldalnézeti rajza látható. A grafikonok azt ábrázolják, hogyan változik a folyadékmagasság két pohárban a beléjük töltött folyadékmennyiség függvényében. Melyik pohárhoz tartoznak a grafikonok? A - A és B B - B és C C - C és D D - A és D Évf. Nehézség Szint %-os mo. 10. 736 4 19,9
Föld és Vénusz A grafikon azt ábrázolja, hogy a különböző súlyú testeknek mekkora lenne a súlya a Vénuszon. Az alábbi képletek közül melyik írja le a grafikonon ábrázolt egyenest? Évf. Nehézség Szint %-os mo. 8. 620 4 29,4
Hengertérfogat A henger térfogatának képlete V=r 2 π h, ahol r a henger alapkörének sugara, h a henger magassága. Hányad részére csökken egy 60 cm átmérőjű, 90 cm magasságú henger térfogata, ha átmérőjét 2/3-ára csökkentjük? Évf. Nehézség Szint %-os mo. 8. - - 29,4 Válaszok A B C D Nincs Gyakoriság 24,5 15,8 26,1 22,5 7,9
Nagyítás Virág úr fotói nagyításán dolgozik laboratóriumában. Az egyik fotója 10 x 15 cm nagyságú, és úgy akarja felnagyítani, hogy hossza és szélessége is háromszor akkora legyen. a) Milyen méretű (hányszor hány centiméteres) papírt kell választania? b) A nagyított fotó területe hányszorosa lesz az eredeti fotó területének? Évf. Nehézség Szint %-os mo. 6. 428 1 67,8 Évf. Nehézség Szint %-os mo. 6. 632 4 16,6
Csempe Az ábrán egy mintás csempe látható. Melyik képlet írja le a SZÜRKE terület nagyságát a csempén (a csempe oldalhosszát a jelöli)? Évf. Nehézség Szint %-os mo. 8. 729 4 20,4 10. 629 4 26,8
Lottó Az ötöslottó nyerőszámainak kisorsolásakor 90 számból 5-öt húznak ki (visszatevés nélkül). A sorsolás hetente történik, a játékosok lottószelvények kitöltésével tippelhetik meg a húzás eredményét. Melyik igaz a következő állítások közül? A - Ha minden héten ugyanazokkal a számokkal játszunk, akkor a nyerési esélyeink folyamatosan javulnak. B - Ha minden héten különböző számokkal játszunk, akkor nyerési esélyeink folyamatosan javulnak. C - Ha annyi szelvényt veszünk, hogy minden számot be tudjunk jelölni legalább egyszer, akkor biztosan lesz legalább egy kettes találatunk, azaz lesz olyan szelvényünk, melyen két kihúzott szám szerepel. D - Ha hetente egy szelvényt töltünk ki, akkor a telitalálat esélye hétről hétre ugyanaz. Évf. Nehézség Szint %-os mo. 10. 548 3 40,9 Válaszok A B C D Nincs Gyakoriság 8,4 8,3 28,5 38,3 9,9
Kosárlabda Gergő kosárlabdázik. Az utolsó előtti mérkőzésig 73 pontot dobott összesen, és mérkőzésenkénti átlagos pontszáma 14,6 volt. Az utolsó mérkőzésen 20 pontot dobott. Mennyi lett így a mérkőzésenkénti átlaga? Évf. Nehézség Szint %-os mo. 10. 594 3 26,1
Múzeum Honnan készíthették a fényképet a Néprajzi múzeumról? Évf. Nehézség Szint %-os mo. 6. 456 2 56,3 8. 380 1 66,9
Naprendszer Naprendszerünk bolygói többek között a Naptól való távolságukban, felszíni hőmérsékletükben, átmérőjükben különböznek egymástól. A Naptól mért távolságon a két, megközelítőleg gömb alakú égitest középpontjainak távolságát értjük. A vízöntő jegyében a Jupiter és a Mars együtt állnak, ami azt jelenti,hogy a Nap, a Mars és a Jupiter egy egyenes mentén helyezkedik el. Ezek alapján rajzold be arányosan, az ábrába, a Jupiter középpontjának helyzetét és Naptól való távolságát az együttálláskor! (Az ábrán az égitestek átmérőinek aránya nem élethű.) Évf. Nehézség Szint %-os mo. 6. 758 4 6,4 8. 640 4 18,7
Kedvezmény A pulóvert és a nadrágot KÉT olyan kupon felhasználásával vásárolták, mint amilyen alább látható. Mennyit fizettek a pulóverért és a nadrágért összesen? A 13 032 Ft-ot B 13 731 Ft-ot C 13 781 Ft-ot D 14 480 Ft-ot Évf. Nehézség Szint %-os mo. 6. 620 4 29,1 8. 512 2 46,0 Válaszok A B C D Nincs Gyakoriság 6. 28,8 10,6 8,2 47,9 4,1 Gyakoriság 8. 45,9 15,0 9,7 23,5 5,6
Mikrohullámú sütő Az alábbi ábrán egy mikrohullámú sütő egyik gombja látható, amellyel a fagyasztott ételek felolvasztási ideje állítható be. A belső skála a kiolvasztás idejét mutatja 0 és 8 perc között. A külső skálán a kiolvasztani kívánt étel tömege szerepel kilogrammban. Körülbelül hány perc alatt olvasztható ki negyed kilogramm marhahús? A Kb. 2 perc alatt. B Kb. 3 és fél perc alatt. C Kb. 5 és fél perc alatt. D Kb. 8 perc alatt. Évf. Nehézség Szint %-os mo. 6. 612 3 36,2 8. 473 2 53,9
1500 méteres gyorsúszás Vlagyimir Szalnyikov 1976-ban, első olimpiai szereplése alkalmával 15:29.45-os (15 perc 29,45 másodperc) eredményt ért el 1500 méteres gyorsúszásban. 1983-ban úszta élete legjobb eredményét, amikor 14:54.78 alatt úszta le az 1500 métert. Mennyi a különbség a két időeredmény között? Válasz: :. Évf. Nehézség Szint %-os mo. 6. 758 4 5,9
www.kompetenciameres.hu
Az OKM 2006 FIT-jelentés szoftver
Visszajelzés Visszajelzés az iskoláknak és fenntartóiknak saját eredményeikről és az országos eredményekről 2036 fenntartó, 3768 iskola, 4176 telephely kapott OKM 2006 FIT-jelentés CD-t
A CD tartalma OKM 2006 FIT-jelentés szoftver Dokumentumok Útmutató a szoftver használatához OKM 2006 Tartalmi keret Tesztfüzetek Javítókulcsok Kérdőívek OKM 2006 Feladatok és jellemzőik kötetek További dokumentumok találhatók a www.kompetenciameres.hu honlapon
Az OKM 2006 FIT-jelentés szoftver funkciói A Fenntartói, Iskolai és Telephelyi jelentések visszajelzést adnak a fenntartóknak, iskoláknak és telephelyeknek diákjaik szövegértési és matematikai képességéről viszonyítási pontokat adva. Az egyéni elemzések lehetővé teszik az iskolában maradt füzeteket adatainak feldolgozását, különböző diákcsoportok eredményeinek összehasonlítását és a feladatonkénti elemzéseket.
Az OKM 2006 FIT-jelentés szoftver felhasználási lehetőségei Értékes támpontot adhat a fenntartóknak, az iskoláknak és a telephelyeknek objektív önértékelésükben Segíthet a tanároknak a fejlesztési tervek összeállításában
Az OKM 2006 FIT-jelentés szoftver felhasználásának korlátai A kompetenciamérések feladatai nem alkalmasak a kompetenciafejlesztésre Nem javasoljuk a teszteredmények felhasználását a tanulók osztályozására A tanárok értékelésében legfeljebb sok más tényező mellett kiegészítő szempontként használható
A Telephelyi jelentés A telephely eredménye a többi telephelyhez viszonyítva Standardizált átlagos képességek A képességeloszlások főbb jellemzői A képesség a családi háttér függvényében A diákok eloszlása a képességskálán és a képességszinteken Az eredmények összevetése az előző évek eredményeivel A telephely osztályainak összehasonlítása Az osztályok képességeloszlásának jellemzői A diákok eloszlása a képességskálán A telephely épületének állapota és tanulói összetétele A telephely épületének állapota A telephely speciális tantermei A telephely tanulói összetétele és a tanulási nehézségekkel küzdő diákok jelenléte a telephelyen iskolatípusonként A fegyelem- és a motivációindex értéke a telephelyen iskolatípusonként Továbbtanulási arány a telephelyen iskolatípusonként
Az Iskolai jelentés ábrái Az iskola eredménye a többi iskolához viszonyítva Az iskolák átlagos eredménye A képességeloszlások főbb jellemzői A diákok eloszlása a képességskálán és a képességszinteken Az iskola telephelyeinek összehasonlítása Az iskola telephelyeinek átlagos eredménye Az iskola telephelyeinek főbb eloszlásjellemzői A képesség a családi háttér függvényében Az iskola tanulóinak eloszlása a képességskálán telephelyenként
A Fenntartói jelentés ábrái A fenntartó eredménye a többi fenntartóhoz viszonyítva A fenntartók átlagos eredménye A képességeloszlások főbb jellemzői A diákok eloszlása a képességskálán és a képességszinteken A fenntartó iskoláinak összehasonlítása A fenntartó iskoláinak átlagos eredménye A fenntartó iskoláinak főbb eloszlásjellemzői A fenntartó egyes iskoláiban tanuló diákok eloszlása a képességskálán A fenntartó telephelyeinek állapota és tanulói összetétele A fenntartó telephelyeinek állapota A fenntartó telephelyeinek speciális tantermei A tanulók összetétele és tanulási nehézségekkel küzdő diákok jelenléte a fenntartó telephelyein A fegyelem- és a motivációindex értéke a fenntartó telephelyein
A jelentések ábrái Standardizált átlagos képességek
A jelentések ábrái A képességeloszlások főbb jellemzői
A jelentések ábrái A képesség a családi háttér függvényében
A jelentések ábrái A diákok eloszlása a képesség-skálán és a képességszinteken
A jelentések ábrái Az eredmények összevetése az előző évek eredményeivel
Kérdések, amelyekre a jelentésekből választ kaphatunk Hol helyezkednek el a tanulók képességskálákon és a képességszinteken? Hogyan változott a telephelyek eredménye az előző kompetenciamérésben tapasztaltakhoz képest? Milyen eredményt ért el a telephely a tanulók családi hátteréhez viszonyítva? Mekkora különbségek tapasztalhatók a fenntartó egyes iskoláinak/az iskola egyes telephelyeinek/a telephely egyes osztályainak eredményei között? Milyen a telephely tanulóinak összetétele a többi telephelyhez viszonyítva? Különböznek-e a fenntartó telephelyei a tanulási nehézségekkel küzdő tanulók jelenlétében?
Az egyéni elemzések A tanulók által elért képességpontok elemzése Átlagos képesség A képesség-eloszlások főbb jellemzői A diákok eloszlása a képességskálán és a képességszinteken A feladatonkénti eredmények elemzése A feladat lehetséges kódjainak megoszlása A feladatok százalékos megoldottsága
Átlagos képesség
A képesség-eloszlások főbb jellemzői
A diákok eloszlása a képességskálán és a képességszinteken
Kedvezmény A pulóvert és a nadrágot KÉT olyan kupon felhasználásával vásárolták, mint amilyen alább látható. Mennyit fizettek a pulóverért és a nadrágért összesen? A 13 032 Ft-ot B 13 731 Ft-ot C 13 781 Ft-ot D 14 480 Ft-ot Évf. Nehézség Szint %-os mo. 6. 620 4 29,1 8. 512 2 46,0 Válaszok A B C D Nincs Gyakoriság 6. 28,8 10,6 8,2 47,9 4,1 Gyakoriság 8. 45,9 15,0 9,7 23,5 5,6
Egy feleletválasztós feladat lehetséges kódjainak megoszlása
Statisztika Az alábbiakban négy különböző típusú diagram látható. Címek: A- Egy ország népessége korcsoportra lebontva, ezen belül a férfiak és nők aránya B- Egy város népességének alakulása az egymást követő évek során C- Valutaárfolyam alakulása D- Az ipari termelés szerkezete a fővárosban Melyik cím melyik diagramhoz tartozhat? Párosítsd össze a diagramokat a címeikkel! Évf. Nehézség Szint %-os mo. 8. 508 2 46,9
Egy nyíltvégű feladat lehetséges kódjainak megoszlása
Néhány feladat százalékos megoldottsága Statisztika Narancslé Mikrohullámú Föld és Vénusz Kedvezmény
Kérdések, amelyekre az egyéni elemzésekkel választ kaphatunk A 10. évfolyamos tanulók megfelelően reprezentálják-e a telephely összes tanulóját? Van-e különbség az egyes osztályok, a fiúk és a lányok, a gimnazisták és a szakközépiskolások, az általános iskolás és a nyolc vagy hat évfolyamos gimnáziumokban tanulók, a különböző tanmenetet vagy tantervet követő tanulók, a különböző tankönyvcsaládokat használó tanulók, a valamilyen tantárgyat emelt óraszámban és alapóraszámban tanulók, a kollégisták és a bejárók eredményei között? Melyek azok a feladatok, amelyekben az országos eredményekhez képest jól, illetve rosszul teljesítettek a tanulók? Volt-e olyan rossz válaszlehetőség az egyes feladatok esetében, amelyet különösen sok tanuló választott valamilyen hibás gondolatmenetet követve? Volt-e olyan feladat, amelyre kiemelkedően sok tanuló egyáltalán nem válaszolt?
Köszönjük a figyelmüket! Honlap: www.kompetenciameres.hu