Az emelt szintű idegen nyelvi érettségi és az államilag elismert nyelvvizsgák a vizsgázói teljesítmények tükrében

Átírás

1 Az emelt szintű idegen nyelvi érettségi és az államilag elismert nyelvvizsgák a vizsgázói teljesítmények tükrében Összegző tanulmány, bővített változat 2008 Írta: Dávid Gergely Benyújtva május 12.-én, az azonos nevű pályázat lezárásaképp 2. bővített változat november A pályázat kiírója: a Nyelvvizsgáztatási Akkreditációs Központ

2 Tartalom 1. A KUTATÁS HÁTTERE, KONTEXTUSA Bevezetés A kutatás kérdései A KUTATÁSI TERV Személyi feltételek A kutatás terv szakaszainak áttekintése A tréning eredményeinek elemzése A vizsgaanyagok minősége NYAT-os kritériumok alapján A vizsgaanyagok minősége empirikus elemzések segítségével A vizsgázói vélemények összegyűjtése Az itemek, feladatok szintbesorolása A vizsgák minimumkövetelményeinek empirikus vizsgálata A projekt eszközrendszere Milyen fajtái vannak az illeszkedési mutatóknak és miről árulkodnak? AZ ELSŐ EREDMÉNYEK A tréning eredményeinek elemzése A tréning kérdőívei elemzésének eredményei A vizsgaanyagok minősége NYAT-os kritériumok alapján A szoftveres elemzés Elemzések szakmai-módszertani szempontból A PROJEKTTERV MÓDOSÍTÁSA Helyben járás Az adatok elérhetősége A minta megtervezése és felállítása A minták felállításának eljárása A mintavétel tapasztalatai Összegzés és újragondolás TOVÁBBI EREDMÉNYEK A válaszadatok empirikus elemzése Empirikus összevetés készségenként Az eljárás A beszédértés (hallott szöveg értése) vizsgarészek Az írott szöveg értése vizsgarészek Az íráskészség vizsgarészek

3 6. A VIZSGÁZÓI VÉLEMÉNYEK AZ ITEMEK, FELADATOK SZINTBESOROLÁSA, AZ ÁTLAGSZINTEK VIZSGÁLATA Eredmények ÖSSZEFOGLALÁS HELYETT HIVATKOZÁSOK APPENDIX Appendix 1: Útmutató ítészeknek Appendix 2: Minta a magyar nyelvű skálákból Appendix 3: Vizsgázói kérdőív minta (ECL)

4 1. A kutatás háttere, kontextusa Magyarország csatlakozása az Európai Unióhoz még erőteljesebben veti fel a lakosság nyelvtudásának kérdését, mivel a megfelelő szintű nyelvismeret hiánya komoly korlátozó tényezővé válhat a csatlakozás adta lehetőségek kihasználásában. A nyelvvizsgák akkreditációja és a kétszintű nyelvi érettségi bevezetése is a nyelvoktatás eredményességét volt hivatva fokozni. Jogosan vetődik fel az igény, hogy értékelni kell a már évek óta folyamatban lévő nyelvvizsgareform és a 2005-ben induló új idegen nyelvi érettségi kapcsolatát. A nyelvvizsgák és az emelt szintű érettségi összevetését különösen fontossá teszi az, hogy mindkét részről megfogalmazódtak állítások a mért nyelvtudás szintjéről. Ez a deklaráció szintjén a Közös Európai Referenciakeret (KER) B2-es szintje, azonban hogy tényleg ezt a szintet mérik-e, mérés nélkül nem tudható. A nyelvvizsgákat és az érettségit összekötik a jogszabályok és a szakmai háttér is. Jelenleg az emelt szintű érettségi adott eredmény mellett nyelvvizsga-bizonyítványt ér, de ismert a paradox helyzet, hogy az emelt szintű érettségit sem nyelvvizsga-akkreditációs eljárásra, sem ahhoz hasonló külső, független szakmai kontrollra nem terjesztették elő. Jelen vizsgálat célja az érettségi és néhány államilag elismert nyelvvizsga összevetése volt a "vizsgázói teljesítmények tükrében", amely meghatározás a pályázati kiírásban arra utalt, hogy adatokra épülő elemzés, nem pedig spekulatív jellegű értékelés volt a pályázat célja. Ez egyben ki is jelölte, mire terjed ki a vizsgálat és mire már nem. A vizsgálat kiterjedt a május-júniusban felhasznált vizsgaanyagokra és arra, hogy milyen mértékben váltak be ezek a vizsgaanyagok a gyakorlatban. Nem terjedt ki a vizsgálat a vizsgaközpontok működésének szakmai és szervezési aspektusaira, ezért ez a vizsgálat az új érettségi tekintetében nem tekinthető amolyan akkreditációpótléknak, még akkor sem, ha a vizsgálat nem kevés információt szolgáltatott a vizsgákat előkészítő, megírató és értékelő vizsgaközpontok munkájáról. A pályázati kiírás másik elvárása volt, hogy "hasznosítható eredményeket tartalmazzon a nyelvoktató-nyelvvizsgáztató szakma számára". A kutatás kérdései a nyelvtanár feltételezett kérdései segítségével, azokból levezetve jól meghatározhatók voltak, így biztosítható volt, hogy a kutatók nem szakadtak el a valóságtól, vagyis a tanár gyakorlatorientált kérdései és a kutató szükségképp absztrakt módon megfogalmazott kérdései között nincs szükségképpen ellentét. A sikert az garantálhatja, ha a kutatók a maguk nyelvére lefordított tanári kérdéseket a szélesebb oktatói közösség nyelvére fordítják vissza. A hasznosíthatóság érdekében néhány tanulságot ezért az egyes fejezetek végén bekeretezve külön is kiemeltünk Bevezetés A kutatás célja a minőség fogalmával írható le legrövidebben. Az, hogy mi minősít egy nyelvvizsgát természetesen igen összetett. Hasonló rövidséggel e kutatás célja úgy is leírható, hogy meg kellett állapítani, melyik vizsgá(k)nak megalapozottabb az érvényessége, validitása. A validitás szintén igen összetett fogalom, mert egy vizsgán szinte minden tényező vagy gyengíti, vagy megerősíti annak validitását. E komplex validitás-fogalom kidolgozása és elterjesztése elsősorban Messick munkásságának tudható be (Messick 1981a, 1981b, 1988, 1995, 1996). Messick egyrészt közös keretbe foglalta a korábbi különféle validitás-fajtákat (felszíni, tartalmi, egyetértő, stb.) másrészt azonosította a vizsgákra leselkedő két legfontosabb veszélyt. 4

5 1. A mérendő (konstruktum) alulreprezentáltsága a vizsgában: Gyakori probléma, hogy míg a mérni kívánt készség, tudás, stb. maga is igen összetett valami, a vizsgaanyagban azt csak egy limitált feladat képviseli. Példa lehet az a vizsgarész, amely szándékai szerint az írásbeli kompozíciós készséget vizsgálja, de a feladatsorba mindig egyetlen levél kerül csak be. Egy ilyen feladat természetesen mérheti az íráskészség egyes fontos aspektusait, de nem mérheti a kompozíciós készséget más szövegtípusok (esszé, narratív, argumentatív szövegek) esetében, amelyek adott szinten szóba jöhetnek. Így korlátozott lesz a vizsgaeredmény általánosíthatósága. A mérendő alulreprezentáltsága valósul meg akkor is, ha a kérdést más, nem idegen nyelvi ismeret (kultúra, történelem), vagy mentális folyamat (pl. logikai következtetés) útján is meg lehet sikeresen oldani. 2. A veszély másik forrása Messick szerint a mérendőhöz nem köthető variancia (szórásnégyzet). Tudva levő, hogy a vizsgázás folyamán igen sok hatás éri mind a vizsgázót, mind a vizsgáztatót, de még magát a vizsgaanyagot is. A nyelvtudás belső, látens jellege nem teszi lehetővé azt, hogy azt közvetlenül mérjük meg: nincs súlya, tömege, se hossza, stb. Ezért kizárólag arra van lehetőség, hogy valamilyen eszközzel a vizsgázót megnyilatkoztatva a látens nyelvtudást megjelenítsük. Ennek eszközei a mérési eszközök, a feladattípusok, melyekről tudjuk, hogy nem semlegesek (pl. Dávid 2002, 2007). A messicki koncepció szerint a vizsgára ható különféle tényezők vagy nehezítők vagy könnyítők, de mindenképp összeadódnak és a pluszok (nehezítő tényezők) és mínuszok (könnyítő tényezők) eredője adja ki a feladat (item) végleges nehézségét. Hasonlóan tényezők hatnak az értékelőre is, melyek megerősítik szigorát vagy elnézőbbé teszik. Mindezek alapján beszélhetünk a mérendőhöz nem köthető nehézségről és könnyűségről. A messicki gondolatkör más, inkább nyelvészeti eredetű megfogalmazásának tekinthető a kompetencia-performancia kettőssége is. A kompetencia a mérendő, amire kíváncsiak vagyunk, de a nyelvhasználat során a kompetencia sohasem jelentkezik tisztán, hanem mindig a nyelvhasználat kontextusára jellemző (járulékos és zavaró) tényezők között, azok által néha elfedve. A vizsgakörülmények között jelentkező performancia, amikor a vizsgázó a nyelvvizsgán megnyilatkozik, éppen olyan többtényezős performanciának tekinthető, mint valós életbeli változata, de természetesen annál mindig mesterkéltebb. A vizsgát befolyásoló tényezők egy része valamilyen rend szerint, szisztematikusan jelentkezik. Szisztematikus lehet pl. a feladattípus (nevezhetjük formátumnak is) hiszen tudjuk, melyik feladatnak milyen volt a formátuma, minthogy azt is tud(hat)juk, melyik vizsgázó választotta a hivatalos levelet és melyik a magánlevelet. Hasonlóan szisztematikus tényező ha van rá adat hogy melyik levelet melyik vizsgáztató értékelte, mert eltérő szigorúságukat (feltehetőleg) következetesen érvényre juttatják az értékelés során. Mindezeket a tényezőket együtt a mérési módszernek szoktuk nevezni és mint tudjuk, a módszer sohasem semleges. Bizonyos vizsgázóknak kedvez, másoknak nem. Vannak nem szisztematikus tényezők is. Sok ilyen tényező hordozója pl. maga a vizsgázó, annak érzelmi állapota, szorongásának fajtája és ereje, a vizsgán alkalmazott válaszadási stratégiái. Ezek is hatnak a vizsgaeredményre, de általában nem tudjuk, hogyan és mi módon, továbbá nem tudjuk, melyik vizsgázónak volt pl. szerelmi csalódása (aminek következtében gyengén teljesít), melyik stresszel és melyik esetében facilitáló típusú a stressz. Általában az fogalmazható meg, hogy a nem szisztematikus tényezők eredménye lehet a vizsga megbízhatatlansága és hogy rendszerint olyan tényezőkről van szó, amelyeket nem ismerhetünk (érzelmi állapot, stressztípus), vagy amelyeket ismerhetnénk, ha a vizsgaközpont az oda vonatkozó adatokat gyűjtené. Az, hogy a vizsgaközpont 5

6 milyen és milyen részletességű adatokat gyűjt fontos minőségi tényező, mert megadja a megismerés korlátjait. A fenti sok tényező hatására szóródnak a vizsgán születő ponteredmények, eredményeződik a variancia. Szemléletes lehet a varianciát mint tortát elképzelni, mert mennyiségről, egy kvantifikálható aspektusról van szó, amelyben az egyes szeletek a különféle azonosítható (tehát szisztematikus) tényezőknek betudható tortaszeletek. Az a jó vizsga, amelyben a nyelvtudáshoz köthető variancia a relatíve legnagyobb cikkely és hozzá képest keskeny szeleteket jelent a feladattípusokhoz, az értékelőkhöz, az értékeléshez használt skálákhoz köthető szelet. Az utolsó, vékony szelet pedig nem más, mint a nem szisztematikus tényezőkhöz kapcsolható variancia, azaz a megbízhatóságot gyengítő, nem megmagyarázható variancia. Ennek a tortaszeletnek a nagyságát az összes variancia és a szisztematikus tényezők által meghatározott variancia szeletek különbsége adja ki. Ebben a tanulmányban a nyelvtudás mérésének egyes tényezőit dimenzióknak fogjuk nevezni. Mindezek alapján megfogalmazható hogy az lehet a potenciálisan minőségi, validálható vizsga, amelyről sok adatot rögzítenek. Ha ez megvan, ugyan még nem beszélhetünk a vizsga validitásáról, de arról igen, hogy a vizsga validitása meghatározható, tehát a validitás potenciálisan benne van. A jó vizsga tehát vagy ismert (validált) vagy legalábbis működése megismerhető (validálható). Csak pozitív bizonyíték fogadható el. A validálás tudománya nehéz és szigorú terep, ahol olyan megengedő ítéleteknek nincs helye, mint hogy lehet, hogy jó vizsga, csak nem tudjuk róla. Itt lényegében a vizsgák átláthatóságáról és elszámoltathatóságáról van szó. Átlátható a vizsga, ha minden aspektusa szakember számára megvilágítható és elszámoltatható, ha a validáláshoz szükséges adatok teljes mértékben begyűjthetők. A projekt távolról sem vállalkozhatott a validitás minden tényezőjének vizsgálatára, de vállalkozhatott néhány fontos mutató értékelésére, így pl. a vizsgák szerkezetének értékelésére, az itemek, feladatok és egyéb technikai aspektusok minőségének és beválásának vizsgálatára és végül, de nem utolsóként a vizsgaanyagok szintbesorolására a KER szintjei szerint A kutatás kérdései A kutatás kérdéseit táblázatos formában, a lehetséges tanári kérdésekkel párhuzamba állítva mutatjuk be. A tanár kérdései Melyik vizsga értékeli hitelesebben, tisztábban diákom nyelvtudását? Melyikhez kell a legkevesebb vizsgáznitudás? Melyik szolgál a vizsgázó számára legkevesebb meglepetéssel a feladatok megoldása során? A vizsgafeladatok méltányossága (fairség)? Eltérnek-e a vizsgák szintjei egymástól? Ha igen, hogyan, milyen mértékben térnek el? Melyik könnyebb, a legnehezebb stb? A kérdések megfogalmazása a szakember szerint Melyik vizsga veszi a vizsgázó tudásából és az idegen nyelvből a legtekintélyesebb mintát? Melyikben a legkisebb a mérési módszereffektus? Melyik vizsga validitása a legmegalapozottabb? Melyik konzisztens (belül, önmagához képest)? Melyik megbízható? Melyikben van a legkevesebb zavaró, megtévesztő item? Mely feladatformátumok (típusok) a legkönnyebbek? Melyik vizsga értékelése a legszakszerűbb? Hogyan viszonyíthatók a vizsgák az KER szintekhez? 6

7 2. A kutatási terv Érettségi és nyelvvizsga e két fogalmat most csak a megszokás és az egyértelmű fogalmazás követelménye miatt használjuk. Valójában a kutatás koncepciója nem tett különbséget, amikor hat nyelvi vizsga értékelését tűzte célul, függetlenül attól, milyen feladatot látnak el a magyar oktatási rendszeren belül. A projekt két, hármas összevetést tartalmaz, egyet angol, egyet pedig német nyelvből, mindkettőt csak B2 szinten a május-júniusi időszakból: Angol: Euro B2 - ECL Angol C szint - Emelt szintű angol érettségi Német: BME Középfok - ECL Német C szint - Emelt szintű német érettségi E tanulmányban tehát mindegyik mérési eszközt a vizsga szóval jelöljük Személyi feltételek A kutatásban részt vevő szakembereket kollektíve ítészeknek neveztük, mert feladatuk szakmailag megalapozott ítéletek megfogalmazása volt. Őket a következő szempontok szerint válogattuk. Szükség volt egyrészt olyan szakértőkre, akik tájékozottak a mérés általános kérdéseiben, ismerik a KER-t és képesek arra, hogy vizsgaanyagokat a vizsgázók válaszainak ismerete nélkül is, önmagukban megítéljenek. Az egyszerűség kedvéért őket mérési szakértőknek neveztük (ami természetesen nem jelenti azt, hogy a többiek ne lehetnének a mérés szakértői). Másrészt eredetileg azt terveztük, hogy szükség lesz olyan szakértőkre is, akik egyes kiválasztott dolgozatokat értékelnek. Ezeket vizsgáztatóknak neveztük, mert nekik nem a vizsgaanyagot, hanem a vizsgafeladatokra adott vizsgázói válaszokat kellett minősíteniük. Míg a mérési szakértőknek olyan kollégákat igyekeztünk megnyerni, akik valamelyik, a kutatásban tárgyát képező vizsga tervezésében vettek részt, de legalábbis jól ismerik azt a vizsgát, vizsgáztatók a vizsga működtetésében (szóbeliztetés, írásbelik értékelése) vesznek részt, tehát jól ismerik azt a vizsgázói kört, amely a vizsgán megjelenik. A fentiek szerint minden vizsga 2 vizsgáztatót és 1 mérési szakértőt, összesen 12 vizsgáztatót és 6 mérési szakértőt delegált az ítészi testületbe. Létszámukat alapvetően a projekt költségvetése határozta meg, de figyelembe vettük a kettős értékelés szakmai követelményét is. Minden vizsgaanyagot két mérési szakértő ítélt meg. Fontos hangsúlyozni, hogy a kutatási terv azt is biztosította, hogy a szakértőnek ne keljen a saját vizsgát értékelnie, hanem a vizsgálatban szereplő másik kettőt, így biztosítható volt az értékelés függetlensége. Hasonlóan, a kutatási tervben szerepelt, hogy minden vizsgázói teljesítményt két aktív vizsgáztató értékel. A személyi feltételek biztosításának részét képezte az ítészek tréningje is. Azt feltételeztük, hogy a kiválogatott (ajánlott) szakértőknek a KER nem lesz teljesen ismeretlen, de egy feladatra orientált, összerázó képzésnek mindenképp helye van. Ez egy napot vett igénybe és mind a 18 ítésznek kötelező volt. A mérési szakértők számára további kétszer fél napos képzést tartottunk a szintezéssel kapcsolatos ítészi munka módszertanából. (Appendix p.49) A tréning ezen része korábbi ITK-s magyar mint idegen nyelv feladatokkal való próba-ítészkedésre épült. A megadott feladatokat az ítészek megoldották, majd megvitatták és egyeztették álláspontjukat. A tréning azonban nem lehetett teljes anélkül, hogy fel ne mértük volna, annak eredményességét, azt, hogy az ítészek mennyire ismerik a KER-t. Ennek érdekében a tréning résztvevői egy hosszú 7

8 kérdőívet töltöttek ki, melynek elemzése egyben a vizsgálat első lépése is volt. Ez azért volt fontos, mert értékelni kell azok felkészültségét, akik minősítik a vizsgaanyagokat. Mindez alá kellett támassza a kutatási projekt hitelességét, ha tetszik annak validitását is A kutatás terv szakaszainak áttekintése A kutatási terv mind kvantitatív, mind kvalitatív elemeket tartalmazott. A kvantitatív eszközök leginkább a vizsgázás, a vizsgák működésének keresztmetszetét adhatja, "kihegyezett" kérdésekre válaszolnak, a kvalitatív eszközök pedig leginkább a "betekintést" (intuíció) teszik lehetővé és heurisztikus jellegűek. Céljuk, hogy kiegészítsék, értelmezzék a kvantitatív megközelítéssel szerzett tapasztalatokat, eredményeket. A kvantitatív és kvalitatív munka természetesen egymásból is következik, a kvantitatív munka eredményéből gyakran adódik jó kérdés, amelyre kvalitatív munka során lehet választ kapni, és fordítva. A kutatást a következő szakaszokra osztottuk: A tréning eredményeinek elemzése A tréning eredményeinek elemzése azért volt fontos, hogy megállapítsuk a projekt kiindulási pontját. Az ítészek által kitöltött kérdőívek a KER angol, német és magyar változatának skáláiból készültek, azok gondos kiválogatásával. (Lásd a mintát a magyar nyelvű skálákból, p. 52). A válaszadók feladata az volt, hogy az összekevert deskriptorok szintjét azonosítsák. Meg kell magyarázni a magyar nyelvű skálák szerepét, hiszen magyar mint idegen nyelv vizsgával a projekt nem foglalkozott. A magyarázat kettős. Egyrészt néhány, a projektben szereplő vizsgaközpontban (ECL, BME) a több vizsgáztatott nyelv miatt inkább a magyar nyelvű skálákkal dolgoznak és saját bevallásuk szerint a kollégák azokat ismerik jobban. Ezzel szemben pl. az Euro vizsgaközpontban, mivel csak angolul folyik a vizsgáztatás, a kollégák jobbára angolul ismerik a KER-t. Másrészt, mivel már a tervezés során számítani lehetett arra, hogy szükség lesz a szoftveres elemzésre, szükség volt olyan deskriptorokra is, amelyeket mind az angolosok, mind a németesek a kérdőívben megoldanak. A statisztikai elemzés ugyanis megköveteli, hogy átfedés legyen a németesek és az angolosok által adott válaszok között. Nem szabad ugyanakkor arról sem hallgatni, hogy a magyar nyelvű skálák tényleg csak a híd szerepét tölthették be, mert nem tekinthetők validált skáláknak. A KER magyar nyelvű fordítása (PTMIK 2002) csak fordítás az eredeti angolból, anélkül, hogy azt Magyarországon (eddig) validálták volna. A megfelelő megbízhatóság elérése érdekében mind az angol, mind a német kérdőív hosszabb volt, mint a magyar, mert a két nyelvből csak kevesebb válaszadóra (9-9) lehetett számítani. A magyar rész lehetett fele olyan hosszú, mert kétszer annyi válaszadó volt (18). A kérdőív így is hosszú volt, összesen 688 deskriptorból állt. A pontozás módszere az eltalált válaszok (szintek) összeszámolása volt, amelyet a kódolás után már a szoftver végzett el A vizsgaanyagok minősége NYAT-os kritériumok alapján A mérési szakértők feladata volt az általuk értékelt két vizsga pontozásos értékelése. Az értékelési szempontokat kis változtatással a NYAT kérdőíve (a modellfeladatok elbírálására szolgáló 8

9 szempontrendszer) szolgáltatta. A szakértők a pontozást kvalitatív megjegyzésekkel egészítették ki. E kérdőív hitelét alátámasztotta, hogy a fejlesztés során, a NYAT munkája keretében ben egyrészt mérési szakértők bírálták, másrészt sor került a szempontok empirikus vizsgálatára is. Az ebben a projektben dolgozó ítészek válaszait is empirikus vizsgálatnak vetettük alá. Az elvégzendő feladathoz a szakértők számára útmutató is készült (amit később a szintezéshez is használtunk, lásd ismét Appendix 1, p. 49). Az útmutató hangsúlyos pontja volt, hogy a feladatokat (a produktívat is) a vizsgázók számára előírt feltételek mellett (megoldási idő, a feladatok sorrendje, a meghallgatások száma, fogalmazásnál előírt szószám, a feladatmegoldás megadásának módja, stb.) mellett kellett megoldaniuk, hogy minél jobban beleélhessék magukat a vizsgázó helyzetébe. Mielőtt dolgozni kezdtek, meg kellett bizonyosodjanak afelől, hogy az értékelendő vizsgáról a fenti feltételeket tudják-e. E szakasz része volt a vizsgák szerkezetének és egyéb módszertani jellemzőinek értékelése is A vizsgaanyagok minősége empirikus elemzések segítségével A kvantitatív vizsgálat legfőbb eleme a vizsgázói válaszokra és az értékelőknek a vizsgázói teljesítményekre adott pontjaira, röviden a válaszadatokra épült. Az előző szakasz szakértői megközelítésével szemben ez a szakasz a vizsga működésének valóságát veszi célba, melyben olyan (a pályázati kiírásban sugallt) adatközpontú és itemszintű megközelítés valósul meg, amely feltételezi a válaszadatok megfelelő gyűjtését is. Az adatközpontú megközelítés létjogosultságát az adja, hogy a szakértő mondhat sok okos dolgot, a valóságot azonban semmilyen szakértői tapasztalat nem helyettesítheti: a szakértő nem tudja kitalálni, beválnak-e az általa minősített itemek, feladatok. Továbbá olyan sok adat keletkezik egy vizsga működése során, hogy azt másképp, mint kvantitatív módon nem lehet summázni. A projekt anyagi keretei nem tették lehetővé, hogy olyan vizsgázói csoportot állítsunk fel, amelyben mindenki megoldaná mindhárom vizsga feladatait és akik így személyükben képeznék az összevetés alapját. Olyan megoldást kellett keresni, amely az "éles" vizsgák adataira támaszkodik. Az elemzéseket ezért reprezentatív mintán végeztük el. A munka annak meghatározásával kezdődött, hogy melyik vizsgázó dolgozata kerüljön be a nyelvenkénti és vizsgánkénti 300 vizsgázó kiválasztásával meghatározott mintába. A minták nagyságát az empirikus kutatás követelményei határozták meg. A nyelvenkénti és vizsgánkénti 300-as szám megfelelőnek látszott a szoftver optimális működése szempontjából, továbbá elég nagy számnak tűnt ahhoz, hogy legyen benne tartalék arra az esetre, ha a begyűjtött adatok hiányosak lennének. A reprezentatív mintától azt lehetett várni, hogy a mintán tett megállapítások érvényesek lesznek a vizsgát letevő összes vizsgázóra, azaz a vizsgapopulációra (nem csak a sikeres vizsgázókra) A vizsgázói vélemények összegyűjtése A vizsgálat kvalitatív része a vizsgázói vélemények (ahogyan a vizsgázók megélik a vizsgát) gyűjtése volt. Lényege a vizsgázók megnyilatkoztatása volt arról, mi van a fejekben? A vizsgázói reakciók feltérképezése a retrospektív (és introspektív) eszközök kategóriájába tartozó kérdőívekkel történt, melyeket a vizsgázók töltöttek ki a vizsga után, a szóbeli vizsgák napján a vizsgahelyeken (lásd, Appendix 3: p. 53.). A kérdőíveken egy alap kérdéssor szerepelt, amelyet minden vizsgára aktualizáltunk. A kérdések alapja a messicki validitás-felfogás volt (lásd fentebb), azonban megfogalmazásuk a laikusok fogalmi világát igyekezett tükrözni. A kérdőív rákérdezett pl. a nyelvi teljesítmény lehetséges dimenzióira, elsősorban azokra, amelyek nem kapcsolódnak a mérendőhöz. Továbbá rákérdezett a dimenzió lehetséges irányára is, hogy eredményrontó volt-e vagy eredményjavító. 9

10 Az itemek, feladatok szintbesorolása A NYAT-os szempontrendszer használata mellett a mérési szakértők legnagyobb feladata az volt, hogy minden egyes feladat, kérdés (item) KER szintjét megbecsüljék. Az említett útmutató második része a szintezéssel foglalkozott, amely felhívta a figyelmet arra, hogy a B2 szint vizsgálata nem jelenti azt, hogy csak ilyen szintű itemekkel találkozhatnak majd a vizsgákban. Ennek oka, nyilvánvalóan, hogy nincs az a feladatszerkesztő (team), aki(k) egy feladatsor, vizsga minden itemét a megcélzott szintre tudja belőni. Fontos volt, hogy a vizsgált feladat un. dichotom (csak 0 vagy 1 pont lehetséges) vagy skála típusú (0, 1, 2, 3, stb. pont lehetséges). A dichotom feladatokat jellemzően a beszédértés, írott (olvasott) szöveg értése, valamint a nyelvismeret feladatoknál használjuk. Az ítész kérdését a következőképp fogalmaztuk meg: Melyik az a legalacsonyabb KER szint, amelyen egy vizsgázó helyes megoldást adhat az. itemre, kérdésre? Vagy: A vizsgázó által adott helyes válasz legalább milyen KER szintű tudást feltételez? A mi megközelítésünkben az item szintje tehát azonos volt azzal a legalacsonyabb szinttel, amivel a feladat már megoldható. (A valószínűségi szoftverek úgy definiálják az item szintjét, hogy hol van az a pont, ahol a vizsgázóknak 50% esélyük van a helyes megoldásra.) Skála típusú itemek segítségével értékeljük a produktív készségeket (beszédkészség, íráskészség feladatokat). Az ítész kérdése itt a következőképp fogalmazható meg: Melyik az a legalacsonyabb KER szintű tudás, mellyel a vizsgázó 1 pontot kaphat? Melyik az a legalacsonyabb KER szintű tudás, mellyel a vizsgázó 2 pontot kaphat? Melyik az a legalacsonyabb KER szintű tudás, mellyel a vizsgázó 3 pontot kaphat? Ilyen feladatok esetében az ítész a skála minden pontjára becslést ad, analitikus skála esetében szempontonként. A tréningen tisztáztuk, e feladatok olyanok, mintha több dichotom feladatot tennénk egymás tetejére, szendvics módjára. Arra is igyekeztünk felkészülni, hogy a B2-es szint a különböző vizsgákhoz tartozó skálákon nem ugyanazon skálaponton (0, 1, 2, stb. pontok) jelentkezik majd. Az ítészi munka két szakasza (a feladatok minőségének vizsgálata és a szintezés) egymásra épült, sorrendjük fontos: először a minőséget néztük, a szempontsor segítségével érzékennyé téve magunkat a mérendő szempontjából releváns és irreleváns tényezők iránt. Végiggondoltuk, milyen tényezők lehetnek könnyítők és nehezítők és melyek ezek közül a nyelvtudáshoz kapcsolódó és nem kapcsolódó tényezők. Ezután kellett a szintre koncentrálni és mindazt, amit megállapítottunk a minőség kapcsán alkalmaztuk a feladat szintjének megítélésében is. A kérdés, amibe biztos beleakadtunk, így szólt: A feladat esetleges technikai tökéletlensége okozhat-e egy KER szintnyi változást? A szintezést mind a 6 vizsga írásbeli anyagára elvégeztük. A szóbeli minden vizsga esetében kimaradt, mert az érettségi tételeket titkosították A vizsgák minimumkövetelményeinek empirikus vizsgálata Úgy terveztük, hogy a vizsgálatnak ez a része koronázza majd meg a projekt munkáját. A mérés technikai követelményei (jó itemek, feladatok, megbízhatóság, rendezett skálahasználat) mind 10

11 előfeltétele a validitásnak. E technikai feltételek nélkül a validitás vizsgálatának nincs értelme. A projektnek ebben a részében a validitás egy további elemét vettük volna górcső alá, nevezetesen a vizsgák KER szerinti szintjét. A validitás közkeletű definíció szerint annak megválaszolása, hogy a vizsga azt méri-e, amit mérni szándékozik. E kérdést ki lehet terjeszteni. Mivel a projektben részt vevő minden vizsga állítása szerint B2 szintet mér, adódott az előbbi kérdés kiterjesztése, a vizsga valóban azt a szintet méri-e, amit mérni szándékozik. A vizsgáztatónak nevezett ítészeket már a projekt elején arra készítettük fel, hogy KER-es ismereteiket felelevenítve helyezzék el az általuk jól ismert (saját) vizsgára jelentkező és az empirikus adatelemezés alapján kiválasztott adott számú vizsgázót (írásbeli és szóbeli teljesítményük alapján) a hatfokozatú skálán. A módszer, melyet az Európa Tanács számára készített esettanulmány során dolgoztunk ki az Euro Nyelvvizsgaközpontban azzal kecsegtetett, hogy ennek segítségével össze lehet vetni, hogy azok a vizsgázói teljesítmények, melyek az ítészek szerint a legalacsonyabb, de még éppen elfogadható B2-es szinten vannak, a vizsgarendszer saját eredményszámítási módszerei szerint is éppen csak hogy elfogadhatóak-e a B2 szinten, vagy más szintet jeleznek. Egy vizsga akkor tekinthető tényleg B2 szintűnek, ha a vizsgán éppen csak hogy megfelelt vizsgázók szintje egybe esik a B2 minimális követelményével. Értékelni kellett tehát az összesített vizsgaeredményeket is. A minta-független és a mérendő szempontjából nem releváns tényezőktől megtisztított eredmények összevetése a vizsga saját pontszámítási rendszere szerint kapott eredményekkel egyben a pontszámítási rendszer tesztjét is ígérte! 2.3. A projekt eszközrendszere A projekt eszközeinek egy része, mint pl. a kérdőívezés, sokak előtt ismert, így részletes ismertetésüktől eltekinthetünk. Kevésbé ismert az ítészi munka, melynek módszertanának kialakulása az 1950-es és 1970-es évek közötti időszakra tehető, tehát még nem egy nagyon régi diszciplínáról van szó. Az ítész, akinek az adott vizsgát, vizsgázókat jól ismerő szakembernek kell lennie, becsléseket fogalmaz meg egyes itemekkel, vizsgázókkal, stb. kapcsolatban, hogy mi az esélye a helyes válasznak, vagy mi az item szintje, stb. Általában több ítészt alkalmaznak, hogy az ítéletek megbízhatósága erősödjön, majd összesítik a becsléseket. Mielőtt az olvasó fanyalogni kezd a becslés szó használatán ( Nem is rendes számítás, csak becslés! ), le kell szögezzük, a legtöbb (teszt) statisztikai szoftver is csak becslést végez, akármilyen szofisztikált módon is teszi azt. Minden olyan statisztika, amely nem csak leíró jellegű, hanem ahol az adatokból kell valamit kikövetkeztetni, tehát az un. matematikai statisztika, becslések sorából áll. A projektben alkalmazott szoftveres eszköz alapja a valószínűség-számítás. Sokkal kevésbé ismert, mint pl. a kérdőívezés, így ismertetésének itt helye van. (Részletesebb, magyar nyelvű irodalom pl. Csapó 1993 és/vagy Horváth 1993.) A valószínűség-számítás segítségével meghaladható a klasszikus statisztika megismerési szintje, mert a megfigyelt (tényleges) pontértékek mellett a valószínűség alapján az elvárt értékeket is figyeli. Úgy is megfogalmazhatjuk, hogy a modern tesztelmélet azért megalapozottabb, mint a klasszikus, mert két lábon áll, egyszerre követi nyomon, hogy a vizsgázó ténylegesen mit válaszolt (az értékelő milyen pontértéket adott) és milyen válasz vagy milyen pontérték lett volna a legvalószínűbb. A kettőt folyamatosan összeveti, meghatározza az eltéréseket és a meg nem magyarázott varianciát folyamatosan csökkentve eljut a szisztematikus tényezők minta-független becsléséig. Úgy is fogalmazhatunk, hogy a mérendőt azért tudja pontosabban megmérni, mert lépésről lépésre lehántja a nyelvtudásra a vizsga kontextusában rakódott performancia elemeket, megszabadítja a nyelvtudást azoktól a tényezőktől, melyek ugyan szisztematikusak, de a nyelvtudáshoz nem kötődnek. A minta-független mérés megnöveli a mérés 11

12 eredményeinek általánosíthatóságát és a különböző vizsgázók által megoldott feladatsorok összevethetőségét, mert ugyanarra skálára vetíti őket. Pl. ha számításaink alapján tudom, hogy adott vizsga feladatainak nyelvi tartalma nehézsége +2, de a feladat típusának (formátumának) nehézsége +2.5, megállapíthatom, hogy a formátum nehezebb a tartalomnál. A valószínűségi mérés azért is korszerűbb, mert képes a variancia-torta szeleteinek elkülönítésére, ami adott esetben ok-okozati összefüggések megállapítására is feljogosítja a kutatót. Ha a klasszikus módszerek szerint egy feladat, item gyengének mutatkozik, még nem lehet biztosan tudni, hogy az item maga rossz, vagy csak a nem modellszerű válaszokat adó vizsgázók teszik azzá. Ha viszont a valószínűségi elmélet szerinti vizsgálat során kikapcsoljuk a nem illeszkedő vizsgázókat és más tényezőket, az itemek minősége biztosabban meghatározható. A variancia torta egy-egy szelete a performancia megfelelő, nyers pontszámokban kifejezhetetlen dimenziójához kapcsolható. A nyelvtudás mérése terén a leggyakoribb, közmegegyezéses ilyen dimenzió a vizsgázók nyelvtudása, a feladatok (itemek) és az értékelők, de feltételezhető más dimenzió is, ilyen pl. az értékelési skálák hatása a teljesítményekre. A valószínűségi modell koncepcionálisan nem nehéz: minél jobb tudású a vizsgázó, annál nagyobb valószínűséggel old meg helyesen adott nehézségű feladatot vagy annál nagyobb pontszámot ér el rajta. A modell úgy is leírható, hogy feltételezve egy közepes nehézségű feladatot, azt várhatjuk el, hogy annak a vizsgázónak, akinek e feladat épp megfelelő szintű, 50% az esélye a helyes megoldásra. Egy másik, ennél jobb tudású esélye 50% feletti, míg egy gyengébb tudású vizsgázóé 50% alatti lesz. Vagy ugyannak a vizsgázónak 50% alatti esélye van arra, hogy egy tudásánál nehezebb itemet helyesen megválaszoljon, míg 50% feletti az esély, ha az item tudásához képest könnyű. Ezen elvek alapján a mérési modell elvárásokat fogalmaz meg arról, mely vizsgázónak milyen pontértékeket kellene kapnia. A projektben a valószínűségi modellre épülő Facets szoftvert használtuk (Linacre 1999), mely ezeket a rendszerszerűségeket (vagy azok hiányát) figyeli. A megfigyelt és elvárt (valószínűsített) értékek egybevetéséből megállapítja, a vizsgált performacia-tényező (vizsgázó, feladat vagy értékelő) mennyiben illeszkedik a modellhez. (Szimpatikus vonása a mérési modellnek, hogy nem vár el tökéletes illeszkedést, minthogy az emberi viselkedés valósága sohasem tökéletesen törvényszerű.) A szoftver egymást követő körökben, egyre finomított számítások sorozatát végzi, azaz iteratív módon dolgozik. A munkát akkor hagyja abba, amikor a megfigyelt és elvárt értékek közötti különbség, bármely feladat, vizsgáztató és vizsgázó tekintetében kevesebb mit fél nyerspont. Ez a konvergencia pont. Ha szét nem osztható variancia maradt, az a megbízhatóság hiányára, problémákra utal. A szoftver az illeszkedés mértéke alapján dolgozza ki az illeszkedési mutatókat, melyek alapján az egyes tényezők minősége megítélhető. Megfogalmazható tehát a minőség (és validitás) következő, a konkrét mérési helyzetre alkalmazott kritériuma is: a jó illeszkedési mutatók. Mit is jelent ez néhány példán? Tegyük fel a kérdést, hogy milyen is az a könnyű feladat (item), amelyet azok a jobb tudású vizsgázók rontanak el, akiknek azt nagy valószínűséggel helyesen meg kellett volna oldani? Milyen is az a nehéz feladat, amelyet inkább a gyenge tudású vizsgázók oldanak meg sikeresen, mint azok, akiknek tudása a feladat nehézségéhez mérhető? Milyen az alacsony pontszámot elérő vizsgázó, aki sikerrel megoldja a nehéz feladatok egy részét, míg a neki testhezálló nehézségű könnyebb feladatokat sem oldja meg egyértelmű sikerrel? Vagy milyen az az értékelő, aki a többi értékelő által magas pontszámmal honorált vizsgázók egy részének alacsony pontszámokat ad, a másik részének meg magasat? Vagy tovább megyek milyen az az értékelő, aki az egyébként magas pontszámot elérő vizsgázóknak következetesen alacsony, míg az alacsony pontszámot elérőknek következetesen magas pontértékeket ad? Ezekben az esetekben kivétel nélkül problematikus 12

13 feladatokról, vizsgázókról és értékelőkről van szó, akiknek tevékenysége nem illeszkedik a mérési modellhez. Vegyünk egy példát magából a projektből, a vizsgaanyagok minősítése szakaszból arra, hogy miképpen állhat elő nem-illeszkedés. A NYAT-os szempontrendszer összességében bevált, de a hanganyag minőségére vonatkozó szempont erős nem-illeszkedésre, mélyen beágyazott problémákra utalt. Ebből alapesetben az következne, hogy rossz a szempont megfogalmazása, vagy az ítészek nem értik szempont deskriptorait. A részletek ismerete azonban megmagyarázta, hogy az egyik angolos ítész miért adott 3, míg a másik 0 pontot az ECL angol hanganyagára. Az egyik ítész szerint a 0 pontot az indokolta, hogy a CD ellenére gyatra volt a hangzás és hogy a két feladat hanganyaga a feladatlapon szereplőhöz képest fordított sorrendben volt lejátszható. A másik értékelő olyan CD-t kapott, amelyen a hanganyagok már a megfelelő sorrendben voltak. Mindez jó mutatja, hogy nem csoda, hogy a szempont nem illeszkedett, hiszen mindkét ítész az általa ismertekhez képest helyesen ítélt, de értékelésük nem ugyanarra vonatkozott. A buta szoftver mindezt nem tudta és összeegyeztethetetlennek találta, hogy két nagyjából azonos szigorúságú ítész ugyanarról a vizsgáról, ugyannak a szempontnak a fényében szögesen eltérő értékelést adjon Milyen fajtái vannak az illeszkedési mutatóknak és miről árulkodnak? Az illeszkedési mutatóknak két fajtája van. Az egyik az un. súlyozatlan (outfit mnsq) mutató, melybe minden válasz beleszámít, az is amelyek a vizsgázó képességétől (az item nehézségétől) messze esnek, így nem tekinthetők igazán jellemzőnek, tipikusnak hanem sokkal inkább marginálisnak, un. outliereknek. A másik illeszkedési mutató a súlyozott (infit mnsq), amely csak azokra a válaszokra vonatkozik, melyek a vizsgázó képességéhez (feladat nehézségéhez) közel vannak, és ezért jellemzőnek, tipikusnak mondhatók. Hogy ne legyen az olvasó dolga túl egyszerű, mindkét mutatónak van egy standardizált változata is. A nem standardizált (mnsq) mutató az illeszkedés vagy nem illeszkedés mértékéről árulkodik, amit nevezzünk egyszerűen a hasnos információ mellett jelentkező zaj mennyiségének. A standardizált változat inkább a hihetőség mértékéről ad számot. A súlyozott mutató elárulhatja a szintet el nem találó nehéz itemeket, a különféle vizsgázó csoportoknak eltérően kedvező itemeket (bias) valamint a másik itemből következő, redundáns itemeket. Árulkodhat egyéni, különcködő (idioszinkratikus) vizsgázói magatartásokról és valószínűsíteni lehet vele a széleskörű puskázást, csalást is. A vizsgáztatók esetében azt lehet minősíteni, hogyan alkalmazzák az értékelési skálákat, az értékelési skálák esetében azt, hogy minden deskriptor hasznosul-e, vagy jobbára a szélsők, esetleg csak a középsők. A súlyozatlan mutató leginkább a nem rendszerszerű, váratlan jelenségekre érzékeny, a vizsgázói figyelmetlenségre, kapkodásra, fáradtságra, az esetenkénti puskázásra (melynek következtében olyan feladatra ad helyes vagy helytelen választ, amely a többi válaszából nem következik), a válaszok alkalmi megtippelésére, stb. Fel lehet sorolni továbbá a vizsga lebonyolításnak gyengeségeit is (stresszes körülmények a hangminőség miatt, a felügyelők hanyagsága, mely lehetővé teszi a puskázási, csalási lehetőségeket, stb.), melyek mind okozhatják a nem a mérési modellnek megfelelő válaszadást. A mérési modellnek túlilleszkedéssel is lehet nem megfelelni. Az itemek estében ez jelentheti a redundáns itemek jelenlétét, a vizsgáztatóknál pedig jelezheti a restséget (másolja a másik vizsgáztató ítéletét). De ez a kisebbik baj. 13

14 3. Az első eredmények 3.1. A tréning eredményeinek elemzése Az alkalmazott eljárás a tesztelemzési eljáráshoz volt hasonló az ítészek ismereteit mintegy teszteltük. A valószínűségi tesztelmélet szerinti elemzést a projekt folyamán itt alkalmaztuk először. A három változó a következő volt: (1) az ítészek ismeretének, tájékozottságának mértéke, amelyről feltételeztük, hogy függ (2) a deskriptorok nyelvétől (angol, német, ill. magyar) és (3) minden egyes deskriptor (item) nehézségétől. Mivel a Facets szoftver a valószínűségi mérés többváltozós modelljét alkalmazza, lehetőség volt arra, hogy az ítészek ismereteit, tájékozottságát a deskriptorok nyelve és nehézsége függvényében állapítsuk meg. Feltételezhető volt ugyanis, hogy több vagy minden ítész az egyik nyelv tekintetében otthonosabban mozog, mint a másikban. Másképpen a nyelv és az itemek olyan változók, melyek a válaszok szórásának, varianciájának egy részét emlékezzünk -- a variancia torta egy szeletét képezik. A tréning során azonban kiderült, hogy egy harmadik változóra is szükség lesz. Több ítészen kifogott a hosszú kérdőív. Engedélyt kaptak arra, hogy a kérdőív kitöltését otthon, nyugodt körülmények között fejezzék be. Itt feltételezhető volt, hogy akik hazavihették a kérdőívet, majd postán küldték vissza, magasabb pontszámot érnek majd el, mert nyugodtabb körülmények között dolgoznak. Létjogosultsága volt tehát annak, hogy a workshop/otthon bináris változóját pótlólag az adattáblába bevittük A tréning kérdőívei elemzésének eredményei A tréning eredményes volt, ugyanakkor kiderült az is, hogy nem lehet minden ítész esetében ugyanazt az ismeretszintet feltételezni. Az ítészek között szignifikáns különbség mutatkozott. Érdekes, hogy a legjobb és a leggyengébb eredményt az érettségihez tartozó két kolléga érte el. Az illeszkedési mutatók az egyik angolos ECL vizsgáztató esetében gyengének mutatkoztak. Újabb elemzésre kellett sort keríteni, mert nem lehetett tudni, hogy az ítész maga miatt vagy pedig az elemzésben szereplő más változók (a variancia forrásai) miatt mutatkozik gyengének. Meglehetősen nagy számú nem illeszkedő deskriptor kikapcsolására került sor, aminek meglett az eredménye. A vizsgáztató így már (éppen csak) illeszkedett a mérési modellhez. Megállapítható tehát, hogy valószínűleg a közben kikapcsolt deskriptorok zavarták meg a vizsgáztatót. Érdekes még, hogy a kérdőívet otthon befejező ítészek valóban jobban teljesítettek, még akkor is miután a tréning és otthon dimenzióhoz kapcsolódó varianciát a szoftver kivonta az ítészek ismeretszintjéhez kapcsolódó varianciából. Érdekes még az is, hogy sem az otthoni munka, sem a deskriptorok nyelve nem kapcsolódott olyan nagy mennyiségű varianciához, amint azt feltételezhetnénk: vékonyak voltak a tortaszeletecskék. A javasolt értelmezés a következő: Az otthoni munka nyugodt körülményei valóban előnyhöz juttattak egyes ítészeket, de ezek érdekes mód valószínűleg a felkészültebb, de ugyanakkor a lassabban dolgozó és ezért az időből kicsúszó kollégák is voltak. Mi hasznosítható? A projekt megtette az első lépéseket annak érdekében, hogy a magyar nyelvű skálák validitásáról is később megállapításokat tehessünk. Jó lenne a munkát tovább folytatni! 14

15 3.2. A vizsgaanyagok minősége NYAT-os kritériumok alapján A vizsgaanyagok minősítése itt még nem a KER szintjei szempontjából történt, hanem a vizsgaanyagok minőségének, szakszerű elkészítésének szempontjából. A NYAT értékelési rendszeréből átvett elem eredetileg a mintafeladatok értékelésére szolgáló szempontrendszer volt. A szempontrendszer minden skálapontja definiált, tehát szintleírás van arra, hogy milyen teljesítményért kell 3, 2, 1, ill. 0 pontot adni. A mérési szakértők kis kiigazítással ezt a 20 szempontból álló mérési eszközt használták arra, hogy szempontonként maximum 3 ponttal osztályozzák azt a két vizsgát, amelynek fejlesztésében és működtetésében nem vettek részt. Őket egyben arra kértük meg, hogy ahol fontos, fűzzenek megjegyzéseket a pontértékekhez, ami alapján további értelmezéseket lehet majd kapcsolni az eredményekhez. Mivel az érettségi szóbeli (beszédkészség) vizsgaanyagaihoz nem férhettünk hozzá, a vizsgaanyagok értékeléséből a szóbeliket kivettük. A pontozásos értékelés lehetőséget adott arra, hogy itt is valószínűségi elemzést végezzünk, tekintettel arra, hogy a 20 szempont lényegében ugyanannyi feladatnak (itemnek) tekinthető, az ítész szerepe pedig a vizsgáztatóéra, pl. egy íráskészség feladat értékelőjére hasonlít. A mérendő ebben az esetben nem a vizsgázók tudása, képességei volt, hanem a hat vizsga minősége. Az ítészek pontjai tehát e három rejtett változót tartalmazták és a szoftver feladata az volt, hogy a variancia-torta egyes szeleteinek meghatározásával a minőség mintafüggetlen (az itemek torzításaitól és az ítészek, értékelők szubjektivitásától mentes) mértékét állapítsa meg. A hat ítész együttesen összesen 240 értékelése szerepelt az elemzésben A szoftveres elemzés Az elemzést több körben kellett elvégezni, mert az értelmezést nehezítő problémák léptek fel. Először is kiderült, hogy a korábban bemért NYAT szempontrendszert az ítészek (nem mind) következetlenül alkalmazták. Problematikus volt, ahogyan a NYAT-os skálát (0,1,2,3 pont) alkalmazták. A tökéletlen illeszkedésre utalt továbbá néhány szempont, az egyik ítész (DA) és az egyik vizsga (német érettségi) viszonylag magas mutatói is, azonban a vizsgálat ezen pontján nem volt szabad még olyat állítani, hogy a mutatók azért nem kielégítők, mert az egyik értékelő következetlenül ítélte meg az érettségit. A vizsgák minőségéről csak akkor lehetett érdemben nyilatkozni, midőn e zavaró tényezők forrását tisztáztuk, azaz adott vizsga gyenge vagy jó szereplése nem tulajdonítható sem a szempontrendszernek, sem az ítészek munkája minőségének. Először is a skálahasználattal kapcsolatos problémát kellett tisztázni. Az elemzés második körében (ugyanazokkal az adatokkal), a szoftvert átállítva megengedtük, hogy minden ítész a saját értelmezése szerint használja a szempontrendszert (un. partial credit analysis). Hozzátesszük, hogy az ilyen elemzés nem az alapállás és nem is kívánatos, hiszen vizsgák esetében is azt várjuk, hogy a képzés alapján az értékelők azonos módon, azonos gondolkodásmóddal közelítsenek a szempontrendszerhez. Ha viszont a skálák egységes alkalmazása megbicsaklik, fontos, hogy képet alkossunk a szempontrendszer egyéni alkalmazásáról és azonosítsuk, melyik értékelő használja azt nem megfelelően. 15

16 Probability Curves P r 0 33 o 00 3 b 0 33 a 0 3 b 0 3 i 0 3 l 0 3 i 0 3 t 3*0 y *22222* *** *3 11** **333 0**** **************** ****************** Expected Score Ogive ábra: A NYAT-os skála alkalmazása (DA) Az új elemzésből kiderült, hogy míg az ítészek többsége minden skálapontot ( ) kielégítő mértékben és magasabb szintű teljesítmény honorálására használt, az egyik (DA) hajlamos volt a szélsőséges értékek használatára, így a problémák forrása ő volt (1. ábra). Jól látható, hogy balról jobbra haladva a teljesítmény növekedésével csökken a 0 pont adásának valószínűsége, nő a 3 pont valószínűsége, de nincs a képesség skálának olyan pontja, amelyen akár az 1 pont, akár a 2 pont a legvalószínűbb lenne a 0-ák és 3-asok mindig magasabban vannak. A megoldás a 0 és 1 skálapontok összevonása volt. Így mind a skálaalkalmazás, mind pedig az egyes dimenziók (szempontok, ítészek) illeszkedése már megfelelőnek volt ítélhető. Ezen a ponton elmondható, hogy a vizsgák minőségéhez kapcsolható varianciából már kivontuk (semlegesítettük) az ítészekhez és a szempontokhoz tartozó varianciát is. Az előbbi jelentős mértékű volt, míg az utóbbi nem. Így megalapozottabban állítható fel a sorrend, miszerint az első helyen az Euro végzett, majd a BME nyelvvizsga, de a köztük lévő különbség statisztikailag nem szignifikáns. 16

17 Őket követi az angol majd a német érettségi, szignifikáns különbséggel, végül a két ECL vizsga, melyek között megint nincs statisztikailag szignifikáns különbség Elemzések szakmai-módszertani szempontból Az ítészek megjegyzései és a projekt során felhalmozott információ jórészt megerősíti a szoftveres elemzés eredményét. Alább néhány olyan elemet emelünk ki, melyek jellemzőek az egyes vizsgákra, mert egy vagy több ítész kiemelte, ill. amelyek alkalmasak a vizsgák szerkezeti értékelésére, alkalmasak arra, hogy a mérendő reprezentáltságának mértékét megvilágítsuk. A mérendő reprezentáltságának messicki elvét fentebb már leírtuk. Ezt a dichotom feladattípusok esetében az itemek száma és jellemzően pl. a beszédértés, az írott szöveg értése feladatok esetében a feladatsor alapját képező szövegek száma a döntő. A mérendő reprezentáltsága tekintetében az Euro a legmeggyőzőbb. Jelentős mintát vesz ki az idegen nyelvből (6 vizsgarész) és a vizsgázó tudásából is: sokrétű. A négy készség mérése mellett méri a nyelvismeretet és a közvetítést is. A közvetítést méri a BME vizsga is, de csak az egyik irányban, amely kevesebb mérési egységet és gyengébb megalapozottságot jelent. A nyelvismeretet az ECL vizsgákon kívül a projektben szereplő minden más vizsga méri. Az ECL tervezői nem akartak sem nyelvismereti, sem közvetítési feladatsort, mert mint állítják a készségeket tisztán akarják mérni ami önmagában egy védhető álláspont azonban ennek ára van: a négy alapkészséget vizsgáló vizsgarész sokkal kisebb mintát vesz ki mind az idegen nyelvből, mind a vizsgázó tudásából (erről alább). A többi vizsga az idegen nyelvből vett minta tekintetében az Euro és az ECL vizsgák közé esik. A mérendő messicki reprezentáltságának erősítésére egyes vizsgák ugyanazt a készséget több feladattal mérik. Az ECL pl. mindkét írásfeladatát kötelezően megoldatja, mert azok két külön szövegtípust jelenítenek meg (magánlevél és hivatalos levél). A két érettségi vizsga hasonló módon jár el. Mások azzal kísérleteznek, hogy a választható feladatok szintjén biztosítsák a reprezentativitást, ez azonban azt követelné meg, hogy a vizsgaközpont biztosítsa a feladatopciók azonos nehézségét. Ilyen pl a BME, amely opcionálisan kínálja a magánlevelet és a hivatalos (olvasói) levelet. Erről a megközelítésről tudni lehet, és amint azt az alábbi vizsgálatok (Lásd A válaszadatok empirikus elemzése, p. 27) bizonyították, szinte kizárt, hogy sikerül azonos nehézségűre faragni két olyan opciót, melyek eltérő szövegtípusok (szövegformátumok) is egyben. Szerencsésebb e tekintetben a német érettségi, ahol a szövegtípus adott, de két megadott téma közül lehet választani. Itt már könnyebb biztosítani a témák ekvivalenciáját. Az Euro íráskészség feladatai a reprezentativitás tekintetében robosztusak. A kötelező feladat egyben két szövegtípust is lefed, s e kettőn felül a vizsga további 3 opciót kínál, amelyek a kötelezőekkel együtt már ötféle szövegtípust fednek le! (Az viszont egyenesen érthetetlen, hogy kötelező feladat két részét együttesen pontozzák, mert így nem tekinthetők önálló mérési egységnek.) A reprezentativitás szempontjából szerkezeti elem az értékelő is. Az érettségiket kivéve a projektben szereplő vizsgáknál általánosnak tekinthető az íráskészség kettős értékelése ami jó de a szakmailag legjobb megoldás, az értékelők teljesen önálló pontozása sehol sem valósul meg. Az értékelők általában közösen adnak pontokat (azaz a folyamat egy pontján megegyeznek). Minőségbiztosítási azaz átláthatósági szempontból a teljesen önálló pontozás lenne a legjobb, mert értékelni lehetne minden vizsgáztató munkáját, tehát a vizsga megfelelő módon validálható lenne. (A közösen adott pontok esetében azt az eljárást kellett itt alkalmazni, hogy ha adott volt az információ, hogy ki volt a két értékelő, a közösen generált varianciát szoftveresen általában ketté bontottuk, de a mérés megbízhatósága sohasem lesz olyan jó, mint az önálló pontozás esetén.) Az 17

18 érettségiknél sajnos egyetlen értékelő dolgozik. E vizsgákat az teszi mégis elemezhetővé, hogy az értékelő egymás után két feladatot értékel. Kicsit más, de mégis hasonló, ahogy a BME megüti a validálhatóság minimumát. Az egyetlen (az opciók matt tulajdonképp kettő) feladatot két értékelő értékeli. Mindezek alapján a legelégedettebb az Euro lehet, bár az sem maradéktalanul, majd következnek az ECL vizsgák, végül különböző okokból az érettségik és a BME. Az idegen nyelvből vett minta nem független a vizsgázó tudásából vett minta mértékétől: ha sokrétű a vizsga, jellemzően azt jelenti, sok itemmel méri a tudást, sok pontszerzési lehetőséget nyújt a vizsgázónak. A nyelvvizsga-akkreditáció beindulása óta a beszédértés mérése látszik a leggyengébb láncszemnek. A BME nem több mint 15 itemmel méri a készséget, igaz, öt itemnél a fél pontok adása (skála típusú értékelés) nagyobb megbízhatóságot eredményez. A legtöbb vizsgánál (ECL német és angol, német érettségi) csak két szöveg általában összesen 20 itemmel, így a vizsgázó tudásából vett minta az elfogadhatóság határán van! Ennél jobb az Euro a három szöveghez kapcsolódó 25 itemmel, de a legjobb az angol érettségi a három szöveghez kapcsolódó 30 itemmel, pedig mint látni fogjuk lejjebb, a beszédértés készsége igen összetett, megalapozottabb mérése igen kívánatos lenne. Mi lehet ennek az oka annak, hogy mégis mostohagyerek, amint az látható abból, hogy mind az írott szöveg értése, mind a nyelvismereti feladatsorok több szövegre és több itemre épülnek? Alább, a teljesség igénye nélkül felsorolunk néhány további észrevételt, melyek között azokat vettük előre, amelyeket a legfontosabbnak gondoltunk Angol érettségi Alapfokú vizsgaszerkesztési hiba: a 4. olvasott szöveg értése feladat megoldható a szöveg elolvasása nélkül is! Alapvető feladatírói szabály, hogy a feladatokat csak a készség, jelen esetben az írott szöveg elolvasása, feldolgozásán keresztül lehessen megoldani. Mindkét ítésznek feltűnt a probléma. Munkatársak és diákok oldották meg a feladatot 100%-ra anélkül, hogy akárcsak egyszer is elolvasták volna a szöveget. Olyan itemek, melyek megjósolhatóak az ítészek szerint más, a projektben részt vevő vizsgákban is akadnak, de olyan vizsga nem akadt, ahol egy teljes feladatsor 8-10 item megoldható lett volna a mérendő készség alkalmazása nélkül. Előtte, a 3. feladatban igaz-hamis itemek szerepelnek. A harmadik lehetőség a gyakorlat szerint az, hogy nem szerepel a szövegben, de az instrukciónak más és zavaró lett a megfogalmazása. A hallott szöveg értése 2. feladatsora kimondottan stresszelő, mert a felmérés részleteinek összekapcsolása a feladat megfogalmazásaival jelentős kognitív terheléssel jár: az egyik ítész szerint a 13, 14, és 15. itemeinél felesleges trükközéssel kialakított a nehezítés. Nagyon jó hangminőség Német érettségi Az angol érettséginél láthatólag vékonyabb mintát vesz a vizsgázó tudásából. Vajon miért? A sorrendezési feladat nem szerencsés megoldás, mert megbízhatósága problematikus lehet. Igaz, a kulcsban megjelölték, hogy a válasz csak akkor fogadható el, ha az a szintén megadott előző válasz után következik (pl. H akkor fogadható el, ha a B-t választja az előző itemnek), ez viszont egy másik, a diszkrétpontos feladatokra vonatkozó alapkövetelménnyel menetel szembe: az itemeknek nem szabad egymástól függniük, azaz az egyik megoldásából nem következhet a másik megoldása. A feladattípus kerülendő. A szövegek tartalmilag változatosak, terjedelmük optimálisnak mondható, a tesztelési módszerek variációja általában megfelelő, csak a fogalmazási feladatok egysíkúak 18

19 A fogalmazási feladat megoldásához előfeltétel az olvasásértési készség. Időnként a szintet meghaladó (gyakoriságukat tekintve ritkán előforduló szavak szerepelnek a szövegekben -- nincs szótárhasználat!). A 3. sz. fogalmazási feladathoz háttérismeretek szükségesek. Nehézkessé teszi az értékelés áttekinthetőségét a dolgozatpontok vizsgaponttá történő átszámítása. Hallott szövegértés 2 feladat: a szöveghez kapcsolódó itemek többsége megválaszolható a szöveg megértése nélkül ECL angol Írott szöveg értése: 1. feladat nehéz. A hallott szöveg értése bizonyos itemei eléggé megjósolhatónak tűntek (1/6, 2/9). Az ECL skálák tartalmát igen nehéz volt a KER skáláihoz kapcsolni, mert az egyes szempontok (a táblázat egyes oszlopainak) tartalma egymással keveredett. (Az ítészek véleménye szerint ez mind a két nyelvre igaz.) Kérdéses volt továbbá, hogy ha az 1-es skálaponton már szinte nemleges a teljesítmény, milyen teljesítményre kellene 0 pontot adni? Euro Változatos feladattípusok. A mediációs feladat áttekintése a szakember számára is bonyolult. Számos item könnyű BME Nehezen áttekinthető az értékelési rendszer, nehéz rájönni annak logikájára és értelmére, miért van szükség az elért pontszámok egyes helyeken felszorzására, másutt osztására. Ezek a szakmódszertani meglátások vonatkoztatási pontok is voltak, amikor a vizsgák válaszadatainak elemzésére (a vizsgázók, itemek, feladatsorok) került sor. Némelyikre még visszatérünk azokban a fejezetekben. Összegzésül azt lehet még leírni, hogy a nyelvi-tudásbeli minta reprezentativitása tekintetében minden vizsgának akad még tennivalója. A vizsgafeladatfejlesztés terén elsősorban az érettségit készítőknek kell javítani, itt voltak ugyanis a legkirívóbb hibák. Mi hasznosítható? Nyelvvizsgafejlesztők figyelem! A választott feladatok, szövegtípusok, részkészségek a vizsgázatók számával, az értékelési tervvel, a kettős értékelés megvalósításával együtt adhatja a nyelvből és a vizsgázó tudásából vett minta reprezentativitását. A vizsgaszerkezet nem statikus valami és nem azonosítható kizárólag a feladatokkal! Itemírók, ítészek, moderátorok, figyelem! Jó ellenőrzési technika az, ha a bírált receptív (írott szöveg értése, beszédértés) feladatsort úgy vesszük górcső alá, hogy először megkíséreljük megoldani a feladatot a szöveg elolvasása, meghallgatása nélkül, melyiket tudjuk sikeresen megtippelni. Brutális technika, de működik! 19

20 4. A projektterv módosítása A projekt számára ez a szakasz jelentette a legnagyobb logiszikai-szervezési, anyagi és diplomáciai kihívást az emelt szintű érettségi működésmódja miatt. Az Országos Közoktatási Értékelési és Vizsgaközpont (OKÉV) második számú vezetője már a pályázati koncepció formálódása idején kijelentette, nem szándékoznak semmiféle pályázatban részt venni (Dávid 2005). A projektre vállalkozó konzorcium képviselői tudván, hogy az empirikus elemzések miatt megkerülhetetlen az OKÉV az együttműködés szellemében kértek találkozót a nevezett vezetőtől. Az alábbiakban látszólag kis kitérőt teszünk az adatgyűjtés előkészítését és a mintavételezés problémáit, tanulságait taglalva, amellyel kapcsolatban az olvasó felvetheti, hogy mindez nem releváns a kutatás szempontjából. A kitérő azonban szükséges, hogy megvilágítsuk a problémákat és a vizsgákat ezen keresztül is jellemezzük, aszerint ahogy lehetővé válik (vagy nem válik lehetővé) validálásuk. Az így megrajzolható un. procedural validity (az alkalmazott eljárások hitelesítő ereje) is a minőségről szól. Az adatgyűjtés és mintavétel részleteivel azért is traktáljuk az olvasót, mert ez az információ alátámaszthatja, hitelesítheti e kutatás eredményeit és mert nem mindegyik hasonló tárgyú cikkben térnek ki rá (Major és Einhorn 2005) Helyben járás Az együttműködés az OKÉV-vel eleve szerencse nélkül indult. Az első találkozó az említett vezetővel épp a májusi érettségi botrány napjára esett volna. A találkozó érthető okokból elmaradt, viszont ezzel kezdetét vette a projekt jelentős időbeli csúszása, melynek következtében a projekt befejezésére megszabott decemberi határidőt jelentősen ki kellett tolni. A nyár végi, következő találkozón a projekt képviselői azt szerették volna elérni, hogy a reprezentatív minták felállításához az OKÉV adjon adatokat ezen a ponton válaszadatokat még nem kértünk -- hiszen a mintavételhez először azt a vizsgázói sokaságot (populációt) kellett megismerni, amiből és ami szerint a minta összeállítható. A vizsgázói sokaság jellemzőit természetesen mindegyik vizsga esetében fel kellett térképezni. Több jellemzőről csak sejtéseink voltak. Tisztázni kellett először is, az érintett vizsgákon hány vizsgázó jelent meg májusában-júniusában, mert nem mindegy, a 300-as mintát mekkora sokaságból kell kivenni. Gyanítható volt és az Euro statisztikusának erről volt is tapasztalata hogy a Budapest/vidék különbségtétel a nyelvtudás milyensége szempontjából igen fontos. A vizsgázó korát is fontos jellemzőnek gondoltuk, az Eurós tapasztalatok okán és korábbi ITK-s statisztikák alapján is. Ezek szerint a vizsgázói korfa egy a tizenéves korosztályban hirtelen felszökő, majd az idősebb korosztályok esetében hosszan elnyúló, hosszú farokkal jellemezhető görbével írható le. Nem tudtuk, pl. az emelt szintű érettségi korfája ehhez hasonló-e. Az érettségi funkciójából és a középiskolai tanulmányokkal való szoros kapcsolatából kiindulva azt feltételeztük, hogy az emelt szintű érettségi korfája sokkal rövidebb, csak néhány évjárat. (Nem így volt, de erről alább.) Érdekes szempontnak ígérkezett a vizsgázók nemek szerinti megoszlása is, amelyről szintén csak sejtések voltak. A mintavételi terv a központi régió-vidéki régiók tekintetében kiegyenlített, ezen belül rétegzett, véletlen mintát irányzott elő. Szempontjai a következők voltak: Úgy az érettségi, mint a nyelvvizsgák EU-s régiók szerint működnek, így célszerű volt a regionális felosztás beépítése a 20