ÁLTALÁNOS VADÁSZ ISTVÁNNÉ MI VAN A VIZSGAFELADAT MÖGÖTT? A MINŐSÉGBIZTOSÍTÁS ELEMEI A NYELVVIZSGÁZTATÁSBAN Egy nyelvvizsgarendszer akkor működik sikeresen, ha mögötte egy szigorú minőségbiztosítási rendszer áll. A minőségbiztosítás a vizsgáztatás minden részére kiterjed, a feladatok kidolgozásától a vizsgaeredmények kihirdetéséig. A nyelvvizsgák minőségi profiljainak kialakításában az ALTE 1 előírásai a mérvadóak. A vizsgarendszer kialakítása a vizsgaspecifikációval kezdődik. Bármely nyelvvizsga valamilyen elméleti alapvetésre épül (pl. a kommunikatív kompetencia egyik modelljére). A vizsgaspecifikáció (vizsgaleírás) a nyelvvizsgáztatás legfontosabb minőségbiztosítási dokumentuma, amely kitér a nyelvvizsga tartalmi és formai részére, az értékelési szempontokra továbbá a vizsga menetére. A vizsgaspecifikáció az alábbi kérdéseket határozza meg: a nyelvvizsga célja, például tanfolyam-záró, diagnosztizáló, vagy úgynevezett szintező vizsga, amely a vizsgázó nyelvtudását hivatott mérni, függetlenül annak előképzettségétől; vizsgapopuláció, vagyis az a csoport, amely számára a vizsga készül. Ennek során meg kell adni a vizsgapopuláció korát, kulturális és szakmai hátterét, képzettségét illetve motiváltságát; a tesztelni kívánt készségek (íráskészség, hallás utáni értés, olvasott szöveg értése, beszédkészség) és részletes leírás az előrelátható helyzetekről, amelyekben a vizsgázó alkalmazni fogja az idegen nyelvet; a feladatok típusai és tartalma, részletesen kitérve a kérdések számára, jellegére valamint mélységére. A vizsgaspecifikáció a nyelvvizsga minden résztvevője számára nagyon fontos, elsősorban a vizsgafejlesztők számára. A vizsgafejlesztői csoport a vizsga kialakítása során állandóan visszatér a specifikációhoz, az abban leírt részletekhez és követelményekhez, amelyek a vizsga megbízhatóságának valamint érvényességének zálogai. Ez a dokumentum a vizsgáztatók képzésének az alapja is, ebből tudják 1 Association of Language Testers in Europe Nyelvi Tesztelők Európai Szövetsége 188
VADÁSZ ISTVÁNNÉ részletesen megismerni a vizsgakövetelményeket, a vizsga menetét, módszertanát, az értékelési kritériumokat, továbbá a vizsga hátterében álló elméleti megfontolásokat. A vizsgázók vizsgatájékoztató formájában találkoznak a vizsgaspecifikációval, amely igen fontos útmutató a vizsgára való felkészülés során. Ennek tanulmányozása során megismerkedhetnek a vizsga tartalmi követelményeivel és a technikai részletekkel. A nyelvtanfolyamok szervezői számára is értékes útmutatást nyújt a vizsgaspecifikáció, hiszen azok az ismeretek, amelyeket nem tesztelnek, nem kapnak kellő figyelmet tanítás, illetve tanulás során sem. 2 A megbízhatóság a nyelvi tesztelésben arra vonatkozik, hogy az ismételt mérési eljárás mennyire ad azonos eredményt. Minél inkább konzisztens eredményt nyújt a megismételt mérés, annál nagyobb a mérési eljárás megbízhatósága, illetve fordítva, minél kevésbé konzisztens az eredmény, annál alacsonyabb a megbízhatóság. A teszt tartalma kiválasztásának és előállításának minőségét csak a teszt sikeres lebonyolítása tudja igazolni, vagyis azok a válaszok, amelyeket a vizsgázók adtak a feladatok megoldása közben. A teszt belső minőségét érintő kérdésekre az eredmények elemzésével kaphatunk választ. Ahhoz, hogy megtudjuk, képes-e az értékelési eljárás elfogadható minőségi szinten működni, a következő kérdésekre kell megadni a választ: elfogadható minőségű-e minden egyes tesztkérdés? helyesen válaszolják-e meg a legjobb vizsgázók a nehéz tesztkérdéseket? illenek-e egymáshoz a tesztkérdések? megfelelő szintű-e a teszt? a vizsgafeladatok valóban azokhoz a szintekhez tartoznak, amelyekhez szánták őket? megbízhatóak-e az eredmények? konzisztensek-e a vizsgaeredmények? összehasonlíthatóak-e a különféle vizsgáztatók által adott eredmények? stabilak-e a különféle vizsgaalkalmak során szerzett osztályzatok határértékei? az értékelési eljárásban alkalmazott különféle módszerek megfelelően működnek-e? a vizsgáztatók/pontozók betartják az utasításokat? képesek-e a vizsgáztatók jó vizsgateljesítményt kiváltani a vizsgázókból? 2 Hughes: Testing for Language Teachers, Cambridge University Press, 1989:23 189
ÁLTALÁNOS A teszt minőségi mutatói a statisztikai tesztelméletek két fő osztályán alapulnak: a klasszikus tesztelméleten (Classical Test Theory), illetve az item-válasz elméleten (Item Response Theory). Mindkettő eljárásai kiegészítik egymást, és foglalkoznak mind a tesztlépésekkel, mind az egész teszttel, úgymint: a tesztlépések nehézségi fokával; a tesztlépések diszkriminációjával; a tesztek pontértékei megbízhatóságának becslésével; feltárják a megbízhatóság és az érvényesség közötti kapcsolatot is. A statisztikus az eljárások során nyert adatok statisztikai módszerekkel történő feldolgozásával ad visszajelzést a tesztfejlesztőknek. A statisztikai elemzésen túl számos más módszer is elősegíti a vizsga minőségének javítását. Ide tartoznak a rendszeres szóbeli jelentések a vizsgákról, a pontozói jelentések, a kérdőívek és interjúk. A megbízhatóságon túl a tesztnek érvényesnek kell lennie. Általános értelemben bármely mérési eszköz akkor nevezhető érvényesnek, ha azt méri, amit mérni hivatott. Amíg a megbízhatóság azt jelenti, mennyire konzisztens eredményt szolgáltatnak a megismételt mérések, az érvényesség a vizsgapopuláció valós nyelvhasználati igényeinek való megfelelőség mértékét mutatja. A vizsgaeredménynek amennyire csak lehet valós képet kell mutatnia a vizsgázó releváns nyelvtudásáról. Ha a vizsgafeladat nem tükrözi a valós igényeket, a vizsgázók, tanárok és megrendelők joggal utasíthatják el. E cél érdekében a szaknyelvi vizsgák esetében minden specifikáció megírása előtt nagyon alaposan fel kell mérni a vizsgapopuláció igényeit. Bár az információ/hozzájárulás itt nem mindig nyelvi és tesztelési szakemberektől származik, igen hasznos lehet a teszt kialakításában. Egy szaknyelvi vizsga nem lenne érvényes, ha a vizsgafeladatok csak nyelvtani kérdésekből állnának. A tartalmi érvényesség attól függ, hogy a vizsgafeladatok milyen mértékben tükrözik az adott tartalmi kört. Így a specifikációk megírása során a tesztfejlesztőknek a megrendelő szakembereivel kell egyeztetniük, hogy megállapítsák az adott szakterületen történő mintavétel mélységét, továbbá az érintett témaköröket. Egy vizsga eredménye a vizsgázó számára gyakran jogosítványt jelent a további szakmai előrehaladáshoz. Így a tesztek prediktív érvényessége vagyis bizonyos fokú előrejelzés arra vonatkozóan, hogyan lesz képes a vizsgázó teljesíteni a valós helyzetekben a jövőben szintén fontosnak tekinthető a vizsgatervezésnél. A tesztelési szakemberek egyetértenek abban, hogy a teszteknek olyan feladatokat kell megcélozni, amelyek a valós életben is szerepelnek. A vizsgatervezőknek a kommunikatív készségek listái valamint az igények felmérése során szerzett tapasztalatok tudnak segíteni egy olyan vizsgarendszer létrehozásában, amely minden szempontból megfelel az adott szakmai kör igényeinek. 190
VADÁSZ ISTVÁNNÉ A vizsga kidolgozóinak kiválasztása és képzése külön szempontrendszer alapján történik. A tesztfejlesztőknek sokféle követelménynek kell megfelelniük, azonban elsősorban a vizsgázók illetve a tesztek megrendelői által támasztottak a meghatározóak. A tesztfejlesztőknek munkájuk során arra kell figyelniük, hogy a sok szempont figyelembevételével működőképes tesztet hozzanak létre. A tesztfejlesztők a tesztek kidolgozása során standard eljárásokat alkalmaznak, amelyek a tesztelésre alkalmas autentikus anyagok kiválasztásában, adaptálásukban, illetve az adott szintnek megfelelő feladatok elkészítésében érvényesülnek. Minden teszt a következő szempontok alapján ellenőrizhető: mennyire autentikus a szöveg, milyen a nyelvhasználata, tartalmaz-e túl speciális szakkifejezéseket, a szöveg hossza megfelel-e az adott szintnek, mennyire semleges, aktuális illetve ismerős a felhasznált szövegek témája; mennyire világosak, hosszúak a kérdések, mennyire felelnek meg az adott szintnek; helyesek-e a megoldások, minden kérdésre lehet-e egyértelmű választ adni, meg lehet-e válaszolni a kérdéseket háttértudás felhasználásával, szövegolvasás nélkül; mennyire illik bele a feladat az egész vizsgadolgozatba. Csak olyan vizsgafeladatok kerülhetnek be a vizsgadolgozatba, amelyek tartalmilag és formailag megfelelnek a minőségi követelményeknek. A vizsgázók szempontjából a legfontosabb elem a vizsgafolyamatok szabályozása. Ide tartozik a vizsga lebonyolítása és logisztikai háttere, beleértve a dolgozatok kezelését, az adatok biztonságát és titkosságát, a vizsgateljesítmények pontozását és értékelését. Az egyik legfontosabb feladat a vizsgafelhasználóval való kommunikáció. Ide tartozik a vizsgaeredmények közlése, a vizsgafelhasználó információkkal való ellátása a vizsga kontextusára, céljára és a tartalmára vonatkozóan. FELHASZNÁLT IRODALOM The ALTE Code of Practice, Association of Language Testers in Europe, 2001. Hughes, A.: Testing for Language Teachers, Cambridge University Press, 1989. Alderson, Ch., Clapham, C., Wall, D.: Language Test Construction and Evaluation, Cambridge University Press, 1995. Bachman, L.F.: Language Testing in Practice, Oxford University Press, 2000. 191