Angol szakos bölcsészek nyelvtudásának mérése szükségleteik alapján 1

Átírás

1 Alkalmazott Nyelvtudomány Angol szakos bölcsészek nyelvtudásának mérése szükségleteik alapján 1 1. Bevezetés Gombamód szaporodnak napjainkban a nyelvtudás mérését szolgáló különféle vizsgalehetőségek, noha a nyelvvizsgák bevezetésének szigorú akkreditációs követelményei (Lengyel, et al.1999) az új vizsgák engedélyeztetését igencsak megnehezítik. Az akkreditációhoz részletesen ki kell dolgozni és dokumentálni is kell a vizsgakészítés folyamatát, az ezzel kapcsolatos anyagokat azonban általában nem publikálják a vizsgáztató szervezetek. Nem lehet tudni, hogyan készülnek egy-egy új vizsgaközpontban a feladatok, kik írják azokat, hogyan biztositják az egyes tételek megbízhatóságát és érvényességét (v.ö. Bárdos, o.), vagy a nehézségi szint állandóságát. Az ilyen publikációk pedig nemcsak növelnék a vizsgák szakmai hitelességét, hanem haszos információval és tanulságokkal szolgálhatnának mindazok számára, akik valamely nyelviskolában, lektorátuson vagy nyelvi tanszéken hasonló vállalkozásba fognak. Ilyen tanulságos kivétel a fentiek alól a British Council támogatásával futott úgynevezett Érettségi projekt, mely termetes kötetekben (Fekete, et al., 1999; Alderson et. al., 2000) tette közzé az előtanulmányokat, valamint a tesztkészítés és kipróbálás folyamatának leírását és tanulságait - angolul. Talán az ismeretek és nem a jószándék hiányának köszönhető, hogy még ma is vannak hazánkban olyan intézmények, amelyekben az ún. ollós módszerrel készülnek a tesztek, vagyis készítőik különböző kiadványokból vágják össze a szükségesnek talált számú és fajtájú feladatot, és fel sem merül bennük, hogy amit tesznek az megengedhetetlen. Az ollós módszer kétségtelenül olcsó, de nemcsak szerzői jogokat sért, hanem szakszerűtlen is. Ma, amikor a nyelvi tesztek készítése szinte önálló szakmává nőtte ki magát, országos és nemzetközi egyesületekkel, s könyvtárnyi szakirodalommal, minden lehetőséget meg kell ragadni arra, hogy hazánkban is intenzívebben folyjon az ismeretek és a tapasztalatok átadása. Jelen cikkünk is ezt a célt szolgálja, amikor az angol szakos bölcsészhallgatók nyelvtudásának mérésére kifejlesztett feladattipusokat bemutatja, és a feladatok bevezetéséig vezető utat leírja. A munka előkészítése és a feladatok kifejlesztése valamint kipróbálása egy kétéves projekt keretében zajlott, amelynek minden részletére a terjedelmi korlátok miatt itt nem térhetünk ki. Ezért elsősorban a teszt céljának meghatározására és az olvasási és hibajavítási feladatok kifejlesztésére fogunk koncentrálni. Az alábbiakban először a szükségletelemzéssel és a teszfeladatok készítésével

2 kapcsolatos ismereteket foglaljuk össze, majd bemutatjuk az ELTE Angol Alkalmazott Nyelvészeti Tanszékén folytatott tesztfejlesztő projektet. Ezt követően az új feladatok kifejlesztésének, kipróbálásának és elemzésének a folyamatát írjuk le. Végül összefoglaljuk mindazokat a tapasztalatokat, amelyeket tesztkészítéssel foglalkozó kollégák figyelmébe ajánlunk. Cikkünkben a teszt szót annak tág értelmében használjuk, s mint a tudás mérésére, értékelésére szolgáló szó- vagy írásbeli eszközt értelmezzük. 2. Kell a jó teszt! A magyarországi nyelvtudás siralmas állapota ma már közhelynek számit, noha sem a nyelvtanulási kedvben, sem a vizsgabizonyítvány megszerzésére irányuló szándékban nincs hiány. Bár Terestyéni 1985-ben publikált adataihoz képest re több mint megkétszereződött az angolul, és gyarapodott a németül s más, kevésbé népszerű nyelveken tudók száma, a szerző mégis azt állapította meg, hogy a 14 éven felüli lakosságnak csak 11,8 százaléka ismer legalább egy idegen nyelvet legalább olyan szinten, hogy szóban és írásban is elboldogul rajta (Terestyéni, 2000). Ezzel nincs arányban az, hogy mind a közoktatásban, mind a felnőttoktatásban tízezrek tanulnak nyelveket, és tesznek sikeres nyelvvizsgát. Csak az Idegennyelvi Továbbképző Központban (közismert nevén a Rigó utcá - ban) például 1998-ban összesen fő tett szóbeli vizsgát valamilyen nyelvből, s 52 százalékuk felelt meg. Az írásbeli vizsgán fő közül 34,9 százalék próbálkozása volt sikeres (Gáborján és Sugár, 1999). A tyúk-tojás problémához lenne hasonló annak eldöntése, hogy a bajok orvoslására a felsőoktatásból kell-e jobb tanárokat, vizsgáztatókat, tanárképzőket és idegen nyelvi szakembereket kibocsátani, vagy előbb a közoktatás színvonalát kell növelni, hogy a nyelvet minél jobban tudó hallgatók kerüljenek be a felsőoktatásba. Egy biztos, minden szinten olyan vizsgákon kell mérni a jelöltek tudását, ami releváns, hasznos és használható tudást mér. 3. A tesztkészítés A nyelvi tesztek készítésének lépéseit több szakkönyvben is megtaláljuk. A magyar nyelvű szakirodalomból meg kell említenünk Bárdos (2002) munkáját, mely elsősorban történeti áttekintés szándékával ugyan, de a közelmúlt legjelentősebb forrásait bemutatva tekinti át a tesztkészítés legfontosabb munkafázisait. Rámutat arra, hogy az eljárás lényege a nemzetközi gyakorlatban lényegében azonos, s az egyes szerzők, mint például Alderson és munkatársai (1995), Bachman és Palmer (1996) vagy Hughes (1989) inkább csak a hangsúlyokat teszik máshová. Így egyetértés van abban is, hogy a tesztkészítés a

3 teszt céljának meghatározásával és a tesztspecifikáció elkészítésével kezdődik. Pontosan meg kell határozni mi a teszt célja, kik számára készül és milyen környezetben, mit akar mérni, milyen nyelvhasználatra és nyelvi forrásokra épít, mennyire részletes információval kell szolgáljon a vizsgázók nyelvtudásáról, és milyen korlátok adottak (v.ö. Hughes, 2003). 3.1 Célok, specifikáció A teszt céljának meghatározásakor célszerű abból kiindulni, hogy melyek a célcsoportban a meghatározott vagy meghatározható nyelvtanulási célok, s a teszttel azt mérni, hogy a nyelvtanuló milyen mértékben képes a saját maga vagy a tanfolyam, esetleg a tanintézmény, vagy egy nemzetközi követelményrendszer által kitűzött célok teljesítésére. A magyar felsőoktatásban az elmúlt évben végbement mintegy két és félszeres létszámnövekedés (Lénárt és Rapos, 2000) az úgynevezett nyugati nyelvszakokon a kötelező orosz nyelvoktatás megszűnésével együttesen érezteti a hatását. Mindez nemcsak azt jelenti, hogy a felvétel előtt kevésbé szigorú szűrőn esnek át a hallgatók, és felhígult mezőny iratkozik be az első évfolyamra, hanem azt is, hogy a korábbi szükségletek megváltoztak. A 20 évvel ezelőtti nyelvszakos diákokról eleve azt feltételezte az oktatásirányítás, hogy tanári pályára fognak lépni. Ezzel szemben a bölcsészoktatásban résztvevő kollégák jó ideje azt érzékelik, hogy a hallgatóknak ma már csak kis százaléka készül tanárnak, azok közül is sokan csak mellékkeresetként óhajtanak tanítani, nem pedig főállású tanárként valamely közoktatási intézményben. Ehhez járult az is, hogy a kötelező orosz nyelvoktatás eltörlésével angol és német szakokon rövid és célirányos főiskolai szintű nyelvtanárképzés indult be a nyelvtanítást hivatásként választók számára. Mindez befolyásolja azt, hogy a bölcsész szakos nyelvi tantervet milyen nyelvi szükségletek kielégítésére kell szabni, s milyen készségek meglétét kell ellenőrizni a nyelvtudást mérő vizsgán. Ahhoz, hogy a nyelvi teszt az adott célcsoportban releváns és hatékony legyen, a tesztkészítőnek pontosan ismernie kell a célnyelv használati területeit (Bachman és Palmer, 1996). Ezt a célt szolgálja a szükségletelemzés, melynek leggyakoribb módszerei az interjú vagy a kérdőíves felmérés. Ez utóbbi esetében a megkérdezettek általában egy ötfokú, ún. Likert skálán jelölik be, hogy milyen gyakran végeznek egy bizonyos tevékenységet, vagy használnak egy bizonyos készséget. A szükségletek felmérése után következhet a teszt vázának a megrajzolása, vagyis hogy hány részből, milyen típusú feladatokból kell álljon, milyen hosszú legyen, milyen műveleteket kelljen a vizsgázónak végrehajtania, milyen szövegtípusok, témák, nyelvtani szerkezetek és szókincs fordulhatnak elő. Csak

4 ezt követően kerülhet sor a feladatok és kérdések gyártására, melyekhez használhatunk tesztfeladatkészítő szakembereket és az adott vizsgázócsoportot jól ismerő tanárokat is. Alderson és Öveges (2000) beszámolnak arról, hogy Magyarországon nem állnak rendelkezésre különböző szintű tesztfeladatok írására specializálódott szakemberek, így például az érettségi projekt kezdetén a feladatírók kiképzése és a munka díjazásának megállapítása külön gond volt Feladatkészítés A tesztfeladatok sem kerülhetnek a tételíró kompjúteréből egyenesen a feladatlapra, előbb többfokú szűrésen kell átessenek. Először magának a szerzőnek kell megpróbálnia megírni a kiötölt feladatot. Utána a tesztkészítők egy csoportja közösen megvizsgálja az elkészült kérdések mindegyikét, kipróbálja, javitja, szerkeszti, vagy elveti azokat. Alderson és szerzőtársai (1995) nyomatékosan felhívják a figyelmet arra, hogy a tesztfeladat ellenőrzése egyik fázisban sem azonos a szemrevételezéssel [eyeballing], hanem a feladatot meg kell oldani, legyen szó akár feleletválasztós tesztről, vagy fogalmazásról. Ezután következhet egy-egy feladatsor kipróbálása, más szóval előtesztelése a célközönséghez mindenben hasonlító populáción. Ezt követheti az eredmények statisztikai elemzése, majd az ezek alapján elvégzendő további korrekciók. Alderson és társai (1995) adatokat gyűjtöttek a legnagyobb angol és amerikai vizsgaközpontoknál arról, hogy a tesztjeik elkészítésekor milyen utat járnak be és milyen elveket követnek. Úgy találták, hogy ugyan jelentős eltérés mutatkozik a vizsgaközpontok között a tesztkészítés elveinek gyakorlati megvalósításában, ám a feladatírás folyamatát a mindegyike nagyon komolyan kezeli. A szerzők megállapítása szerint egyetlen aspektus éredemelne a jelenleginél nagyobb figyelmet, ez pedig annak ellenőrzése, hogy az elkészült feladatok mennyire követik a tesztspecifikációban foglaltakat. Noha minden alkalmazott feladatíró megkapja, hogy mit kell a feladatoknak tartalmazniuk és mérniük, azt, hogy ez valóban megvalósul-e, már nem ellenőrzik következetesen a vizsgaközpontok. Ez azzal a veszéllyel jár, hogy sok feladat kerül be a vizsgába a könnyen tesztelhető nyelvi jelenségekről, és kevés, vagy szinte semmi nem vizsgálja azokat, amelyek szintén részei a követelményeknek, ám amelyek mérésére nehezebb feladatot alkotni. 3.3 Kutatások A tesztfeladatok belső kipróbálásáról és a próbatesztelések eredményeiről kevesen írnak, s a kutatási eredmények más és más részterületeken szolgálnak tanulsággal. Wall és munkatársai (1994) egy egyetemi szintfelmérő [placement] teszt megbízhatóságának és érvényességének vizsgálatáról számolnak be, s ennek

5 kapcsán a megegyező validálásnak [concurrent validity], mint a tesztek érvényességét vizsgáló módszernek a gyengeségére hívják fel a figyelmet. Shohamy és Inbar (1991) egy hallás utáni megértést vizsgáló teszt szerkezeti validitását vizsgálták, s többek közt arra a megállapításra jutottak, hogy a vizsgázók teljesítménye jelentős mértékben függ attól, hogy a hallgatott szöveg mennyire áll közel a beszélt vagy az írott nyelvhez (pl. dialógus ill. hírolvasás). Nikolov és kollégái (2000) a már említett új érettségi vizsga egyes olvasási és írásfeladatainak az előtesztelésekor klasszikus item-analízissel vizsgálta a feladatok nehézségi fokát, diszkriminációs értékét és megbízhatóságát. Emellett a valószínűségi tesztelmélet, idegen nevén az Item Response Theory [IRT] módszerét is alkalmazták, melynek segítségével a vizsgált itemek objektív nehézségi skálán elfoglalt helyük szerint gyűjthetőek feladatbankba, illetve kiválaszthatóak azok a feladatok, amelyek a további mérések során horgonyitemként [anchor item], vagyis referencia pontként használhatóak fel. Dávid (2001) a 3 éves angoltanárképző szakosok nyelvi vizsgájának fejlesztéséről és próbateszteléséről számol be, és a költséges és nehezen lebonyolítható próbatesztelés helyett egy olyan módszert ajánl, mely a vizsga letétele után elemzi a feladatok tulajdonságát, és segít kiküszöbölni a feladatsorok nehézségi szintje, a vizsgázók képességei és a vizsgáztatók szigorúsága közti különbségeket. Olyan kutatásra, amely nyelvszakos egyetemisták nyelvi szükségleteinek vizsgálatára és nyelvi szintjük mérésére szolgáló feladatok fejlesztésének problémáira irányulna, Hock 2001-ben készült doktori disszertációja kivételével nem találkoztunk. * kellene a referencia, könyvtárban meg van szerintem. 4 Módszer 4.1 A projekt Írásunk a Kutatási és Fejlesztési (K+F) Pályázatok keretében elnyert támogatással megvalósult munkafolyamat egy részét írja le. Az ELTE Angol Alkalmazott Nyelvészeti Tanszékén az Egyetemi szintű angol nyelvi teszt kidolgozása és bevezetése című projekt keretében 2000-től 2002-ig folyt az adatgyűjtés, próbatesztelés és elemzés. A projekt több fázisból tevődött össze. Először a hallgatók szükségleteit mértük fel, majd meghatároztuk a vizsga célját és kereteit. Ezután egyes meglévő feladatok alkalmasságát vizsgáltuk meg és új feladatokat készítettünk, melyek alkalmasságát különböző módszerekkel ellenőriztük. Az egyes lépések elemzése és eredményei alapján végeztük el a következő fázis munkáját.

6 4.2 A szükségletelemzés A projekt kezdő lépéseként kérdőívet fejlesztettünk ki, amelynek segítségével felmértük a hallgatók nyelvi szükségleteit mind a saját intézményünkben mind az ország többi bölcsészettudományi karán, és adatokat gyűjtöttünk arról is, hogy az ELTE angol szakán az elmúlt 5 évben végzettek milyen pályán és milyen tevékenységekhez használják az angol nyelvet. A kutatásban összesen 270 jelenlegi és 80 végzett hallgató vett részt. Annak érdekében, hogy a nyelvvizsga megtervezése során megbízható adatok álljanak a rendelkezésünkre, a kérdőív érvényességét többféle módszerrel ellenőriztük (a validálás részletes leírását lásd Csölle et. al., 2001 és Kormos et. al., 2002). A szükségletelemzés eredményeként megtudtunk, hogy a diákok fele harmadéves kora körül még nem tudja, milyen pályán szeretne elhelyezkedni az angol szakos diplomájával, s hogy a megkérdezettek kevesebb, mint egyharmada készül a tanári pályára. Ez utóbbi adatot a már végzettek körében folytatott felmérés is igazolta. Különbség mutatkozott viszont abban, hogy míg a hallgatók elsősorban a tanulmányaikkal összefüggő feladatok elvégzésére használják a nyelvet és azon belül is elsősorban a receptív, befogadó készségeket, addig a már végzettek körében fokozódik a produktív készségek szerepe. A jelenlegi hallgatók leggyakrabban előadásokat hallgatnak, jegyzetelnek, tudományos folyóiratokat és szakkönyveket olvasnak, valamint a véleményüket fejtik ki angolul, és szótárt használnak. Az egyetemen kívül angol nyelvű filmeket és híreket néznek, illetve újságokat olvasnak. Az ELTÉ-n az elmúlt 5 évben végzett diákok közül megkérdezettek harmada tanárként, egy negyede az üzleti szférában és egy tizede fordítóként és tolmácsként helyezkedett el. A volt hallgatók között választott foglalkozások között szerepelt még az oktatásszervező és a kutató is. A végzettek nyelvhasználata jelentősen különbözik a még egyetemre járó hallgatókétól, hiszen ritkán használják a nyelvet tanulási helyzetekben, és az angolnak inkább a munkahelyükön veszik hasznát. A tanári pályán elhelyezkedettek leggyakrabban kérdéseket tesznek fel, magyarázatokat és instrukciókat adnak, véleményt fejtenek ki, a diákok írásos munkáit javítják és feladatokat írnak angolul. A fordítók és tolmácsok az angolt fordításra, elektronikus levelezésre és üzleti dokumentumok vagy Internetes szövegek olvasására használják. A gazdasági szférában dolgozók üzleti dokumentumokat olvasnak és írnak, valamint üzleti partnerekkel beszélgetnek angolul (az edermények részletes leírását lásd Kormos et.al., 2002). 4.3 A vizsga célja és szerkezete

7 A szükségletek ismeretében először a teszt célját határoztuk meg, és megalkottuk annak vázát. Ez röviden összefoglalva a következőket tartalmazta: Cél: A vizsga célja az angol bölcsész szakos általános nyelvi kompetenciájának mérése, különös tekintettel a tanulási készségekhez kapcsolódó nyelvhasználatra, a nyelvhelyesség gyakorlati alkalmazására, valamint a szóbeli utasítások, véleménykifejtés és érvelés képességére. Célcsoport: első ill. harmadéves angol szakos bölcsész hallgatók A teszt típusa: készségvizsgáló teszt Módszer: elsősorban közvetlen mérés, integrált teszteléssel, kis részben közvetett, diszkrétpontos tesztelés Szövegtípusok: autentikus, szerkesztetlen, részben a társadalmi érintkezésben, részben nyelvészeti, irodalmi, nyelvpedagógiai vagy általános tudományos ismeretterjesztő szóbeli és írásbeli kommunikációban előforduló szövegek vagy szöveg részek; középfokú nyelvtanulók szerkesztett vagy szerkesztetlen írásbeli munkái. Témakörök: angol és általános nyelvészet, irodalmi elemzések, irodalomelmélet, történelem és kultúra, iskolapolitika, nyelvpedagógia, nyelvtanítás módszertana, az általános érdeklődésre is számot tartó természettudományos, társadalmi és szociális kérdések, a napi sajtó témái. Szókincs és struktúrák: befogadó szinten az angol nyelv teljes spektruma, produktív szinten az általános műveltséggel rendelkező, a művelt és iskolázott angol anyanyelvi beszélő által hétköznapi szituációkban, vagy elvont kérdések megvitatásában a pontos, változatos és árnyalt kommunikációhoz szükséges szavak, kifejezések, írott és beszélt nyelvi fordulatok, szerkezetek, mondatfűzések. yelvi változatok, kiejtés: az iskolázott anyanyelvi (elsősorban angol és amerikai) beszélő által használt, speciális táj- vagy rétegnyelvi elemeket nem tartalmazó beszéd megértése, és a magyar vagy más anyanyelv sajátosságait csak csekély mértékben magán viselő, a standard angol vagy amerikai anyanyelvi kiejtést, intonációt, tempót megközelítő beszédprodukcíó. Szerkezet: A fenti készségek két részben, a II. és az V. szemeszterben mérendők: II. szemeszter: - általános nyelvi kompetencia mérése írásban, - olvasott szakszöveg értése - szakszöveg értése és tartalmi összefoglalása írásban - szóbeli instrukciók adása, - képek, ábrák szóbeli leírása, - spontán szóbeli elbeszélés

8 - problémamegoldás, magyarázat, véleménykifejtés szóban, hétköznapi szituációkban V. szemeszter - levélírás hivatalos stílusban - érvelő esszé írása - hibaészlelés és javítás írásban - szóbeli érvelés és véleménykifejtés elvont társadalmi, műveltségi témákról 4.4 Meglévő feladatok A felsorolt készségek egy részének mérésére a korábban használt vizsgában is rendelkezésre álltak már kipróbált feladatok, mint például a hivatalos levél, érvelő esszé írása, vagy az összes felsorolt szóbeli készségek. Ezek közül némelyik feladatot megbízhatósági és érvényességi vizsgálatnak vetettük alá. Az általános nyelvi kompetencia mérésére évek óta 5x20 itemből álló C-tesztet használt a tanszék, ennek a módszernek az érvényessége azonban erősen függ a kontextustól, ezért célszerűnek látszott a feladattípust újbóli megbízhatósági vizsgálatnak alávetnünk. Az 5. félév végi szóbeli vizsgák egy részét audiókazettára rögzítettük és a feladat érvényességét megvizsgáltuk. A 2. szemeszter végi szóbeli vizsgákat több féléven keresztül rögzítettük videófelvételre, s ezek elemzése és értékelése, tekintettel a nagy mennyiségű anyagra, még folyamatban van. 4.5 Új feladatok Az olvasáskészség ellenőrzésére (1) és a nyelvhelyesség alkalmazásának vizsgálatára (2) új feladatokat fejlesztettünk ki: 1. információ-átvitel; hézagkitöltéses összefoglaló, szövegtömörítés 2. középfokú fordítások és fogalmazások nyelvi hibáinak felismerése és javítása Kísérletet tettünk hallott szöveg értésének mérését szolgáló feladatok kidolgozására is, ez a próbálkozásunk azonban a tanszék technikai lehetőségei -- nyelvi laborok hiánya, vizsgatermek kihangosításának rossz minősége-- miatt nem mutatkozott elég sikeresnek. Az új feladatokat egy kisebb team készítette el. Egymás feladatait önállóan megoldottuk, majd közösen megbeszéltük, szükség szerint javítottuk, szerkesztettük, és a javíthatatlan feladatokat kiszűrtük. A szűrőn megfelelt feladatokat először 5 anyanyelvű tanárkollégával megoldattuk, hogy az alternatív válaszlehetőségek minél szélesebb skálájára, az esetleges nyelvi változatokra fény derüljön, illetve hogy véleményüket a feladatokról figyelembe vehessük. Ezután az elkészült feladatokból egyenként 3-4 feladatot tartalmazó feladatlapot

9 készítettünk, és a hallgatók egy-egy csoportjával megírattuk. Minden feladatot így legalább 30 főn kipróbáltunk. Valamennyi feladatlaphoz csatoltunk egy rövid kérdőívet is, amelyen a hallgatóknak egy skálán kellet bejelölni, hogy mennyire tartották hasznosnak a szövegeket illetve a feladatokat, milyennek ítélték azok nehézségi fokát, és hogyan értékelték saját teljesítményüket. Ezen adatokat is figyelembe vettük, amikor arról döntöttünk, mely feladatok szolgáljanak horgonyfeladatként a jövőbeli tesztekben Olvasott szöveg értésének mérése információátviteli feladattal Az információ átviteli [information transfer] feladat lényege, hogy a vizsgázók rövid, 200-tól 400 szó terjedelmű összefüggő szöveget elolvasnak, szótár használata nélkül megértenek, majd a feladatban megadottak szerint egy táblázatban, ábrán, vagy grafikonon ábrázolják a szövegből kiszűrt legfontosabb információkat. A feladattípus kipróbálására azért esett a választásunk, mert nagyon közel áll ahhoz a fajta jegyzeteléshez, amit vizsgára való készüléskor, vagy szakirodalom olvasásakor a hallgatók végeznek. A feladathoz eredeti, két alkalmazott nyelvészeti, és egy történelmi témájú szakszöveget választottunk. Három próbaitemet készítettünk el: az egyikben az információt ágrajzban, a másodikban és harmadikban táblázatban kellett ábrázolni (lásd a példát az 1. számú mellékletben) Olvasott szöveg értésének mérése hézagkitöltéses összefoglalóval A hézagkitöltéses összefoglaló [gapped summary] feladat szintén az olvasott szöveg megértését méri. A vizsgázók rövid, 250-től 400 szó terjedelmű szöveget, vagy önállóan is értelmes szövegrészletet olvasnak el, majd annak rövid összefoglalóját, amelyből bizonyos szavak és kifejezések hiányoznak. Az összefoglaló úgy készül, hogy abban az eredeti szövegből átemelt részek nincsenek, hanem csupán a tartalom lényegét, a legfontosabb információkat tartalmazza más szerkezetek és szinoním szavak, kifejezések segítségével. Az összefoglalóban a szöveg hosszától vagy tartalmától függően kihagyás található, melyeket ideális esetben csak akkor tud pótolni a vizsgázó, ha megértette az eredeti szöveget (minta: lásd Appendix). Az előteszteléshez összesen 4 ilyen feladatot készítettünk, kettőt történelmi, egyet irodalomkritikai és egyet kulturális témájú szövegre. Az egyes összefoglalók 8, 10, illetve 14 hézagot tartalmaztak (lásd a példát a 2. számú mellékletben) Tömörítés

10 A tömörítés, idegen szóval précis írása integrált képességmérő feladat. Egyrészt méri az olvasott szöveg értését, a szövegben található fontos információk kiszűrésének a képességét, másrészt azt, hogy képes-e a hallgató mindezt tartalmilag a megadott keretek között tömören ám mégis érthetően, követhetően, az eredeti mondanivalót nem torzítva összefoglalni. Ezt a készséget nagyon fontosnak találjuk mind az egyetemi, mind a tudományos életben, hiszen minden szemináriumi dolgozat, szakdolgozat, cikk és tanulmány megírásakor szükség van rá. Tanári tapasztalataink is azt bizonyítják, hogy a hallgatók sokszor nem szándékosan, rosszindulatból plagizálnak, hanem egyszerűen azért, mert nem tudják saját szavaikkal jól összefoglalni azt, amit más szerzőktől olvastak. Ehhez a feladattípushoz több szöveggel próbálkoztunk. Itt is azt a módszert követtük, hogy először a team tagjai a kiválasztott szövegekben egymástól függetlenül meghatározták, melyek a fontos információk, majd megírták a tömörítést. Azokat a szövegeket, amelyekben túl sok, vagy túl kevés, vagy nehezen meghatározható volt a lényeges információ, eleve elvetettük. A választható szöveg hosszúságát 450-től 600 szó terjedelemben, a tömörség mértékét az eredeti terjedelem egyharmadában határoztuk meg, vagyis a vizsgázóktól szavas összefoglalókat vártunk. Mivel integrált szövegértési és írási feladatról volt szó, a feladattal együtt a javítási módszert is ki kellett dolgoznunk. Az értékelés szempontjaiul a fontos információk meglétét, és a szövegkohézió minőségét választottuk, illetve pontlevonást határoztunk el a téves információk közléséért és azért, ha az összefoglaló az eredeti szövegből szó szerint átemelt részeket tartalmaz. A pontos javítókulcsot természetesen szövegekre szabottan kellett elkészítenünk. Az előzetes szűrők után egy irodalomkritikai és egy általános ismeretterjesztő szöveget találtunk próbatesztelésre alkalmasnak Hibajavítás Mivel hibajavításra a saját írásaik javításán kívül elsősorban akkor van szükségük a hallgatóknak, ha tanítási szituációban a diákok írásait, dolgozatait javítják, ehhez a feladattípushoz eredeti, középfokú szintű irásbeli munkákból kiemelt szövegrészeket, mondatokat választottunk. Az első lépésben 4 különböző féle feladatot készítettünk (lásd a példát a 3. számú mellékletben). 1) Feleletválasztós feladat: Egy-egy eredeti, középfokú tanulók által magyarról angolra fordított mondat 4 különböző részét aláhúztuk, A,B,C,D-vel jelöltük, s a hallgatóknak ki kellett választaniuk, hogy a megjelölt rész közül melyik hibás. (Ez a feladat hasonló ahhoz, amit a TOEFL vizsgákon alkalmaznak).

11 2) Eredeti középfokú magyarról angolra való fordításokból egy-egy mondatnak két-két megoldását választottuk ki. A hallgatóknak el kellett dönteniük, hogy az A-val, vagy a B-vel jelölt mondat-e a helyes, egyik sem, vagy mind a kettő. 3) Eredeti, középfokú, szavas fogalmazást mondatokra tagolva, a mondatok között egy-egy üres sorral kapnak meg a hallgatók. Feladat a szövegben észrevenni a hibás szavakat, nyelvtani szerkezeteket, szórendet, központozást, és a kihagyott sorokra a vizsgázó által helyesnek vélt szöveget írni úgy, hogy az eredeti jelentés ne változzon. Ezt a produktív részt azért tartottuk fontosnak, mert valós tanítási szituációban a tanulók elvárják, hogy a tanár meg tudja mondani, mi lett volna a helyesebb megoldás, és mert hiába tudja a tanár észlelni a hibát, ha helyette esetleg egy másik, éppoly hibás, vagy a szövegbe nem illő alakot javasol. Ez a készség ugyanakkor hasznos a majdani nyelvi lektorok, idegen nyelvű kiadványszerkesztők és fordítók számára is. 4) Eredeti, középfokú nehézségű, magyarról angolra fordított, izolált mondatokat kapnak a hallgatók. Az instrukció azonos, mint a 2. feladatban. A 2. és 3. feladat között annyi a különbség, hogy a 2. összefüggő, fogalmazási szöveg, míg a 3. feladat mondatai fordításból erednek, és egymástól függetlenek. A munkacsoportban való kipróbálás és az anyanyelvi kollégáktól kapott visszajelzések alapján a 2. és a 4. feladatokat eleve elvetettük. A 2. feladatban szereplő mondatok közül vagy nagyon egyértelmű volt, hogy mi hibás és mi nem, vagy pedig nagyon is vitatható, és kontextus hiányában nehezen eldönthető. A 4. típusú feladat szintén azért esett ki a szűrőn, mert a mondatok között nem volt összefüggés, ezért nehezen volt megállapítható, hogy pontosan mi lehetett a mondat írójának eredeti beszédszándéka. Ez például az igeidő hibák jelentős részét javíthatatlanná tette. A megmaradt két feladatot viszont próbatesztelésnek vetettük alá. 5. A próbatesztek elemzésének eredményei A feladatok elemzésénél a következőket vizsgáltuk. Először klasszikus item-analízist végeztünk, amely segítségével az egyes tesztlépések (itemek) megbízhatóságát állapítottuk meg. Kutatásunk során a megbízhatóság kritériumai a 0,3 és 0,75 közötti hasznossági érték és 0,3 feletti diszkriminációs érték voltak. Ezen elemzés segítségével megtudtuk mely tesztlépések voltak azok, amelyek nehézségi foka megfelelő és amelyek segítségével egyértelmű különbséget lehet tenni a jó nyelvtudású és gyenge nyelvtudású diák között. A feladatot abban az esetben tartottuk potenciálisan elfogadhatónak, ha legalább a tesztlépések fele jól mért a kipróbálás során, mivel még a leggyakorlottabb nyelvvizsgaíró szakemberek által írott itemek fele a vizsgák előtesztelése során megbízhatatlannak szokott bizonyulni. Következő lépésként a feladat

12 összmegbízhatósági értékét (reliabilitás index - Crombach α) számoltuk ki. Ez az érték azt mutatja, hogy mennyire következetesen mér egy feladat. Ha az érték magas, akkor a feladat egy készséget mér következetesen, ha az érték alacsony, akkor több készségre is szükség van a feladat megoldásához. Az összmegbízhatósági érték tehát csak akkor volt fontos számunkra, ha a feladat célja egy készség mérése volt. A harmadik lépés mindig az eloszlási görbe megrajzolása volt. Ennek segítségével megállapítható, hogy milyen a pontszámok szórása. Ezenkívül az összefoglalók értékelésénél vizsgáztatók közötti megbízhatóságot vizsgáltunk, illetve ahol lehetséges volt korrelációs elemzés segítségével összehasonlítottuk az adott feladaton és a vizsga másik feladatain nyújtott teljesítményt (az eredmények összefoglalását lásd az 1. számú táblázatban). 5.1 C-teszt Első lépésként az eddig a nyelvvizsgán kizárólagosan használt C-teszt megbízhatóságának vizsgálatát végeztük el. Dávid (2001) javaslatai alapján a diákok végső pontszámának a megbízható tesztlépéseken elért eredmények összességét tekintettük. Ezek alapján a 100 itemből 25 felelt meg a megbízhatóság fent leírt kritériumainak. Második lépésként megvizsgáltuk, hogy a C-teszten elért eredmények egyenletes eloszlást mutatnak-e. Az eloszlási görbe szerint a pontszámok eloszlása megfelelő volt. A feladat megbízhatósági értéke 0,78 volt, ami arra utal, hogy a C-teszt egy globális nyelvi készséget mér, bár ennek miben létéről vita folyik (lásd Coleman, Grotjahn és Raatz, 2002). 30 diák esetében rendelkezésünkre állt egy TOEFL vizsgán elért pontszám is, és náluk összehasonlítottuk a TOEFL eredményt a C-teszt eredménnyel. A korrelációs elemzés azt mutatta, hogy igen erős összefüggés van a két vizsga pontszám között (r = 0.75), ami további bizonyítékot szolgáltatott arra, hogy a C-teszt segítségével gyorsan és egyszerűen megfelelő képet lehet nyerni a diákok írásbeli nyelvtudásának bizonyos aspektusairól, mint például szókincs, szintaktikai és morfológiai ismeretek és a kohéziós elemek használata. 5.2 Szóbeli érvelés és véleménykifejtés elvont témákról Audiókazettára rögzítettük 30 diák szóbeli vizsgafeladatát. A magnókazettára felvett szövegeket átírtuk és elemeztük. Az elemzés célja validálás volt, pontosabban az, hogy megállapítsuk valóban alkalmas-e az eddig használt feladat a szóbeli érvelés képességének mérésére. Az elemzéshez a szövegelemzés (discourse analysis) módszerét használtuk. Az eredmények azt mutatják, hogy a

13 feladat érvényesnek (valid) tekinthető, mivel a beszélők megszólalásai magas százalékban tartalmaztak érvelő megnyilvánulásokat (véleménykifejtést, egyetértést, ellenkező vélemény kifejtését, érveket és ellenérveket). Az elemzések alapján az érvelési feladatok megtartása mellett döntöttünk. 5.3 Információátviteli feladat Az információátviteli (information transfer) feladat nem felelt meg a megbízhatóság alapvető követelményeinek. Az item-analízis azt mutatta, hogy a hallgatók szinte minden tesztlépésre helyes választ adtak és összességében mind a három szöveg esetében 85% feletti teljesítményt nyújtottak. A szövegek szakmai tartalma ellenére (két szöveg alkalmazott nyelvészeti, egy pedig történelmi témájú volt), a táblázat és folyamatábra kitöltési feladatok túl könnyűnek bizonyultak az angol szakos hallgatók számára. Ez az eredmény arra enged következtetni, hogy haladó szinten a diákoknak nem okoz nehézséget a szöveg főbb tartalmi elemeinek megértése és azok táblázatban vagy folyamatábrában való visszaadása Hézagkitöltéses összefoglaló A szövegértés hézagkitöltéses összefoglalóval történő vizsgálata sikeresebbnek bizonyult az információs transzfer feladatnál. Az általunk vizsgált 6 szövegből 3 felelt meg a megbízhatóság kritériumainak: két történelmi és egy interkultúrális témájú. Az irodalomkritikai, pedagógiai és alkalmazott nyelvészeti szöveg mutatói nem voltak megfelelőek, amely nem feltétlenül a témaválasztásnak, hanem a feladat nem megbízható tesztlépéseinek volt köszönhető. A 3 megfelelő szövegben a megbízható tesztlépések száma 50% feletti, a pontszámok eloszlása pedig megfelelő volt. Ezen szövegek megbízhatósági értéke 0,66 és 0,70 között volt, ami elfogadhatónak tekinthető, hiszen a feladattal nem csak a szövegértés alsóbbrendű készségeit (mint például ismeretlen szavak kikövetkeztetése, részletek pontos megértése) hanem szókincset is szándékoztunk mérni. A korrelációs elemzés meglehetősen nagy átfedést mutatott a C-teszt és a kitöltendő összefoglaló között, ami arra utal hogy a két feladat hasonló dolgot mér. Ennek alapján megfontolandó lehet az egyik feladat elhagyása. 5.5 Tömörítés A tömörítési feladatból két különböző tartalmút írattunk meg 35 diákkal. Az egyik tartalma általános, a másik egy irodalomkritikai szöveg volt. A statisztikai elemzés során csak az irodalomkritikai szöveg bizonyult elfogadhatónak. Az általános szöveg eloszlási görbéje nem volt megfelelő, és az információs elemek sem tettek különbséget kellőképpen a jó és rossz hallgatók között. Az irodalmi szöveg esetében ezek a mutatók elfogadhatóak voltak. A skála megbízhatósága

14 jónak tekinthető, mivel a vizsgáztatók közötti megbízhatósági együttható igen magas volt (r = 0.92). A C-teszttel való korrelációs érték pedig azt mutatta, hogy vannak ugyan átfedések aközött amit két feladat mér (r = 0.54), de ezek nem akkora mértékűek, hogy ne lenne indokolt egy új feladat bevezetése. A két szöveg közötti különbség alapján azt a tanulságot vonhatjuk le, hogy az angol szakos hallgatók olvasási illetve összefoglalási készségének mérésére jobban alkalmasak az elvontabb szakmai szövegek, mint az általános szövegek. 5.6 Hibajavítási feladatok A kéttípusú hibajavítási feladat közül a feleletválasztós feladat nem hozott elfogadható eredményeket. A 23 tesztlépésből mindössze 5-nek volt megfelelő hasznossági és diszkriminációs értéke, és a feladat összpontszámának eloszlása sem volt egyenletes. Amikor a vizsgálatot megismételtük oly módon, hogy a nem megfelelő itemeket átírtuk és TOEFL vizsgaitemekkel kiegészítettük, hasonló eredményeket kaptunk. Érdekes módon a vizsgált populáción a TOEFL feladatok sem bizonyultak megbízhatónak, amely kitűnően illusztrálja azt, hogy mennyire veszélyes más célközönség számára készült vizsgákból feladatokat átvenni. Ezzel szemben a mondatjavítási feladat sokkal jobban mért, 16-ból 9 tesztlépés jellemzői voltak elfogadhatóak, a feladat pontszáma normális eloszlást mutatott és megbízhatósági értéke is magas volt (α = 0,74). Ez az eredmény abból a szempontból hasznos, hogy a mondatjavítási feladat az, amellyel a diákok tanárként találkozni fognak. Feladat 1. számú táblázat A vizsgált feladatok jellemzői Résztvevők száma Maximum pont Átlagos pontszám Jó itemek száma Megbízhatósági index Tömörítés Irodalomkritika , ,54 Általános , ,44 Információ átvitel Alkalmazott nyelv ,45 0 0,94 - Alkalmazott nyelv ,14 1 0,56 - Történelem ,63 0 0,63 - Hézagkitöltéses összefoglaló Történelem ,65 8 0,66 0,62 Történelem ,29 8 0,70 0,59 Irodalomkritika ,62 1 0,51 0,30 Interkultúrális ,32 9 0,70 0,65 Pedagógia ,50 4 0,75 0,71 Alkalmazott nyelvészet ,20 3 0,37 0,64 Hibajavítás Korreláció a C- teszttel

15 Feleletválasztós ,7 5 0,62 - Mondatjavítás ,29 9 0,74 - Konklúzió, összefoglalás Azokat a feladatokat, amelyek nehézségi foka vagy diszkriminációs mutatója elégtelennek bizonyult, elvetettük. A próbatesztelés során legjobban működő feladatokból több változatot készítettünk. Ezek a szövegértést mérő kiegészítéses és az értést és íráskészséget integráltan tesztelő tömörítéses feladatok, valamint az összefüggő fogalmazási és fordítási szövegekre készített hibajavításos feladatok. A már kipróbált feladatokból a nyelvgyakorlat órákra bevihető gyakorló csomagot készítettünk. Az új feladatokból a as téli és a tavaszi vizsgaidőszakban megíratható feladatsort állítottunk össze. További átdolgozásra és újbóli tesztelésre érdemesnek találtuk a feleletválasztós hibajavítási feladatokat. Szintén további feladatok kidolgozása szükséges a hallás utáni megértés merésére, ennek azonban előfeltétele a tanszék technikai felszereltségének a javítása.) Jegyzetek: 1. A cikkben leírt kutatás a Kutatási és Fejlesztési... Pályázatokon elnyert támogatással valósult meg. A projekt támogatóinak ezúton mondunk köszönetet. 2. Hálánkat fejezzük ki kutatótársunknak, Dr. Csölle Anitának és mindazoknak a kollégáknak és hallgatóknak, akik a felmérésekben és a feladatok sorozatos próbatesztelésében önzetlenül segítették munkánkat. Irodalom: Alderson, J.C., Clapham, C. & Wall, D. (1999) Language test construction and evaluation. Cambridge: Cambridge University Press. Alderson, C.J., agy E. & Öveges E. (eds., 2000) Examining Hungarian learners achievements in English. Budapest: The British Council. Alderson, C.J. & Öveges E. (2000) Pilot test booklet design. In: Alderson, C.J. & Öveges E. (eds.) Examining Hungarian learners achievement in English. Budapest: The British Council. Bachman, L.F. & Palmer, A.S. (1996) Language testing in practice. Oxford: Oxford University Press. Bárdos J. (2002) Az idegen nyelvi mérés és értékelés elmélete és gyakorlata. Budapest: Nemzeti Tankönyvkiadó.

16 Coleman J. A., Grotjahn R., & Raatz U. (2002). University language testing and the C-Test. Bochum: AKS Verlag. Csillagné A. E. (2001) Nyelvpedagógus dilemmák az ezredforduló Magyarországán. Modern yelvoktatás 7/ Csölle A., Kontráné H.E. & Kormos J. (2001) Mire használja az egyetemista az idegen nyelvet? A kérdőívkészítés tanulságai. yelvi Mérce I/ Dávid G. (2001) Quality control in language testing in resource-poor educational contexts. novelty 8/2, Fekete H., Major É. & ikolov M. (eds., 1999) English language education in Hungary. Budapest: The British Council. Gáborján K. & Sugár A. (1999) Az ITK-ban nyelvvizsgázók 1998-ban. Adatok és érdekességek. yelvvizsga Fórum 2/ Hock I. (2001). Constructing and validating a test of English for teaching purposes. Ph.D. disszertáció. Budapest: ELTE BTK. Hughes, A. (1989, 2003) Testing for language teachers. Cambridge: Cambridge University Press. Kormos J., Kontra E. H. & Csölle A. (2002) Language wants of English majors in a non-native context. System 30/4, Lengyel Zs., Andor J., Berényi S., Borgulya Á., Dávid G., Fekete H., Heltai P., émeth Zs. & Völgyes Gy. (szerk. 1999) Államilag elismert nyelvvizsgák akkreditációjának kézikönyve. Budapest: Professzorok Háza. Lénárd S. & Rapos. (2000) A felsőoktatás modernizálásának néhány tendenciája. Modern Pedagógia 100/ Terestyéni T. (2000) Az idegennyelv-tudás alakulása Magyarországon a kilencvenes években. Educatio 9/

17 MELLÉKLETEK 1. Információ átviteli feladat (minta) Please read the following text carefully and fill in the table below about attitudes and second language learning. In the table + indicates positive attitude and - negative attitude. Lambert (1974) distinguishes additive and subtractive bilingualism. In the former learners maintain their first language (L1), adding the second language (L2) to their linguistic repertoire. In such cases, learners may become balanced bilinguals. This is likely to occur when such learners have a positive view of their own ethnic identity and of the target-language culture. In the case of subtractive bilingualism learners replace their L1 with the L2, failing to develop full competence in their mother tongue or, in some cases, actually losing competence that has already been acquired. This arises when learners have a low estimation of their own ethnic identity and wish to assimilate into the target-language culture. When learners have negative attitudes towards both their own culture and that of the target language, semilingualism may result. That is, the learners may fail to develop full proficiency in either language. It should be noted, however, that semilingualism (so defined) is a controversial notion, as it runs the danger of depicting as deficit what is in fact only difference, and that the native L1 language competencies of poor minority language children may be fully functional in the out-of-school contexts in which they are used. This point has already been made with reference to Heath's work on black and white children and is further discussed in Edelsky et al Monolingualism (i.e. the failure to acquire the L2) is associated with a strong ethnic identity and negative attitudes towards the target-language culture. Of course, the relationship between ethnic attitudes and the different kinds of 'lingualisms' is not absolute. It does not follow, for instance, that learners with negative attitudes towards the target-language culture will invariably fail to learn the L2, as other factors (such as instrumental needs) can affect the outcomes. Type of second language acquisition Monolingualism Additive bilingualism Native culture - Attitudes towards Target culture +

18 2. Hézagkitöltéses összefoglaló Read the following text carefully. Complete the summary of the text by writing ONE OR TWO WORDS into the gaps. These men were prototypes of the Vikings, according to archeologists who have been quietly excavating this ship and two others like it from a Danish bog called Nydam Mose. The ships and weapons, which were thrown into a freshwater lake that covered the site back them, are not only shedding light on the origins of Viking traditions but also illuminating the darkness of Iron Age history in northern Europe. As archeologists recover more artifacts, they can better grapple with fundamental questions: How and why did coastal ships end up in a lake two miles inland in the first place? How did people like during that time? Was life more violent than today? To answer these questions, archeologists offer a hypothetical scenario in which the fortunes of the warriors turned against them that day long ago. When the ship's keel bit into the sand, the warriors hopped over the gunwales into the icy water. As a numbing rain slanted out of a bone-colored sky, they dragged their five-ton ship onto the beach, then marched into the woods, and after a time came upon a village near a lake. A dozen thatch-roofed long-houses sheltered families with their livestock. Smokehouses, a blacksmith's forge, and other small buildings filled out the settlement. When the warriors attacked, young men scrambled outside, ready for the fight. The intruders, outnumbered, soon perished at the hand of the locals. The victors trudged off in the direction their attackers had come from and eventually found the empty ship. The next day they rigged horses to the vessel and hauled it inland to the lake. Once there, the men set about smashing belongings collected from the bodies of the warriors: swords, lances, axes, and personal effects like coins, lockets even tweezers and fingernail cleaners. The villagers fractured wooden spears and ax handles, splintered arrow shafts, and bent arrowheads. The blacksmith took the swords, each as valuable as a horse, bent them into tortured shapes, and hurled them into the lake. The villagers believed that sacrificing such treasures would express gratitude for the victory to the gods believed to inhabit the lake. Someone hacked open the hull. As water gushed in, the villagers nudged the ship away from the bank, chanted prayers to the gods of the tribe. They slaughtered some horses and threw them into the water. Then they watched the ship heel over and slip beneath the surface.

19 Researchers of the Viking history found ships and weapons in a lake two miles from the sea shore in (1). The excavation of the ships and other artifacts can help archeologists to (2) how Vikings lived in the Iron Age, and how these ships ended up in the (3) lake. It is (4) that when the warriors' ship touched land, they (5) into the cold water, dragged the ship to the beach, and after crossing a forest, they attacked a village not far from a lake. As the villagers were far (6) in number, all the warriors (7) in the fight. The victors soon came upon the attackers' (8) and dragged it to the lake with (9). The villagers (10) everything they found in the ship, and no matter how (11) they were, they (12) them into the lake, and finally they also made the ship (13). With this act they wanted to show that they are (14) for the victory to the gods who live in the lake. 3. Hibajavítás 1. típus: TOEFL mintájú feleletválasztós lépések Not long ago I filled up at a petrol station being near the motorway. A B C D The sudden strong snowfall produced many grave accidents on the roads. A B C D 2. tipus Hibafelismerés egyszerű feleletválasztással A. The attendant loked at me so if he did me a favour. B. The attendant looked at me as if he was doing me a favour. C. Both are correct D. Neither are correct A. I know I will not have such an opportunity none too soon. B. None too soon will I have such an opportunity. C. Both are correct D. Neither are correct 3. típus: Hibajavítás összefüggő fogalmazásban *My parents were more strickt with me. I have to do all kinds of houseworks, for

20 My parents were stricter with me. I had to do all sorts of chores/housework, example in the house, in the garden. in the house and in the garden. 4. típus Hibajavítás izolált mondatok fordításában *The sadest eyes I have ever seen were that old man I met with a month ago. The saddest eyes I have ever seen belonged to that old man whom I saw a month ago.