A SZÁMÍTÓGÉPPEL SEGÍTETT VIZSGÁZTATÁS EGY SAJÁT FEJLESZTÉSŰ ALKALMAZÁSA Dr. Kadocsa László kadocsa@mail.duf.hu Dunaújvárosi Főiskola Ludik Péter luidikp@mail.duf.hu Dunaújvárosi Főiskola Willinger László willi@freemail.hu Dunaújvárosi Főiskola 1. Az értékelés módszere Az emberi tudás mérésének nagyfokú bizonytalansága miatt évtizedekkel ezelőtt kísérletek történtek az értékelés lehetőség szerinti objektivitásnak biztosítására. A pszichológiában alkalmazott különböző teszt-módszerek döntő segítséget jelentettek az objektív vizsgamódszer kritériumainak megfogalmazásában: Ezeket a kritériumokat sikerrel tudta megvalósítani az úgynevezett multiple-choice (többválasztásos) módszer, mely különböző írásbeli vizsgaformák továbbfejlesztéséből alakult ki, és használata nemzetközi viszonylatban is egyre jobban terjed. Az sem elhanyagolható tényező, hogy ehhez a feladatrendszerhez egyértelmű javítókulcs adható. Ennek segítségévek könnyen megtaníthatjuk a számítógépnek, hogyan kell helyesen kiértékelni az adott feladatsort, így az egész vizsgáztatás folyamata automatizálható. Természetesen maradnak még nyitott kérdések (min például az vizsgázó azonosítása), de a technika fejlődésével talán ezekre is lesz megoldás. A többszörös választás típusnál kettőnél több lehetőséget fogalmazunk meg, s közülük kell megjelölni a helyes választ. Követelmény, hogy az összes válasz reálisnak tűnjék. Ez azt a célt szolgálja, hogy elvonja (disztrahálja) a válaszadó figyelmét a megoldástól, ezáltal gondolkodásra, a megtanult ismeretek mozgósítására kényszeríti a tanulót. A nagyszámú kérdés, illetve feladat alkalmazása, melyek során a hallgatónak több adott válaszlehetőség közül kell kiválasztania a legmegfelelőbbet, lehetővé teszi, hogy egy tantárgy vagy tananyagrész szinte minden fontosabb részét kérdezhessük egy vizsga, évközi ellenőrzés során vagy az önértékelés folyamatában. 2. A kérdések összeállítása E munkát igen nagy körültekintéssel kell végezni, és ez azt jelenti tulajdonképpen a legnehezebb feladatot, miután a vizsga lebonyolítása és az eredmények kiértékelése már csak technikai kérdés. Az oktató feladata a jó kérdéssor összeállítása, mert hiába a mindentudó vizsgáztató-rendszer, ha az nincs feltöltve a megfelelő tartalommal.
A kérdések összeállításának főbb szempontjai: - A kérdéseknek reprezentálnia kell a követelményrendszerben meghatározott elvárásokat (learning autcoms) - A vizsgaanyag leglényegesebb részét öleljék fel. Számszerű adatok közül csak a leggyakrabban használatosak szerepeljenek. - Ne legyenek túl könnyűek, de ne túl nehezek se, alkalmazkodjanak a hallgatók reálisan várható, tudásához. - Az adott anyagrésznek megfelelő kérdéstípust válasszuk ki. - Tankönyv vagy kézikönyv használatát lehetőleg mellőzzük a feladatok készítésénél. - A fogalmazás legyen tömör, szabatos, és félreérthetetlen. - A vizsgaalapok legyenek könnyen áttekinthetők. Hangsúlyozni kell, hogy a lexikális, memoratív jellegű tananyag kérdésekben, történő feldolgozása aránylag egyszerű és ezért nagyon sokszor találhatók ilyen jellegűek a multiplechoice kérdések között. Nyilvánvaló, hogy nem ez a helyes megoldás, sokkal inkább kell törekednünk a lehetőség szerint minél nagyobb számban olyan feladatok konstruálására, melyekkel a hallgatók kombinatív készségét tudjuk lemérni. E követelmény megvalósításához igen nagy gyakorlatra, fáradságos, körültekintő munkára van szükség. 3. A program által használt kérdéstípusok Programunk elkészítésének célja egy olyan értékelési rendszer kialakítása, melyben a tanárok a lehető legnagyobb hatékonysággal tudnak értékelni. Ehhez szükség van olyan kérdéstípusok összeállítására, melyek az igen gyakran használt egyszerű kiegészítéses feladatokon túlmenően széles lehetőséget nyújtanak az értékeléshez. Ez a sokszínű rendszer lehetőséget ad arra, hogy azt, és úgy kérdezzünk, ahogy szeretnénk. A fenti leírás alapján vizsgáztató programunk kifejlesztésénél a multiple-choice kérdéstípusait vettük alapul: I. kérdéstípus: Egyszerű kiegészítés A legegyszerűbb és legjobban elterjedt kérdéstípus, melyben egy befejezetlen állításhoz vagy egy kérdéshez öt lehetséges válasz tartozik. (Azért öt, mert így 20%-ra csökken a véletlen találatok lehetősége, ha mindegyik alternatíva eqvivalens egymással). A vizsgázónak ezek közül kell kiválasztania a legmegfelelőbbet. A kérdés megfogalmazásában nagyon lényeges szempont, hogy az adott öt alternatíva között semmiképpen se szerepeljenek nyilvánvalóan helytelen válaszok. A helyes válaszon kívüli másik négy variáció közelítse meg bizonyos fokiga jó választ, így nagyon érzékenyen tudjuk mérni. Az öt variáció között szerepelhet egyik sem a fentiek közül lehetőség is. Pótolhatunk vele a helyes választól túlzottan távoli alternatívát, de természetesen konstruálhatunk úgy is feladatot, hogy az egyik sem a fentiek közül legyen a helyes válasz.
1. ábra Egyszerű kiegészítés feladat formája feltöltött médiaelemmel II. kérdéstípus: Négyféle asszociáció Egy másik asszociációs kérdéstípussal két komplex fogalom vethető egybe, melyek bizonyos jellemzőkben megegyeznek, másokban eltérnek egymástól. Kiválóan alkalmas a diszkrimináló, ítélő, valamint összehasonlító-készség mérésére. III. kérdéstípus: Ötféle asszociáció Ebben a kérdéstípusban a hallgatónak az egyes állításokhoz tartozó fogalmat kell kiválasztania. Kiválóan alkalmas bizonyos szakmai kategóriákba tartozó konkrét fogalmak, jelenségek pontos elkülönítésére, és egyben az e területen meglévő jártasság, differenciáló, asszociáló készség vizsgálatára. Fontos, hogy az adott fogalmakat lehetőleg teljes körűen jellemezzük, ehhez a programban 30 meghatározást adhatunk meg. IV. kérdéstípus: Reláció analízis Ez a kérdéstípus ok-okozati összefüggéseken alapszik, és ennek megfelelően a hallgatók logikai készségének, valamint elmélyült tudásának mérésére használható. A feladatok állításokat és indoklásokat tartalmaznak, amelyeknek értékelésében öt lehetőség adódik V. kérdéstípus: Mennyiségi összehasonlítás A jó vizsgáztatáshoz tartozik, hogy a megkövetelt számszerű adatokat a lehetőség szerint minimálisra redukáljuk és csak a gyakorlat szempontjából legjelentősebbeket kérdezzük. Ennek az elvárásnak felel meg a mennyiségi összehasonlítás kérdéstípus ami lehetővé teszi a számszerű adatok memorizáltatásának mellőzését. Abszolút mennyiségek helyett egyrészt csak nagyságrendi összehasonlításokat tartalmaz, másrészt lehetővé teszi bizonyos jelenségek összehasonlítását mennyiségi vonatkozásban
VI. Kérdéstípus: Többszörös kiegészítés Gyakran adódik olyan vizsgakérdés, amelyre több helyes válasz is lehetséges. Ilyenkor használható ez a kérdéstípus, amely az egyszerű kiegészítésből alakult ki. A feladatok megoldása során négy lehetőség közül kell választani, melyek között természetesen különböző csoportosításban lehetnek helyes és helytelen válaszok. VII. Kérdéstípus: Variációs összefüggés Jelenségek közötti összefüggések felismerésének kimutatására alkalmas kérdéstípus. Két fogalom vagy funkcionális kapcsolatban álló jelenség szerepel a feladatban, és a hallgatónak az összefüggés jellegét kell megállapítania. A következő két típus nem tartozik a multiple choice feladatrendszere közé, de szinte valamennyi értékelési rendszerben van hasonló kérdés. Olyan alaptípusokról van szó, amelyek a program kipróbálása során, mint oktatói igény jeleneztek. VIII. Kérdéstípus: Szöveg-kiegészítés A Szöveg-kiegészítés típusánál egy szöveget kell kiegészíteni a hallgatónak a megadott alternatívák alapján. Pontos definíciókat, a tananyag árnyalt értelmezését kérhetünk számon a segítségével. A feladat megadásakor az egyes szavakhoz öt különböző megoldást kapcsolhatunk, melyekből csak egy lehet a helyes. IX. Kérdéstípus: Esszé Ebben az esetben az oktató csak egy kérdést, gondolatot vet fel, amire a hallgatók esszé formában válaszolnak. Ezeket a válaszokat nem lehet a számítógéppel értékeltetni, hisz nehéz megmondani mi a jó válasz. Itt sérül ugyan az objektivitás, de a mindennapi rengeteg olyan feladat van, amit nem lehet objektíven, sablonokkal, definíciókkal megoldani. A program a kapott választ elküldi az oktatónak, aki értékeli. Esszé típusú kérdésnél csak a feladat meghatározást kell megadni, és szükség esetén a kívánt médiát. Megoldásként megadhatjuk az esszé vázlatát. Ez segítheti a tanulót az önértékelés folyamatában. 2. ábra Szöveg-kiegészítés feladat formátuma
4. A program működése, általános jellemzői: A programot úgy fejlesztettük, hogy minél egyszerűbb, de sokoldalú felhasználást tegyen lehetővé. Fontos jellemzője, hogy: - Web alapú, többfelhasználós program - Bárhonnan, bárki számára elérhető - Már meglévő távoktatási anyagokba beépíthető. - Nem igényel magas szintű informatikai ismereteket és előzetes telepítést a teszt kitöltőjének, és a tesztfeladatok készítőjének sem. - Egy központi helyen gyűlnek a feladatok, amelyek újrafelhasználhatóak, így tetszőleges számú és tesztsort készíthetünk belőlük. - A szerverprogramok megfelelő jogosultságok kiosztásával és figyelésével megvédik adatbázisunkat a nemkívánatos látogatóktól A program PHP nyelven készült szerver oldali alkalmazás. A programot egyidőben többen is használhatják, mindenki felhasználónévvel, és jelszóval védheti a feladatsorait. Egy szerver kiszolgálhat akár egy egész intézményt is. A kérdések feltöltője eldöntheti, hogy az adott feladatsort mikor teszi publikussá, vagy tiltja le a kitöltését. Otthonról, iskolából, bárhonnan és bármikor bejelentkezhetünk a rendszerbe, anélkül, hogy gépünkre bármilyen programot telepítettünk volna.. A program jelenleg a http://indy.duf.hu/multi címről indítható. Három fő részből áll: - 1. Bemutató felület Demó megtekintése gomb A menüpontot kiválasztva egy általános leírást kapunk a feleletválasztásos (multiple choice) típusú kérdésekre vonatkozóan. Lehetőségünk van a programban használható kilencféle feladattípus szerkezetének, és a hozzájuk tartozó konkrét példák megtekintésére. - 2. Feladatsorok megtekintése Ezen a felületen tölthetjük be a már elkészült feladatsorokat. Ha tudjuk az azonosítóját, akkor annak beírásával, vagy választhatjuk a feladatsorok listázását. (Természetesen itt csak azokat a feladatsorokat láthatjuk, melyeket a készítője publikussá tett, és a megjelenítését engedélyezte). A feladatsorok közötti eligazodást különböző rendezési szempontok segítik. A kiválasztott feladatsort kitölthetjük, és a végén megkapjuk az értékelést is. - 3. Bejelentkezés Ezt a menüpontot választva léphetünk be a feladatsorok szerkesztő felületére. Jelenleg a bejelentkezésnél szabadon választhatunk felhasználónevet és jelszót. Ezt megadva a program tudni fogja, hogy melyek azok a feladatsorok, melyeket az adott felhasználó készített. A feladatok szerkesztésénél vannak olyan lehetőségek, melyek minden adott feladattípushoz rendelkezésre állnak. Ilyenek például a feladat meghatározása, és a multimédia csatolása. Az egyes feladattípusok szerkezete azonban minden esetben más-más. Az állításokat, fogalmakat meg adhatjuk feladattípustól függően, de vannak esetek, ahol ezek előre definiáltak. A kérdéseket minden esetben megadhatjuk, vannak olyan típusú feladatok, ahol egy adott kérdéshez akár 30 válasz alternatíva is megadható. Ilyenkor megadhatjuk, hogy a program az általunk kitöltött 30 válaszlehetőség közül mennyit jelenítsen meg, a teszt kitöltésekor. A feladatok véletlen sorrendben követik egymást.
5. Tesztek kiértékelése A tesztprogram legfontosabb eleme a kiértékelő rész, ami egyrészt megadja az elért eredményt, másrészt megmutatja a helyes megoldásokat. A tesztek kitöltése után a program kiírja, hogy összesen hány darab kitöltendő válasz volt, ebből mennyi volt jó, ez hány százalékos teljesítmény, végül érdemjegyet javasol. A részletes értékelésnél megjelennek a feladatok a megadott válaszokkal. Minden válasz mellett jelölve van, hogy jó volt-e, ha nem, akkor az is, hogy mi lett volna a helyes válasz. Ezek összehasonlítása részletes képet adhat a tudásunkról. Ha a feladatsor szerkesztésekor bejelöljük, hogy a feladatsor bejelentkezést igényel, akkor az eredményeket a program eltárolja. Bejelentkezés után a kitöltött feladatsorok funkciónál, a feladatsor készítőjének lehetősége van ugyan ilyen részletességgel megnézni a kitöltés eredményét, illetve a kitöltő adatait, és a kitöltés időpontját. 6. Összefoglalás A program kifejlesztése során törekedtünk arra, hogy egyszerű, de jól használható eszközt készítsünk az elektronikus értékelés számára. Az Interneten böngészve több olyan alkalmazást találunk, amelyek a többválasztásos értékelési rendszert kívánják megvalósítani. Ezek túlnyomó többsége nem használja ki a multiple choice feladattípusok lehetőségeit, általában egy-egy kérdéstípus alkalmazására szűkül le a kérdésfeltevés. Törekedtünk arra, hogy megfeleljünk a mérésmetodológia elvárásaihoz a mérésekkel szembe. Ezek az elvárások: - Objektivitás A programba az esszé típusú kérdésen kívül minden kérdésre egy adott válasz lehetséges, a válaszok kiértékelésekor semmilyen szubjektív tényező nem befolyásolhatja az eredményt. - Validitás A kérdéstípusok sokszínűsége lehetővé teszi, hogy mindig a leginkább megfelelőt tudjuk kiválasztani, és hogy egyszerű de nem túl könnyű kérdéseket fogalmazhassunk meg. - Reliabilitás Lehetőségünk van arra, hogy egy adott kérdésre minél több válaszlehetőséget dolgozzunk ki, amelyek közül a program véletlenszerűen válogat. Így nagyobb az esélye annak, hogy a hallgató nem találkozik többször ugyanazzal a kérdéssel, és így a mérés számítható valószínűséggel hiteles lesz egy adott kérdéssor többszöri kitöltése után is. Gyakorlati szempontból a program előnyei között sorolható, hogy nem igényel különleges informatikai tudást a használata, az Interneten keresztül mindenki számára elérhető (ez jogosultságok kiosztásával korlátozható) és szabadon továbbfejleszthető, az alkalmazott programozási környezet általános elterjedtsége miatt. Az elkészült feladatbankból könnyen összeállíthatunk feladatsorokat, amelyeket megtekinthetünk és kipróbálhatunk. Egy egyszerű hivatkozást kell csak írnunk a dokumentumunkba, és a felhasználó erre rákattintva már ki is töltheti az adott tesztet. A kitöltő adatairól, és az elért eredményről akár e-mailt is kaphatunk, amennyiben ezt a feladatsor szerkesztőben beállítjuk. A fejlesztők reményei szerint egy egyszerű, jól használható eszköz áll az elektronikus értékelés és mérés rendelkezésére, de ezek hatékonysága leginkább a feladatok összeállításától függ. Ez a oktató feladata, amihez az elméleti hátér és a technológia adott.