RÖVID SZÖVEGES VÁLASZOK SZEMI AUTOMATIKUS KIÉRTÉKELÉSE

Átírás

1 RÖVID SZÖVEGES VÁLASZOK SZEMI AUTOMATIKUS KIÉRTÉKELÉSE SEMI AUTOMATIC EVALUATION OF SHORT TEXT ANSWERS Sima Dezső, Miklós Árpád, Schmuck Balázs, Szöllősi Sándor Budapest Műszaki Főiskola Neumann János Informatikai Kar Összefoglaló A tudásalapú társadalom előtérbe kerülése és a felsőoktatás tömegesedése világtendencia. Így a tudás felmérése egyre nagyobb ráfordítást igényel a tudás átadásához képest, ennek hatására jelentek meg az első tudáskiértékelő rendszerek az 1970-es évektől kezdődően. A távoktatás gyors térhódítása további igényeket támasztott e rendszerek iránt. Az ismertté vált tudáskiértékelő rendszerek közös jellemzője az, hogy nem támogatják az intelligens feladattípusokat, mint például rövid szöveges feladatok (2-3 mondatos válaszok), vagy részlegesen megoldott matematikai feladatok kiértékelését. Az IBM Magyarország és a BMF Neumann János Informatikai Kara gesztorálásával létesített Intelligens Tudáskiértékelő és Innovációs Központ keretében kifejlesztett emax kísérleti intelligens tudáskiértékelő rendszer célja a nevezett, gyakran előforduló vizsgakérdés típusok kiértékelése. Előadásunkban bemutatjuk az emax rendszer rövid szöveges válaszok kiértékelését végző modulját, kitérve elsődlegesen a kiértékelés alapjául szolgáló választér formális leírására, valamint az elkészült emax rendszer β-verziójának tesztelési eredményeire. Kulcsszavak Intelligens kiértékelő rendszerek, Tudáskiértékelő rendszerek, rövid szöveges kiértékelés Abstract The emergence of the knowledge based society and the resulting rapid expansion of student numbers enrolled in higher education is a global trend. However, the effort necessary to expend in assessing knowledge acquisition is growing in proportion to the time required by knowledge transfer itself. As a result, the first Knowledge Assessment Systems (KAS s) began to appear starting in the 1970 s. The quick proliferation of distance learning systems also gave rise to new requirements expected of such systems. KAS s published to date have a common characteristic: they do not provide intelligent assessment modules for e.g. the evaluation of freely formulated short answers of 2-3 sentences or partially solved mathematical problems. The emax KAS, developed at the Intelligent Knowledge Management Innovation Center established under the sponsorship of IBM Hungary and the John von Neumann Faculty of Informatics at Budapest Tech, aims to provide the capability outlined above to support the assessment of these frequent examination question types. Our presentation covers the short text evaluation module of the emax KAS, with special focus on the formal description of the answer space that serves as the basis for the evaluation as well as the description of the first test results obtained using the beta version of the completed emax system. Keywords Intelligent Assessment Systems, Knowledge Assessment Systems, Short Text Evaluation 1

2 1. Bevezetés 1.1 Motiváció A karunkra felvett hallgatók száma az utóbbi évtizedben közel ötszörösére emelkedett, így nappali tagozaton az évente felvett Mérnök Informatikusok száma már elérte a 400 főt, míg esti tagozaton a 100 főt. Ekkora hallgatói létszám esetén egy évközi zárthelyi vagy évvégi vizsga kijavítása igen nagy energiaráfordítást igényel az oktatóktól. Annak érdekében, hogy a nagyszámú hallgatói dolgozatok javítása, értékelése lényegesen hatékonyabb legyen, öt évvel ezelőtt egy belső projektet indítottunk, melynek célja egy intelligens tudáskiértékelő rendszer (TKR) kifejlesztése volt. A projekt első lépéseként széles körű irodalom kutatást végeztünk [1], [2] és kifejlesztettünk egy Evita [3] nevű tesztrendszert, annak érdekében, hogy ellenőrizzük a rövid szabad szöveges válaszok szemi automatikus kiértékelhetőségét. Az elsődleges pozitív eredményekre alapozva 2005-ben az IBM Magyarország és a BMF Neumann János Informatikai Kara létrehozta az Intelligens Tudáskiértékelő és Innovációs Központot (ITIK), melynek keretében megindult egy intelligens szemi automatikus TKR kifejlesztése. Az elvégzett K+F munkák eredményeképpen 2007 szeptemberére elkészült az emax rendszer α verziója. Az őszi félévben történt teszteléseken felgyülemlett tapasztalatok, észrevételek alapján a rendszert továbbfejlesztettük s január 31-én bemutattuk az emax rendszer β verzióját, melyet jelenleg is tesztelünk. Az egyszerű passzív kérdéstípusokon túl (pl: tesztkérdések) az emax képes arra, hogy rövid (2-3 mondat) szabadon megfogalmazott szöveges hallgatói válaszokat, és részben megoldott matematikai feladatokat értékeljen ki szemi automatikus módon. Jelen publikációnkban és a kísérőpublikációban [4] az emax rendszer két intelligens kiértékelő modulját mutatjuk be. Cikkünk második fejezete áttekintést ad az emax rendszerről. A harmadik fejezetben ismertetjük a kiértékelés alapjául szolgáló formális leírási metódust, illetve az ezt jelentő választeret. A negyedik fejezetben bemutatjuk az emax rendszerrel történő vizsgáztatás menetét. Végezetül az ötödik, illetve hatodik fejezetekben összefoglaljuk a tesztelési eredményeket s következtetéseinket. 2. Az emax rendszer áttekintése Az emax rendszert úgy terveztük, hogy különféle vizsgatípusokat támogasson, az egyszerű óravégi villámfelméréstől az év közbeni zárthelyiken keresztül, az évvégi vizsgákig bezárólag. Az egyes vizsgákon az oktatók passzív és aktív kérdéstípusokat alkalmazhatnak. Az emax megvalósítása során az alábbi főbb szempontokat vettük alapul: a) a rendszer nyílt hálózati protokollon keresztül legyen elérhető mind lokális, mind pedig globális hálózatról; b) szerver oldalon a rendszer platformfüggő, a megvalósítás.net környezetben történt; c) a biztonságot és a felhasználói tapasztalatokat figyelembe véve az emax β verziója jelenleg vastag kliens architektúrát alkalmaz, de a későbbiekben vékony kliensű verzió megvalósítását is tervezzük; és d) a kliensek a szerver megvalósításához hasonlóan.net környezetben készültek el, s így platformfüggőek. Összefoglalva az emax rendszer egy nyílt hálózaton alapuló rendszer, mely mind szerver, mind kliens oldalon platformfüggő, s jelenleg korlátozott hozzáférést biztosít a hallgatók részére. 2

3 3. Az emax intelligens szövegértékelési modulja 3.1. Elvárások az intelligens szövegértékelési modullal szemben Amíg az emax α verziójában a rövid szöveges válaszokat még egyetlen mondatra korlátoztuk, addig a év elején bemutatott, β verzió már képes két vagy három mondatból álló hallgatói válaszok kiértékelésére is. Megjegyezzük, hogy a hallgatói válaszok méretének 2-3 mondatra való korlátozása nem jelent különösebb megkötést, mivel tapasztalataink szerint szinte minden hosszabb választ igénylő kérdés felbontható részkérdésekre, melyek egyenként megfogalmazhatóak két vagy három mondatban. A rendszer tervezésekor abból indultunk ki, hogy az emax üzemi szintű implementációja képes legyen a válaszok 80-90%-ának automatikus kiértékelésére, illetve a oktatói ellenőrzésre utalt dolgozatok értékelésével kiegészítve a kiértékelés eredménye -a pontozást tekintve- kevesebb, mint 7,5%-al térjen el a tisztán kézi kiértékelés eredményétől. Az α verzió tesztelése közben felgyülemlett tapasztalatok alapján kiegészítettük a választeret meghatározó formális leírást, kibővítettük a szinonima s antoníma szótárakat, bevezettük a durván hibás kulcsszavak (kakonimák) fogalmát, kidolgoztunk egy szabályrendszert mely képes megbecsülni a javítás jóságát, s ennek alapján azonosítani a rendszer által oktatói ellenőrzésre kiadandó hallgatói válaszokat. Ezen fejlesztések az emax rendszer β verziójában már elérhetőek Az emax rendszer intelligens rövid szöveg kiértékelő moduljának alapvető megközelítése Az intelligens kiértékelés alapja a válaszok formális leírása egy u.n. választér nyelvtan (VTN) segítségével. A definiált VTN az alábbi 3-as által írható le: VTN = (A i, B i,j, C i,k ) ahol A i : az ismert választípusok halmaza, B i,j : az A i választípusokhoz tartozó szintaktikai szerkezetek halmaza. Minden A i választípushoz tartozik egy alap szintaktikai szerkezet, melyet B i,1 nevezzünk, és normálalaknak tekintünk, minden más szintaktikai szerkezetet B i,j (j 1), alternatív szintaktikai szerkezetnek tekintünk; és C i,k : a B i,j szintaktikai szerkezetben található szerkezet meghatározó kulcsszavak (SZMK-k) halmaza. Az alap szintaktikai szerkezetben (B i,1 ) az SZMK-k sorrendjét az indexük jelöli (pl.: C i,1, C i,2, C i,3 ), míg az alternatív szintaktikai szerkezetekben sorrendjüket a megfogalmazási forma határozza meg. A Mérnök informatikus szakon előforduló számonkérések elemzése alapján az emax β verziójában öt szerkezet maghatározó kulcsszavakkal rendelkező választípust definiáltunk, ezek az alábbiak: két-elemű feltételes válaszok (ha - akkor szerkezet), három-elemű feltételes válaszok (ha akkor - egyébként szerkezet), ok meghatározó válaszok, cél meghatározó válaszok, 3

4 összehasonlítások. Ezen túlmenően definiáltunk egy hatodik választípust is, mely nem rendelkezik szerkezet meghatározó kulcsszavakkal, így szintaktikai analízisre ennél a választípusnál nincs szükség. A alap szintaktikai szerkezetek SZMK-kból (Constructors - C i,k ) és Kijelentésekből (Statement - S k ) épülnek fel, ezt szemlélteti a 1. ábra. C 1,1 S 1 C 1,2 S 2 C 1,3 S 3 1. ábra: Példa egy alap szintaktikai szerkezetre, (Három-elemű feltételes válasz normál alakja). Az egyes kijelentések állhatnak szubjektumokból és predikátumokból, úgy hogy minden szubjektumhoz tartozhat egy, vagy több predikátum és fordítva, egy vagy több szubjektum tartozhat ugyanazon predikátumhoz. A szubjektumokat és a predikátumot összefoglaló néven, elvárt tudáselemnek nevezzük. Az oktatói/hallgatói válaszokban a szerkezet meghatározó kulcsszavakon és elvárt tudáselemeken kívül megjelenő szavakat az emax nem veszi figyelembe. A választér: a VTN egy választeret (VT) feszít ki. VT formális leírásához szükségünk van minden választípushoz (A i ) a lehetséges szintaktikai szerkezetek formális leírására (B i,j ), s a hozzájuk tartozó SZMK-k (C i,k ) megadására. Példaként a 2. ábra a három-tagú feltételes választípushoz tartozó alap, illetve alternatív szintaktikai szerkezeteket szemlélteti, a hozzájuk tartozó SZMK-kkal együtt. B I,1 : C I,1 S 1 C I,2 S 2 C I,3 S 3. B I,1 : S 2 C I,1 S 1 C I,3 S 3. B I,1 : C I,2 S 3 C I,1 S 1 C I,3 S 2. B I,1 : C I,1 S 1 S 2 C I,3 S 3. ahol: C I,1 = {ha; hogyha; amennyiben; feltéve, hogy; feltételezve, hogy; amikor} C I,2 = {akkor; abban az esetben; úgy} C I,3 = {egyébként; különben; máskülönben; másként; amúgy; egyébiránt; más esetben} 2. ábra: Alap és alternatív szintaktikai szerkezetek, három-tagú feltételes választípus esetén (ha akkor - egyébként szerkezet). Az egyes nyelvtani elemek alapján generált VT egy fa segítségével szemléltethető, ahol a fa különböző szinteken elhelyezkedő csomópontjai az A i, B i,j, C i,k hármas egy-egy kombinációját reprezentálják, míg a fa levelei a lehetséges megfogalmazási formákat (F i,r ) jelentik. 4

5 AS A: i A 1 B: i,j B 1,1 C : i,1 C 1,1 C : i,2 C 1,2 C : i,3 C 1,3 F 1,1 F 1,1 : C 1,1,1 S 1 C 1,2,1 S 2 C 1,3,1 S 3 3. ábra: A VT bemutatása fa segítségével. A választér kifejező erejét a választérben található megfogalmazások száma (F i,r ) jelzi, mely nem más, mint a választípusokhoz (A i ) tartozó szintaktikai szerkezetek (B i,j ), valamint a szerkezet meghatározó kulcsszavak (C i,k ) lehetséges kombinációk szorzatainak összege. Például a három-tagú feltételes választípushoz tartozó, az emax β verziójában megvalósított lehetséges megfogalmazások száma közelítőleg: (7*3*6) + (7*6) + (7*3*6) + (7*6) = 336 A VT-ben található megfogalmazások folyamatos karbantartásával, (A i, B i,j és C i,k hármas bővítésével) növelhető a szintaktikai analízis eredményessége, valamint a választér kifejező ereje. 3.3 A hallgatói válaszok kiértékelésének főbb lépései: A számonkérés folyamán az egyes kérdésekre érkezett hallgatói válaszokat az emax eltárolja, majd az alábbi három fő lépésben kiértékeli: szintaktikai analízis, szemantikai analízis, és pontozás. Az egyes lépéseket az alábbiakban - terjedelmi korlátok miatt - csak közelítőleg tudjuk bemutatni. Szintaktikai analízis: A rövid szövegek szintaktikai analízisének első lépéseként az emax rendszer előbb végig pásztázza az oktatói választ, majd a hallgatói válaszokat, SZMK-kat keresve. A válaszokban felismert SZMK-k és azok sorrendje azonosítja az oktató, vagy a hallgató által használt megfogalmazási formát. Egy hallgatói válasz szintaktikai analízisének az alábbi három fajta eredménye lehet: 5

6 A hallgatói válaszban azonosított SZMK-k, illetve azok sorrendje egyértelműen hozzárendelhető egy adott megfogalmazási formához (F s,v ). Ebben az esetben F s,v meghatározza mind a válasz típusát, mind pedig a hozzá tartozó szintaktikai szerkezetet (B s,w ). Itt feltesszük, hogy az oktató válasza pontosan egy megfogalmazási formához rendelhető hozzá (F t,u ), és ezáltal meghatározható annak típusa, illetve szintaktikai szerkezete (B t,z ). Előfordulhat, hogy a válaszban található SZMK-k sorrendje több megfogalmazási formát is meghatároz pl.: F a,x és F b,y. A későbbiekben ismertetésre kerülő szemantikai analízissel számos esetben kiválasztható a megfelelő megfogalmazási forma. A felismert SZMK-k és azok sorrendje nem illeszthető az adott választípushoz tartozó megfogalmazási formák egyikéhez sem. Ebben az esetben az emax a választ kézi kiértékelésre utalja. Szemantikai analízis: A kiértékelés szemantikai analízisének folyamata három lépésre bontható: Az oktató által megadott válaszból, csak a válasz szempontjából releváns (lásd. 3. fejezet) elemeket -a szerkezet meghatározó kulcsszavakat (SZMK-k), valamint a kijelentéseket (S k )- vesszük figyelembe, s a szintaktikai szerkezet ismeretében az oktató válaszát a választípushoz (A t ) tartozó normál alakra (B t,1 ) transzformájuk, melyet a 4. ábra szemléltet. C 1,1 S 1 C 1,2 S 2 C 1,3 S 3 4. ábra: A normálalakra transzformált oktatói válasz három-tagú feltételes választípus esetén. A szintaktikailag azonosított hallgatói válasz szerkezeteket az adott választípus normálalakjára alakítjuk át. Egy erre vonatkozó példát mutat az 5. ábra, ahol a válaszban szereplő nem SZMK-kat W-vel jelöltük. W C 1,1 W C 1,2 W W C 1,3 W 5. ábra: Normál alakra átalakított hallgató válasz, három-tagú feltételes választípus esetén. Az elemzés során a hallgatói válaszokban az oktató válaszában szereplő szemantikailag lényeges kijelentéseket (S k ) keressük, figyelembe véve azok szintaktikailag meghatározott pozícióit. A keresési feladatot nagyban megkönnyíti, hogy mind az oktató, mind pedig a hallgatók válaszai a normál alakra történő transzformáció után egyazon szintaktikai alakban találhatóak. Jelen publikációnkban, terjedelmi korlátok miatt nem térünk ki az elemzés további részleteire, mint például a tagadások, a több szóból álló kifejezések vagy szándékos csalások kezelésére. A keresés során a hallgatói válaszban nyilvánvalóan nemcsak az oktató által meghatározott szemantikai kijelentéseket, hanem azok szinonimáit, antonímáit és kakonímáit is keressük. Pontozás: Vizsgakérdésenként az oktató megadja az elvárt tudáselemeket, illetve ezek szinonimáit, antonímáit. Végül az oktatónak meg kell határoznia a beérkező válaszokhoz tartozó pontozást az alábbi formában: 6

7 ahol, R i az i-dik kérdésre adandó pontszám s i,j az i-dik válaszban elvárt j-dik tudáselem, s i,j = 1 ha a tudáselem s i,j a hallgatói válaszban megtalálható helyes szemantikai pozícióban, más esetben s i,j = 0, w i,j az s i,j tudáselemhez társított súly, L i az adott kérdésre vonatkozó elérendő minimális pontszám. A szemantikai analízis végeredményét az emax válaszonként egy eredmény listában tárolja, melyből kiolvasható, hogy az elvárt tudáselemek megtalálható-e a válaszban, illetve ha megtalálhatóak, akkor szintaktikailag helyes környezetben vagy sem. A 6. ábra példaként szemlélteti a rendszer által elvégzett szemantikai analízis valamelyik eredményét. 6. ábra: Példa a szemantikai analízis eredményének megadására. A szemantikai analízis eredményének ismeretében az oktató által definiált pontértékek alapján (w i ) a rendszer megállapítja az adott hallgatói válasz pontértékét. Így például a 6. ábrán szereplő példa esetén az alábbi pontérték adódik: 4. A vizsgáztatás menete A 2008 januárjában elkészült β verzió működési modelljét az alábbi folyamatábra szemlélteti. 7

8 7. ábra: A vizsgázatás folyamatának nagyvonalú sémája Első lépésként az oktató megadja a kérdések szövegét, majd a rendszer segítségével definiálja a kezdeti oktatói választeret (OVT), mely az oktató által elvárt, helyes megoldásokat tartalmazza (az elvárt tudáselemeket, azok kapcsolatait, szinonimáit, antonímáit, kakonímáit, s az elvárt elemek pontozását). Ezt követően a vizsga összeállítása következik, melynek során az oktató megadja a vizsgára vonatkozó paramétereket (pl: számonkérés időtartama, ponthatárok, stb). Következő lépés maga a számonkérés. Miután a hallgatók befejezték a vizsgát, követően célszerű egy értékelést előkészítő fázis beiktatása, melynek során az oktató kérdésenként mintegy hallgatói választ áttekint, és ha szükséges, akkor a kezdetben definiált oktatói választeret pl: új szinonimák felvételével kibővíti. Az OVT ellenőrzésével növelhető a kiértékelés pontossága és automatizáltsága, ezt a visszacsatolást jelzi a 7. ábrán látható piros szaggatott nyíl. Az értékelés előkészítését követi az automatikus értékelés. A β verzióban az automatikus értékelés újdonsága az, hogy az emax egy kidolgozott szabályrendszer alapján hallgatói válaszonként megbecsüli a kiértékelés megbízhatóságát. A megbízhatónak ítélt válaszokat kiértékeli és lepontozza, míg a nem kellően biztos, vagy nem értékelhető hallgatói válaszokat ugyan kiértékeli s lepontozza, de oktatói ellenőrzésre utalja. Ez az eljárás igen nagy mértékben javítja az értékelés pontosságát. Az oktatói ellenőrzésre utalt hallgatói válaszok értékelése után az oktatói esetlegesen újra bővítheti, módosíthatja a választeret. Az OVT újbóli ellenőrzésével tovább növelhető a kiértékelés pontossága és automatizáltsága, ezt a visszacsatolást jelzi a 7. ábrán látható zöld pont-szaggatott nyíl. Ezt követően természetesen újabb gépi kiértékelésre van szükség. 5. Tesztelési eredmények A 2008 januárjában elkészült β verzió éles tesztelése mintegy 15 vizsga hallgatói válaszával történt. A tesztelések során sor került a hallgatói válaszok mind kézi, mind gépi értékelésére, és a két fajta értékelési módon kapott eredmények összevetésére. 8

9 Az alábbiakban ismertetésre kerülő 1. táblázat valamint a 8. és 9. ábrán látható kördiagramok a legutóbbi három, nagyobb hallgatói létszámú vizsga statisztikáit mutatják be. Míg a táblázatban az egyes esetek számát mutatjuk be, addig a kördiagramokon az egyes esetek százalékos megoszlását szemléltetjük. 1. táblázat: Éles tesztelési eredmények összesítése Vizsga sorszáma Hallgatói válaszok száma Eltérések esetszáma az oktatói és gépi pontozás között Oktatói ellenőrzésre utalt válaszok száma Oktatói ellenőrzésre utalt, hibásan értékelt válaszok száma Oktatói ellenőrzésre nem utalt, hibásan értékelt válaszok száma Összesen: % 28% 11% 7% A fenti táblázatban szereplő adatokat a következő két diagram szemlélteti: 8. ábra: az első kiértékelés eredménye: A kiértékelés automatizáltsági foka 9. ábra: kiértékelés eredménye az oktatói ellenőrzés után: a kiértékelés jósága Az 1. táblázatból kiolvasható, hogy az első értékelést követően a rendszer -a beépített szabályrendszer alkalmazásával- 611 hallgatói válaszból 169 hallgatói választ utalt oktatói ellenőrzésre, melyet a 8. ábrán látható diagramon százalékos megoszlásban is ábrázoltunk. A 9. ábra jól szemlélteti azt, hogy az oktatói ellenőrzés figyelembevételével, lényegesen javul a kiértékelés pontossága. Az 1. táblázat szerint manuális ellenőrzésre utalt hallgatói válaszok oktatói ellenőrzésének eredménye a következő: a 169 ellenőrzésre utalt válasz közül 9

10 66 esetben (11%) az oktatónak korrigálnia kellett a rendszer által adott pontszámot, míg 103 hallgatói válasz (17%) gépi értékelés során kapott pontszáma megegyezett az oktatói értékelés pontszámával, vagyis a rendszer helyesen értékelte az adott hallgatói válaszokat. Az oktatói ellenőrzésre nem utalt hallgatói válaszok közül pedig mindössze 42 olyan hallgatói válasz találtunk, melynél az oktató által adott pontszám eltért a rendszer által adott pontszámtól, ez az összes hallgatói válasz 7%-át tette ki. 6. KONKLÚZIÓ Az emax a tudáskiértékelő rendszereknek egy innovatív prototípusa, mely szemi automatikus módon képes kiértékelni rövid szabad szövegeket, illetve a részben megoldott matematikai feladatokat. Jelen publikációnkban bemutattuk a kiértékelés alapjául szolgáló formális leírási metodikát, valamint a kiértékelés főbb lépéseit. A 2008 januárjában elkészült β verzió tesztelése során kapott eredmények megközelítik az általunk kitűzött célokat, azaz a rendszer képes a válaszok 80-90%-ának automatikus kiértékelésére, és az oktatói ellenőrzésre utalt dolgozatok értékelésével kiegészítve a kiértékelés eredménye -a pontozást tekintve- kevesebb, mint 7,5%-al tér el a tisztán manuális kiértékelés eredményétől. Úgy véljük, hogy az emax fejlesztésének jelenlegi fázisában már mód nyílik arra, hogy a rendszer tesztelésébe más, érdeklődő felsőoktatási intézmények is bekapcsolódhassanak. Irodalomjegyzék [1] S. Szöllősi, D. Sima, B. Schmuck, The Design Space of the Services of Knowledge Assessment Systems, in Proc. 7th International Conference on Information Technology Based Higher Education & Training (ITHET), Sydney, 2006, pp [2] B. Schmuck, D. Sima, S. Szöllősi, The Design Space of the Implementation of Knowledge Assessment Systems, in Proc. 7thInternational Conference on Information Technology Based Higher Education & Training (ITHET), Sydney, 2006, pp [3] L. Csink, A. György, Zs. Raincsák, B. Schmuck, D. Sima, Zs. Sziklai, S. Szöllősi, Intelligent Assessment Systems for e-learning in Proc. 4th European Conference on E-Activities, E-Comm-Line 2003, Bucharest, 2003, pp [4] György Anna. Szénási Sándor, Vajda István, Szemi automatikus tudáskiértékelés a vektoralgebrai feladatok példáján, in Informatika a felsőoktatásban 2008 konferencia, Debrecen, 2008., elfogadva 10