HALLGATÓI KÉRDŐÍV ÉS TESZT ÉRTÉKELÉSE EVALUATION OF STUDENT QUESTIONNAIRE AND TEST Daragó László, Dinyáné Szabó Marianna, Sára Zoltán, Jávor András Semmelweis Egyetem, Egészségügyi Informatikai Fejlesztő és Továbbképző Intézet Összefoglaló Intézetünk minőségbiztosítási rendszerének lényeges eleme a hallgatói kérdőívek feldolgozása, értékelése és a kapott eredmények visszacsatolása az oktatási, számonkérési tevékenységbe. Az itt bemutatott elemzés a 007-008-as tanév első szemeszterének végén készült. A vizsgálatban első éves, egyszintű képzésben résztvevő hallgatók által az Orvosi informatika c. tárgy értékelésének néhány elemét mutatjuk be. A hallgatói kérdőívek a tantárgy által tartalmazott témakörökre, a tantárgy (kurzus) egészére, valamint az előadók, gyakorlatvezetők személyére, felkészültségére és a hallgatókkal kialakított kapcsolatra is vonatkozik. Elemezzük az elektronikus vizsgáztatás eredményeit ugyanerre a hallgatói mintára. Összefüggést keresünk a hallgatók által adott tantárgy-minősítés és a vizsgaeredmények között. A tantárgy által felölelt egyes témaköröket pozitív, és negatív szempontból egyaránt minősíthetik a hallgatók. A vizsgálat egyik lényeges eleme a hallgatók által pozitív módon kiemelt témakörök szerint csoportosított kérdőívek elemzése és egymással, valamint a vizsga teszten elért, a témakörökre vonatkozó eredményekkel. A vizsgálat szerint a vizsga eredmények és a hallgatók által adott, közvetlenül a vizsga előtti értékelés határozottan eltér. Kulcsszavak Hallgatói kérdőív, minőségbiztosítás, kurzus értékelés Abstract An essential element of our institute's quality assurance system is the processing of the student questionnaires, the feedback of their assessment and the received results into the educational and evaluation activity. The analysis, presented here made at the end of the first semester in the 007-008 study year. In the examination some elements of the assessment are presented. The first year students, participating in one-level training, listeners of Medical informatics course are affected. The student questionnaires on the topics implied by the subject, the whole subject (course) and the lecturers, on instructors' person, concerns their preparedness and the contact developed with the students. Results of the electronic examining the same students and course are also analysed. A context between the subject classification given by the students and the exam results had been looked also. The individual topics covered by the subject were qualified by the students in positive and negative viewpoints equally. One of the essential elements of the examination is the analysis of the questionnaires grouped by the listeners according to topics emphasized on a positive manner and with each other, and the exam got away on a test, with the results concerning the topics. According to the examination the exam results and the listeners valuing them resolute before the exam differs directly. Keywords Student questionnaire, quality assurance, course evaluation
Bevezetés Az Egészségügyi Informatikai Fejlesztő és Továbbképző Intézet a Semmelweis Egyetem Általános Orvostudományi Kar intézeteként egészségügyi informatikai, illetve orvosi informatikai képzést végez. Teljes egészében működteti az Egészségügyi Ügyvitelszervező (BSc), Egészségügyi Informatikai Menedzser (egyszintű, illetve MSc) szakokat, ezen túl az Orvosi informatika című tárgy oktatását végzi az Általános Orvostudományi Kar, a Fogorvostudományi Kar valamint a Gyógyszerésztudományi Kar hallgatói számára magyar, angol és német nyelven, valamint részt vesz a rezidensképzésben is. A 007-008. tanév első szemeszterének végén kérdőíves felmérés történt (többek között) a FOK hallgatóknak az intézet által tartott kurzus, valamint az abban előadást, illetve gyakorlatot tartó oktatók értékeléséről. Jelen tanulmányban a hallgatói kérdőívek, valamint ugyanezen hallgatók vizsgaeredményeinek néhány szempontból történt feldolgozásának eredményét mutatja be. Eszközök és módszerek A hallgatói kérdőív kitöltése A hallgatói kérdőívet a hallgatók a vizsgájuk megkezdése előtt kapták meg. A kérdőív papír alapú, így lehetőség volt a kérdések megválaszolása sorrendjének felcserélésére, egyes kérdésekre adott válasz átértékelésére, módosítására, kihagyására. A kitöltés anonim módon történt, ismételt vizsga esetén nem volt indokolt. Az egyes kérdéseket a szöveges válaszadásúakat kivéve a választ -5 skálán bejelölve válaszolhatták meg a hallgatók. A vizsgát felügyelő oktató nem ellenőrizte azt, hogy a hallgató valóban kitöltötte-e a kérdőívet, ennek ellenére a hallgatói létszámmal összevetve 95%-os volt a kitöltési arány, ami még a személyes kontaktusú kérdőíves részvételekhez képest is nagyon jó arány (Kósa et al, 007). A kérdőívek összegyűjtése után az erre a célra kialakított Ms Access adatbázisba oktató rögzítette, majd dolgozta fel az adatokat. A vizsgáztatás menete Az orvosi informatika tárgy vizsgája elektronikusan történik. Az elméleti előadások minden esetben Powerpoint bemutatóval tartják az előadók, az előadások diáit az intézeti honlap felelőse, vagy maga az előadó az előadások megtartása után feltölti az intézeti szerverre. A szerverhez minden hallgató rendelkezik csoportos belépési azonosítóval és jelszóval, amely az általános és közérdekű információk mellett kizárólag az adott hallgatói csoport előadásainak letöltésére ad lehetőséget. Az idegen nyelvű hallgatók természetesen csak a saját, idegen nyelvű bemutatóikhoz férnek hozzá. A vizsgák anyaga az elméleti előadásoknak a honlapon is elérhető prezentációi alapján készül. A adott előadás megtartója minimum 5 (általában 0) tesztkérdést készít. A kérdések között legyen egyszerű válaszadásos, többszörös helyes és többszörös helytelen válaszadásos, valamint reláció analízis. Csak olyan kérdés kerülhet a vizsgakérdések közé, amely a feltöltött előadás diák alapján ellenőrizhetően szerepelt és le lett adva az előadáson. Minden kérdéstípusnál öt lehetséges válaszból kell a hallgatónak kiválasztani a helyes választ. A jelen tanulmányban említett teszt a 0 kérdésből állt. A kérdések egy kérdés adatbázis véletlen mintájának véletlen sorrendjében kerülnek a hallgató monitorjára. Bár a hallgatók számítógépes tanteremben írják a tesztet, ahol óhatatlanul láthatják a szomszéd monitorját, nagyon kicsi a valószínűséges, hogy ugyanazt a tételsort kapják, ráadásul még abban az esetben is, ha ugyanazt kapnák, a kérdések sorrendbe különböző.
. ábra - A SE EII elektronikus vizsga felülete. ábra - Az eredmény közlése
A válaszadási idő kérdésenként perc, de a hallgató az összes idővel gazdálkodik, így átvihet időt egyik kérdésről a másikhoz. A fennmaradó idő folyamatosan látható (. ábra). Visszalépés nem lehetséges, így ha egy választ elküldött a hallgató, javításra nincs lehetőség. A teszt befejezésekor a hallgató azonnal látja az eredményt (. ábra). A rendszer az összes kérdést és az adott válasz tárolja a vizsgarendszer adatbázisában, így később dokumentáláshoz és statisztikai célra egyaránt felhasználható. Eredmények A kérdőív során megkérdeztük, hogy a kurzus során hallgatott témakörök közül melyiket tartja hallgató a leginkább és legkevésbé hasznosnak tanulmányai szempontjából. A. ábra a kurzus egyes témakörei hasznosságának megítélését, ugyanakkor a számítógépes teszt megoldása során kapott eredményeket ábrázolja. A hasznosságot a leghasznosabbként való említésnek az összes említéshez viszonyított aránya jelenti. Az oszlopok a leginkább hasznosnak ítélt témakörökként említést ábrázolják az összes említés arányában. A függőleges vonalak az adott témakörben elért teszteredményeket ábrázolják a legalacsonyabb, legmagasabb, illetve átlagos százalékos értékben. 00% 00% 75% 75% 50% 50% 5% 5% 0% 0% WEB.0 intelligens kártya. ábra Hasznosság és teszteredmény Fogorvostan hallgatók lévén nem meglepő az orvosi (informatikai) ismeretek favorizálása, az azonban már igen, hogy ehhez képest a leggyengébb vizsgaeredmények születtek. A kettes érdemjegy eléréshez 60%-os helyes válaszadási arány volt szükséges. A témakör pozitív megítélésének és az ezt a megítélést adó hallgató vizsgaeredményeinek átlaga -0,76-os korrelációt mutat. A. ábra az egyes témaköröket leghasznosabbként megjelölt hallgatóknak a kurzus egészének megítélést mutatja a hallgató vizsga előtt önértékelése szerint, párhuzamosan az egyes témakörökben elért teszteredménnyel. A diagram szerint az et kedvelő hallgatók kivételével a hallgatók messze túlértékelték tudásukat.
90% 80% 70% 60% 50% 0% 0% 0% 0% 0% Intelligens kártya WEB.0 Teszt átlaga Tudás a témáról a végére. ábra Önértékelés és teszteredmény összehasonlítása A témáról meglévő tudás és a vizsgaeredmények korrelációja -0,8. (Megjegyzés: vajon mit mutatna az az ábra, amit a vizsga után töltöttek volna ki a hallgatók?) Az 5. ábra az egyes témakörök hasznosságát, valamint a hasznossági értéket a kurzus -5 skálán történő összértékelésével súlyozva ábrázolja az adott témakörben elért vizsgaeredményekkel. Látható, hogy a témakörök hasznosságának megítélése a hallgató általi kurzus összértékeléssel súlyozva sokkal kiegyenlítettebb. Meglepő, hogy az hasznosságának megítélése a súlyozással az utolsó helyről az első helyre került. Ezek után nem meglepő az témakörében elért a többi témakörhöz képesti - jó eredmény. 00% 90% 80% 70% 60% 50% 0% 0% 0% 0% 0% WEB.0 intelligens kártya Hasznosság Összértékeléssel súlyozva Teszt átlag 5. ábra Hasznosság és teszt átlag 5
Itt a korrelációs együttható (-0,75) abszolút értéke jóval nagyobb, azaz a témakör hasznosságának megítélése és a teszteredmények úgy tűnik, még ellentétesebb tendenciát mutatnak a leghasznosabbnak vélt témakörök megítélésében. A tesztátlagok csak az és a digitális aláírás, valamint titkosítás témakörökben vannak a súlyozott hasznossági megítélés felett.,5,5,5,5 0,5 0 Célok_megfogalmazása Célok_teljesítése Célok_relevanciája Tartalom_relevanciája Logikai_felépítés Átadott_ismeret_mennyiség Új_ismeret_hozzájárulása Érdeklődést_fokozta_e Tudásom_ a témáról_a_végére Kurzus_összességében Intelligens kártya WEB.0 6. ábra Válaszok a leghasznosabbnak ítélt témaköröket jelölő válaszadók szerint,5,5,5 Célok_megfogalmazása Célok_teljesítése,5 Célok_relevanciája Tartalom_relevanciája 0,5 0 Intelligens kártya WEB.0 Logikai_felépítés Átadott_ismeret_mennyiség Új_ismeret_hozzájárulása Érdeklődést_fokozta_e Tudásom_ a témáról_a_végére Kurzus_összességében 7. ábra Szempontokra értékelése a leghasznosabbnak megítélt témaköröket választó hallgatók szerint A 6. és 7. ábra az egyes indikátorok átlagos értékét mutatja a leghasznosabbként feltüntetett témakörök szerint. A két ábra egymás transzponáltja. A 6. ábrán látható, hogy pl. a digitális aláírás iránti érdeklődés, az átadott ismeretek mennyiségének és az új ismerettel történő hozzájárulás megítélése alacsony, ugyanakkor a kurzus végére szerzett tudás értékelése jónak mondható, míg a célok teljesítése szempontjából a legjobb mutatót kapta. Az szinte minden mutató szerint a legjobb eredményt érték el, ugyanakkor a kurzus végén meglévő tudásban elbizonytalanodást mutatnak az indikátor. Érdekes, hogy az t tartották a hallgatók a leglogikusabbnak felépített témakörnek, miközben a legérdektelenebbnek vélték. 6
A 8. ábra buborékdiagramot ábrázol, ahol a vízszintes tengely a kurzus összességében történő értékelését, a függőleges pedig az érdeklődést fokozta-e kérdésre adott együttes válaszokat tartalmazza. A buborékok nagysága a válaszok előfordulásával arányos. Az ábrán látható, hogy a hallgatók a kurzust inkább érdektelennek tartják. Ez leginkább a közepes kurzus-értékelés melletti lecsengő érdeklődés mutatja. 6 5 0 0 5 6 8. ábra Kurzus értékelése és a kurzus iránti érdeklődés Ugyanilyen módon ábrázolva a témáról (a kurzus egészéről) szerzett tudást éppen ellentétes önértékelés és vélemény látszik (9. ábra). A hallgatók a kurzus anyagából meglévő tudásukat jóval magasabbra értékelik, mint magát a kurzust. A vízszintes vastag piros vonal a teszteken elért átlagos eredményeket mutatja. Mivel alapesetben a 60%-os eredmény értékelése kettes, így látszik, hogy az önértékelés és a teszt által adott értékelés erősen különbözik. (A 9. és. ábrákat összevetve megjegyzendő, hogy a. ábra a kérdéscsoportra adott válaszok eredményességét, míg a 9. ábra a teljes teszt eredményességét ábrázolja.) 7
6 5 57% 0 0 5 6 9. ábra Kurzus értékelése és a témáról szerzett tudás Következtetés A kérdőívek értékelése és a vizsgaeredményekkel történő összevetése több tanulsággal szolgált. Olyan kérdéseket vet fel, ami további elemzést érdemel. Ilyenek például: Felül kell vizsgálnia kérdőívet abból a szempontból, hogy a hallgatók pontosan értik-e a kérdést? Ellenőrző kérdéseket kell beépíteni a komolytalanul kitöltött kérdőívek kiszűrésére, a következetes válaszok megkülönböztetésére (adattisztítás). Felül kell vizsgálni a kérdőív használatával elérendő célt, a kérdéseket ehhez/ezekhez kell igazítani. Megfontolandó a szemeszter elején, illetve év közbeni felmérés kidolgozása. Két, vagy több mérés során megcélozható a kurzus anyagának finomítása, felülvizsgálata. Kijelölhetőek azok a témakörök és szűkebb területek, amelyekre nagyobb hangsúlyt kell fektetni. Irodalomjegyzék [] Karolina Kósa, Ilona Balajti*, Éva Bíró, László Daragó**, Róza Ádány: Faculty of Public Health, University of Debrecen *College of Health Sciences, University of Debrecen **Institute of Health Informatics, Semmelweis University, Budapest Response rate by various means of survey methods among students of higher education Poster presented at the Annual Conference of ASPHER (Association of Schools of Public Health in the European Region), October 6-8, 007 Valencia, Spain 8