Mit tudok informatikából? What do I know in Informatics?

Átírás

1 Mit tudok informatikából? What do I know in Informatics? Csernoch Mária a, Biró Piroska b, Máth János c és Abari Kálmán d a,b Debreceni Egyetem, Informatikai Kar csernoch.maria@inf.unideb.hu a, biro.piroska@inf.unideb.hu b c,d Debreceni Egyetem, Bölcsészettudomámnyi Kar math.janos@arts.unideb.hu c, abari.kalman@arts.unideb.hu d Absztrakt: A 2011/2012-es tanévtől kezdődően teszteltük a Debreceni Egyetem Informatikai Karára beérkező elsőéves informatika szakos hallgatók informatikai ismereteit, terminológia használatát, algoritmikus készségét. A teszt eredményeit összehasonlítottuk a hallgatók informatikai érettségin szerzett pontjaival, a hallgatók önértékelésével, valamint általános és középiskolai informatikatanárok hallgatói teljesítmény értékelésével. A 2013/2014-es tanévben a vizsgálatainkat kiterjesztettük további három felsőoktatási intézményre (ELTE, NYF, EKF). A kutatásaink azt mutatják, hogy az elsőéves informatikushallgatók többsége nem rendelkezik megfelelő szintű algoritmikus készséggel és szegényes terminológia használat jellemzi. A hallgatók attitűdvizsgálatából egyértelművé vált, nincsenek felkészülve/felkészítve az Informatika Karon folyó magas szintű programozási ismeretek befogadására. Vizsgálataink eredményeként megfogalmazhatjuk továbbá, hogy a hallgatók előtérbe helyezik a felületi megközelítést szemben a mélyszerkezetű metakognitív problémamegoldó módszerekkel. Kulcsszavak: algoritmikus készség, terminológia-használat, informatika didaktika, érettségi eredmények, önértékelés Abstract: Since the 2011/2012 academic year we have been testing the first year students knowledge in Informatics, their terminology usage and algorithmic skills at the University of Debrecen, Faculty of Informatics. The test results were compared to the students results at the school leaving exams in Informatics, to their self- assessment values, as well as to the evaluation provided by the primary and secondary school teachers of Informatics concerning the students results in the test. In the 2013/2014 academic year the project was further extended, and three higher education institutions (ELTE, NYF, EKF) joined it. Our research shows that most of the first year students of Informatics do not have the required algorithmic skills, and the majority provided evidence of their poor terminology usage. It is also clear from the results of our research that students rather put the emphasis on the surface-approach as opposed to the deep-approach metacognitive problem solving methods. From the attitude assessment of the students it became clear that they are not prepared for studying high level programming languages at the Faculty of Informatics. Keywords: algorithmic skills, terminology usage, didactics of informatics, results of school leaving exam, selfassessment Mottó: Miért leszek informatikushallgató? Mit tudok informatikából? Mit hiszek, hogy tudok informatikából? Mit mutat az érettségi, hogy mit tudok informatikából?

2 1. Bevezetés Az Algoritmikus és Alkalmazói Készségek Tesztelése (AéAKT Projekt TAaAS Project Testing Algorithmic and Application Skills) című projektet a 2011/2012-es tanév első félévében indítottunk, melynek célja az Informatikai Karon tanulmányaikat megkezdő hallgatók tesztelése [5] [8],[11] [14]. Arra kerestük a választ, hogy a hallgatók milyen szakmai ismeretekkel, milyen szintű algoritmikus készséggel rendelkeznek, hogyan értékelik saját tudásukat, továbbá, hogy mit jelent számukra az informatika, miért választották ezt a tudományterületet. A felmérést a következő két tanévben megismételtük a Debreceni Egyetemen, majd a 2013/2014-es tanévben további magyarországi felsőoktatási intézményeket sikerült bevonni a projektbe, ezáltal pontosabb képet kaphatunk az informatikushallgatók felkészültségéről. 2. Alkalmazói és Algoritmikus készségek tesztelése (AéAKT Projekt) Minta Az Alkalmazói és Algoritmikus készségek tesztelése című projektünket immár harmadik éve ismételtük meg az informatikushallgatók körében. A Debreceni Egyetem Informatikai Karán (DEIK) az elmúlt három tanévben összesen 950 Programtervező informatikus (PTI), Mérnökinformatikus (MI) és Gazdaságinformatikus (GI) vett részt a felmérésben (1. táblázat). 1. táblázat. A felmérésben résztvevő hallgatók száma a DE Informatikai Karán (DE_IK) PTI MI GI Összesen 2011/ / / Összesen A 2013/2014-es tanévben egy további magyarországi egyetemet és két főiskolát is sikerült bevonni a kutatásokba, ebben a tanévben 800 hallgató töltötte ki a tesztet. A felmérésben részt vett a Debreceni Egyetem mellett az Eötvös Lóránd Tudományegyetem (ELTE), a Nyíregyházi Főiskola (NYF) és az Eszterházy Károly Főiskola (EKF). A teszt felépítése A kutatásban használt teszt több részből épül fel, melyet az évek során folyamatosan javítottunk, fejlesztettünk. A hallgatók először egy Önértékelés lapot töltenek ki, amelyen meg kell jelölniük, hogy hogyan értékelik a tudásukat a felsorolt témakörökben. Ezen témakörök tesztelését végezzük az utána következő tesztlapon. A 2011/2012-es tanévben még nem volt önértékelési lap, ezt először 2012-ben töltettük ki. Ebben a tanévben a hallgatóknak egy 6- fokozatú Likert-skálán kellett bejelölniük, hogy hogyan értékelik a tudásukat. Annak érdekében, hogy pontosabb eredményeket kapjunk a 2013/2014-es tanévben százalékos formában kértük a hallgatói önértékelést. Az önértékelés után következik a teszt Alapinformációk része, ahol rákérdezünk a hallgatók életkora mellett a számítógép használati szokásaikra, milyen IKT eszközökkel rendelkeznek, tanultak-e programozást a középiskolában, milyen eredményt értek el az informatika és matematika érettségin, informatika versenyeken, szereztek-e ECDL, informatikai OKJ okleveleket, milyen nyelveket beszélnek és mi a kedvenc hobbijuk.

3 Az alapinformációk után következtek az informatikai teszt feladatai, melynek az Informatikai ismeretek címet adtuk. A feladatokat a témakörök szerint a következő kategóriákba sorolhatjuk: billentyűzet- és egérhasználat, fájlkezelés és hálózati ismeretek, táblázatkezelés, szövegszerkesztés, logikai műveletek, pseudo kód megfejtése. A teszt kitöltését az Attitűd vizsgálat című rész zárja, ahol főként nyílt végű kérdéseket használva a hallgatóktól azt szerettük volna megtudni, hogy miért ezt a szakot választották, milyen területen szeretnének elhelyezkedni a tanulmányaik befejezése után, mit várnak az egyetemtől és mit jelent számukra az informatika. A teszt feladatai Jelen dolgozatban a három tanévben elvégzett közös feladatok eredményeiről számolunk be: szövegszerkesztés (szg), táblázatkezelés (tbl), logikai operátorok (log) és pseudo kód megfejtése (kod), nagyobb hangsúlyt fektetve a logikai és pseudo kód megfejtése feladatok részletesebb eredményeinek bemutatására, a Debreceni Egyetem Informatikai Kar hallgatói körében. 1. ábra. A táblázatkezelői (tbl) feladatok (jobb) és a feladathoz tartozó minta táblázat (bal) A táblázatkezelői feladatok esetében a megadott mintatáblázat alapján kellett a hallgatóknak válaszolni a kérdésekre (1. ábra). Az a) d) és f) feladatokban a hallgatóktól egy képletet vártunk, míg az e) pontban a megadott képlet megfejtése volt a feladat. Az e) pontban egy tömbképletet adtunk, ezáltal szerettük volna mérni, hogy ki ismeri fel, ki tanult már róla. Továbbá, aki ismeri a tömbképleteket azoknak nagy segítséget nyújthatott a c), d) és f) feladatok megoldásánál is. Úgy gondoljuk, hogy a tömbképletek ismerete [4], [5], [8], [13], a többszintű (multilevel), beágyazott képletek építése, a táblázatkezelés algoritmikus szemlélettel való tanítása sokkal hatékonyabb, mint az elterjedt, ám felületi metakognitív megközelítések. Az általunk kifejlesztett, korábbi elméletek ötvözésével született [25] [27], [28], [29], [30], [33] [35], CAAD-alapú (Computer Algorithmic And Debuging based) metakognitív módszer lényegesen eredményesebbnek bizonyult [6], [7], [11], [12], [14], mint a helyenként kritizált [19], [24], ám elterjedt TAEW (Trial-And-Error Wizzard based) módszer. Az f) kérdés, ami a c) feladat általánosítása először a 2013/2014-es tanévben szerepelt a feladatsorban, annak tesztelésére, hogy mennyire tudják a hallgatók a változókat és az egyenlőtlenségeket kezelni a feltételes feladatokban. A gyakorlati táblázatkezelési feladatokhoz egy elméleti jellegű feladatot is adtunk, amelyben a hallgatóknak a szigorú megkötésekkel használható FKERES(), VKERES() és az általános célú INDEX(HOL.VAN()) kétszintű függvényeket kellett összehasonlítaniuk.

4 2. ábra. Szövegszerkesztési (szg) feladatok mintaszövege a 2011/2012-es tanévben (bal), majd az azt követő tanévekben (jobb) A szövegszerkesztés feladat az évek során a folyamatos fejlesztés következtében módosult. A 2011-es felmérésben csak a nemnyomtatódó karaktereket is tartalmazó minta szerepelt (2. ábra, bal), viszont az eredmények láttán próbáltunk segíteni a hallgatóknak, és egy új verziót készítettünk, ahol már bejelöltük mely hibák felismerését várjuk. Ezt használtuk a 2012/2013- as és a 2013/2014-es tanévben (2. ábra, jobb). 3. ábra. A szövegszerkesztési (szg) feladat 2012/2013-as (bal) és a 2013/2014-es (jobb) értékelő lapja A szövegszerkesztés feladathoz 2012/2013-as tanévtől kezdődően egy értékelő lapot is készítettünk, amelyen az egyes hibák típusát kellett megjelöljék a hallgatók (3. ábra, bal), valamint a 2013-ban azt is kértük, hogy a hibát is nevezzék meg (3. ábra, jobb). 4. ábra. A logikai (log) műveletek (bal) és pseudo kód (kod) megfejtése feladatok (jobb) [9], [10]

5 A logikai és a pseudo kód feladatait a Nemes Tihamér Országos Informatikai Tanulmányi Verseny Programozás kategória, 2008/2009-es tanév, 1. forduló, 1. korcsoport (5 8. osztály) feladatsorából válogattuk [9], [10]. A pseudo kód megfejtése feladatoknál, azt vártuk a hallgatóktól, hogy fogalmazzák meg egy-egy egyszerű mondatban az algoritmusok lényegét. A programozási feladatok értékeléséhez a megértés különböző SOLO-kategóriáit használtuk [34] [40]. A pseudo kód megfejtése feladatnál lényegesen egyszerűbb a logikai operátorok feladat, mivel ebben az esetben csak a négy lehetséges kimeneti érték közül kellett választani. 3. Hipotézisek [H1] A programtervező informatikus szakra (PTI) jelentkező hallgatók teljesítenek a legjobban, majd ezt követően a mérnök informatikus (MI) és utána gazdaságinformatikus (GI) hallgatók. [H2] A hallgatók eredménye a 2013/2014-es tanévben jobb, mint a korábbi években, mivel a 2008-as kerettantervben megfogalmazottak alapján, nőtt az informatika órák száma a középiskolában [1], [2]. [H3] Magasabb érettségi eredmények magasabb önértékeléshez vezetnek, tehát az érettségi eredmények hatással vannak az önértékelésre. [H4] A hallgatók jobb érettségi eredményei magasabb szintű algoritmikus készséget jelentenek, tehát jobban teljesítenek az egyes feladatokban. 4. Eredmények A közötti évek felméréseinek eredményei 5. ábra. A 2013/2014-es felmérés intézményenkénti átlagos eredményei A 2013-as tanév eredményeit mutatja az 5. ábra, amely felmérésben a Debreceni Egyetem (DE_IK) mellett részt vett az ELTE, valamint az egri és a nyíregyházi főiskola (EKF, NYF) is. Az 5. ábra adatai alapján egyértelmű, hogy a hallgatók valamennyi intézményben nagyon gyenge teljesítményt értek el. A logikai feladat volt a legnépszerűbb a hallgatók körében, ami a feladat jellegéből természetes módon adódik. Ennél a feladatnál érték el a legjobb eredményeket a vizsgált intézményekben (5. ábra) és a különböző tanévekben is (9. ábra). A logikai feladat után a szövegszerkesztés feladat eredményei jönnek, ezt követően a kódfejtés, amely már programozási ismereteket is igényelt, majd a sort a táblázatkezelés eredmények zárják (5. ábra).

6 6. ábra. Táblázatkezelési feladat megoldása a DEIK három egymást követő évfolyamán Az ncs rövidítés az ábrákon a nem csinálta nem foglalkozott a feladattal kategóriát jelenti (6 10. ábrák). A táblázatkezelési eredmények mutatják, hogy a leggyakoribb eredmény a 0 érték, mely arra utal, hogy a hallgató próbálkozott a feladattal, de nem sikerült megoldania (6. és 7. ábrák). Az ncs és a 0 értékek száma lényegesen meghaladja az értékelhető megoldások számát. Ez az eredmény mindenképpen meglepő, mivel az informatikai érettséginek szerves része a táblázatkezelési ismeretek közép- és emelt szinten is, ugyanakkor összhangban van azokkal a mérésekkel, amelyek azt bizonyítják, hogy a táblázatkezelői dokumentumok hemzsegnek a hibáktól [19], [20] [22], [17], [23]. 7. ábra. Elméleti jellegű táblázatkezelési feladat a DEIK három egymást követő évfolyamán Az elméleti táblázatkezelési feladat megoldása során kapott eredmények nagyon meglepőek, mivel a legtöbb hallgató nem is foglalkozott a feladattal. A hallgatók valamivel több, mint 10%-a próbálkozott sikertelenül és további 10%-ának sikerült elérni 1 pontot a lehetséges 4 pontból. Ebben a feladatban teljesítettek a leggyengébben. 8. ábra. Szövegszerkesztési feladat megoldása a DEIK három egymást követő évfolyamán A szövegszerkesztési feladatot próbálták a legtöbben megoldani, ami egyenes következménye lehet a szövegszerkesztő programok népszerűségének. Ennek ellenére a jó megoldások száma rendkívül alacsony. A 13 részfeladatban a legnagyobb gyakorisággal 1 3 helyes megoldás érkezett a különböző tanévekben. A megoldások részletes elemzése alapján egyértelmű, hogy csak a legkirívóbb enter és szóköz hibákat képesek a hallgatók megtalálni, ezek közül sem

7 mindegyiket. További hibák felismerése azonban csak rendkívül alacsony hatásfokkal történik. 9. ábra. A logikai feladat megoldása a DEIK három egymást követő évfolyamán A logikai feladat megoldása volt a legsikeresebb a hallgatók körében, de továbbra is magas azoknak a száma, akik nem foglalkoztak a feladattal. Nem szabad azonban elfelejtenünk, hogy ez volt az a feladat, ahol a megoldást mindösszesen négy lehetséges output közül kellett kiválasztani, tehát mint ilyen ez volt a teszt legkönnyebb feladata. 10. ábra. Programozási feladat megoldása a DEIK három egymást követő évfolyamán Az önértékelések alapján egyértelmű, hogy a pseudo kód megfejtésével nagyon sokan azért nem foglalkoztak, mert nem tanultak programozást, ami meglepő, mivel a programozás része az utóbbi két évtized tanterveinek [1] [3]. A feladat leírásánál említettük, hogy ezek általános iskolás első fordulós verseny feladatok [9], [10], tehát minimális programozói ismeret is elegendő lett volna a megoldásukhoz. Mindezeket figyelembe véve, rendkívül magas azon hallgatók száma, akik nem foglalkoztak a feladattal. Nagyon magas továbbá azon hallgatók száma is, akik ugyan próbálkoztak a feladattal, de nem tudták megoldani. Az 1, 2 és 3 helyes megoldást adó hallgatók száma folyamatosan csökken. Alig akadt hallgató, aki mindhárom részfeladatot meg tudta oldani, annak ellenére, hogy a DEIK hallgatók közel 80%-os, illetve 70%-os teljesítménnyel tettek közép- és emelt szintű érettségi vizsgát informatikából [15], [16]. Statisztikai elemzések a DEIK hallgatóinak eredményei között A továbbiakban a logikai és pseudo kód megfejtése feladatok megoldásainak eredményeiről számolunk be, a hallgatók önértékelését és érettségi eredményeit figyelembe véve. Önértékelés Megvizsgáltuk, hogy az önértékelés és a feladatokban nyújtott teljesítmény az egyes szakokon és az egyes években hogyan alakult. A feladatok nehézségi sorrendje a legkönnyebbtől kezd-

8 ve a legnehezebb felé haladva logikai, kod_1, kod_2, kod_3 (az eltérés a Friedman teszt szerint szignifikáns, p<0,001). Ezen túlmenően, a logikai feladat szignifikánsan könnyebbnek bizonyult a másik három feladatnál (Mann-Whitney tesztek, p<0,001) (11. ábra). Az ábráról a szakok sorrendje is leolvasható: legjobban a PTI teljesített, majd az MI és a GI, ezáltal beigazolódott a [H1] hipotézisünk. Ha az éveket összevontan kezeljük, akkor mindegyik részfeladat esetében szignifikánsan csökken a teljesítmény a szakok fenti sorrendjében (Jonckheere-Terpstra Test: p<0,001 mindegyik részfeladatban). Az évek összehasonlításában szerény teljesítményemelkedést figyelhetünk meg minden részfeladat esetén, de ez a hatás nem szignifikáns, ha a kérdéses 2013/2014-es eredményt hasonlítjuk össze a megelőző két év átlagával (Mann-Whitney próbákkal a legkisebb p=0,201). A [H2] hipotézis nem teljesült, mivel csak kis mértékű teljesítményemelkedés figyelhető meg, amely nem szignifikáns. Talán a következő évek eredményei alátámasztják a feltevéseinket. 11. ábra. Az önértékelés és az egyes feladatokban nyújtott teljesítmény Hallgatói klaszterek kialakítása A legsikeresebben megoldott feladat válaszaiból (logikai feladat, 9 változó 4 lehetséges értékkel: 0, 1, 2, 3), mint kategorikus változókból kiindulva klaszteranalízist végeztünk SPSS-ben (Klasztering of categorical data, similarity measures, log-likelihood measure, Two-step Klaszter Analysis in SPSS). A klaszterek létrehozásánál csak azon hallgatókat vettük figyelembe, akik mind a 9 részfeladatra adtak valamilyen választ. Azon hallgatók, akik nem vagy csak részlegesen oldották meg a logikai feladatot 0%-os megoldással szerepelnek az átlagban, ők alkotják a negyedik klasztert. A teljes megoldásokat figyelembe véve három klasztert találtunk, melyek mindegyike tisztán értelmezhető Klaszter 1 3 (2. táblázat). A további elemzések során figyelembe vettük a hallgatók saját programozási ismeretére vonatkozó becslését is, a Hogyan értékelné ismereteit a programozás témakörben? kérdésre adott válaszokat. A 2. táblázat a logikai és a kódfejtés kérdésekre adott válaszok átlagait hasonlítja össze az értékelés pontjaival és az érettségi eredményekkel a négy klaszterben. Általánosan megfogalmazható, hogy a hallgatók az önértékelésüknél alacsonyabb teljesítményt értek el az egyes feladatokban. Ez alól kivétel a logikai feladat. A logikai feladat eredményeit vizsgálva tapasztaltuk, hogy a Klaszter 1 azokat a hallgatókat tartalmazza, akik mind a 9 részfeladatban jó teljesítményt nyújtottak (99,7%, 2. táblázat log sor). A Klaszter 2-ben már megnő a hibás válaszok száma, de még mindig a helyes válaszok vannak túlsúlyban (65,6%). A Klaszter 3 hallgatói mindazon kérdésekre jól válaszolnak, amelyekeben nincs 0 a részfeladat bemenő adatai között, ahol viszont van, ott ők rendszerint a

9 0 választ jelölik meg az algoritmus eredményeként. Véleményünk szerint úgy értelmezik az algoritmus által megfogalmazott szabályt, hogy az csak az A és B bemenő értékekre írja le a teendőket, de ha 0 is megjelenik bemenő adatként, akkor számukra az utolsó, különben opció az irányadó. Ennek oka az lehet, hogy nincs a nullát tartalmazó, explicit feltétel az algoritmusban, az csak implicit módon, nagyobb erőfeszítéssel olvasható ki a feladatból. 2. táblázat. Hallgatói klaszterek teljesítménye a feladatokban Klaszter 1 Klaszter 2 Klaszter 3 Klaszter 4 N önértékelés (%) 46,9 39,1 31,9 23,3 log (%) 99,8 65,8 52,1 0,0 kod_1 (%) 57,3 43,5 38,3 19,2 kod_2 (%) 46,1 27,5 19,7 10,3 kod_3 (%) 38,8 24,7 17,3 8,4 emelt szintű érettségi (%) 74,6 (N=85) középszintű érettségi (%) 84,1 (N=154) 67,2 (N=35) 82,2 (N=110) 65,3 (N=27) 81,5 (N=135) 63,6 (N=33) 81,5 (N=206) A fent leírtakat szemlélteti a 12. ábra, amely a 9 részfeladatra adott válaszok klaszterenkénti mintaszámainak százalékos arányát mutatja. Az egyes ábrák feliratai az X és Y bemenő paraméterek értékeit jelentik. A helyes választ mindegyik részfeladat esetén pontosan megmutatja a Klaszter 1 (sötét szürke) oszlop helye, ugyanis ők válaszoltak helyesen a legnagyobb arányban. Többnyire vele együtt szerepel a Klaszter 2 (világos szürke) oszlop, és a Klaszter 3 (fehér) oszlop is A és B bemenő értékek esetén. Amint a bemenő értékek között megjelenik a 0 (X=0 és/vagy Y=0), akkor a Klaszter 3 válasza 0 lesz. 12. ábra. Klaszter 1 (sötét szürke), Klaszter 2 (világos szürke) és a Klaszter 3 (fehér) oszlopok

10 A 3+1 klaszter viszonyát megvizsgáltuk az év és a szak változóval. Azt találtuk, hogy a három változóra (év, szak, klaszter) illeszkedik a szak klaszter év loglineáris modell (χ 2 (2)=16,6, p=0,16). Ez azt jelenti, hogy a klaszternek csak a szakhoz van köze. E kapcsolat lényege a következő kereszttáblán látható (3. táblázat). 3. táblázat. Szakok és a klaszterek közötti kapcsolat GI MI PTI Összesen: N % N % N % N % Klaszter 1 Klaszter 2 Klaszter 3 Klaszter , , , , , , , , , , , , , , , ,4 A Klaszter 2 és a Klaszter 3-hoz tartozó hallgatók aránya hasonló mindhárom szakon. Számottevő különbség a Klaszter 1 és a Klaszter 4 hallgatóinak arányában van az egyes szakokon (Khi-négyzet próba: χ 2 (6)=101,7, p<0,001). A loglineáris elemzés azt is mutatja, hogy az évfolyam és a klaszter között nincs kapcsolat, tehát a kapott négy klaszter mindhárom évfolyamban hasonló arányban van jelen. Klaszterek és érettségi eredmények Az érettségi eredmények is mutatnak különbséget a klaszterek között: a Klaszter 1 hallgatói mindkét szinten szignifikánsan jobbak, mint a másik három klaszter, de ez az eltérés nagyobb az emelt szint esetén (Kruskal-Wallis próba emelt szinten: χ 2 (3)=14,7, p=0,002, közép szinten Kruskal-Wallis próba: χ 2 (3)=8,7, p=0,033) (13. ábra). Azonban a Klaszter 2, 3, 4 között szignifikáns eltérést egyik szinten sem találtunk. 13. ábra. Klaszterek és az érettségi eredmények

11 Az érettségi teljesítményben tehát nem különül el a három utolsó klaszter. A három féle gyengeség között az érettségi feladatok mivel mindhárom hibákhoz vezethet nem tudnak különbséget tenni. Érettségi eredmények, önértékelés, teszt eredmények Összehasonlítottuk a 2012/2013 és 2013/2014-es évfolyamokban a hallgatók önértékelését az érettségi eredményükkel [H3 hipotézis]. Emelt szinten közepes pozitív korrelációt mértünk (Spearman s rho 2012/2013 =0,36, p 2012/2013 =0,005; rho 2013/2014 =0,52, p 2013/2014 <0,001), míg középszinten, gyenge vagy elhanyagolható pozitív kapcsolatot találtunk (Spearman s rho 2012/2013 =0,16, p 2012/2013 =0,031; rho 2013/2014 =0,09, p 2013/2014 =0,208). A vizsgálatokhoz a Spearman-féle féle rangkorrelációs együtthatót használtuk. Ez azt jelenti, hogy a hallgatók az érettségi eredményeket nem tekintik mérvadónak saját teljesítményük, tudásuk megítélésében. Az emelt szintű eredményeket még valamelyest figyelembe veszik, de a középszintű érettségi eredmények hatása elhanyagolható. Megvizsgáltuk továbbá, hogy az érettségi eredmények milyen mértékben befolyásolják a hallgatók az egyes feladatokban elért teljesítményét [H4 hipotézis]. Az emelt szintű érettségi esetén az egyes feladatokban elért teljesítménnyel közepes korrelációt mértünk (Spearman s rho task 1 =0,26, p task 1 <0,001; rho task 2 =0,42, p task 2 <0,001; rho task 2.1=0,38, p task 2.2 <0,001; rho task 2.2 =0,31, p task 2.2 <0,001; rho task 2.3 =0,37, p task 2.3 <0,001). Középszintű érettségi esetén a kapcsolat erőssége csökkent, csak gyenge hatást tudtunk kimutatni (Spearman s rho task 1 =0,09, p task 1 =0,022; rho task 2 =0,22, p task 2 <0,001; rho task 2.1 =0,23, p task 2.2<0,001; rho task 2.2 =0,20, p task 2.2 <0,001; rho task 2.3 =0,17, p task 2.3 <0,001). A vizsgálatokhoz a Spearman-féle féle rangkorrelációs együtthatót használtuk. 5. Összefoglalás A 2011/2012-es tanévtől kezdődően az Algoritmikus és Alkalmazói Készségek Tesztelése című projekt keretein belül teszteljük az elsőéves informatikushallgatók informatikai ismereteit, algoritmikus készségét, terminológia-használatát. A projekt keretein belül adatokat gyűjtünk a hallgatók informatika érettségi eredményeiről és önértékeléséről is, amelyeket összehasonlítjuk a tesztben elért eredményekkel. A felmérésben a 2011/2012-es tanévtől kezdődően részt vesz a Debreceni Egyetem Informatikai Kara, melyhez a 2013/2014-es tanévben csatlakozott az Eötvös Loránd Tudományegyetem, a Nyíregyházi Főiskola, valamint az Eszterházy Károly Főiskola, Eger. Az informatika szakokon tanulmányaikat megkezdő hallgatók tesztelése azt mutatja, hogy a hallgatók rendkívül alacsony szintű algoritmikus készséggel, alkalmazói ismeretekkel rendelkeznek és nem tudják gondolataikat a szakma nyelvén megfogalmazni. A feladatok többségét el se tudják kezdeni és e mellett nagyon magas azon hallgatók száma, akik ugyan próbálkoznak a feladatok megoldásával, de teljesítményük értékelhetetlen. A hallgatói eredmények statisztikai elemzése azt mutatja, hogy a hallgatók tudásuk alapján négy csoportba sorolhatóak. A legjobb és a leggyengébb teljesítményt elért csoportok között további két csoport helyezkedik el. Az egyik köztes csoportra a teljesen kiszámíthatatlan tudás jellemző. A másik köztes csoportról az elemzések alapján elmondható, hogy egy limitált tudással rendelkeznek, ami olyan formában jelenik meg, hogy egy bizonyos szintig megbízhatóan teljesítenek, utána viszont saját maguk által megfogalmazott menekülési útvonalakat választva próbálják a feladatokat megoldani. A teszt eredményeit összehasonlítottuk a hallgatók informatika érettségi eredményeivel és önértékelésével. A kapott elemzések azt igazolják, hogy az érettségi eredmények, különösen

12 igaz ez a középszintű érettségi esetén, nincsenek hatással a hallgatók tesztben nyújtott teljesítményére. A legjobban teljesítő hallgatók esetén egy közepes kapcsolat mérhető a teszt és az emelt szintű érettségi eredményei között, de a gyenge teljesítményű csoportok között az érettségi nem tud különbséget tenni. A hallgatói önértékelések vizsgálata során bizonyításra került a már korábban más tudomány területeken is tapasztalt negatív korreláció a hallgatói nem tudás és az önértékelés között [18]. A legjobban teljesítő csoport tudta leginkább megítélni tudását, míg a leggyengébben teljesítőknél volt a legmagasabb a felülbecslés. Az önértékelés és az érettségi eredmények összehasonlítása, a várakozásainkkal ellentétben, azt mutatja, hogy a hallgatók nem tekintik a középszintű érettségit a tudásuk mérésére alkalmas mutatónak, míg az emelt szintű érettségi és az önértékelés között egy közepes kapcsolat kimutatható. A vizsgálataink tehát a hallgatói véleményeket erősítették meg. Az évek előrehaladtával egy gyenge emelkedés tapasztalható a hallgatók felmérésben nyújtott teljesítményében, azonban a 2013/2014-es tanév nem hozta meg a várva várt teljesítményemelkedést. A 2013/2014-es tanév kiemelt fontosságú abból a szempontból, hogy ekkor érkeztek/érkezhettek először olyan hallgatók a felsőoktatásba, akik 2009-től a megemelt óraszámú informatika tantervek szerint tanulhattak középiskolában. A teljesítménynövekedés elmaradásának azonban több magyarázata is lehet: a 2013/2014-es tanévben felsőfokú tanulmányaikat megkezdő hallgatók nem feltétlenül 2009-ben kezdték középiskolai tanulmányaikat, hanem korábban, az informatikushallgatók között nagy számban találni olyanokat, akik már korábban is emelt óraszámban tanulták az informatikát, tehát a 2009-es óraszámemelés e tekintetben nem hozott változást, és természetesen azt sem zárhatjuk ki, hogy az óraszám emelkedés önmagában nem elegendő a hallgatói tudásszint emelkedéséhez. Mindezeket figyelembe véve további mérésekre lesz szükségünk a hallgatói teljesítmények és az előző tanulmányaik összehasonlításához. 6. Köszönetnyilvánítás A publikáció elkészítését a TÁMOP C-11/1/KONV számú projekt támogatta. A projekt az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósul meg. A kutatást részben támogatta az OTKA K számú projekt. Irodalomjegyzék [1] Kerettanterv Magyar Közlöny, 20. szám II. kötet, február 8. [2] Kerettanterv Letöltés dátuma: [3] NAT /1995. (X. 26.) Korm. rendelet a Nemzeti alaptanterv kiadásáról. Letöltés dátuma: [4] M. Csernoch és L. Balogh: Algoritmusok és táblázatkezelés. Tehetséggondozás a közoktatásban az informatika terén. Magyar Tehetségsegítő Szervezetek Szövetsége, Budapest, (2011). [5] M. Csernoch és P. Biró: Spreadsheet misconceptions, spreadsheet errors, Oktatáskutatás határon innen és túl. HERA Évkönyvek I., ed. Juhász Erika, Kozma Tamás, Publisher: Belvedere Meridionale, Szeged, (2014), [6] M. Csernoch és P. Biró: Teachers Assessment and Students Self-Assessment on The Students Spreadsheet Knowledge. EDULEARN13 Proceedings July 1st-3rd, 2013 Barcelona, Spain. Publisher: IATED, (2013)

13 [7] M. Csernoch és P. Biró: Button-up technikák hatékonyságának vizsgálata informatika szakos hallgatók táblázatkezelés-oktatásában. szerk. T. Kozma és I. Perjés, Új kutatások a neveléstudományokban 2012, ELTE Eötvös kiadó, (2013), [8] M. Csernoch: Introducing Conditional Array Formulas in Spreadsheet Classes. EDULEARN12 Proceedings. Barcelona, Spain. 2-4 July, Publisher: IATED, (2012) [9] Nemes Tihamér Országos Informatikai Verseny I. forduló, I. korcsoport, 5-8. osztály. Feladatok. Letöltés dátuma: [10] Nemes Tihamér Országos Informatikai Verseny, I. forduló, I. korcsoport, 5-8. osztály. Megoldások) in Hungarian. Letöltés dátuma: [11] P. Biró és M. Csernoch: Deep and surface structural metacognitive abilities of the first year students of Informatics. 4th IEEE International Conference on Cognitive Infocommunications, Proceedings, Budapest, (2013), [12] P. Biró és M. Csernoch: Programming skills of the first year students of Informatics. XXIII. International Conference on Computer Science 2013, EMT, in Hungarian, (2013) [13] P. Biró és M. Csernoch: Táblázatkezelés algoritmikus megközelítése. Kiss Árpád Emlékkonferencia Tanulmánykötete 2013, Debrecen, (2013). Elfogadva. [14] P. Biró, M. Csernoch, K. Abari és J. Máth: First year students algorithmic skills in tertiary Computer Science education, 9th International Conference on Knowledge, Information and Creativity Support Systems. Cyprus, November 6 8., (2014), submitted. [15] Érettségi eredmények Letöltés dátuma: [16] Központi írásbeli feladatsorok, javítási-értékelési útmutatók. Korábbi vizsgaidőszakok vizsgaanyagai - vizsgaidőszakok szerint Letöltés dátuma: [17] Az olasz, magyar, görög után ezúttal egy holland tanulmány a tudatlanság áráról. Az ECDL Alapítvány március 9-i sajtóközleménye alapján. Mi újság április. Letöltés dátuma: [18] J. Kruger és D. Dunning: Unskilled and Unaware of It: How Difficulties in Recognizing One s Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology. Vol. 77, No. 6, (1999), [19] M. Ben-Ari: Bricolage Forever! PPIG th Annual Workshop. 5 7 January Computer-Based Learning Unit, University of Leeds, UK. (1999). Letöltés dátuma: [20] R. Panko és S. Aurigemma: Revising the Panko-Halverson taxonomy of spreadsheet errors. Decis. Support Syst. 49, 2 (2010): [21] F. Tort: Teaching Spreadsheets: Curriculum Design Principles. In S. Thorne (Ed.), Proceedings of the EuSpRIG 2010 conference: Practical steps to protect organisations from out-of-control spreadsheets, (2010) [22] F Tort, F. Blondel és É. Bruillard: Spreadsheet Knowledge and Skills of French Secondary School Students. R.T. Mittermeir and M.M. Sysło (Eds.): ISSEP 2008, LNCS 5090, , (2008). Springer-Verlag Berlin Heidelberg. [23] A. Van Deursen és J. Van Dijk: CTRL ALT DELETE. Lost productivity due to IT problems and inadequate computer skills in the workplace. Enschede: Universiteit

14 Twente. (2012). Letöltés dátuma: ControlAltDelete_LostProductivityLackofICTSkills_UniverstiyofTwente1.pdf. [24] M. Gove: Michael Gove speech at the BETT Show Letöltés dátuma: [25] J. M. Carroll: The Nurnberg funnel: designing minimalist instruction for practical computer skill, M.I.T. Press, Cambridge, Mass, [26] J. Nielsen: Usability Engineering, Academic Press, Boston, MA, [27] P. Warren: Learning to program: spreadsheets, scripting and HCI, in Proceedings of the Sixth Australasian Conference on Computing Education. Darlinghurst, Australia. Vol. 30, (2004), [28] S. Papert és I. Harel: Situating Constructionism. Constructionism, Ablex Publishing Corporation: (1991) Letöltés dátuma: [29] S. Booth: Learning Computer Science and Engineering in Context. Computer Science Education. Vol. 11, No. 3, (2001), [30] R. E. Mayer: The Psychology of How Novices Learn Computer Programming, ACM Comput. Surv., Vol. 13 (1), (1981), [31] J. Case és R Gunstone: Metacognitive development as a shift in approach to learning: an in-depth study. Studies in Higher Education, 27(4), (2002) [32] J. Case és R Gunstone: Approaches to learning in a second year chemical engineering course. International Journal of Science Education, 25(7), (2003) [33] J. Case, R Gunstone és A. Lewis: Students' metacognitive development in an innovative second year chemical engineering course, Research in Science Education, 31(3), (2001) [34] R. Lister, B. Simon, E. Thompson, J. L. Whalley és C. Prasad: Not seeing the forest for the trees: novice programmers and the SOLO taxonomy, in Proceedings of the 11th annual SIGCSE conference on Innovation and technology in computer science education, New York, NY, USA, (2006), [35] R. Lister, E. S. Adams, S. Fitzgerald, W. Fone, J. Hamer, M. Lindholm, R. McCartney, J. E. Moström, K. Sanders, O. Seppälä, B. Simon és L. Thomas: A multinational study of reading and tracing skills in novice programmers, SIGCSE Bull., Vol. 36 (4), (2004), [36] E. Soloway, J. Bonar és K. Ehrlich: Cognitive strategies and looping constructs: an empirical study. Communications of the ACM. Vol. 26, No. 11 (1983), [37] E. Soloway: Should we teach students to program? Communications of the ACM. Vol. 36, No. 10 (1993), [38] J. B. Biggs és K. E. Collis: Evaluating the Quality of Learning: The SOLO Taxonomy. New York: Academic Press, [39] J. L. Whalley, R. Lister, E. Thompson, T. Clear, P. Robbins, P. K. A. Kumar és C. Prasad: An Australasian study of reading and comprehension skills in novice programmers, using the bloom and SOLO taxonomies, in Proceedings of the 8th Australasian Conference on Computing Education Vol. 52, (2006), [40] J. Sheard, A. Carbone, R. Lister, B. Simon, E. Thompson és J. L. Whalley: Going SOLO to assess novice programmers, SIGCSE Bull. Vol. 40 (3), (2008),