Záverečná správa zo štatistického spracovania testu maďarského jazyka úroveň B

Átírás

1 Externá časť maturitnej skúšky 008 Záverečná správa zo štatistického spracovania testu maďarského jazyka úroveň B Mgr. Andrej Mentel ŠPÚ Bratislava 008

2 OBSAH ÚVOD... 4 TESTOVANÍ ŽIACI... 5 VÝSLEDKY Všeobecné výsledky...6. Analýza rozdielov vo výsledkoch...8..rozdiely podľa typu škôl...8..rozdiely podľa krajov...0..rozdiely podľa zriaďovateľa.....4rozdiely podľa pohlavia.....5rozdiely podľa známky...4 POLOŽKOVÁ ANALÝZA Psychometrické charakteristiky testu...6. Porovnanie variantov testu MJ08B...7. Obťažnosť Medzipoložková korelácia....5 Kľúče a distraktory Distribúcia úspešnosti a citlivosť Neriešenosť Súhrnné charakteristiky položiek...4 ZÁVER LITERATÚRA PRÍLOHY Test MJ08B Kľúč správnych odpovedí EČ MS 008

3 Vysvetlivky MS maturitná skúška EČ externá časť (maturitnej skúšky) GYM gymnáziá SOŠ stredné odborné školy ZSŠ združené stredné školy SOU stredné odborné učilištia N veľkosť štatistického súboru, počet žiakov BA Bratislavský kraj TT Trnavský kraj TN Trenčiansky kraj NR Nitriansky kraj ZA Žilinský kraj BB Banskobystrický kraj PO Prešovský kraj KE Košický kraj Sig. obojstranná signifikancia, štatistická významnosť MJ08B označenie testu z maďarského jazyka, úroveň B P.Bis. Point Biserial, parameter medzipoložkovej korelácie r korelačný koeficient, koeficient vecnej signifikancie položka (testová)- príklad, úloha, otázka v teste určená na riešenie a hodnotená (0, ) v hrubom skóre np národný priemer EČ MS 008

4 Úvod Dňa 7. marca 008 sa konala externá časť maturitnej skúšky (EČ MS) z maďarského jazyka a literatúry úrovní A a B. Cieľom externej časti maturitnej skúšky je priniesť porovnateľné výsledky pre žiakov z celého Slovenska. V prvej časti správy kvantifikujeme štatistický súbor. Údaje o počtoch žiakov sú členené z hľadiska územného, zriaďovateľa školy, typu školy a pohlavia. V ďalšej časti Výsledky prezentujeme možné faktory rozdielnosti výkonov v EČ MS prostredníctvom základných štatistických charakteristík testu, distribúcie úspešnosti žiakov a výsledky spracované podľa vybraných triediacich znakov po úprave bodovania kritických položiek. V časti Položková analýza sa vraciame k výsledkom pred úpravou bodovania a predkladáme informácie o psychometrických charakteristikách testu, aby sme dokladovali kvalitu testu a odhaľovanie kritických položiek. V Závere sumarizujeme štatistické zistenia smerované k hodnoteniu výkonov populačného ročníka a k overeniu meracieho nástroja, prípadne identifikujeme jeho slabiny v záujme budúceho skvalitnenia tvorby testov. K správe pripájame plné znenie variantu testu, ktorý bol použitý v položkovej analýze a Kľúč správnych odpovedí. Označenie položiek v analýzach sa viaže k tomuto variantu testu. Informácie, ktoré správa prináša, sú určené tvorcom testov, didaktikom jednotlivých predmetov a kompetentným pracovníkom v problematike hodnotenia výsledkov vzdelávania. Správa dokladuje korektnosť a exaktnosť maturitnej skúšky a spracovania jej výsledkov. Súčasťou správy je samostatný dokument - Príručka, kde uvádzame východiská testovania, základné informácie o priebehu EČ MS, o testovacích nástrojoch, metódach spracovania dát a vysvetlenie niektorých odborných pojmov, štatistických postupov a vzorcov. Juščáková, Z., Ringlerová, V.: Príručka (vysvetlenie pojmov používaných v záverečných správach zo štatistického spracovania testov EČ MS), ŠPÚ, Bratislava 007. URL: EČ MS 008 4

5 TESTOVANÍ ŽIACI Do testovania v predmete maďarský jazyk, základná úroveň (test MJ08B) sa zapojilo 48 žiakov. V nasledujúcich tabuľkách uvádzame počty žiakov a škôl triedené podľa krajov, zriaďovateľa školy, typu školy, pohlavia a variantov testu. Počet škôl a žiakov podľa krajov: MJ08B Kraj Tab. BA TT NR BB KE Spolu Školy Žiaci počet % počet % 4 6,% 79,7% 6 5, 774 6, 5,9% 855 9,8% 8,5% 55 7,% 0,% 85,% 64 00, 48 00, Počet škôl a žiakov podľa krajov Počet škôl a žiakov podľa zriaďovateľa: MJ08B Zriaďovateľ Štátne školy Súkromné školy Cirkevné školy Spolu Školy Žiaci počet % počet % 5 8,% 70 79,% 8,5% 87 8, 4 6,% 59,7% 64 00, 48 00, Tab. Počet škôl a žiakov podľa zriaďovateľa Typ školy Tab. GYM SOŠ ZSŠ SOU Spolu Počet škôl a žiakov podľa typu školy: MJ08B Školy Žiaci počet % počet % 4,4% 550 5,6% 5,9% 86 40,% 7 0,9% 460,4% 8,8% 77,9% 64 00, 48 00, Počet škôl a žiakov podľa typu školy Počet žiakov podľa pohlavia: MJ08B a Pohlavie chlapci dievčatá Spolu a. Test = MJ08B počet % 5 5,9% 0 48,% 48 00, Tab. 4 Počet žiakov podľa pohlavia V ďalšej časti uvádzame výsledky, ktoré potvrdzujú rovnomerné rozloženie variantov testu MJ08B v testovanej populácii. EČ MS 008 5

6 VÝSLEDKY. Všeobecné výsledky Štatistické charakteristiky v nasledujúcich tabuľkách vyjadrujú výsledné kvalitatívne znaky testu, úspešnosť žiakov ako aj kvalitu testu, ako ich získavame na záver analýzy po prípadnej úprave bodovania. Tá sa môže uplatniť v tých položkách, ktoré vykazovali nevhodné štatistické vlastnosti. Úprava spočíva v tom, že sa v týchto problematických položkách pridelí každému žiakovi bod. V prípade, že sa bodovanie neupravuje, obsahujú tieto tabuľky rovnaké údaje ako tabuľky z kapitoly 4 (Položková analýza). Vysvetlenie použitých charakteristík je uvedené v Príručke. Výsledné psychometrické charakteristiky testu (úspešnosť): MJ08B Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Cronbachovo alfa Štandardná chyba merania pre úspešnosť Intervalový odhad úspešnosti individuálneho žiaka Mean 48 96,9 5,0 65,5,9 8, 9,6, 64,9 66,0,86 5, 0, Tab. 5 MJ08B Výsledné psychometrické charakteristiky percentuálnej úspešnosti testu Histogram MJ08B Počet žiakov Obr. EČ MS 008 Výsledný histogram úspešnosti 6

7 a percentil: MJ08B variant 840 a 847 Percentil Počet žiakov 5,0,0 6,6,0 8,, 4 9,7, 4 5,,5 6 6,8, ,4, ,9, 9 7,5, ,,5 0 40,6,4 8 4, 4,7 0 4,8 5,7 4 45, 7, ,9 9, ,4, 7 50,0, ,6 5, , 7, ,7 0, , 4, 77 57,8 7,9 9 59,4, ,9 6,0 96 Tab. 6 Prepojenie úspešnosti a percentilu 5 6,5 40, , 44, ,6 48, , 5, ,8 56, , 59,8 77 7,9 6,4 78 7,4 67, ,0 70, ,6 7, , 77, ,7 8, , 84, 7 8 8,8 87, ,4 90, ,9 9, ,5 94, , 96, 4 90,6 97, , 98, ,8 98, , 99, ,9 99,6 9 Valid 5,0 6,6 8, 9,7,,8 Total Cumulative Frequency Percent Valid Percent Percent 4,5 4,5 4,5,6,6 8, 9, 9, 7, 4 8, 8, 45,5 6 7, 7, 7,7 6 7, 7, 00,0 00,0 00,0 Tab. 7 Rozdelenie žiakov s úspešnosťou menšou ako % Z charakteristík v Tabuľke 5, teda z priemernej úspešnosti 65,5%, hornej hranice intervalového odhadu priemernej úspešnosti 66, a z takmer úplnej symetrie histogramu rozloženia úspešností (Obr. ) predpokladáme vyrovnanú náročnosť testu pre testovanú populáciu. Spoľahlivosť testovania α = 0,86 považujeme za ešte stále pomerne vysokú. Z tabuliek 6 a 7 vidíme, že najnižšia dosiahnutá úspešnosť bola v jednom prípade a najvyššia 96,9%, ktorú dosiahlo 9 žiakov. Ďalej vidíme, že v EČ MS z maďarského jazyka, úroveň B, neuspelo žiakov, čo predstavuje približne %. Najúspešnejšiu skupinu žiakov, ktorí presiahli hranicu 9, tvorí 59 žiakov, čo je,8%. Tabuľka č. 6 je organizovaná podľa nasledujúceho princípu: Test sa skladal zo 64 položiek a najnižšia dosiahnutá úspešnosť bola (teda 6 položiek správne vyriešených). Preto EČ MS 008 7

8 prvý riadok zodpovedá úspešnosti (vidíme, že ju dosiahol jeden študent). S každou ďalšou správne vyriešenou položkou stúpne úspešnosť o,56 (lebo položiek je spolu 64), čo spravidla zodpovedá posunu v tabuľke o jeden riadok. Jednotlivým triedam (riadkom tabuľky) je priradený počet žiakov, ktorí dosiahli práve danú úspešnosť. Napr. úspešnosť 46,9%, teda 0 správne vyriešených položiek, dosiahlo 46 žiakov (5. riadok tabuľky č. 6). S tým je spojený pojem percentilu. Na 5. riadku čítame, že úspešnosť 46,9% predstavuje 9. percentil. To znamená, že nižšiu úspešnosť dosiahlo dovedna 9% všetkých žiakov. Skutočne, ak si spočítame počty žiakov v jednotlivých kategóriách (riadkoch) od začiatku tabuľky až po 5. riadok (ale bez neho), dostaneme počet 94 žiakov, čo je takmer presne 9%. Percentily určujú aj dôležitú charakteristiku rozdelenia súboru, a to medián. Mediánom je v teste MJ08B hodnota úspešnosti približne 66%, to znamená, že študentov dosiahlo úspešnosť pod túto hodnotu a naopak, túto hodnotu prekročilo. Vidíme, že táto hodnota je len nepatrne vyššia než priemer. Znamená to, že rozdelenie úspešnosti je takmer presne symetrické (čo ostatne vidno aj na Obr. ). Z týchto charakteristík a z pomerne širokého rozpätia úspešnosti (od do 96,9%) môžeme usúdiť, že test diferencoval rovnako úspešnejších, ako aj menej úspešných riešiteľov.. Analýza rozdielov vo výsledkoch V tejto časti správy poukazujeme na rozdiely vo výsledkoch žiakov podľa typu školy, krajov, zriaďovateľa, pohlavia a známky, ktorú žiaci získali na polročnom vysvedčení v danom predmete. Výsledky, ktoré opisujú priemernú úroveň vedomostí a zručností žiakov sú doplnené o štatistické testy, a najmä o zisťovanie vecnej významnosti rozdielu. Určenie vecnej významnosti rozdielu je dôležité pri veľkých súboroch žiakov, kedy testy štatistickej významnosti rozdielov sú signifikantné aj pri malých vecných rozdieloch výsledkov... Rozdiely podľa typu škôl Report Typ školy GYM SOŠ ZSŠ SOU Spolu Tab. 8 Štd. chyba N Priemer priemeru 550 7,57, ,8, ,806, ,78, ,458,989 podľa typu školy Najvyššiu priemernú úspešnosť 7,6% dosiahli žiaci gymnázií, najnižšiu 56,7% žiaci stredných odborných učilíšť. Národný priemer testu MJ08B bol 65,5%. EČ MS 008 8

9 - MJ08B GYM ZSŠ Typ školy SOŠ SOU Obr. Typ školy podľa úspešnosti Correlations GYM-SOŠ GYM-ZSŠ GYM-SOU SOŠ-ZSŠ SOŠ-SOU ZSŠ-SOU Tab. 9 Vecná signifikancia -,405 -,8 -,569,0 -,68 -,40 Porovnanie priemernej úspešnosti dvojíc typov škôl navzájom Porovnávaním dvojíc typov škôl sa preukázali vecne signifikantné rozdiely priemerných úspešností na silnej (r GYM SOU = -0,569), strednej (r ZSŠ SOU = -0,40; r GYM SOŠ = -0,405), miernej (r GYM ZSŠ = -0,8; r SOŠ ZSŠ = 0,0) a veľmi miernej (r SOŠ SOU = 0,68) úrovni. One-Sample Test Typ školy GYM SOŠ ZSŠ SOU Národný priemer = % interval spoľahlivosti pre Obojstranná Vecná rozdiel priemerov t Stupne voľnosti signifikancia signifikancia Dolná medza Horná medza 5,87 549,000,56 7,07 9,070-7,94 860,000,6-4,574 -,76, ,000,8,44,467 -,767 76,000,64-0,08-7,56 Tab. 0 Porovnanie priemernej úspešnosti podľa typov škôl s národným priemerom Od národného priemeru sa líšili priemerné úspešnosti žiakov všetkých typov škôl, hoci na rôznych úrovniach vecnej signifikancie: Najvýraznejšie sa od národného priemeru líšili úspešnosti žiakov gymnázií a stredných odborných učilíšť (na úrovni silnej vecnej signifikancie r GYM-np = 0,56; (r SOU-np = 0,64)); ďalšie rozdiely boli na úrovni veľmi miernej (r ZSŠ-np = 0,8) až miernej (r SOŠ-np = 0,6) vecnej signifikancie. EČ MS 008 9

10 .. Rozdiely podľa krajov Kraj BA TT NR BB KE Spolu Report Štd. chyba N Priemer priemeru 79 7,499, ,585, ,97, ,08, ,55, ,458,989 Tab. podľa krajov - MJ08B BA TT BB Kraj NR KE Obr. Kraje podľa úspešnosti Correlations BA-KE BA-BB BA-NR TT-KE TT-NR BB-KE BA-TT NR-KE TT-BB NR-BB Tab. Vecná signifikancia -,59 -,75 -,68 -,64 -,4 -, -,080 -,060 -,040,057 Porovnanie priemernej úspešnosti dvojíc krajov navzájom EČ MS 008 0

11 Medzi prvým a posledným krajom v poradí dosiahnutej priemernej úspešnosti je len mierna vecná signifikancia (r BA-KE = 0,59). Záporné znamienko v Tab. znamená, že druhý z uvedených krajov (v našom prípade Košický) dosiahol horší výsledok než prvý z uvedených krajov (tu Bratislavský). Ostatné rozdiely medzi krajmi boli na veľmi miernej úrovni vecnej signifikancie (r BA-BB = 0,75; r BA-NR = 0,68; r TT-KE = 0,64; r TT-NR = 0,4; r BB-KE = 0,), alebo neboli vecne signifikantné (ktoré mali úroveň vecnej signifikancie medzi 0, a 0,). Tabuľka dokladuje pomerne malé rozdiely priemerných úspešností takmer všetkých krajov od národného priemeru. dosiahnutá žiakmi v Trnavskom a Nitrianskom kraji sa líši od národného priemeru na úrovni veľmi miernej vecnej signifikancie; úspešnosť študentov Košického kraja sa líši od národného priemeru na miernej a Bratislavského kraja na strednej úrovni vecnej signifikancie. One-Sample Test Kraj BA TT NR BB KE Národný priemer = % interval spoľahlivosti pre Obojstranná Vecná rozdiel priemerov t Stupne voľnosti signifikancia signifikancia Dolná medza Horná medza 4,46 78,000,44,5 8,748 4,055 77,000,4,076,095 -,66 854,000, -,56 -,70,40 54,675,0 -,957,0 -,787 84,000, -5,084 -,607 Tab. Porovnanie priemernej úspešnosti podľa kraja s národným priemerom.. Rozdiely podľa zriaďovateľa Report Zriaďovateľ Štátne školy Súkromné školy Cirkevné školy Spolu Tab. 4 Štd. chyba N Priemer priemeru 70 65,046, ,96, ,94, ,458,989 podľa zriaďovateľa EČ MS 008

12 - MJ08B Súkromné školy Cirkevné školy Zriaďovateľ Štátne školy Obr. 4 Zriaďovatelia podľa úspešnosti Correlations Súkromník-Cirkev Štát-Cirkev Štát-Súkromník Tab. 5 Vecná signifikancia -,08,0,060 Porovnanie priemernej úspešnosti dvojíc zriaďovateľov navzájom Rozdiely medzi priemernými výkonmi žiakov štátnych, cirkevných a súkromných škôl nie sú vecne signifikantné. Vidieť to aj v nasledujúcej tabuľke (Tab. 6), podľa ktorej má veľmi miernu vecnú významnosť rozdielu od národného priemeru iba mierne vyššia úspešnosť žiakov súkromných škôl (r Sukr np = 0,5). One-Sample Test Národný priemer = 65.5 Zriaďovateľ Štátne školy Súkromné školy Cirkevné školy 95% interval spoľahlivosti pre Obojstranná Vecná rozdiel priemerov t Stupne voľnosti signifikancia signifikancia Dolná medza Horná medza -,99 70,94,0 -,40,,960 86,00,5,569,8,99 58,766,04 -,56,4 Tab. 6 Porovnanie priemerov podľa zriaďovateľa s národným priemerom EČ MS 008

13 ..4 Rozdiely podľa pohlavia Report Pohlavie chlapci dievčatá Spolu Tab. 7 Štd. chyba N Priemer priemeru 5 6,800, ,6, ,458,989 podľa pohlavia dievčatá Pohlavie chlapci Obr. 5 Pohlavie podľa úspešnosti Correlations Chlapci/dievčatá Tab. 8 Vecná signifikancia,99 Porovnanie priemernej úspešnosti medzi pohlaviami navzájom t(6,8) = -9,47; p = 0,000; vecná signifikancia rozdielu r = 0,99 Lepší priemerný výkon dievčat sa líšil od priemerného výkonu chlapcov na hornej hranici veľmi miernej úrovne vecnej signifikancie. Rozdiely priemerných výkonov oboch skupín od národného priemeru boli taktiež na hornej hranici veľmi miernej úrovne vecnej signifikancie. One-Sample Test Pohlavie chlapci dievčatá Národný priemer = % interval spoľahlivosti pre Obojstranná Vecná rozdiel priemerov t Stupne voľnosti signifikancia signifikancia Dolná medza Horná medza -6,704 4,000,0 -,490 -,90 6,6 0,000,0,989,664 Tab. 9 Porovnanie priemerov podľa pohlavia s národným priemerom EČ MS 008

14 ..5 Rozdiely podľa známky Známka Spolu Report Štd. chyba N Priemer priemeru 99 76,944, ,650, ,676, ,784, ,99,5754 7,48 4, ,458,989 Tab. 0 podľa známky - MJ08B Známka 4 5 Obr. 6 Známka podľa úspešnosti Correlations Tab. Vecná signifikancia -,589 -,586 -,489 -,95 -,56 -,0 -,69 -,90 -,70 -,0 Porovnanie priemernej úspešnosti medzi klasifikačnými stupňami navzájom EČ MS 008 4

15 Podľa očakávania najvýraznejšie rozdiely v priemerných výkonoch sme zaznamenali medzi žiakmi s polročným hodnotením a 5 (r -5 = 0,589) a tiež a 4 (r 4 = 0,586). Tieto rozdiely boli na úrovni silnej vecnej signifikancie. Rozdiely medzi úspešnosťami študentov hodnotených známkami a, ale aj a 4, a 5 a tiež a boli na úrovni strednej vecnej signifikancie (r - = 0,489 atď. podľa Tab. ). Ďalšie rozdiely boli na úrovni miernej až veľmi miernej vecnej signifikancie. One-Sample Test Známka 4 5 Národný priemer = % interval spoľahlivosti pre Obojstranná Vecná rozdiel priemerov t Stupne voľnosti signifikancia signifikancia Dolná medza Horná medza 6,6 98,000,68 0,047,84 8, ,000,,9 5,08-8,446 74,000,0-4,7 -,95-0,70 40,000,47-7,949-5,48-8,575 50,000,77-6,67-0,44 Tab. Porovnanie priemerov podľa známky s národným priemerom Aj rozdiely medzi úspešnosťou jednotlivých skupín rozdelených podľa polročného hodnotenia a národným priemerom vychádzajú podľa toho. Najvyššiu, teda silnú až veľmi silnú úroveň vecnej signifikancie vykazuje rozdiel medzi národným priemerom a skupinami študentov, ktorí boli ohodnotení známkami 5 a (r 5-np = 0,77, r -np = 0,68). Ostatné klasifikačné stupne sa líšia od národného priemeru slabšie, konkrétne na strednej (známky, a 4) úrovni. EČ MS 008 5

16 POLOŽKOVÁ ANALÝZA Testy externej časti maturity sú pripravované tímami odborníkov podľa cieľových požiadaviek na maturantov z daného predmetu. Na to, aby sme mohli výsledky testu považovať za spoľahlivé, musíme poznať vlastnosti testu. V tejto časti analýzy predkladáme okrem základných psychometrických charakteristík testu aj vlastnosti jednotlivých položiek, ich obťažnosť, citlivosť, neriešenosť, analýzu distraktorov a medzipoložkovú koreláciu, ktoré dokladujú charakter a kvalitu testu. Postupne odkrývame dôvody, pre ktoré niektoré položky budeme považovať za kritické, iné akceptovať ako vhodné, podieľajúce sa na dobrej kvalite testu.. Psychometrické charakteristiky testu S výslednými psychometrickými charakteristikami testu sme sa mohli oboznámiť v druhej časti Výsledky, v podkapitole Všeobecné výsledky (Tabuľka 5). V tejto časti správy uvádzame prvotné charakteristiky testu pred rozhodnutím o prípadnej úprave bodovania. Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Cronbachovo alfa Štandardná chyba merania pre úspešnosť Intervalový odhad úspešnosti individuálneho žiaka Test MJ08B Priemer 48 96,9 5,0 65,5,9 8, 9,6, 64,9 66,0,86 5, 0, Tab. Prvotné psychometrické charakteristiky testu EČ MS 008 6

17 Počet žiakov Obr. 7 Prvotný histogram rozloženia úspešností v MJ08B. Porovnanie variantov testu MJ08B O administrácii variantov testu môžeme povedať, že bola proporčná z viacerých hľadísk (územného, inštitucionálneho a rodového), čo dokladuje Tab. 4. Podiel žiakov podľa variantov: MJ08B a Kraj BA TT TN NR ZA BB PO KE Zriaďovateľ Štátne školy Súkromné školy Cirkevné školy Typ školy GYM SOŠ ZSŠ SOU Pohlavie chlapci dievčatá a. Test = MJ08B Variant % % 48,% 5,9% 49,5% 50,5%,, 49,7% 50,%,, 5, 49,,, 49,8% 50,% 49,8% 50,% 48,8% 5,% 50,8% 49,% 5,% 48,9% 49,4% 50,6% 48,7% 5,% 49,5% 50,5% 49,9% 50,% 49,5% 50,5% Tab. 4 Podiel žiakov podľa kraja, zriaďovateľa, typu školy pohlavia a variantov EČ MS 008 7

18 Group Statistics uspes Variant Štd. chyba N Priemer Štd. odchýlka priemeru ,9 4,08954, ,999,6097,494 Independent Samples Test Levenov test zhody rozptylov t-test zhody priemerov uspes Za predpokladu zhody rozptylov Bez predpokladu zhody rozptylov F Signifikancia t Stupne voľnosti Obojstranná signifikancia Rozdiel priemerov Štd. chyba rozdielu priemerov 95% interval spoľahlivosti pre rozdiel priemerov Dolná medza Horná medza,458,7,545 46,,94, ,4898,0955,544 4,5,,94,5978 -,494,0955 Tab. 5 žiakov podľa variantov testu Z Tab. 5 vidíme, že medzi variantmi nie sú signifikantné rozdiely priemerných úspešností. Naznačuje to výsledok Studentovho testu rovnosti priemerov: t (4,5) =,544; p = 0,. Keďže medzi oboma variantmi testu nie sú signifikantné rozdiely, položky druhého variantu 847 sme pre potreby porovnávania variantov po položkách usporiadali podľa poradia vo variante 840. Označenie položiek v Tab. 6 teda zodpovedá variantu 840. Tab. 6 predstavuje výber položiek s najvyššou vecnou signifikanciou rozdielov úspešností. Vidíme že rozdiel medzi dosiahnutou priemernou úspešnosťou v uvedených variantoch po položkách nie je vecne významný. Obťažnosť MJ08B - variant 840 a Vecná Položka Obťažnosť Obťažnosť signifikancia 6 4,6,7 -, ,5 8,5 -, ,0 40,7 -,069 8,8 8,4 -, ,8, -, ,,6,08 4 6,,,040 7,4 68,5, ,6,5,07 5 7,6 9,,0 Tab. 6 Ukážka percentuálnej obťažnosti položiek v oboch variantoch s najväčšou dosiahnutou vecnou signifikanciou rozdielov 0 položiek s najväčšou vecnou signifikanciou, stĺpce Obťažnosť a Obťažnosť sa vzťahujú k variantom testu 840 a 847. EČ MS 008 8

19 Reliability Statistics Variant Tab. 7 Cronbachovo Alfa založené na Cronbachov štandardizovanýc Počet o Alfa h položkách položiek,86,858 64,848, Reliabilita jednotlivých častí testu MJ08B Konštatujeme, že varianty 840 a 847 testu MJ08B sú ekvivalentné. V ďalších analýzach sme pre štatistické postupy použili zástupný variant 840. Číslovanie položiek v ďalších analýzach zodpovedá tomuto variantu.. Obťažnosť Testové položky na Obr. 9 sú usporiadané zostupne podľa obťažnosti. Táto v teste nadobúda hodnoty širokej škály, a to od, (položka č. 9) do 77,5% (položka 56). Časť: 9 8 Obťažnosť Položka a) EČ MS 008 9

20 Časť: 9 8 Obťažnosť Položka b) Časť: Obťažnosť Položka c) EČ MS 008 0

21 Časť: Obťažnosť Položka d) Obr. 8 a)-d) Grafy obťažnosti položiek v jednotlivých častiach testu Test teda neobsahuje veľmi ťažké položky (také, ktorých obťažnosť je nad 8). Naopak, obťažnosť pod má až položiek; z toho 5 položiek je extrémne ľahkých (obťažnosť pod ). Sú to položky č. 8 (obťažnosť 9,), č. 9 (obťažnosť 8,8%), č. (obťažnosť 6,), č. 7 (obťažnosť 4,5%) a napokon už spomínaná položka č. 9 (obťažnosť,0). Nasledujúce tabuľky (Tab. 8 a 9) obsahujú výber tých položiek spomedzi šesťdesiatich štyroch, ktoré zaznamenali najvyššiu vecnú signifikanciu priemerných úspešností medzi porovnávanými skupinami. Obťažnosť - gymnáziá a ostatné školy: MJ08B - variant Tab. 8 Obťažnosť Vecná Položka Obťažnosť GYM ostatné signifikancia 48 9,9 6,0 -,79 46,8 64, -,56 4,5 5,7 -, ,4 79,4 -, 9 0,0 9,8 -,0 6,8 5,7,09 5,9,6,0 9,9 7,,0 4 4,0 8,8, , 5,,05 Percentuálna obťažnosť položiek podľa typu školy a vecná signifikancia rozdielov Tab. 8 obsahuje výber položiek s najvyššími vecnými signifikanciami rozdielu v úspešnosti medzi žiakmi gymnázií a ostatných škôl. Dve položky sa líšili na strednej úrovni vecnej signifikancie (položky 48, 46). Ďalšie položky (č. 4, 5 a 9) vykazujú miernu vecnú signifikanciu tohto rozdielu. Uvedené položky boli náročnejšie pre žiakov ostatných škôl než EČ MS 008

22 pre žiakov gymnázií. Ostatné položky sú uvedené len pre ilustráciu. Z tabuľky je zrejmé, že rozdiel v úspešnosti riešenia týchto položiek nie je vecne signifikantný. Obťažnosť - chlapci a dievčatá: MJ08B - variant Obťažnosť Obťažnosť Vecná Položka chlapci dievčatá signifikancia 5,8 4,7 -,070 8,8, -, ,4 7,0 -,06 0,6,7 -,06 9 9,9 7,0,5 6 55,8 9,9, ,6 9,,6 6 59, 4,9,6 4 6,8 46,, ,5 7,0,9 Tab. 9 Percentuálna obťažnosť položiek podľa pohlavia a vecná signifikancia rozdielov Tabuľka 9 obsahuje výber 6položiek s veľmi miernou vecnou signifikanciou rozdielu obťažností. Tieto položky s úrovňou vecnej signifikancie r > 0, boli náročnejšie pre chlapcov. Prvé 4 hodnoty z opačného konca tabuľky (najvýraznejšie rozdiely v obťažnosti medzi chlapcami a dievčatami, keď boli položky náročnejšie pre dievčatá) predstavujú len ilustráciu; tieto rozdiely nie sú vecne signifikantné..4 Medzipoložková korelácia V nasledujúcom grafe sú usporiadané položky podľa stonásobku koeficientu P.Bis. medzipoložkovej korelácie. Hodnoty nižšie ako 0 považujeme kritické. 60 Časť: 50 Medzipoložková korelácia Položka a) EČ MS 008

23 Časť: Medzipoložková korelácia Položka b) Časť: Medzipoložková korelácia Položka c) EČ MS 008

24 Časť: Medzipoložková korelácia Položka d) Obr. 9 Položky podľa medzipoložkovej korelácie (P.Bis.) Kritické hodnoty medzipoložkovej korelácie dosahujú položky v takmer celej poslednej štvrtej časti testu. Sú to položky, ktoré majú hodnotu medzipoložkovej korelácie nižšiu než 0,. Znamená to, že nedostatočne rozlišovali medzi úspešnejšími a menej úspešnými študentmi..5 Kľúče a distraktory Tu sa budeme venovať položkám s výberom odpovede. V teste MJ08B sú to položky -5, 9, 7, 5 9, - 7, 4 45, 49 5, Žltá farba znamená kľúč; červená farba v kľúči naznačuje hodnotu medzipoložkovej korelácie nižšiu než 0, a hnedá farba v distraktoroch značí kladnú hodnotu medzipoložkovej korelácie pri nesprávnej odpovedi. To znamená, že si túto nesprávnu odpoveď volilo veľa inak úspešných študentov. Analýza distraktorov - variant 840 A0 B0 C0 D0 X0 P. Bis. -,8 -,07,7,0 -,0 p,4,7,8,0,00 N 45,00 89,00 95,00 7,00,00 Analýza distraktorov - variant 840 A0 B0 C0 D0 X0 P. Bis.,08,0 -,9 -,05 -,0 p,0,6,05,04,00 N,00 650,00 5,00 40,00,00 Podrobnejšie informácie o kľúčoch a distraktoroch nájde záujemca v Príručke. EČ MS 008 4

25 Analýza distraktorov - variant 840 A0 B0 C0 D0 X0 P. Bis. -, -,,,04 -,04 p,8,09,66,07,00 N 9,00 9,00 70,00 77,00 4,00 Analýza distraktorov - variant 840 A04 B04 C04 D04 X04 P. Bis. -,8 -,5 -,6,9 -,05 p,0,8,07,54,00 N 08,00 0,00 74,00 579,00,00 Analýza distraktorov - variant 840 A05 B05 C05 D05 X05 P. Bis. -, -,,4 -,06 -,05 p,05,8,40,6,0 N 57,00 98,00 44,00 74,00,00 Analýza distraktorov - variant 840 A09 B09 C09 D09 X09 P. Bis. -,7,0 -,08 -,0 -,07 p,05,9,0,0,00 N 57,00 97,00 6,00 8,00,00 Analýza distraktorov - variant 840 A0 B0 C0 D0 X0 P. Bis. -,4 -,0 -,,0 -,0 p,08,5,04,7,00 N 88,00 6,00 48,00 767,00,00 Analýza distraktorov - variant 840 A B C D X P. Bis.,8 -, -,0 -,,04 p,70,08,07,5,0 N 74,00 87,00 7,00 58,00 8,00 Analýza distraktorov - variant 840 A B C D X P. Bis. -,0, -, -,0 -,09 p,06,6,07,,0 N 65,00 666,00 78,00 50,00 8,00 Analýza distraktorov - variant 840 A B C D X P. Bis.,9 -,0 -,0 -,09 -,04 p,6,05,0,,00 N 659,00 56,00,00 6,00 4,00 EČ MS 008 5

26 Analýza distraktorov - variant 840 A7 B7 C7 D7 vx0 P. Bis. -,0 -,04, -,07,00 p,0,0,96,0,00 N,00 4,00 09,00 0,00,00 Analýza distraktorov - variant 840 A8 B8 C8 D8 X8 P. Bis. -, -,09 -,, -,09 p,0,08,,77,0 N 0,00 8,00,00 8,00 9,00 Analýza distraktorov - variant 840 A9 B9 C9 D9 X9 P. Bis. -,0,0,0,00 -,0 p,00,98,00,0,00 N 5,00 046,00 5,00 8,00,00 Analýza distraktorov - variant 840 A0 B0 C0 D0 X0 P. Bis. -, -,,0 -,07 -,0 p,06,04,87,0,00 N 64,00 4,00 97,00,00,00 Analýza distraktorov - variant 840 A B C D X P. Bis. -,7 -,07 -,07, -,09 p,06,0,06,85,0 N 64,00,00 65,00 904,00,00 Analýza distraktorov - variant 840 A5 B5 C5 D5 X5 P. Bis. -,04,0 -,7 -,09 -,0 p,0,79,9,0,00 N,00 84,00 0,00 0,00,00 Analýza distraktorov - variant 840 A6 B6 C6 D6 X6 P. Bis., -,04 -,6 -,0 -,06 p,49,09,7,04,0 N 59,00 97,00 9,00 44,00,00 Analýza distraktorov - variant 840 A7 B7 C7 D7 X7 P. Bis. -, -,8 -,4, -,0 p,07,,0,78,0 N 70,00,00 6,00 84,00 6,00 Analýza distraktorov - variant 840 A8 B8 C8 D8 X8 P. Bis. -,9,8 -,7 -, -,07 p,06,7,,08,0 N 6,00 764,00 40,00 90,00,00 EČ MS 008 6

27 Analýza distraktorov - variant 840 A9 B9 C9 D9 X9 P. Bis.,7 -,9 -,6 -, -,07 p,75,04,,07,0 N 805,00 4,00 0,00 74,00 5,00 Analýza distraktorov - variant 840 A B C D X P. Bis. -, -,, -, -,05 p,06,9,6,0,00 N 67,00 4,00 66,00,00,00 Analýza distraktorov - variant 840 A4 B4 C4 D4 X4 P. Bis.,8 -,09 -, -,5 -,09 p,45,04,,7,0 N 48,00 44,00 4,00 9,00 7,00 Analýza distraktorov - variant 840 A5 B5 C5 D5 X5 P. Bis. -,7, -,09 -,07 -,06 p,,79,04,0,00 N 44,00 84,00 46,00 8,00 5,00 Analýza distraktorov - variant 840 A6 B6 C6 D6 X6 P. Bis. -,0 -,7 -,6,8 -,05 p,09,6,,5,0 N 99,00 76,00 9,00 55,00 0,00 Analýza distraktorov - variant 840 A7 B7 C7 D7 X7 P. Bis.,8 -,5 -,5 -, -,09 p,6,,4,0,0 N 676,00 9,00 47,00 07,00 8,00 Analýza distraktorov - variant 840 A4 B4 C4 D4 X4 P. Bis., -,0 -,8,04 -,05 p,60,05,07,6,0 N 644,00 58,00 80,00 75,00 9,00 Analýza distraktorov - variant 840 A4 B4 C4 D4 X4 P. Bis. -,06,0 -,0, -,07 p,,0,,64,0 N,00 09,00 4,00 68,00 0,00 EČ MS 008 7

28 Analýza distraktorov - variant 840 A4 B4 C4 D4 X4 P. Bis. -,,0 -, -,0 -,04 p,07,84,0,07,00 N 79,00 89,00 6,00 77,00,00 Analýza distraktorov - variant 840 A44 B44 C44 D44 X44 P. Bis. -,5 -,4 -,,9 -,09 p,7,06,09,68,0 N 78,00 59,00 9,00 7,00 7,00 Analýza distraktorov - variant 840 A45 B45 C45 D45 X45 P. Bis. -,07,7 -,6 -,0 -,09 p,,6,07,07,0 N 49,00 654,00 74,00 7,00 7,00 Analýza distraktorov - variant 840 A49 B49 C49 D49 X49 P. Bis.,4 -,7 -, -,09 -,07 p,8,09,04,05,00 N 87,00 9,00 4,00 58,00,00 Analýza distraktorov - variant 840 A50 B50 C50 D50 X50 P. Bis. -,0 -, -,,0 -,07 p,9,07,,59,0 N 04,00 79,00 4,00 64,00 5,00 Analýza distraktorov - variant 840 A5 B5 C5 D5 X5 P. Bis. -,0,9 -,7 -,05 -,0 p,08,87,0,0,0 N 89,00 97,00 7,00 7,00 7,00 Analýza distraktorov - variant 840 A5 B5 C5 D5 X5 P. Bis.,4 -, -,4 -,07 -,06 p,50,4,,4,0 N 5,00 59,00 6,00 49,00,00 Analýza distraktorov - variant 840 A5 B5 C5 D5 X5 P. Bis. -, -,,7 -,0 -, p,,,7,0,0 N 0,00 8,00 77,00,00 4,00 Analýza distraktorov - variant 840 A57 B57 C57 D57 X57 P. Bis. -, -, -,6, -,0 p,5,0,0,78,0 N 59,00,00 8,00 85,00,00 EČ MS 008 8

29 Analýza distraktorov - variant 840 A58 B58 C58 D58 X58 P. Bis. -,09,7 -,8 -, -,0 p,04,65,0,09,0 N 47,00 696,00 6,00 99,00 9,00 Analýza distraktorov - variant 840 A59 B59 C59 D59 X59 P. Bis.,9 -, -,5 -, -,09 p,66,4,,06,0 N 704,00 5,00 4,00 60,00 8,00 Analýza distraktorov - variant 840 A60 B60 C60 D60 X60 P. Bis. -,07 -,4 -,07,9 -,08 p,07,8,6,58,0 N 80,00 9,00 68,00 69,00 7,00 Analýza distraktorov - variant 840 Tab. 0 A6 B6 C6 D6 X6 P. Bis. -, -,5,8 -, -,08 p,0,5,75,07,00 N,00 6,00 804,00 75,00,00 Položky s výberom odpovede analýza distraktorov Medzi položkami s výberom odpovede šestnásť položiek zaznamenalo nepriaznivé parametre. Rozdelili sme ich do niekoľkých skupín: a) Položky 09, 5 a 4 majú hodnotu medzipoložkovej korelácie na hranici prijateľnosti (rovných 0,). b) Položky, 7 a 45 majú hodnotu medzipoložkovej korelácie nižšiu než 0,, ale distraktory majú túto hodnotu zápornú. c) Položky 0, 0 a majú hodnotu medzipoložkovej korelácie pri správnej odpovedi síce vyhovujúcu, ale niektorý z distraktorov mal túto hodnotu kladnú. d) Napokon položky 0, 9, 4 a 4 majú hodnotu medzipoložkovej korelácie pri správnej odpovedi príliš nízku a zároveň pri distraktore kladnú. Problematické sú predovšetkým skupiny položiek spomínané v bodoch c) a d). Kladná hodnota medzipoložkovej korelácie pri distraktore totiž znamená, že viacerí z tých, ktorí boli inak v teste úspešní, si volili nesprávnu odpoveď..6 Distribúcia úspešnosti a citlivosť Citlivosť položky je jedným z dôležitých ukazovateľov jej kvality. Určuje sa nasledujúcim spôsobom: Celú populáciu riešiteľov rozdelíme na desať rovnako početných skupín podľa úspešnosti v celom teste (od najmenej úspešných po najúspešnejších). Pre každú z týchto skupín vypočítame priemernú úspešnosť, s ktorou riešila danú položku. Citlivosť je potom rozdiel medzi úspešnosťami, s akými túto položku riešila prvá a posledná skupina. Zaujímavejšia než samotná hodnota citlivosti je však charakteristika, ktorú vyjadrujú grafy na nasledujúcich obrázkoch (Obr. 0). Tu nezaznamenávame len úspešnosť riešenia danej položky pre najlepšiu (značenú ako ) a najhoršiu skupinu (značenú ako 0), ale aj úspešnosti pre ostatné skupiny. Všeobecne vzaté, dobré položky sú vtedy, keď krivka tejto EČ MS 008 9

30 6,5% 60,09% 8,5%,68% charakteristiky plynule rastie. Znamená to, že čím je študent celkovo lepší, tým lepšiu úspešnosť má aj v skúmanej položke. Pri tejto analýze by sme mali byť pozorní k položkám s citlivosťou nižšou ako a zvlášť k takým, ktoré majú citlivosť nižšiu ako. Viaceré z položiek, ktoré mali citlivosť pod, patrili medzi extrémne ľahké. Sú to konkrétne položky 9, 7,, 09 a 08. Položka č. 0 má kritickú hodnotu citlivosti, napriek tomu, že má primeranú obťažnosť; prejavuje sa tu však veľmi nízka hodnota medzipoložkovej korelácie (P.Bis. =,). Aj položka 56, ktorej citlivosť je nízka, má tento problém (nízku hodnotu medzipoložkovej korelácie). p0 p0 p0 p04 EČ MS 008 0

31 8,78% 47,4% 66,67%,% 40,85% 46,95% p05 p06 p07 p08 p09 p0 EČ MS 008

32 4,66% 7,09%,86% 5,99% 46,0% 50,% p p p p4 p5 p6 EČ MS 008

33 6,76% 56,8%,4% 5,8% 8,45% 8,64% p7 p8 p9 p0 p p EČ MS 008

34 4, 5,% 8,64% 47,4% 4,74% 47,89% p p4 p5 p6 p7 p8 EČ MS 008 4

35 8,97% 4,7% 8,45% 4, 5,64%,86% p9 p0 p p p p4 EČ MS 008 5

36 4,%,46% 57, 5,05% 9,58% 6,97% p5 p6 p7 p8 p9 p40 EČ MS 008 6

37 0,05% 69,48%,47% 4,%,47% 6,9% p4 p4 p4 p44 p45 p46 EČ MS 008 7

38 ,86% 50,7% 0,05% 5,64%,46% 58,69% p47 p48 p49 p50 p5 p5 EČ MS 008 8

39 4,9% 5,5% 9,44% 8,78% 5,7%,94% p5 p54 p55 p56 p57 p58 EČ MS 008 9

40 60,56% 7,09% 50,%,46% 57, 44,6% p59 p60 p6 p6 p6 p64 Obr. 0 Grafy distribúcie úspešnosti EČ MS

41 Z grafov na Obr. 0 možno usudzovať, že niektoré položky pomerne dobre diferencujú žiakov (napr. 07, 46, 6). Majú aj vysokú percentuálnu hodnotu citlivosti. Iné položky výraznejšie oddeľujú najmenej úspešných žiakov (9. a 0. skupina) od ostatných, napríklad položka alebo 40; naopak, najúspešnejších žiakov výraznejšie separujú napríklad položky č. 4 alebo 64. Na celkovú výkonnosť žiakov sú niektoré položky citlivé málo až nedostatočne, pretože sú pre všetkých takmer rovnako ľahké (napr. 0, 09, 7 alebo 9). Niektoré položky diferencujú dobre len polovicu výkonnostného spektra, skupiny až 5 alebo 6 až 0, napríklad položka č.. Výrazne nevhodné sú položky 0, 9, 4 a 4. Hodnotenie si nerobí nárok na komplexnosť, je len príkladom, ako sa v grafoch Obr. 0 môže čitateľ orientovať..8 Neriešenosť Neriešenosť môže poukazovať na obťažnosť testu, jednotlivých položiek, prípadne nedostatok času na riešenie. Položky na Obr. sú usporiadané podľa poradia v teste, podiel nedosiahnutosti na neriešenosti je znázornený farebne. Vynechanosť a nedosiahnutosť: MJ08B - variant 840 Časť: 9 Vynechanosť Nedosiahnutosť 8 7 Neriešenosť Položka Podrobnejšie informácie sú opäť uvedené v Príručke. EČ MS 008 4

42 Vynechanosť a nedosiahnutosť: MJ08B - variant 840 Časť: 9 Vynechanosť Nedosiahnutosť 8 7 Neriešenosť Položka Vynechanosť a nedosiahnutosť: MJ08B - variant 840 Časť: 9 Vynechanosť Nedosiahnutosť 8 7 Neriešenosť Položka EČ MS 008 4

43 Vynechanosť a nedosiahnutosť: MJ08B - variant 840 Časť: 4 9 Vynechanosť Nedosiahnutosť 8 7 Neriešenosť Položka Obr. Neriešenosť položiek v jednotlivých častiach testu Väčšinu testu riešili takmer všetci žiaci. Vyššia neriešenosť (nad ) sa objavila v prípade siedmich položiek: 56, 64, 47, 46, 06, 5 a 48. Z toho výraznejší podiel nedosiahnutosti (nad ) sa prejavil v položkách č. 06, 5 a 48. Aj napriek,66%-nej nedosiahnutosti v prípade položky 64 však možno predpokladať, že určený časový limit riešenia bol dostatočný. EČ MS 008 4

44 .9 Súhrnné charakteristiky položiek V nasledujúcej tabuľke (Tab. 5) uvádzame súhrnné charakteristiky jednotlivých položiek. Kritické hodnoty sme odstupňovali farebným zvýraznením. V poslednom stĺpci (stonásobok koeficientu P.Bis.) sme farebne odstupňovali skupiny položiek z hľadiska problematickej medzipoložkovej korelácie do intervalov: P.Bis. < 0,0 0, < P.Bis. < 5,0 5, < P.Bis. < 0,0 0, < P.Bis. < 5,0 5, < P.Bis.< 0,0. Položka Obťažnosť Citlivosť Nedosiahnutosť Vynechanosť Neriešenosť Korelácia medzi položkou a zvyškom testu 7,4 8,5,00,8,8 7,0 9,,7,00,8,8, 4, 6,,00,7,7, ,7 60,,00,9,9 9, , 40,8,00,, 4, ,8 46,9,00,,, ,0 66,7,00 5,5 5,5 44, ,0,,00,50,50 0, 9 9 8,8 8,8,00,8,8 9, , 47,4,00,09,09 9,9 0,5 46,0,00,75,75 8, 7,6 50,,00,75,75 0,6 8,,9,00,7,7 8, ,7 54,0,00 4,59 4,59 4, ,9 4,7,00 4,09 4,09, 6 6,8 7,,00 4,69 4,69 6, ,5 8,5,00,8,8,7 8 8,9 8,6,00,84,84, 9 9,0,4,00,8,8,9 0 0, 5,8,00,8,8 0, 5, 6,8,00,,,,9 56,8,00 7,40 7,40 8,0,8 4,7,00 7,40 7,40, ,4 47,9,00,00,00 6, 5 5, 8,6,00,8,8 9, ,4 47,4,00,,, 7 7,8 4,,00,56,56, ,4 5,,00,, 7, ,6 5,6,00,4,4 6,9 0 0,5,9,00 7,87 7,87 4, 6,0 8,5,00,4,4,0 7,0 4,,00 6,00 6,00 0,4 8,0 9,0,00,09,09, ,8 4,7,00,66,66 7,8 5 5,0 9,6,00,47,47, , 6,0,00,94,94 7, ,6 57,7,00,75,75 8, EČ MS

45 8 8,8 5,,00 6,65 6,65 5,8 9 9,7 4,,00 5,7 5,7, ,7,5,00 4,69 4,69 7, ,6,5,00,84,84, 4 4 6, 6,,00,87,87, 4 4 6,,5,00,9,9 9, ,4 4,,00,59,59 8, ,7 0,0,00,59,59 7, ,5 69,5,00 9,0 9,0 45, ,0,5,00,96,96 9, ,6 58,7,00 4,0 4,0 9, ,4 0,0,00,8,8 4, ,6 5,6,00,4,4 0, 5 5,,9,00,66,66 9, , 50,7,00,, 4, ,6 5,,00,, 7, 54 54,0,9,00,7,7, ,9 9,4,00 7,78 7,78 9, ,5 8,8,00 0,68 0,68 0, 57 57,7 4,,09,0,, ,8 5,5,09,75,84 7, ,0 57,7,09,66,75 9, ,0 44,6,9,47,66 8, ,6 50,,9,09,8 8, 6 6 5,,5,59 8,4 9,9 6, , 60,6,66,8 6,47 8, ,7 7,,66 9,7,0 5,4 Tab. Súhrnné charakteristiky položiek Záver: Položková analýza poukázala na problémy v nasledujúcich položkách, ktoré boli navrhnuté na prebodovanie: pre nevyhovujúcu hodnotu medzipoložkovej korelácie; mnohí celkove úspešní žiaci volili distraktor A 4 pre nevyhovujúcu hodnotu medzipoložkovej korelácie; mnohí celkove úspešní žiaci volili distraktor D, 56 pre vysokú obťažnosť a nízku koreláciu so zvyškom testu. EČ MS

46 Záver Na výsledky riešenia testu externej časti maturity z maďarského jazyka úroveň B sa môžeme pozerať z hľadiska kvality výkonu žiakov, ako aj z hľadiska kvality meracieho nástroja testu, pričom tieto dva aspekty sú navzájom prepojené. Test MJ08B riešilo 48 maturantov. Vzhľadom na geografiu osídlenia obyvateľmi maďarskej národnosti je pochopiteľné, že najviac žiakov pochádzalo z Nitrianskeho a Trnavského kraja. Niečo vyše 79% žiakov pochádzalo zo štátnych škôl, zvyšok bol rozdelený medzi žiakov cirkevných (necelé %) a súkromných škôl (8%). V rozdelení podľa typu školy najväčšiu skupinu tvorili žiaci stredných odborných škôl, ktorých bolo niečo vyše 4; najmenšia skupina (,9%) boli žiaci stredných odborných učilíšť. Priemerná úspešnosť celého súboru (národný priemer) bola 65,5%. Rozdiely dosiahnutých priemerných úspešností podľa kraja, zriaďovateľa, typu školy, pohlavia a polročnej klasifikácie sme vyhodnotili štatistickým testovaním obojstrannej signifikancie, ako aj vecnou signifikanciou rozdielov medzi dosiahnutou úspešnosťou a národným priemerom. Vzájomné rozdiely sa podľa očakávania preukázali signifikantne, keďže už ide o pomerne veľký štatistický súbor. Ďalšie rozdiely sme posudzovali prostredníctvom vecnej signifikancie. Ukázalo sa, že výkon žiakov podľa krajov bol rôzny najlepšie výsledky dosiahli žiaci z Bratislavského kraja (priemerná úspešnosť 7%) a najmenej úspešní boli žiaci z Košického kraja (6%). Rozdiely medzi priemernou úspešnosťou Bratislavského kraja a úspešnosťou troch najslabších krajov boli vecne signifikantné na veľmi miernej až miernej úrovni. Podľa zriaďovateľa najlepšie výsledky dosiahli žiaci súkromných škôl (67%); úspešnosť žiakov cirkevných škôl bola o málo nižšia (66%) a najslabší boli žiaci štátnych škôl (priemerná úspešnosť 65%), pričom však tieto rozdiely nie sú vecne signifikantné. Z hľadiska typu školy, výkon žiakov gymnázií priemerná úspešnosť 7,6% je lepší, ako výkon žiakov ostatných škôl, kde bola priemerná úspešnosť 6,7%. V porovnaní podľa pohlavia priemerný výkon dievčat bol veľmi mierne lepší než priemerný výkon chlapcov. Rozdiel však bol vecne signifikantný iba na veľmi miernej úrovni. Ak porovnáme výkon podľa polročnej klasifikácie žiaka z maďarského jazyka, výsledky klesali plynulo v súlade s predpokladom. Dá sa konštatovať, že dosiahnuté priemerné výkony boli primerané populácii, ktorá tento test riešila. Na základe hore uvedeného nás čaká v širšej odbornej pedagogickej komunite vysvetliť zistené rozdiely medzi výkonmi gymnazistov a žiakov ostatných stredných škôl a nájsť vhodné opatrenia optimalizácie. V záujme nezávislosti riešenia testu boli vyvinuté dva varianty a tieto boli rovnomerne administrované z hľadiska krajov, zriaďovateľov, typu školy a pohlavia. Aby sme obhájili externú formu maturitnej skúšky pre danú generáciu a do budúcnosti, je vždy potrebné overiť kvalitu testu a identifikovať prípadné nedostatky. Hodnotenie testu prináša položková analýza, ktorá vyústila do úpravy bodovania. Základné charakteristiky testu MJ08B nepoukazujú na závažné neštandardné vybočenia. Reliabilita testu pred úpravou bodovania bola pomerne vysoká, Cronbachovo alfa α = 0,86 naznačuje pomerne vysokú presnosť merania. Aj ďalšie parametre testu podľa Tab. a Obr. 7 svedčia o pomerne uspokojivej rozlišovacej sile testu. Prvotným posúdením testu ako celku bol predpoklad vyrovnanej obťažnosti. Z Obr. 7 je totiž zrejmé, že rozdelenie riešiteľov je približne symetrické a pomerne dobre zodpovedá normálnemu rozdeleniu. EČ MS

47 Presnejšie o kvalite testu však vypovedá kvalita jednotlivých položiek: obťažnosť, citlivosť, neriešenosť a predovšetkým medzipoložková korelácia. Overeniu týchto parametrov sa venovala časť Položková analýza. Na základe analýzy početnosti žiakov podľa krajov, zriaďovateľa, typu školy a pohlavia v oboch variantoch, úspešnosťou položiek vo variantoch, reliability podľa variantov, usudzujeme, že varianty testu MJ08B sú ekvivalentné. To nás oprávňovalo použiť pre overovanie kvality testu v položkovej analýze zástupný variant (840). Metodika zostavovania meracieho nástroja sa pod vedením skúsených pedagógov a ďalších odborníkov merania výsledkov vzdelávania vyvíja a predpokladáme, že prínosom je aj tento dokument. EČ MS

48 Literatúra. Burjan, V.: Tvorba a využívanie školských testov vo vzdelávacom procese. Bratislava: Exam, Hendl, J.: Přehled statistických metod zpracování dát. Praha: Portál, Kolektív: Standardy pro pedagogické a psychologické testování. Praha: Testcentrum, Lapitka, M.: Tvorba a použitie didaktických testov. Bratislava: ŠPÚ, Ritomský, A. - Zelmanová, O.: Štatistické spracovanie a analýza dát rozsiahlych monitorovaní s využitím systému SPSS. Bratislava: ŠPÚ, Ritomský, A. - Zelmanová, O. - Zelman, J.: Štatistické spracovanie a analýza dát rozsiahlych monitorovaní s využitím systému SPSS. ŠPÚ : Bratislava Sklenárová, I. - Zelmanová, O.: Metodika spracovania dát z maturity 005 v systéme SPSS. Bratislava: ŠPÚ, SPSS Base 0.0 User`s Guide. by SPSS Inc. : Chicago SPSS Base 7.0 Syntax Reference Guide. by SPSS Inc.: Chicago Turek, I.: Učiteľ a pedagogický výskum. Bratislava: Metodické centrum, Wimmer, G.: Štatistické metódy v pedagogickom výskume. Hradec Králové: Gaudeamus, 99. EČ MS

49 ÉRETTSÉGI 008 KÖZPONTI (EXTERN) RÉSZ MAGYAR NYELV ÉS IRODALOM B szint a feladatlap száma: 840 NE NYISSÁK KI, VÁRJANAK AZ UTASÍTÁSRA! ELŐSZÖR OLVASSÁK EL A TESZTHEZ TARTOZÓ UTASÍTÁSOKAT! A feladatlap 64 feladatot tartalmaz. A feladatlap kitöltésére 90 perc áll a rendelkezésükre. A feladatlapban kétféle feladattípus található, ezért felváltva fogják kitölteni a válaszadó l a p o k at. A fe l e l et vá l a s z tó fe l a d ato k n ál a megadott lehetőségek közül válasszák ki a helyes feleletet! Mindig csak egy válasz a helyes. A helyes választ ikszeljék be a válaszadó lap ábrával megjelölt részében! A feleletalkotó feladatoknál a választ, amely egy vagy több szóból áll, a válaszadó lap ábrával jelölt részébe írják! Csak kék vagy fekete színnel író tollat használhatnak! Nem használhatnak füzeteket, tankönyveket vagy más irodalmat. Írjanak olvashatóan! A nyomtatott betűknél különböztessék meg a nagy- és a kisbetűket! A válaszadó lap kitöltésére vonatkozó pontos utasítások a feladatlap utolsó oldalán találhatók. Olvassák el figyelmesen! Dolgozzanak gyorsan, de összpontosítsanak! Sok sikert kívánunk! Csak akkor kezdjenek dolgozni, amikor utasítást kapnak.

50 ÉRETTSÉGI EXTERN RÉSZ. számú szöveg Csokonai Vitéz Mihály: A Reményhez (részlet) Hagyj el, óh Reménység! Hagyj el engemet, Mert ez a keménység Úgyis eltemet. Érzem: e kétségbe Volt erőm elhágy, Fáradt lelkem égbe, Testem földbe vágy. Nékem már a rét hímetlen A mező kisűlt, A zengő liget kietlen, A nap éjre dűlt. Bájoló lágy trillák! Tarka képzetek! Kedv! Remények! Lillák! Isten véletek! Állapítsa meg, hogy milyen stílus jegyei fedezhetők fel az. számú szövegben! (A) (B) (C) (D) romantika reneszánsz rokokó mindhárom együttesen Milyen szóképnek tekinthető az. számú szövegben olvasható Reménység? (A) (B) (C) (D) szimbólum megszemélyesítés szinesztézia metonímia Az alábbi címek közül válassza ki Csokonai egyszemélyes verses hetilapját, amelyet Pozsonyban jelentetett meg, hogy az országgyűlésre érkező főurak között támogatót találjon! (A) Pozsonyi Magyar Hírmondó (B) Magyar Museum (C) Diétai Magyar Múzsa (D) Magyar Kurír ŠPÚ BRATISLAVA 008

51 MAGYAR NYELV ÉS IRODALOM B SZINT Jelölje meg a művet, amellyel Kazinczy Ferenc lezárta a nyelvújítók és a maradi gondolkodásúak közti vitát! (A) Tövisek és virágok (B) Felelet a Mondolatra (C) Írói érdem (D) Ortológusok és neológusok nálunk és más nemzeteknél 5 Mit bíztak tanárai Csokonaira még diákkorában a híres debreceni kollégiumban, ahol szinte legendák keringtek műveltségéről? (A) (B) (C) (D) tankönyvek írását az iskolai könyvtár vezetését a poéta-osztály vezetését iskolai színdarabok írását 6 Nevezze meg Csokonai legismertebb komikus eposzát! 7 A lehető legpontosabban határozza meg az. számú szövegben levő fáradt lelkem szókapcsolatban a fáradt szónak a szófaját! 8 Írja le az. számú szöveg első négy sorának rímképletét! A feladatlap a következő oldalon folytatódik 008. március 7.

52 ÉRETTSÉGI EXTERN RÉSZ. számú szöveg Petőfi Sándor: Egy gondolat bánt engemet (részlet) Egy gondolat bánt engemet: Ágyban, párnák közt halni meg! Lassan hervadni el, mint a virág, Amelyen titkos féreg foga rág; Elfogyni lassan, mint a gyertyaszál, Mely elhagyott, üres szobában áll. 9 Az alábbi megállapítások közül válassza ki azt, amelyik az Egy gondolat bánt engemet című költeményre vonatkozik! (A) A költeményben felesége iránti szerelmét írja le. (B) A költeményben megformálja az önfeláldozó, romantikus emberideált. (C) A költemény a költő egyik legszebb tájverse. (D) A költemény népies verseinek egyik darabja, amelynek meghatározója a humor. 0 Határozza meg, hogy Petőfi melyik verse nem tartozik az ars poeticáját megfogalmazó költeményei közé! (A) Szabadság, szerelem (B) A XIX. század költői (C) Egy gondolat bánt engemet (D) Szeptember végén Állapítsa meg, hogy az alábbi Petőfi-költemények közül melyik nem epikai alkotás! (A) A XIX. század költői (B) Az apostol (C) A helység kalapácsa (D) János vitéz 4 ŠPÚ BRATISLAVA 008

53 MAGYAR NYELV ÉS IRODALOM B SZINT 840 Jelölje meg a. számú szövegből származó szavak közül azt a szót, amelyiket ma már nem soroljuk a képzett szók közé, tehát nem találunk a szó végén semmilyen toldalékot! (A) (B) (C) (D) gondolat féreg elhagyott üres Döntse el, hogy a. számú szöveg utolsó sorában levő mely szó a mai nyelvhelyesség szerint (amely) milyen névmásként határozható meg! (A) (B) (C) (D) vonatkozó névmás határozatlan névmás kérdő névmás mutató névmás 4 Írja le, hogy a. számú szöveg címében szereplő egy szó milyen két szófajként szerepelhet a szövegben! Mindkét szófaj megnevezését írja le! 5 Egy szóval nevezze meg, hogy milyen versként tartjuk számon Petőfi Egy gondolat bánt engemet című költeményét, amelyben előrevetíti saját sorsát! A hangsúly az előrevetíti szón van. 6 Írja le az ars poetica jelentését magyarul! A feladatlap a következő oldalon folytatódik 008. március 7. 5

54 ÉRETTSÉGI EXTERN RÉSZ. számú szöveg A stressz kifejezést a 9. században találták ki angolszász mérnökök annak az erőnek a megjelölésére, mely ha egy testre hat, feszültséget hoz létre. Ennek analógiájára Selye János orvos, fiziológus ezt a kifejezést használja bármilyen külső agresszív hatásra, mely megzavarja a szervezet egyensúlyát. Normális dózisban a stressz fontos az életben maradáshoz. Ez ösztönöz minket, miközben energiát és dinamizmust biztosít. Azonban a tartós stresszhatás káros lehet. Ekkor megjelennek az első riasztó jelek: szorongás, félelem, melyet gyakran kísér általános fáradtság. 7 Sorolja be a fenti,. számú szöveget a megfelelő stílusrétegbe! (A) társalgási stílus (B) hivatalos stílus (C) tudományos stílus (D) szépirodalmi stílus 8 Állapítsa meg, hogy mi nem jellemző a. számú szövegben megállapított stílusrétegre! (A) a kijelentő mondatok gyakori használata (B) a szakszavak használata (C) a világos, szabatos fogalmazás (D) a szóképek gyakori használata 9 Határozza meg, hogy milyen céllal íródhatott a. számú szöveg! (A) népszerűsítés (B) felvilágosítás (C) szórakoztatás (D) elrettentés 6 ŠPÚ BRATISLAVA 008

55 MAGYAR NYELV ÉS IRODALOM B SZINT Helyettesítse a. számú szöveg második bekezdésében előforduló dinamizmus kifejezést az alábbi magyar szavak valamelyikével! (A) (B) (C) (D) mozgások rendszere fejlődés mozgékonyság változás Állapítsa meg, hogy mi lehet a különbség a szöveg végén olvasható fáradtság és a fáradság szavak jelentése között! Írásukban csak egy -t betű az eltérés. (A) a fáradtság és a fáradság is testi-szellemi kimerültséget jelent (B) (C) (D) a fáradtság és a fáradság is fáradozást, szívességtételt jelent a fáradság kimerültséget jelent és a fáradtság pedig fáradozást a fáradtság kimerültséget jelent, a fáradság pedig fáradozást Keressen a. számú szöveg első mondatában egy azonos alakú szót! Határozza meg a. számú szöveg második mondatában levő ennek névmás fajtáját! 4 Írja ki a. számú szövegből kiemelt alábbi mondat állítmányát! Azonban a tartós stresszhatás káros lehet. A feladatlap a következő oldalon folytatódik 008. március 7. 7