Centura Szövegértés Teszt Megbízhatósági vizsgálata Tesztfejlesztők: Megbízhatósági vizsgálatot végezte: Copyright tulajdonos: Bóka Ferenc, Németh Bernadett, Selmeci Gábor Bodor Andrea Centura Kft. Dátum: 2013.08.06. Verzió: 1.0 Vizsgált minta A kérdőív kitöltését 115 fő kezdte el. A mintába azok a válaszadók kerültek, akik befejezték a kérdőív kitöltését. Összesen 104 fő által adott válaszok kerültek értékelésre. A kitöltők 73%-a (76 fő) nő, míg 27%-a (28 fő) férfi volt. A kitöltők átlagos életkora 35 év volt. A résztvevők felsőfokú végzettséggel rendelkeztek vagy felsőfokú tanulmányokat folytattak. Eljárás A kérdőív kitöltésére online módon történt, a kitöltésre 21 perc állt rendelkezésre. Az adatok feldolgozása Microsoft Excel és IBM SPSS Statistics 19 programok segítségével történt. Minta jellemzői A teszten a kitöltők által elért pontszámok átlagát, szórását, minimumát és maximumát az alábbi táblázat tartalmazza. Kitöltők száma Átlag Szórás Minimum Maximum Pontszám 104 16,587 4,428 8,00 27,00 A teszt kérdéseire adott helyes és helytelen válaszok számát kérdésenként az alábbi táblázat mutatja. 1
Kérdések Helytelen Helyes Az utóbbi 25 éven belül 45 59 Pár éven belül a Szantorini alatt található tűzhányó 12 92 A vizsgált alig egy év alatt Szantorini 24 80 Az alábbi szövegrészek közül melyikkel helyettesíthető azonos értelemben: jobban megérteni? 8 96 Az eurózónában az elmúlt öt évben... 30 74 A befektetési alapok vagyona... 37 67 A befektetési alapok által kezelt vagyon változását... 34 70 Mit jelent az átértékelődés kifejezés a fenti szövegben? 69 35 Namíbia északi részén... 19 85 Namíbia... 36 68 A felfedezett édesvízkészlet... 8 96 A szövegben használt akkreditált szót melyik szóval lehetne helyettesíteni azonos értelemben? 46 58 A túlmunka 30 74, hogy a munkavállalók kérik a jogellenesen megszüntetett munkaviszonyuk helyreállítását. 40 64 A Nemzeti Gazdasági és Társadalmi Tanács 43 61 Mivel helyettesíthető a cikkben szereplő garantált szó azonos értelemben? 26 78 A Tejútrendszerben... 30 74 A felfedezett röntgennóva... 51 53 A Swift űrteleszkóp által észlelt fényjelenség mire NEM utalhat? 47 57 Mely szavakat használ a szöveg egymással felcserélhetően? 42 62 Budapesten a harmadik negyedévben az előzőhöz képest 68 36 Az FHB Lakásindex növekedése az utóbbi negyedév csökkenését 79 25 A leggyakoribb 90 napon túli késedelemben levő hitelesek... 57 47 A szövegben szereplő nominálisan szó melyik szóval helyettesíthető azonos értelemben? 77 27 Az EU-ban a karbonadó... 66 38 AZ EU ETS rendszer... 56 48 A gazdasági válság... 61 43 Melyik fordulattal helyettesíthető a szövegben a kibocsátás szó? 46 58 2
Normalitásvizsgálat A normalitásvizsgálat segítségével feltárható a minta eloszlása, valamint megállapíthatók a normacsoportok is. A normális eloszlás azt jelenti, hogy a vizsgált mintában a kitöltők által elért pontszámok nagy része az átlag körül ingadozik, míg az átlagtól távolabb lévő (szélsőséges) pontszámokat egyre kevesebb személy ér el. A minta normális eloszlásából arra következtethetünk, hogy a mérőeszköz a vizsgált populációban az adott képesség egész tartományát lefedi. Az adatok normalitásvizsgálatát Kolmogorov Szmirnov-próba segítségével lehet elvégezni. Ennek nullhipotézise szerint a vizsgált minta normális eloszlású. A próba eredményeit az alábbi táblázat tartalmazza. Kolmogorov-Smirnov Z 1,105 Szignifikancia szint 0,174 Mivel a próba eredménye nem szignifikáns (p>0,05), ezért a próba nullhipotézise nem vethető el, tehát az adatok normális eloszlásúak lesznek. Az adatok ferdeségi és csúcsossági mutatói is a normális eloszlásra utalnak, hiszen abszolút értékük kisebb, mint 1. ferdeség: 0,162 megfelelő, abszolút értéke <1 csúcsosság: -0,757 megfelelő, abszolút értéke <1 Az adatok eloszlását és a normális eloszlás Gauss-görbéjét az alábbi ábra mutatja. 3
Normacsoportok A normacsoportok meghatározásához az úgynevezett T értékek nyújthatnak segítséget. A T értékek esetén az átlag 50, a szórás pedig 10. A T értékek egyszerűen kiszámíthatóak a következő képlet segítségével: Mivel a minta normális eloszlású, ezért a minta 68,2%-a 40 és 60 közötti T értéket vesz fel, a minta 95,4%-a 30 és 70 közötti T értéket vesz fel, és a minta 99,7%-a 20 és 80 közötti értéket vesz fel.az alábbi ábrán normális eloszlás (így a vizsgált minta eloszlása) látható a T értékek, illetve ezek alatt zárójelben a teszt pontszámai mentén. A teszt diszkriminációs érvényessége A teszt diszkriminációs érvényességének vizsgálatával bizonyítható a mérőeszköz függetlensége az egyes jellemzőktől, tulajdonságoktól. Jelen esetben a mintát csoportokra osztottuk nem és életkor alapján, és független mintás t-próba, valamint varianciaanalízis segítségével összehasonlítottuk a kialakított csoportokat. Nemi különbségek A tesztet összesen 76 nő és 28 férfi töltötte ki. Az elért pontszámok nemek szerinti lebontását az alábbi táblázat mutatja. 4
Nem Elemszám Pontszámok átlaga Pontszámok szórása Nő 76 15,947 4,082 Férfi 28 18,321 4,922 Mivel a kérdőívet lényegesen több nő töltötte ki, ezért véletlenszerű mintavétel segítségével 25 nő és 25 férfi által elért pontszám került vizsgálatra. A kiválasztott 50 fős minta eredményeit az alábbi táblázat mutatja. Nem Kitöltők száma Átlag Szórás Nő 25 16,44 3,22852 Férfi 25 18,36 4,92341 Független mintás t-próba segítségével megvizsgálható, hogy a nők és a férfiak által elért pontszámok között jelentkezik-e szignifikáns különbség. A próba nullhipotézise, hogy két csoport átlaga megegyezik. A próba eredményei a következők lettek: t-próba: o t=-1,631; szabadságfok=48 o szignifikancia szint: 0,110 A próba eredménye nem lett szignifikáns, így nem vethető el a nullhipotézis, tehát a nemek között nincs szignifikáns eltérés a pontszámok tekintetében. Életkorbeli különbségek A mintában az alábbi életkori kategóriák lettek kialakítva: kategóriák: o 1. kategória: 20-29 év o 2. kategória: 30-39 o 3. kategória: 40-49 o 4. kategória: 50-60 Az egyes kategóriák jellemzőit az alábbi táblázat szemlélteti. Elemszám Átlag Szórás Minimum Maximum 20-29 38 15,947 4,306 9 26 30-39 37 17,514 4,729 8 25 40-49 13 16,539 4,274 10 24 50-60 16 16,000 4,131 11 27 SUM: 104 16,587 4,428 8 27 5
Mivel jelen esetben a vizsgált kategóriák elemszámbeli különbsége kevésbe jelentős, ezért a kategóriák közötti különbségek vizsgálatához az egész minta felhasználható. A csoportok közötti különbségek vizsgálatára varianciaanalízis alkalmazható, melynek nullhipotézise kimondja, hogy az egyes csoportok átlagai megegyeznek. A próba eredményei a következők lettek: Varianciaanalízis: o varianciaanalízis: F=0,896; szignifikancia szint: 0,446 Mivel a próba eredménye nem szignifikáns (p>0,05), ezért a nullhipotézis nem vethető el, tehát a teszten elért pontszámokban nincs szignifikáns különbség az egyes életkori csoportok tekintetében. A teszt szövegeinek homogenitása A teszt szövegeinek megbízhatóságát a szövegek belső konzisztenciáját mutató Cronbach-alfa segítségével vizsgáltuk.így vizsgálható a teszt homogenitása, valamint azt, hogy melyek azok a szövegek, melyek kevésbé illeszkednek a mérőeszközbe, melyek mérik kevésbé a vizsgálni kívánt képességet. Az alábbi táblázat azt szemlélteti, hogy az egyes szövegeknél átlagosan hány százalékban adtak jó válaszokat a kitöltők. Helyes válaszok (%) Magmabuborékok Háztartások vagyona Föld alatti vízkészlet A munkáltatói felmondás Röntgennóva Lakásárak Karbonkereskedelmi rendszer 78,606 59,135 73,798 66,587 59,135 32,452 44,952 A belső konzisztencia vizsgálata során az alábbi eredményt kaptuk: Cronbach-alfa: 0,632 A Cronbach-alfa értéke megmutatja a teszt szövegeinek homogenitását, valamint azt, hogy a szövegek összessége milyen mértékben alkalmas az egyének egymástól való megkülönböztetésére. A Cronbach-alfa értéke jelen esetben elfogadhatónak tekinthető, tehát a szövegek közötti együttjárása megfelelő, a teszt alkalmas az egyéni különbségek differenciálására. Az alábbi táblázat az egyes szövegek item-totál korrelációit illetve a Cronbach-alfa értékét mutatja az adott szöveg törlése esetén. Az első oszlopban az item totál korrelációt láthatjuk, mely megmutatja, hogy az adott szöveg milyen mértékben korrelál a teszt egészével. A második oszlop azt mutatja, hogy hogyan változik meg a Cronbach-alfa értéke, tehát a teszt homogenitása abban az esetben, ha az adott szöveget kivesszük a tesztből. 6
CorrectedItem-Total Correlation Cronbach's Alpha if Item Deleted Magmabuborékok,320,605 Háztartások vagyona,179,641 Föld alatti vízkészlet,325,603 A munkáltatói felmondás,324,601 Röntgennóva,410,572 Lakásárak,498,540 Karbonkereskedelmi rendszer,374,591 Az eredmények alapján a 2. szöveg elhagyása esetén nőne a Cronbach-alfa értéke, és ezzel együtt a tesztet alkotó szövegek homogenitása is. Mivel az eredmények kevésbé kiugróak, ezért célszerű a teszt belső konzisztenciáját nagyobb mintán is megvizsgálni. 7