Iskolakultúra 202/3 Sátha Kálmá Kodoláyi Jáos Főiskola Neveléstudomáyi Taszék Numerikus problémák a kvalitatív megbízhatósági mutatók meghatározásáál A taulmáy a kvalitatív vizsgálatok megbízhatósági problémáiak elemzésére fókuszál. Hagsúlyt helyez a megbízhatóság általáos kérdéseiek tárgyalására, majd a szöveg- és képelemzésél alkalmazható kódolási mechaizmusok megbízhatósági mutatóiak kiszámítására törekszik. Az itra- és iterkódolás, valamit a Cohekappa alkalmazhatóságáak illusztrálásával yomatékosítja a kvalitatív kutatásmódszerta szisztematizálásáak igéyét. () Napjaikba többféle álláspot támasztja alá, vagy voja kétségbe a kvalitatív metodológiai követelméyek idokoltságát és teljesíthetőségét. Utóbbi ézetet vallják a szabad kvalitatív iráyzatot képviselő kutatások is, amelyek figyelme kívül hagyják a metodológiai kritériumokat, átalakítják az egész vizsgálat struktúráját, hagoztatják az elméleti yitottságot (Lamek, 989). Mások átértelmezik a klasszikus metodológiai elveket, a hétközapi yelvet is bevoják a tudomáyos termiológiák érthetőbbé tételére, így a metodológiai elvek stabilizálása érdekébe megalkották a kvalitatív kritériumkatalógust (Steike, 2002). A kvalitatív módszertaba elvétve ugya, de feltűik a posztmoder szemlélet is, amely elutasít mide metodológiai elvre voatkozó kocepciót. Vallja, hogy a kvalitatív elemzések léyege a szubjektív hagba va, hisze a humá valóság mit ahogy egy műalkotás is a külöböző személyek számára eltérő jeletéssel bírhat. Az ilye jellegű kutatást művészethez hasolítók em formalizált eljárásmódkét, haem a kutatói kreativitásra alapozó művészi, egyedi stílussal redelkezőkét értelmezik a kvalitatív elemzést (Tesch, 995). E három álláspot közül a kvalitatív kritériumkatalógus követése mellett foglaluk állást, figyelmet fordítva a hazai kvalitatív módszertaba eddig em, vagy csak ritká megjeleő kódolási megbízhatósági mutatók kiszámítására. A taulmáy előzetes kvalitatív módszertai ismereteket feltételez, így bizoyos fogalmakat (kódolás, triaguláció, Grouded Theory) em magyaráz, haem azokak a kutatási folyamatba való megjeleését illusztrálja. A kvalitatív kutatásmódszerta szisztematizálására tett egyik sikeres kísérletek tekithető a kvalitatív kritériumkatalógus emzetközi és hazai szakirodalomba törtéő megjeleése (lásd Steike, 2002, illetve Sátha, 2007, 2009 mukáit). A kritériumkatalógus vizsgálata sorá láthatóvá válak a megbízhatósági és érvéyességi kritériumok közötti összefüggések is. Cohe, Maio és Morriso (2000) szerit a megbízhatóság szükséges, de em elégséges feltétele az érvéyességek, míg az érvéyesség előfeltétele a megbízhatóság. Az érvéyesség biztosítására számos techika létezik a kvalitatív módszertaba, ezek közül egyik legismertebb a triaguláció alkalmazása a kutatás sorá (Sátha, 200). Kevés kérdéskör ériti viszot a megbízhatósági problémákat, ezért a taulmáyba az általáos megbízhatósági kérdések feltárása mellett figyelmet fordítuk a kvalitatív kutatásba gyakra megjeleő kódolási techikák megbízhatósági mutatóiak kiszámítására és magyarázatára is. Ez azt sugallja, hogy a számok em teljes mér- 64
Sátha Kálmá: Numerikus problémák a kvalitatív megbízhatósági mutatók meghatározásáál tékbe idegeek a kvalitatív köryezettől, a umerikus problémák jele vaak a szisztematikusa felépített és kivitelezett vizsgálatokba. Miderre azért va szükség, mert a kvalitatív kritériumkatalógus a módszerta szisztematizálására iráyuló törekvések mellett em tér ki a kódolás megbízhatóságáak számszerűsíthető mutatóira. Az. ábra a kritériumkatalógus főbb tartalmi csomópotjaiak ábrázolása mellett felhívja a figyelmet azo struktúrák hiáyára, amelyek a kódolás megbízhatóságát hivatottak elősegítei:. ábra. A kvalitatív kritériumkatalógus és a kódolás kapcsolata A kvalitatív vizsgálat megbízhatósága A kutatókba gyakra kételyek merülek fel a kvalitatív vizsgálat megbízhatóságát illetőe. A kérdés adott: mikét juthatak azoos módszerekkel azoos eredméyekre külöböző kutatók akkor, amikor a kvalitatív kutatás egyedi és gyakra megismételhetetle jeleségeket, kotetusfüggő elemeket vizsgál, ahol a kutató is a folyamat aktív szereplője lehet. A taulmáyok többsége a vizsgálatok mide eleméek potos és részletes dokumetálásába, valamit a reflektív kutatói szemlélet alkalmazásába látják a megbízhatóság érvéyesítését. A midere kiterjedő és potos dokumetálás mellett kitérek a külső megbízhatóság (a kutatói pozíció azoosítása, a mita és a köryezet elemzése, az elméleti bázis feltárása, a módszerek bemutatása a lehetséges gyege potok, hibák, szükséges korrekciók feltárásával) és a belső megbízhatóság (megfigyelési kategóriák haszálata, a kutató, a kódoló közötti egyeztetés) ismertetésére is (Golhofer, 200; Sátha, 2009; Szabolcs, 200; Szokolszky, 2004). A külső és a belső megbízhatóság tartalmi egységei a vizsgálat részletes magyarázatára fókuszálak. Midez több lépésbe valósítható meg. Például a kérdésfeltevésél ido- 65
Iskolakultúra 202/3 kolt kitéri arra, hogy hoa és hogya keletkeztek a kezdeti kérdés- és problémakörök, továbbá az eredméyek dokumetálásáál célszerű figyelmet fordítai az eljárás részleteiek feltárására is. Utóbbi esetbe problémát jelethet, ha a kutatási fázisok em követhetők vagy em egyértelműe tártuk fel őket. Például az etográfiai kutatásba a terepjegyzetek és az adatok dokumetációjáak javítására javasolt a jegyzetek sztederdizálása, bár ez a folyamat többségébe még a jövő vizsgálataira vár (Brüsemeister, 2000; Flick, 2002). Ebbe a tekitetbe a jövő em is olya távoli, hisze a multikódolt adatok (a kép, a hag, a szöveg és a videoadatok) kvalitatív elemzéséél már találkozuk a jegyzetek, a külöféle hagayagok átirataiak szisztematizálásával és a szövegek egyezméyes formába való megjeleítésével (lásd Silverma, 2004 kötetét), továbbá megjeleik a videófelvételek elemzési mechaizmusaiak strukturálhatósága is (Raab, 2008). A megbízhatósági problémák elemzéséél célszerű külöbséget tei a kvalitatív vizsgálat általáos megbízhatósága, valamit a kép- és szövegadatok, illetve a hagayagok átírása utá kapott szövegek kódolásaiak megbízhatósága között, hisze utóbbi a vizsgálat általáos megbízhatóságához járul hozzá (lásd 2. ábra). A továbbiakba az itra- és iterkódolás folyamatát és a Cohe-kappa kiszámítását részletezzük abba a reméybe, hogy e techikák megtalálják helyüket a hazai kvalitatív módszerta világába (ez léyeges lee azért is, mert kapcsolatba hozhatók a személyi triagulációval). A Fleiss-kappa és a Krippedorff-alfa boyolult matematikai statisztikai háttük miatt a kvalitatív módszerta számára távolabb állak, mit a Cohe-kappa, de alapkocepciójuk összeegyeztethető a kvalitatív megbízhatóság umerikus kérdéseivel is. Mivel elemzésük túllépé a taulmáy elméleti bázisát, így tárgyalásuktól jeleleg eltekitük. iterkódolás 2. ábra. A kvalitatív vizsgálat megbízhatósági kritériumai 66 Az itra- és iterkódolás A szöveg- és képadatok gyakra előforduló kvalitatív adatfajták, hisze a külöféle iterjúk, a megfigyelések, a kogitív térképek kommetárjai, a támogatott felidézés óraelemzései, a reflektív aplók, a fotóiterjúk, a fotók és a műalkotások elemzése, de a hosszabb képfeliratok vizsgálata is kiidulhat a szövegek és a képek mélyrétegeiek feltárásából. Az adatokat akár mauálisa, akár külöböző szoftverekkel dolgozzuk fel, mide esetbe a kiiduló lépés a kódolás. A továbbiakba a kvalitatív elemzésekél gyakra haszált, a Grouded Theory elvéek megfelelő yílt, aiális, szelektív kódolás, illetve az a priori és az i-vivo kódok eseté mutatjuk be a kódolás megbízhatósági mutatójáak kiszámítását.
Sátha Kálmá: Numerikus problémák a kvalitatív megbízhatósági mutatók meghatározásáál A Glaser és Strauss evével jelzett Grouded Theory (megalapozott elmélet) három, sorredbe egymást követő kódolási mechaizmust külöböztet meg. A yílt kódolás a kódolási folyamat kezdeti szakasza, amikor tartalmukak megfelelő fogalmakat redelük a szövegrészekhez, majd ezeket kategóriákká redezzük. Az aiális kódolás egy kategória külöböző szempotjait elemzi. A cél az, hogy így alapkategóriák és alkategóriák álljaak redelkezésre, ahol vizsgáli tudjuk a kategóriák közötti összefüggéseket. A szelektív kódolással már a kutatás egészébe kulcsfotosságú kategóriák és azok alkategóriáiak kiemelése és összehasolítása törtéik a vizsgálat teoretikus hátteréek függvéyébe (Gelecsér, 2003; Sátha, 2009). A 3. ábra a kódolás lépéseit illusztrálja, ahol Ny i a yílt kódolás kategóriáit, míg az A ij az aiális kódoláskor kapott alkategóriákat jeletik. összehasolító 3. ábra. A yílt, az aiális és a szelektív kódolás mechaizmusai Az adatfeldolgozásál a kódolás mechaizmusa szövegek eseté a következőképpe működhet a gyakorlatba (mauális adatfeldolgozásál, illetve szoftverrel törtéő elemzésél is többek között ezt a logikát követi a legtöbb program; a fotó- és képelemzés eseté a harmadik pottól válak relevássá a lépések) (Sátha, 2009): Az első lépésbe a aplószerűe dokumetált megfigyeléseket, az iterjúkat és az egyéb kvalitatív techikával végzett vizsgálatok ayagát le kell gépeli. Ekkor döthetük a külöféle átírási techikák alkalmazása mellett is. Így redelkezésre áll a kódolásra szát dokumetum; A teljes ayagot miél többször olvassuk el. Olvasás közbe értelmezzük a szöveget, így godolatba már kialakulhatak azok a főbb tartalmi egységek, amelyek a kódolás kiidulási fázisát képezik; A főbb tartalmi kategóriákhoz kódokat redelük (yílt kódolás). Ezt megtehetjük elméleti ismereteik alapjá, vagy korábbi kutatási gyakorlatuk tapasztalatait felhaszálva is. Figyeljük arra, hogy a kódok egyértelműek legyeek, hisze az átfedések gátolhatják az adatfeldolgozást. A kódokhoz a szövegből külöböző idézetek állak redelkezésre, ezek segítik a tematikus redszerezést, valamit útmutatókét szolgálak a teljes adatbázisba való kereséshez. Legyük tekitettel arra, hogy milye jeleséget vizsgáluk, kik az éritettek, a jeleség milye aspektusairól beszélük, milye alapoko áll a vizsgálat, továbbá idokolt a közpoti stratégiáik és taktikáik vázolása is; A főbb tartalmi csomópotok között alkategóriákat keresük, vagyis a redelkezésükre álló de már részegységekre tagolt szöveg további lebotását végezzük el (aiális kódolás). A kategóriák között összefüggéseket állapítuk meg, ez már a kódolás boyolultabb fázisa. Ekkor szité redelkezésükre állak az eredeti idézetek, amelyek emlékeztetőkét szolgálhatak; 67
Iskolakultúra 202/3 A főbb tartalmi csomópotok és alkategóriáik közötti összehasolítás és külöbségkeresés, az ok-okozati összefüggések feltárása vezet el a kívát eredméyekig (szelektív kódolás). A kvalitatív kutatásmódszerta a tartalomelemzésél haszálja az a priori kódolást is, ami az adatkódolás olya formája, ahol a kódolás kategóriáit még az elemzés előtt elméleti megfotolások segítségével alakítottuk ki. Ekkor előre összeállított kódstruktúrát illesztük a szövegre. Ezt megtehetjük, ha a vizsgálat célja, logikája midezt lehetővé teszi, de tekitettel kell leük arra is, hogy így már em a szabad kvalitatív vizsgálat elvét követjük, hisze az előre összeállított kódstruktúra, valamit a szövegből kapott kódok más elemzési logikát követelek meg. Ezzel szembe az i-vivo kódolás sorá a kódok elevezéséél a szövegbe előforduló kifejezések közül választuk. Ez a kódolás akkor alkalmazható, ha em ragaszkoduk az előre kreált kódlistához, vagy egyáltalá ics ilye listák, rugalmasa kezeljük a szövegekből feltűő kocepciókat. Továbbá a techika em haszálható azo képek kódolásáál sem, amelyek em tartalmazak feliratokat, hisze ebbe az esetbe a képfeliratok hiáyába a kódok evét em tudjuk szó szerit rögzítei. A kódolás utá idokolt megézi, hogy mikét elleőrizhető a kódolási folyamat megbízhatósága. A megbízhatósági mutató kiszámításakor kétféleképpe járhatuk el: Itrakódolás sorá egy kódoló kétszer kódolja ugyaazt a dokumetumot. Néháy óra vagy célszerű éháy ap utá (hogy e legyeek frissek az első kódolás sorá szerzett tapasztalatok) a kódoló újrakódolja a szöveget, majd összehasolítja a kapott kategóriákat. Iterkódolásál két külöböző személy egymástól függetleül kódolja ugyaazt a dokumetumot, majd a kapott kategóriákat összehasolítják. Ekkor azt célszerű végiggodoli, hogy a kódolásba bevot új személy milye előismeretekkel redelkezik a kódolás meetéről, szükséges-e megismerteti őt a külöböző lépésekkel. A probléma jogos, hisze a felkészítés hiáya befolyásolhatja a megbízhatósági mutató értékét. Eek tudatába az iterkódolásra alapozó vizsgálatokat vezetők élek a lehetőséggel és csoportmegbeszélése közöse foglalak állást a kódolási techikákról és alkalmazásuk mikétjéről. (Továbbá az új személy bevoása az érvéyesség egyik paraméterét, a személyi triagulációt is előrevetíti). Itra- és iterkódolásál egyarát a magasabb megbízhatósági mutatóval redelkező kódolás többségi kategóriái a mérvadóak, míg a em egyező kategóriákál koszezusos megoldáskét kell dötei a kódok hovatartozásáról. Az itra- és iterkódolás az a priori és az i-vivo kódolás alkalmazásakor problémametese működhet, míg a Grouded Theory eseté csak a yílt kódolás sorá meghatározadó főkategóriákra voatkoztatható biztosággal (hisze az aiális és a szelektív kódolásál már a kutató problémaérzékeysége, kreativitása is szerepet kaphat, így itt szubjektív hatások léphetek fel). A megbízhatósági mutató a kvalitatív adatok elemzésére alkalmas külöböző szoftverek haszálatakor is hasolóa számítható ki. A kvalitatív vizsgálatok adatelemzési folyamataiba gyakra előforduló szoftverek, mit például a émet ATLAS.ti és MAXQDA, valamit az ausztrál fejlesztésű NVivo lehetővé teszik a kutatói csapatmukát is, így követhetővé válik az ugyaazo projekte dolgozó kutatók tevékeysége is (Kuckartz és Sharp, 20; Mühlmeyer-Metzel, 20; Saillard, 20; Schöfelder, 20). A kódolás megbízhatósági mutatójáak (jelölje k m ) kiszámítása a következő képlettel törtéik (Dafioiu és Lugu, 2003): k 2 = m i + j := azo szituációk száma, ahol a kódolás megegyezik i:= az első kódoló vagy ugyaazo kódoló először kapott kódjaiak száma j:= a második kódoló vagy ugyaazo kódoló másodszor kapott kódjaiak száma 68
Sátha Kálmá: Numerikus problémák a kvalitatív megbízhatósági mutatók meghatározásáál A továbbiakba kokrét példa alapjá követjük yomo a megbízhatósági mutató kiszámítását. A Grouded Theory elvét követve, itrakódolást alkalmazva tegyük fel, hogy ugyaazo személy egy pedagóguskutatás sorá készített iterjúszöveg két függetle kódolásakor az alábbi főkategóriákat állította fel a pedagógus tevékeységével kapcsolatba (iterkódolásál hasoló godolatmeet alapjá dolgozuk): kódolás eredméyei: tervezés, eltérés a tervtől, értékelés, evelés, fegyelem, módszerta, dötés kódolás eredméyei: tervezés, eltérés a tervtől, taulók, szülők, evelés, dötés A égy egyező kategóriát aláhúzással jelöltük. Ekkor A megbízhatósági mutató értéke 0 és között mozog. Ha a kódok megegyezek, akkor a kódolás megbízhatósági mutatója. Miél agyobb az eltérés a kódolások sorá, vagyis miél kevesebb az egyező kódkategória, a kódolás megbízhatósági mutatója aál kisebb -él. A kvalitatív kutatásmódszertaba jeleleg ics egyértelmű álláspot a megbízhatósági mutató értékére voatkozóa. Így pusztá azt követeljük meg, hogy szituációtól függőe végezzük el a kódolás valamelyik verzióját és törekedjük a miél agyobb érték elérésére. Állásfoglalásuk szerit a megbízhatósági mutató 0.6 feletti értéke már megfelelő, hisze hasolóa a Cohe-kappa értékeihez lásd a következő fejezetrészbe Greve és Wetura (997), valamit Ladis és Koch (997) strukturálását a kódolás ekkor elfogadhatóa magas értékeket és kódstruktúrákat eredméyez. A Cohe-kappa a kvalitatív módszertaba A társadalomtudomáyi kutatásmódszerta világába számos olya eljárást tartuk számo, amely az iterkódolás megbízhatósági mutatójáak kiszámítására szolgál. Haszálatuk attól függ, hogy két vagy több kódoló kódol egy adott szöveget. Az iterkódolás megbízhatósága két kódolóra a Cohe-kappával (Cohe, 960), míg kettőél több kódolóra a Fleiss-kappával (Fleiss, 97) számítható ki. Ma már a Cohe-kappára is redelkezik alteratívával a módszerta, hisze újabba a kutatói érdeklődés fókuszába került a Krippedorff-alfa is, mit további megbízhatósági mutató (vo Eye, 2006; Krippedorff, 2004). A Krippedorff-alfa és a Fleiss-kappa haszálatához már élkülözhetetleek a boyolult matematikai statisztikai műveletek, így újfet felmerül a kérdés, hogy lehetséges-e, szükséges-e, ha ige, akkor milye mértékbe umerikus alapokra építei a kvalitatív megbízhatóság problémakörét. A kvalitatív vizsgálatokba elterjedt a két kódoló alkalmazását szorgalmazó szemlélet, hisze a két kódoló amellett, hogy a kutatás számára a személyi és az ayagi források tekitetébe is jobba elérhető, kielégíti a személyi triaguláció elvét, evezetese azt, hogy több kutatóak szükséges ugyaazt a problémát vizsgáli ahhoz, hogy az elemzést egzaktabb keretek közé szorítsák. A Cohe-kappa tudomáyos köztudatba törtéő bevezetését 960-tól Jacob Cohe amerikai pszichológus, statisztikus evéhez kötjük. Ha ugyaazt az eseméyredszert (szöveget, jeleséget) két kódoló kódolásaival képezzük le, akkor a Cohe-kappa segítségével megvizsgálható, hogy a kódolások meyibe külöbözek egymástól, vagy milye mértékbe egyezek meg a kategóriák (meg kell jegyezük, hogy a kódolás megbízhatósági mutatójáak Dafioiu és Lugu (2003) szeriti kiszámítása egyszerűbbe működik és az is megfelelő lehet az iterkódolást alkalmazó kutatások számára). A Cohe-kappa problémametese haszálható az a priori kódolási stratégiát követő kvalitatív vizsgálatokál, hisze ekkor a kategóriákat már a kódolás előtt, a redelkezésre álló elméletek függvéyébe kialakítottuk. Viszot a Grouded Theory által megkö- 69
Iskolakultúra 202/3 vetelt yílt kódolási elvek sorá alkalmazása többszörös átgodolást igéyel, hisze ekkor problémás a két kódolásból származó ugyaazo kategóriaredszer felállítása. Ez akkor működhet, ha a vizsgálatba újoa bevot kutató előzetes felkészítése esett át, ahol megismerhette a Grouded Theory kódolási redszeréek mechaizmusait és a vizsgálat célját, meetét. A külöböző kategóriák tartalma közötti hasolóság vagy külöbség befolyásolja a Cohe-kappát, hisze eek megfelelőe törtéik a kotigecia-táblázat (lásd:. táblázat) kialakítása, amely álláspotuk szerit em midig metes a szubjektív hatásmechaizmusoktól. Körültekitőe célszerű eljári az i-vivo kódolás eseté is, hisze bár ez rugalmasabb az a priori megközelítéstől, de a szövegből yert kódok alkotta kategória-redszerek azoosságáak biztosítása itt is godot okozhat. Gyakra koszezusos megoldást célszerű elfogadi a szioimakét haszálható kódkifejezésekre voatkozóa, hisze a léyeg em a kód evé, haem a mögöttes tartalmako va. Tegyük fel, hogy egy iterjúszöveget két kódoló kódolt. Ekkor megállapítható a két kódolás tartalmi kategóriái közötti azoosság és külöbözőség, így az adathalmaz egy es kotigecia-táblázatba rögzíthető:. táblázat. Kategóriák 2. Kódoló Összese (gyakoriságok). Kódoló Kat Kat 2 Kat Σ Kat X X 2 X Kat 2 X 2 X 22 X 2 Kat X X 2 X Σ = + i + 2 = i 2 + = i ΣΣ = N Az általáos kappa értékéek kiszámítása a következőképpe törtéik: = + = 2+ p0 pc k =, ahol pc p 0 megfigyelt potosság (midkét kódolóál az azoos kategóriák, a főátló elemei): + = i 2i i p = 0 N i i p c az alkalmi egyezés (véletleszerű azoosság): : = sorok száma a kotigecia-táblázatba ii : = kategóriák száma az átló meté i+ : = összes kategória az i sorba p c = i+ N 2 + i 70
+i : = összes kategória az i oszlopba N : = összes elemszám A továbbiakba példá keresztül tekitsük át a kappa értékéek kiszámítását. A 2. táblázat egy 44-es kotigecia-táblázatot rögzít, ahol midkét kódoló kategóriáiak számát megjeleítettük (lásd az a priori, az i-vivo és a Grouded Theory yílt kódolásai sorá jelzett problémákat). 2. táblázat. Kódolási kategóriák Sátha Kálmá: Numerikus problémák a kvalitatív megbízhatósági mutatók meghatározásáál 2. Kódoló Összese (gyakoriságok). Kódoló Kat Kat 2 Kat 3 Kat 4 Σ Kat 5 2 0 8 Kat 2 2 4 5 0 Kat 3 2 2 4 9 Kat 4 0 0 3 4 Σ 9 8 4 N = 32 A táblázat adatai alapjá: p 0 = (5+4+4+3): 32 = 0.5 p c = (8 9 + 8 + 9 + 4 4) : 32 2 = 0.268 κ = (0.5 0.268) : ( 0.268) = 0.37 Az általáos kappa értékéek kiszámítása utá lehetőség va a megbízhatóság kategóriákéti meghatározására is, de meg kell jegyezük, hogy e techikát em haszálja a kvalitatív módszerta. Ez külöös, hisze a kvalitatív vizsgálatok a jeleségek mélyrétegeiek feltárására fókuszálak, ugyaakkor elsősorba a kódolás megbízhatóságára figyelek és em az egyes kódok megbízhatóságáak meghatározására. Tegyük fel, hogy a 2. kódoló 2. kategóriájára (Kat 2 ) voatkozóa szereték kiszámítai a kappa értékét (refereciakét haszáljuk a 2. táblázat adatait). Ezt a következő képlet segítségével tehetjük meg: ki i k + k + i k i =, ahol ki+ ki+ k + i k ii := az i sorba / i oszlopba egyező kategóriák aráya k i+ := az alkalmia egyező kategóriák aráya az i sorba k +i := az alkalmia egyező kategóriák aráya az i oszlopba A 2. kódoló 2. kategóriájára voatkoztatva a képletet: k ii = 4: 32 = 0.25 k i+ = : 32 = 0.343 k +i = 8: 32 = 0.25 κ = [0.25 (0.343 0.25)] : [0.343 (0.343 0.25)] = 0.04 : 0.257 = 0.55 A kappa értékéek ismeretébe célszerű állást foglali a kódolás megbízhatóságára voatkozóa. Az értékek iterpretációjáál Greve és Wetura (997) szerit a következő eseteket tartjuk számo:. A kappa értéke 0 és között mozog. Ha a kódolók véleméye az összes kategóriára voatkozóa egyezett, akkor κ =. Ha midkét kódoló kategóriái között az azoosság csak elképzelhető, akkor ez a téy matematikailag a kappa értékét 0 iráyába mozgatja, vagyis miél kisebb az azoosság, a kappa aál jobba közelít a ullához; 2. Ha κ < 0.40, akkor gyege azoosságról és kódolásról beszélük. Ilye esetbe a kappa értékét és a kódokat célszerű fetartással fogadi; 7
Iskolakultúra 202/3 3. 0.40 κ 0.60 mutatóál a megbízhatóság közepes, az érték és a kódok még elfogadhatók; 4. Más esetekbe elfogadható a kappa értéke és a kódolás. Ladis és Koch (977) Greve és Wetura álláspotjától eltérő strukturálást tartaak elképzelhetőek, ezért jobba differeciálják a kappa értékét és a kódolás megbízhatóságát:. κ< 0 eseté teljes külöbözőségről beszélük. A Greve és Vetura kategorizációja szerit miél kisebb a kódolások közötti azoosság, a kappa értéke aál jobba közelít a ullához. A kappa általáos képletét tekitve matematikailag em zárható ki a egatív kappa érték sem. Ez azt jeleti, hogy a két kódoló kategóriáiak azoossága kisebb, mit a véletleszerű azoosság. A egatív kappát a kvalitatív módszerta em haszálja, ezért az értéket 0 κ itervallumba értelmezzük; 2. 0 κ 0.20 között gyege azoosságról beszélük; 3. 0.2 κ 0.40 elégséges azoosság esete áll fe; 4. 0.4 κ 0.60 közepes azoosságot mutat; 5. 0.6 κ 0.80 eseté az azoosság figyelemreméltóa magas, jó; 6. 0.8 κ agyo magas, kiváló azoosság áll fe. A strukturálási lehetőségek ismeretébe térjük vissza a 2. táblázatba rögzített példához, ahol a kappa értéke (κ = 0.37) Greve és Vetura (997) redszere szerit gyege azoosságot és kódolást mutat, míg Ladis és Koch (977) alapjá elégséges azoosság esete áll fe. A 2. kódoló 2. kategóriájára voatkoztatott κ = 0.55 érték úgy is értelmezhető, hogy az egyezés 5 százalékkal jobb aál, mitha csak esetleges lee. Összegzés 3. táblázat. A kvalitatív megbízhatósági problémák Kvalitatív megbízhatósági kérdések Itra- és iterkódolás Cohe-kappa Előy Létezik a kvalitatív kritériumkatalógus, amelybe kitütetett figyelem illeti az általáos megbízhatósági problémákat. A külső és a belső megbízhatósági kérdések tárgyalását is szükséges megtei. Lehetőséget biztosít a kódolás megbízhatósági mutatójáak kiszámítására. Egyszerű képlete sok kódolási típusál problémametese alkalmazható. Két kódoló kódolásaiak (iterkódolás) vizsgálatára haszálható, matematikai alapoko álló techika. Kritikus pot Nics egységes álláspot a megbízhatósági kérdések szükségességére és lehetségességére voatkozóa. Egyszerű matematikai alapo áll. Kritikakét felvetődik a kérdés: szükséges-e számoli a kvalitatív vizsgálatba? Matematikai háttere miatt kritizált A külöböző kódolási elvek em midig teszik egyértelműe lehetővé a kategóriák kapcsolatáak számokkal való kifejezését (lásd a kotigecia-táblázat készítéséek problémáit), így a Cohe-kappa is kritikák alapját képezi. Kettőél több kódoló eseté más kappa-mechaizmus (Fleiss-kappa) szükséges. Külöböző redszerek a kappa értékek és a megbízhatóság közötti kapcsolat kimutatására. 72
Sátha Kálmá: Numerikus problémák a kvalitatív megbízhatósági mutatók meghatározásáál A kvalitatív megbízhatósági kérdések, a kódolás megbízhatósága és a kappa értékével kapcsolatos problémák átlátása érdekébe a taulságokat a 3. táblázatba foglaltuk össze. A megbízhatóság előyeiek és problémás területeiek áttekitése utá kijelethető, hogy a kvalitatív vizsgálatok szisztematizálásáak egyik lépcsőfoka a megbízhatósági kérdések egyértelmű yilváosságra hozatala, valamit megoldási javaslatok készítése a probléma elhárítására. Ehhez kívát a taulmáy egy lehetséges utat mutati. Jegyzet () A taulmáy az MTA Bolyai Jáos Kutatási Ösztödíja támogatásával készült. Irodalom Brüsemeister, T. (2000): Qualitative Forschug. Westdeutscher Verlag, Wiesbade. Cohe, J. (960): A coefficiet for omial scales. Educatioal ad Psychological Measuremet, 68. sz. 409 42. Cohe, L., Maio, L. és Morriso, K. (2000): Research methods i educatio. Routledge Falmer, Lodo. Dafioiu, I. és Lugu, O. (2003): Research Methods i the Social Scieces / Metode de cercetare î ştiiţele sociale. PeterLag, Europäischer Verlag der Wisseschafte, Frakfurt am Mai. Fleiss, J. L. (97): Measurig omial scale agreemet amog may raters. Psychological Bulleti, 76. 5. sz. 378 382. Flick, U. (2002): Qualitative Sozialforschug. Eie Eiführug. Rowohlt Verlag, Hamburg. Gelecsér Katali (2003): Grouded Theory. Szociológiai Szemle,. sz. 43 54. Golhofer Erzsébet (200): Az esettaulmáy. Műszaki Köyvkiadó, Budapest. Greve, W. és Wetura, D. (997): Wisseschaftliche Beobachtug: Eie Eiführug. PVU Beltz Verlag, Weiheim. Kuckartz, A. és Sharp, M. J. (20): Resposibility: A Key Category for Uderstadig the Discourse o the Fiacial Crisis Aalysig the KWALON Data Set with MAXQDA 0. Forum Qualitative Sozialforschug / Forum Qualitative Social Research, 2.. sz. Art. 22. 20. 02. 0-i megtekités, http:// b-resolvig.de/ur:b:de:04-fqs0222 Krippedorff, K. (2004): Cotet aalysis: A itroductio to its methodology. Sage, Thousad Oaks, CA. Lamek, S. (989): Qualitative Sozialforschug. Methode ud Techike. Müche. Ladis, J. R. és Koch, G. G. (977): The measuremet of observer agreemet for categorical data. Biometrics, 33. sz. 59 74. Mühlmeyer-Metzel, A. (20): Das Datekozept vo ATLAS.ti ud sei Gewi für Grouded Theory -Forschugsarbeite. Forum Qualitative Sozialforschug / Forum Qualitative Social Research, 2.. sz. Art. 32. 20. 02. 0-i megtekités, http:// b-resolvig.de/ur:b:de:04-fqs0325 Raab, J. (2008): Visuelle Wissessoziologie. UVK, Kostaz. Saillard, E. K. (20): Systematic Versus Iterpretive aalysis with Two CAQDAS Packages: NVivo ad MAXQDA. Forum Qualitative Sozialforschug / Forum Qualitative Social Research, 2.. sz. Art. 34. 20. 02. 0-i megtekités, http://b-resolvig.de/ ur:b:de:04-fqs0345 Sátha Kálmá (2007): A kvalitatív metodológiai követelméyek problémái. Iskolakultúra, 7. 6 7. sz. 68 77. Sátha Kálmá (2009): Bevezetés a kvalitatív pedagógiai kutatás módszertaába. Eötvös József Köyvkiadó, Budapest. Sátha Kálmá (200): A triaguláció és az MTMMmátri kapcsolata a pedagógiai kutatásba. Iskolakultúra, 20. 7 8. sz. 54 63. Schöfelder, W. (20): CAQDAS ad Qualitative Syllogism Logic Nvivo 8 ad MAXQDA 0 Compared. Forum Qualitative Sozialforschug / Forum Qualitative Social Research, 2.. sz. Art. 2. 20. 02. 0-i megtekités, http://b-resolvig.de/ ur:b:de:04-fqs028 Silverma, D. (2004): Iterpretarea datelor calitative. Polirom, Iaşi. Steike, I. (2002): Gütekriterie qualitativer Forschug. I: Flick, U., vo Kardoff, E. és Steike, I. (szerk.): Qualitative Forschug. Ei Hadbuch. Rowohlt Verlag, Hamburg. 39 33. Szabolcs Éva (200): Kvalitatív kutatási metodológia a pedagógiába. Műszaki Köyvkiadó, Budapest. Szokolszky Áges (2004): Kutatómuka a pszichológiába. Osiris Kiadó, Budapest. Tesch, R. (995): Qualitative Research. Falmer Press, New York. vo Eye, A. (2006): A Alterative to Cohe s κ. Europea Psychologist,. sz. 2 24. 73