Khi-négyzet próbák. Szűcs Mónika SZTE ÁOK-TTIK Orvosi Fizikai és Orvosi Informatikai Intézet

Átírás

1 Khi-négyzet próbák Szűcs Mónika SZTE ÁOK-TTIK Orvosi Fizikai és Orvosi Informatikai Intézet

2 Khi-négyzet próba Példa Az elleni oltóanyagok különböző típusainak hatását vizsgálták abból a szempontból, hogy a beoltottak milyen arányban betegedtek meg. Az eredmények az alábbi táblázatban láthatók. Kérdés: Mondhatjuk-e, hogy az egyes típusú oltóanyagok ugyanúgy hatnak, azaz, lényegében azonos-e a megbetegedettek aránya, vagy nem? Krisztina Boda Khí-négyzet próbák 2

3 Khi-négyzet próba Influenzában megbetegedett Példa Mondhatjuk-e, hogy az egyes típusú oltóanyagok ugyanúgy hatnak, azaz, lényegében azonos-e a megbetegedettek aránya, vagy nem? Nem betegedett meg influenzával Csak szezonális Csak H1N Kombinált Krisztina Boda Khi-négyzet próbák 3

4 Khi-négyzet próba függetlenségvizsgálatra A khi négyzet próbát két diszkrét változó közötti kapcsolat vizsgálatára használjuk. Azaz van-e kapcsolat a két változó (X és Y) között, vagy függetlenek egymástól. Legyenek az X és Y értékei x 1, x 2, x r, és y 1, y 2, y c az A 1, A 2, A r illetve B 1, B 2, B c kimenetelek esetén A megfigyelések száma: n Krisztina Boda Khí-négyzet próbák 4

5 Kontingencia táblázat Jelölje O ij A i és B j események együttes bekövetkezéseinek számát (megfigyelt gyakoriságok) B 1 B 2 B c Sor összeg A 1 O 11 O 12 O 1s O 1+ A 2 O 21 O 22 O 2s O 2+ A r O r1 O r2 O rs O r+ Oszlop összeg O +1 O 2+ O s+ n O i+ = s O ij j=1 i = 1, 2,, r A i esemény gyakorisága Krisztina Boda O +j = r O ij i=1 j = 1, 2,, s B j esemény gyakorisága

6 Várt gyakoriságok Feltéve, hogy a két változó független, a kontingencia táblázat oszlop illetve sorösszegeinek segítségével kiszámolhatók a várt gyakoriságok, minden cellához. sorösszeg oszlopösszeg várt gyakoriság = mintaelemszám B 1 B 2 B c Sor összeg A 1 O 1+ A 2 O 2+ E ij = O i+o +j n A r O r+ Oszlop összeg O +1 O 2+ O s+ n Krisztina Boda

7 Várt gyakoriságok Feltéve, hogy a két változó független, a kontingencia táblázat oszlop illetve sorösszegeinek segítségével kiszámolhatók a várt gyakoriságok, minden cellához. sorösszeg oszlopösszeg várt gyakoriság = mintaelemszám E 11 = O 1+O +1 n B 1 B 2 B c Sor összeg A 1 E 11 O 1+ A 2 O 2+ A r O r+ Oszlop összeg O +1 O 2+ O s+ n Krisztina Boda

8 Várt gyakoriságok Feltéve, hogy a két változó független, a kontingencia táblázat oszlop illetve sorösszegeinek segítségével kiszámolhatók a várt gyakoriságok, minden cellához. sorösszeg oszlopösszeg várt gyakoriság = mintaelemszám B 1 B 2 B c E 21 = O 2+O +1 n Sor összeg A 1 E 11 O 1+ A 2 E 21 O 2+ A r O r+ Oszlop összeg O +1 O 2+ O s+ n Krisztina Boda

9 Várt gyakoriságok Feltéve, hogy a két változó független, a kontingencia táblázat oszlop illetve sorösszegeinek segítségével kiszámolhatók a várt gyakoriságok, minden cellához. sorösszeg oszlopösszeg várt gyakoriság = mintaelemszám B 1 B 2 B c Sor összeg A 1 E 11 E 12 E 1s O 1+ A 2 E 21 E 22 E 2s O 2+ A r E r1 E r2 E rs O r+ Oszlop összeg O +1 O 2+ O s+ n Krisztina Boda

10 Khi-négyzet próba függetlenségvizsgálatra A khi négyzet próbát két diszkrét változó közötti kapcsolat vizsgálatára használjuk. Azaz van-e kapcsolat a két változó (X és Y) között, vagy függetlenek egymástól. A khi-négyzet próba alkalmazhatóságának feltételei az 5-nél kisebb várt gyakoriságot tartalmazó cellák száma legfeljebb az összes cella 20% -a. (Ehelyett gyakran használjuk, hogy minden cella várt gyakorisága legalább 5. Ez erősebb, de könnyebben ellenőrizhető feltétel.) Krisztina Boda 10

11 H 0 : a két változó független (P A i B j = P A i P(B j )) H 1 : a két változó között van kapcsolat Próbastatisztika: Khi-négyzet próba függetlenségvizsgálatra χ 2 = r i=1 c j=1 (O ij E ij ) 2 E ij Ha az előbbi feltételek teljesülnek, akkor a minta eloszlása r 1 c 1 szabadságfokú χ 2 eloszlással közelíthető (r és c a sorok és oszlopok száma a kontingencia táblázatban) Krisztina Boda 11

12 Khi-négyzet próba függetlenségvizsgálatra Döntés ha χ 2 < χ 2 table elfogadjuk a nullhipotézist, a két változó független ha χ 2 > χ 2 table, elvetjük a nullhipotézist, a két változó között van kapcsolat Krisztina Boda Khi-négyzet próbák 12

13 Khi-négyzet eloszlás n független standard normális eloszlású véletlen változó négyzeteinek összege khi-négyzet eloszlású n szabadságfokkal df 2 df 3 df 5 df Krisztina Boda Khí-négyzet próbák 13

14 Khi-négyzet tábla α = 0.05 szabadságfok:10 kritikus érték: χ 2 table = Krisztina Boda Khi-négyzet próbák 14

15 Khi-négyzet próba Példa Mondhatjuk-e, hogy az egyes típusú oltóanyagok ugyanúgy hatnak, azaz, lényegében azonos-e a megbetegedettek aránya, vagy nem? védőoltás típusa megbetegedés megjelenése Influenzában megbetegedett Influenzában nem betegedett meg Csak szezonális Csak H1N Kombinált Krisztina Boda Khi-négyzet próbák 15

16 Hipotézisek: H 0 : a vakcina típusa és a megbetegedése megjelenése független H 1 : a vakcina típusa és a megbetegedése megjelenése nem független Elsőfajú hiba α = 0.05 Khi-négyzet próba Példa Szabadsági fok df = r 1 c 1 = = 2 1 = 2 Krisztina Boda Khi-négyzet próbák 16

17 Számoljuk ki a várt gyakoriságokat vártgyakoriság = Khi-négyzet próba Number getting Példa sorösszeg oszlopösszeg mintaelemszám Number not getting Seasonal only H1N1 only 250 Combined Krisztina Boda Khi-négyzet próbák 17

18 Számoljuk ki a várt gyakoriságokat vártgyakoriság = Khi-négyzet próba Number getting Példa sorösszeg oszlopösszeg mintaelemszám Number not getting Seasonal only H1N1 only 250 Combined Krisztina Boda Khi-négyzet próbák 18

19 Számoljuk ki a várt gyakoriságokat vártgyakoriság = Khi-négyzet próba Number getting Példa sorösszeg oszlopösszeg mintaelemszám Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 19

20 Számoljuk ki a várt gyakoriságokat vártgyakoriság = Khi-négyzet próba Number getting Példa sorösszeg oszlopösszeg mintaelemszám Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 20

21 Számoljuk ki a várt gyakoriságokat vártgyakoriság = Khi-négyzet próba Number getting Példa sorösszeg oszlopösszeg mintaelemszám Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 21

22 Számoljuk ki a várt gyakoriságokat vártgyakoriság = Khi-négyzet próba Number getting Példa sorösszeg oszlopösszeg mintaelemszám Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 22

23 Khi-négyzet próba Példa Számoljuk ki a várt gyakoriságokat vártgyakoriság = sorösszeg oszlopösszeg mintaelemszám Number getting Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 23

24 Khi-négyzet próba Minden cella esetén számoljuk ki (O ij E ij ) 2 megfigyelt gyakoriságok Number getting Number not getting Seasonal only H1N1 only Combined várt gyakoriságok Példa E ij (43 42) 2 42 Number getting Number not getting Seasonal only H1N1 only Combined Number getting Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 24

25 Khi-négyzet próba Minden cella esetén számoljuk ki (O ij E ij ) 2 megfigyelt gyakoriságok Number getting Number not getting Seasonal only H1N1 only Combined várt gyakoriságok Példa E ij Number getting ( ) Number not getting Seasonal only H1N1 only Combined Number getting Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 25

26 Minden cella esetén számoljuk ki (O ij E ij ) 2 megfigyelt gyakoriságok Khi-négyzet próba Példa E ij Number getting Number not getting Seasonal only H1N1 only Combined várt gyakoriságok Number getting Number not getting Seasonal only H1N1 only Combined ( ) Number getting Number not getting Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 26

27 Minden cella esetén számoljuk ki (O ij E ij ) 2 megfigyelt gyakoriságok Khi-négyzet próba Példa E ij Number getting Number not getting Seasonal only H1N1 only Combined várt gyakoriságok Number getting Number not getting Seasonal only H1N1 only Combined Number getting Number not getting Seasonal only H1N1 only Combined ( ) Krisztina Boda Khi-négyzet próbák 27

28 Minden cella esetén számoljuk ki (O ij E ij ) 2 megfigyelt gyakoriságok Khi-négyzet próba Példa E ij Number getting Number not getting Seasonal only H1N1 only Combined várt gyakoriságok Number getting Number not getting Number getting Number not getting Seasonal only H1N1 only Combined ( ) Seasonal only H1N1 only Combined Krisztina Boda Khi-négyzet próbák 28

29 Khi-négyzet próba Példa Számoljuk ki a próbastatisztikát Number getting Number not getting Seasonal only H1N1 only Combined Adjuk össze a kiszámolt értékeket! r c χ 2 (O ij E ij ) 2 = = i=1 j=1 E ij = Krisztina Boda Khi-négyzet próbák 29

30 Adjuk meg a kritikus értéket (táblázatból) (α = 0.05, df = 2) χ 2 table = 5.99 Döntés: Elvetjük H 0, > 5.99 azaz χ 2 > χ 2 table a két változó nem független Khi-négyzet próba Példa a megbetegedések száma nem azonos a három csoportban Krisztina Boda Khi-négyzet próbák 30

31 Khi-négyzet próba Példa SPSS eredmények χ 2 = p = A feltételek teljesülnek Krisztina Boda Khi-négyzet próbák 31

32 Khi-négyzet próba Példa SPSS eredmények p = < α = 0.05 elvetjük a nullhipotézist Krisztina Boda Khi-négyzet próbák 32

33 Speciális eset: 2 x 2-es táblázat Rizikófaktor YES NO 1.csoport a b a+b 2.csoport c d c+d a+c b+d n Próbastatisztika: χ 2 = n(a d b c) 2 a + b c + d a + c (b + d) Krisztina Boda Khi-négyzet próbák 33

34 Kezelés Khi-négyzet próba Példa Két különböző kezelés eredményét hasonlítjuk össze az alábbi táblázat szerint: Kimenetel Meghalt Él A B Krisztina Boda Khi-négyzet próbák 34

35 Khi-négyzet próba Példa H 0 : a kezelés kimenetele független a kezelés típusától a populációban (azaz azonos arányban halnak meg a két csoportban) H 1 : a kezelés kimenetele függ a kezelés típusától = 0.05 df = 1 χ 2 = n(a d b c) 2 = 100( )2 a+b c+d a+c (b+d) χ 2 table = = < azaz χ 2 < χ 2 table Elfogadjuk a nullhipotézist, a két változó független Krisztina Boda Khi-négyzet próbák 35

36 SPSS output SPSS által számolt p érték 0.372, ez nagyobb, mint = 0.05, ennek alapján szintén elvetjük a nullhipotézist. Pearson Chi-Square Continuity Correction a Likelihood Ratio Fisher's Exact Test Linear-by-Linear Association N of Valid Cases Chi-Square Tests Asy mp. Sig. Value df (2-sided),796 b 1,372,354 1,552,802 1,370,788 1, a. Computed only for a 2x2 table Exact Sig. (2-sided) Exact Sig. (1-sided),554,277 b. 0 cells (,0%) have expected count less than 5. The minimum expected count is 6, Khi-négyzet próbák 36 Krisztina Boda 36

37 Yates korrekció 2 x 2 es táblázat esetén a próbastatisztika értéke pontosabban számolható, ha az alábbi korrekciót alkalmazzuk. Yates korrekció csak akkor alkalmazható, ha a szabadságfok 1. Próbastatisztik a Yates korrekcióval: χ 2 = n( a d b c 1 2 n)2 a + b c + d a + c (b + d) Krisztina Boda Khi-négyzet próbák 37

38 Fisher féle egzakt teszt Fisher féle egzakt teszt a próbastatisztika kiszámítása helyett közvetlenül a p értéket számol. Habár a gyakorlatban akkor használjuk, ha a kis elemszámú minták van, de nagy elemszám esetén is pontos értéket ad Krisztina Boda Khi-négyzet próbák 38

39 Fisher féle egzakt teszt Példa Adott a következő gyakorisági táblázat STDs HIV fertőzés yes no total yes no total Van-e kapcsolat HIV fertőződés és STD között? (5%-os szinten) Krisztina Boda Khi-négyzet próbák 39

40 Fisher féle egzakt teszt Példa A megfigyelt táblázat valószínűsége adott marginálisok (sor ill. oszlopösszeg) esetén. p = a + c! b + d! a + b! c + d! n! a! b! c! d! Krisztina Boda Khi-négyzet próbák 40

41 megfigyelt gyakoriságok STDs HIV Infection yes no total yes no total lehetséges átrendezések STDs Fisher féle egzakt teszt HIV Infection yes no total yes no total Példa p obs = p = 10! 15! 8! 17! 3! 7! 5! 10! 25! = ! 15! 8! 17! 2! 8! 6! 9! 25! = STDs STDs HIV Infection yes no total yes no total HIV Infection yes no total yes no total p = p = 10! 15! 8! 17! 1! 9! 7! 8! 25! = ! 15! 8! 17! 0! 10! 8! 7! 25! = Krisztina Boda Khi-négyzet próbák 41

42 megfigyelt gyakoriságok STDs HIV Infection yes no total yes no total lehetséges átrendezések STDs STDs STDs Fisher féle egzakt teszt HIV Infection yes no total yes no total HIV Infection yes no total yes no total HIV Infection yes no total yes no total Példa p obs = p = p = p = A Fisher féle p érték kiszámolásához az összes lehetséges átrendezés közül csak azokat kell figyelembe venni, amelyek legalább annyira eltérők, mint a megfigyelt táblázat (most mind) Fisher féle p érték = = Krisztina Boda Khi-négyzet próbák 42

43 Khi-négyzet próba illeszkedésvizsgálatra

44 Illeszkedésvizsgálat khi-négyzet próbával Az illeszkedésvizsgálat célja annak meghatározása, hogy a mintaelemek adott eloszlású populációból származnak-e. H 0 : X változó eloszlása az adott eloszlás H 1 : X változó eloszlása nem az adott eloszlás Khi-négyzet próbák 44 Krisztina Boda 44

45 Diszkrét változó. A változók eloszlása Folytonos változó Kockajáték közben felmerül a gyanú, hogy szabályos-e a kocka. Kísérletképpen 120-szor feldobjuk a kockát. Megfigyelt gyakoriságok Szeretnénk ellenőrizni, hogy egy folytonos változó (életkorok eloszlása) normális eloszlásból származik-e. Az életkorok eloszlása Krisztina Boda Khi-négyzet próbák 45

46 Illeszkedésvizsgálat khi-négyzet próbával Tegyük fel, hogy adott n elemű minta. Készítsünk oszlopdiagramot vagy hisztogramot a változó típusának megfelelően. Mindkét esetében gyakoriságok sorozatát kapjuk: ezek a megfigyelt gyakoriságok. Jelölje O i, i = 1, 2,, r az i -edik kategóriába esés gyakoriságát (r a kategóriák száma). Jelölje p i, az i -edik kategóriába esés valószínűségét a populációban. (az adott eloszlás esetén). Ha ezek a valószínűségek ismertek, tiszta illeszkedésvizsgálatról beszélünk. Ha nem ismertek, akkor a mintából kell őket becsülni, ezért ekkor becsléses illeszkedésvizsgálatról beszélünk. Krisztina Boda Khi-négyzet próbák 46

47 Illeszkedésvizsgálat khi-négyzet próbával Ha H 0 igaz és n nagy, akkor a relatív gyakoriságok a p i k közelítései: p i = k i n k i = n p i megfigyelt gyakoriság várt gyakoriság Az alábbi próbastatisztika χ 2 eloszlású (r 1 s) szabadság fokkal (ahol s az eloszlás paramétereinek a száma χ 2 = r j=1 (O i E i ) 2 E i = r j=1 (k i n p i ) 2 n p i Krisztina Boda Khi-négyzet próbák 47

48 Illeszkedésvizsgálat Kockajáték közben felmerül a gyanú, hogy nem szabályos a kocka. Kísérletképpen 120 dobást végzünk. H 0 : a kocka szabályos, minden dobás egyformán valószínű, p i = 1 6. Várható gyakoriságok minden kimenetel esetén: n p i = = 20 Példa 1. Krisztina Boda Khi-négyzet próbák 48

49 Lehetséges kimenetelek: Illeszkedésvizsgálat Példa Megfigyelt gyakoriságok: Várt gyakoriságok: χ 2 = 6 i=1 (k i 20) 2 = 20 (25 20) 2 +(18 20) 2 +(21 20) 2 +(17 20) 2 +(20 20) 2 +(19 20) 2 20 = 2 df = 6 1 = 5 χ 2 table = < 11.07, így elfogadjuk a nullhipotézist, és a kockát szabályosnak tekintjük Krisztina Boda Khi-négyzet próbák 49

50 Illeszkedésvizsgálat Kockajáték közben felmerül a gyanú, hogy nem szabályos a kocka. Kísérletképpen 120 dobást végzünk. H 0 : a kocka szabályos, minden dobás egyformán valószínű, p i = 1 6. Várható gyakoriságok minden kimenetel esetén: n p i = = 20 Példa 2. Krisztina Boda Khi-négyzet próbák 50

51 Lehetséges kimenetelek: Illeszkedésvizsgálat Példa Megfigyelt gyakoriságok: Várt gyakoriságok: χ 2 = 6 i=1 (k i 20) 2 = 20 (5 20) 2 +(18 20) 2 +(21 20) 2 +(17 20) 2 +(20 20) 2 +(36 20) 2 20 = 30 df = 6 1 = 5 χ 2 table = > 11.07, így elvetjük a nullhipotézist, a kocka nem szabályos Krisztina Boda Khi-négyzet próbák 51

52 Illeszkedésvizsgálat Normalitásvizsgálat A következőkben az ún. becsléses illeszkedésvizsgálatra mutatunk be példát. Normalitás vizsgálat esetén általában nem ismerjük az eloszlás paramétereit, ezért azokat a mintából kell becsülni. Ezek segítségével fogjuk a p i -ket is megkapni. H 0 : a minta normális eloszlású populációból származik Khi-négyzet próbák 52 Krisztina Boda 52

53 Frequency 30 Body height χ 2 = r j=1 (k i n p i ) 2 n p i k i Std. Dev = 8.52 Mean = np i N = Body height Khi-négyzet próbák 53 Krisztina Boda 53

54 Gauss-papír alkalmazás Van egy egyszerű grafikus módszer a normalitás vizsgálatra. A "Gauss-papír" speciális koordináta rendszer, amelyben az tengely beosztása a normális eloszlás inverzének megfelelően van feltüntetve százalékokban. A minta eloszlásfüggvényét ebbe a rendszerbe belerajzolva normalitás esetén közelítőleg egy egyenest kapunk Krisztina Boda Khi-négyzet próbák 54

55 SPSS: Q-Q plot (quantile-quantile plot) Krisztina Boda Khi-négyzet próbák 55

56 Egymintás próba egy esemény valószínűségére Egy városi kórházban 2146 szülés között 515 szülést császármetszéssel végeztek (CS) 2001-ben. Hasonlítsuk ezt az arányt az országos 22%-hoz. Eltér-e a kórházban végzett császármetszések aránya az országostól? H 0 : p=22% H A : p 22% z p p(1 n p p) (515/ 2146) Khi-négyzet próbák 56 Krisztina Boda 56

57 Ismétlő kérdések és feladatok A függetlenségvizsgálat célja, nullhipotézise Gyakorisági táblázat Megfigyelt és várható gyakoriságok A khi-négyzet próba feltétele Szabadságfok számítása khi-négyzet próba végrehajtásakor A khi-négyzet próba végrehajtása, döntés táblázat alapján és p-érték alapján 2x2-es táblázatok kiértékelése khi-négyzet próbával Khi-négyzet próbák 57 Krisztina Boda 57

58 Feladatok Harminc egyetemista lány között 10, ugyanennyi fiú között csak fele ennyi aktív sportolót találtak. Mondhatjuk-e ennek alapján, hogy a lányok közt magasabb a sportolók aránya? (5%-os szinten. (alfa=0.05, 2tabla=3.84)). Mi itt a nullhipotézis? Az egyetemi előadások elnéptelenedésének egyik szomorú megfigyelője úgy látta, hogy a fiúk kevésbé járnak órákra, mint a lányok. 30 fiúból mindössze 10 járt rendszeresen előadásokra, míg 90 lány közül éppen a fele. Alátámasztják ezek az adatok a lányok szorgalmasabb óralátogatását? (alfa=0.05, 2tabla=3.84)) Mi itt a nullhipotézis? Két gyógyszert hasonlítottak össze mellékhatások szempontjából, 60 önkéntes pacienst véletlenszerűen soroltak be a két kezelés valamelyikébe. Független-e a mellékhatás attól, hogy melyik gyógyszerről van szó? Mellékhatás volt A B 5 25 Mellékhatás nem volt Krisztina Boda Khi-négyzet próbák 58

59 Feladatok Fiúkat és lányokat kérdeztek arról, vajon szükséges-e a biostatisztika. Értelmezze az alábbi SPSS outputot! Nem Total Nem * A biostatisztika szükséges-e Crosstabulation Fiú Lány Count % within Nem Count % within Nem Count % within Nem A biostatisztika szükséges-e Igen Nem Total % 8.9% 100.0% % 9.0% 100.0% % 8.9% 100.0% Chi-Square Tests Asy mp. Sig. Value df (2-sided) Pearson Chi-Square.001 b Continuity Correction a Likelihood Ratio Fisher's Exact Test Linear-by-Linear Association N of Valid Cases 235 a. Computed only f or a 2x2 table Exact Sig. (2-sided) Exact Sig. (1-sided) b. 0 cells (.0%) hav e expected count less than 5. The minimum expected count is Khi-négyzet próbák 59 Krisztina Boda 59