Két diszkrét változó függetlenségének vizsgálata, illeszkedésvizsgálat

Két diszkrét változó függetlenségének vizsgálata, illeszkedésvizsgálat Szűcs Mónika SZTE ÁOK-TTIK Orvosi Fizikai és Orvosi Informatikai Intézet Orvosi fizika és statisztika I. előadás 2016.11.09 Orvosi fizika és statisztika I. előadás 2016.11.09 1

Főbb pontok Két diszkrét változó függetlenségének vizsgálata Khi-négyzet próba függetlenségvizsgálatra Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Fisher-féle egzakt teszt függetlenségvizsgálatra Khi-négyzet próba illeszkedésvizsgálatra Orvosi fizika és statisztika I. előadás 2016.11.09 2

Bevezetés Klinikai kutatások során gyakran felmerülő kérdés, hogy két diszkrét változó között van-e kapcsolat. Példák: Az influenzás megbetegedések aránya függ-e az oltóanyag típusától? A betegség kimenetele függ-e a kezelés típusától? Van-e kapcsolat a HIV fertőződések és a STD (szexuálisan terjedő betegségek) között? Orvosi fizika és statisztika I. előadás 2016.11.09 3

Kontingencia táblázat Egy olyan táblázat, mely a megfigyelt gyakoriságokat tartalmazza, a két változó alapján csoportosítva. Az egyik változó kimenetelei kerülnek a sorokba, a másik váltózóé pedig az oszlopokba. B 1 B 2... B c Sorösszeg A 1 O 11 O 12... O 1c O 1+ A 2 O 21 O 22... O 2c O 2+............ A r O r1 O r2... O rc O r+ Oszlopösszeg O +1 O +2... O +c n Legyenek a két diszkrét változó (X, Y ) értékei: x 1, x 2,... x r és y 1, y 2,... y c az A 1, A 2,... A r illetve B 1, B 2,... B c kimenetelek esetén. n a megfigyelések száma O i+ = O +j = c j=1 r i=1 O ij az A i, i = 1, 2,..., r esemény gyakorisága (sorösszegek) O ij az B j, j = 1, 2,..., c események gyakorisága (oszlopösszegek) Orvosi fizika és statisztika I. előadás 2016.11.09 4

Várt gyakoriságok A relatív gyakorisági eloszlását a sorösszegeknek marginális eloszlásnak hívjuk. Tegyük fel, hogy a két változó független, ekkor az eloszlások minden oszlop esetén azonosak. Minden oszlopra a marginális eloszlást feltételezve, kapjuk a várt gyakoriságokat: E ij = O i+ O +j n várt gyakoriság = sorösszeg oszlopösszeg elemszám Orvosi fizika és statisztika I. előadás 2016.11.09 5

Várt gyakoriságok várt gyakoriság = sorösszeg oszlopösszeg elemszám B 1 B 2... B c Sorösszeg A 1 E 11 E 12... E 1c O 1+ A 2 E 21 E 22... E 2c O 2+............ A r E r1 E r2... E rc O r+ Oszlopösszeg O +1 O +2... O +c n Orvosi fizika és statisztika I. előadás 2016.11.09 6

Khi-négyzet próba függetlenségvizsgálatra Célja: Annak a vizsgálata, hogy populációban van-e két diszkrét változó közötti kapcsolat. Feltétele: A várt gyakoriságok legfeljebb 20%-a kisebb 5-nél. (Kis táblázat esetén ez azt jelenti, hogy a várt gyakoriságok mindegyike legalább 5.) Orvosi fizika és statisztika I. előadás 2016.11.09 8

Khi-négyzet próba függetlenségvizsgálatra Hipotézisek: H0 : a két változó független. P(A i B j ) = P(A i ) P(B j ) H1 : a két változó között van összefüggés. Próbastatisztika: χ 2 = r i=1 j=1 c (O ij E ij ) 2 Ha két változó független, a próbastatisztika χ 2 eloszlást követ (r 1)(c 1) szabadsági fokkal E ij Orvosi fizika és statisztika I. előadás 2016.11.09 9

Khi-négyzet eloszlás Ha X 1, X 2... X m független, standard normális eloszlású véletlen változók, akkor X1 2 + X 2 2 +... X m 2 = m khi-négyzet (χ 2 ) eloszlást követ m szabadsági fokkal. i=1 X 2 i 0.0 0.1 0.2 0.3 df=2 df=3 df=5 df=10 0 20 Orvosi fizika és statisztika I. előadás 2016.11.09 10

Khi-négyzet eloszlás 0.0 0.1 1 α α 0 5 10 15 elfogadási tartomány kritikus érték elvetési tartomány Orvosi fizika és statisztika I. előadás 2016.11.09 11

Khi-négyzet próba függetlenségvizsgálatra Döntés próbastatisztika alapján: Ha χ 2 < χ 2 table, a null-hipotézist elfogadjuk Ha χ 2 > χ 2 table, a null-hipotézist elvetjük. Döntés p-érték alapján Ha p > α, a null-hipotézist elfogadjuk Ha p < α, a null-hipotézist elvetjük. 0.0 0.1 0.2 p value χ 2 A nullhipotézist elfogadjuk 2 χ table α 0.0 0.1 0.2 A nullhipotézist elvetjük α 2 χ table χ 2 p value 0 5 10 15 0 5 10 15 Orvosi fizika és statisztika I. előadás 2016.11.09 12

Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Van e kapcsolat az influenzás megbetegedések száma és a vakcina típusa között? Influenzás Nem lett influenzás Total Csak szezonális 43 (15.36%) 237 (84.64%) 280 (100%) Csak H1N1 52 (20.80%) 198 (79.20%) 250 (100%) Kombinált 25 (9.26%) 245 (90.74%) 270 (100 %) Total 120 680 800 0 20 40 60 80 100 120 nem influenzás influenzás Orvosi fizikacsak és statisztika szezonális I. Csak előadás H1N12016.11.09 Kombinált 13

Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Számoljuk ki a várt gyakoriságokat várt gyakoriság = sorösszeg oszlopösszeg elemszám Influenzás Nem lett influenzás Total Csak szezonális Csak H1N1 Kombinált 280 120 = 42 800 250 120 = 37.5 800 270 120 = 40.5 800 280 680 = 238 800 280 250 680 = 212.5 800 250 270 680 = 229.5 800 270 Total 120 680 800 Orvosi fizika és statisztika I. előadás 2016.11.09 14

Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Minden cella esetén számoljuk ki a reziduálok négyzetét: (O ij E ij ) 2 megfigyelt gyakoriságok: E ij Influenzás Nem lett influenzás Total Csak szezonális 43 237 280 Csak H1N1 52 198 250 Kombinált 25 245 270 Total 120 680 800 reziduálok négyzete: Influenzás Nem lett influenzás várt gyakoriságok: Csak szezonális Csak H1N1 Kombinált (43 42) 2 = 0.0238 42 (52 37.5) 2 = 5.6067 37.5 (25 40.5) 2 = 5.9321 40.5 (237 238) 2 = 0.0042 238 (198 212.5) 2 = 0.9894 212.5 (245 229.5) 2 = 1.0468 229.5 Influenzás Nem lett influenzás Total Csak szezonális 42 238 280 Csak H1N1 37.5 212.5 250 Kombinált 40.5 229.5 270 Total 120 680 800 Adjuk össze a reziduálok négyzeteit, hogy megkapjuk a próbastatisztikát: χ 2 = r c (O ij E ij ) 2 E ij = 0.0238+0.0042+5.6067+0.9894+5.9321+ i=1 j=1 1.0468 = 13.6030 Orvosi fizika és statisztika I. előadás 2016.11.09 15

Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Adjuk meg a kritikus értéket: α = 0.05, df = (3 1) (2 1) = 2 χ 2 kritikus értékei df 0.25 0.20 0.15 0.10 0.05 0.025 0.02 0.01 0.005 0.0025 0.001 1 1.32 1.64 2.07 2.71 3.84 5.02 5.41 6.63 7.88 9.14 10.83 2 2.77 3.22 3.79 4.61 5.99 7.38 7.82 9.21 10.60 11.98 13.82 3 4.11 4.64 5.32 6.25 7.81 9.35 9.84 11.34 12.84 14.32 16.27 χ 2 table = 5.99 Döntés próbastatisztika alapján: 13.60 > 5.99 (χ 2 > χ 2 table) H 0 -t elvetjük, a influenzás megbetegedések aránya függ a vakcina típusától. Orvosi fizika és statisztika I. előadás 2016.11.09 16

Khi-négyzet próba függetlenségvizsgálatra -Példa 1 R-rel számolva: > chi=matrix(c(43,52,25,237,198,245),ncol=2,byrow=false);ch [,1] [,2] [1,] 43 237 [2,] 52 198 [3,] 25 245 > chisq.test(chi) Pearson s Chi-squared test data: chi X-squared = 13.603, df = 2, p-value = 0.001112 p = 0.001112 < 0.05, H 0 -t elvetjük. Orvosi fizika és statisztika I. előadás 2016.11.09 17

Khi-négyzet próba speciális eset: két dichotóm változó B 1 B 2 Sorösszeg A 1 O 11 = a O 12 = b O 1+ = a + b A 2 O 21 = c O 22 = d O 2+ = c + d Oszlopösszeg O +1 = a + c O +2 = b + d n = a + b + c + d A próbastatisztika képlete: χ 2 = r c i=1 j=1 (O ij E ij ) 2 E ij = n(ad bc) 2 (a + b)(c + d)(a + c)(b + d) Orvosi fizika és statisztika I. előadás 2016.11.09 18

Khi-négyzet próba függetlenségvizsgálatra -Példa 2 Van-e kapcsolat a betegség kimenetele és a kezelés típusa között. megfigyelt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés 5 45 50 B kezelés 8 42 50 Oszlopösszeg 13 87 100 várt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés 6.5 43.5 50 0 20 40 60 80 100 120 gyógyult beteg B kezelés 6.5 43.5 50 A kezelés B kezelés Oszlopösszeg 13 87 100 Teljesül a χ 2 próba feltétele. Orvosi fizika és statisztika I. előadás 2016.11.09 19

Khi-négyzet próba függetlenségvizsgálatra Példa 2 H 0 : A kimenetel és a kezelés típusa független H 1 : Van összefüggés a kimenetel és a kezelés típusa között Próbastatisztika: χ 2 = n(ad bc) 2 100 (5 42 8 45)2 = (a + b)(c + d)(a + c)(b + d) 50 50 13 87 Kritikus érték: χ 2 table = 3.84 df = (2 1)(2 1) = 1 χ 2 kritikus értékek = 0.79 df 0.25 0.20 0.15 0.10 0.05 0.025 0.02 0.01 0.005 0.0025 0.001 1 1.32 1.64 2.07 2.71 3.84 5.02 5.41 6.63 7.88 9.14 10.83 2 2.77 3.22 3.79 4.61 5.99 7.38 7.82 9.21 10.60 11.98 13.82 3 4.11 4.64 5.32 6.25 7.81 9.35 9.84 11.34 12.84 14.32 16.27 Döntés: χ 2 < χ 2 table, H 0-t elfogadjuk. A betegség kimenetele független a kezelés típusától. Orvosi fizika és statisztika I. előadás 2016.11.09 20

Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Abban az esetben, a szabadsági fok 1 (2 2-es táblázat), a khinégyzet próba próbastatisztikája pontosabban számolható, ha különböző korrekciókat alkalmazunk. Az egyik leggyakrabban alkalmazott korrekció,a Yates-féle folytonossági korrekció Ezt a korrekció csak két dichotóm változó közötti kapcsolat elemzése esetén használható. Próbastatisztika Yates-féle korrekcióval: χ 2 = r c i=1 j=1 ( O ij E ij 1 2 )2 E ij = n( ad bc 1 2 n)2 (a + b)(c + d)(a + c)(b + d) Orvosi fizika és statisztika I. előadás 2016.11.09 22

Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Példa 2 Van-e kapcsolat a betegség kimenetele és a kezelés típusa között. megfigyelt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés 5 45 50 B kezelés 8 42 50 Oszlopösszeg 13 87 100 várt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés 6.5 43.5 50 0 20 40 60 80 100 120 gyógyult beteg B kezelés 6.5 43.5 50 A kezelés B kezelés Oszlopösszeg 13 87 100 Teljesül a χ 2 próba feltétele. Orvosi fizika és statisztika I. előadás 2016.11.09 23

Khi-négyzet próba függetlenségvizsgálatra -Példa 2 Yates korrekcióval H 0 : A kimenetel és a kezelés típusa független H 1 : Van összefüggés a kimenetel és a kezelés típusa között Próbastatisztika: χ 2 = n( ad bc 1 2 n)2 (a + b)(c + d)(a + c)(b + d) = 100 ( 5 42 8 45 1 2 )2 100 50 50 13 87 Kritikus érték: χ 2 table = 3.84 df = (2 1)(2 1) = 1 χ 2 kritikus értékei = 0.354 df 0.25 0.20 0.15 0.10 0.05 0.025 0.02 0.01 0.005 0.0025 0.001 1 1.32 1.64 2.07 2.71 3.84 5.02 5.41 6.63 7.88 9.14 10.83 2 2.77 3.22 3.79 4.61 5.99 7.38 7.82 9.21 10.60 11.98 13.82 3 4.11 4.64 5.32 6.25 7.81 9.35 9.84 11.34 12.84 14.32 16.27 Döntés: χ 2 < χ 2 table, H 0-t elfogadjuk. Orvosi fizika és statisztika I. előadás 2016.11.09 24

Khi-négyzet próba függetlenségvizsgálatra -Példa 2 Yates korrekcióval R-rel számolva: > t2=matrix(c(5,8,45,42),ncol=2);t [,1] [,2] [1,] 3 7 [2,] 5 10 > chisq.test(t2) Pearson s Chi-squared test with Yates continuity correction data: t2 X-squared = 0.3537, df = 1, p-value = 0.552 p = 0.552 > 0.05, H 0 -t elfogadjuk. Orvosi fizika és statisztika I. előadás 2016.11.09 25

Fisher-féle egzakt teszt Fisher-féle egzakt tesztet egy populáción belül két diszkrét változó közötti összefüggés vizsgálatára használjuk Habár gyakorlatban csak kis mintaelemszám esetén használjuk, bármekkora minta esetén is pontos értéket ad Hipotézisek: H0 : a két változó független. H1 : a két változó között van kapcsolat NINCS próbastatisztika, közvetlenül p-értéket számolunk p-érték képlete: p = p i p i a megfigyelt és azon átrendezett gyakorisági táblázatok valószínűsége, melyek legalább annyira eltérők, mint a megfigyelt táblázat. (a + c)!(b + d)!(a + b)!(c + d)! 2 2 táblázat estén a képlete = n!a!b!c!d! Orvosi fizika és statisztika I. előadás 2016.11.09 27

Fisher-féle egzakt teszt Példa 3 Van-e kapcsolat a HIV fertőződések és a STD (szexuális úton terjedő betegségek) között? Megfigyelt gyakoriságok: HIV fertőzött Nem HIV fertőzött Total STD 3 7 10 Nem STD 5 10 15 Total 8 17 25 Várt gyakoriságok: HIV fertőzött Nem HIV fertőzött Total STD 3.2 6.8 10 Nem STD 4.8 10.2 15 0 20 40 60 80 100 120 HIV fertozött STD Nem HIV fertozött Nem STD Total 8 17 25 A χ 2 próba feltétele NEM teljesül Fisher-féle egzakt teszt H 0 : Nincs kapcsolat a HIV fertőződések és a STD között. H 1 : Van kapcsolat a HIV fertőződések és a STD között. Orvosi fizika és statisztika I. előadás 2016.11.09 28

Fisher-féle egzakt teszt Példa 3 megfigyelt gyakoriságok: HIV fertőzött Nem HIV fertőzött Total STD 3 7 10 Nem STD 5 10 15 Total 8 17 25 p 1 = 10! 15! 8! 17! 3! 7! 5! 10! 25! = 0.3332 lehetséges átrendezések: HIV fertőzött Nem HIV fertőzött Total STD 2 8 10 Nem STD 6 9 15 Total 8 17 25 p 2 = 10! 15! 8! 17! 2! 8! 6! 9! 25! = 0.2082 HIV fertőzött Nem HIV fertőzött Total STD 1 9 10 Nem STD 7 8 15 Total 8 17 25 p 3 = 10! 15! 8! 17! 1! 9! 7! 8! 25! = 0.0595 HIV fertőzött Nem HIV fertőzött Total STD 0 10 10 Nem STD 8 7 15 Total 8 17 25 p 4 = 10! 15! 8! 17! 0! 10! 8! 7! 25! = 0.0595 Orvosi fizika és statisztika I. előadás 2016.11.09 29

Fisher-féle egzakt teszt Példa 3 Fisher-féle p-érték: p = 0.3332 + 0.2082 + 0.0595 + 0.0059 = 0.60685 H 0 -t elfogadjuk, mert p > α. Nincs kapcsolat a HIV fertőződések és a STD között. Orvosi fizika és statisztika I. előadás 2016.11.09 30

Fisher-féle egzakt teszt Példa 3 R-rel számolva: > t=matrix(c(3,5,7,10),ncol=2);t [,1] [,2] [1,] 3 7 [2,] 5 10 > chisq.test(t) Pearson s Chi-squared test with Yates continuity correction data: t X-squared = 0, df = 1, p-value = 0.9999 Warning message: In chisq.test(t) : Chi-squared approximation may be incorrect > fisher.test(t,alternative="less") Fisher s Exact Test for Count Data data: t p-value = 0.6069 alternative hypothesis: true odds ratio is less than 1 95 percent confidence interval: 0.00000 4.86495 sample estimates: odds ratio 0.8624169 p = 0.552 > 0.05, H 0-t elfogadjuk. Orvosi fizika és statisztika I. előadás 2016.11.09 31

Khi-négyzet próba illeszkedésvizsgálatra Az illeszkedésvizsgálat célja annak a meghatározása, hogy a mintaelemek adott eloszlású populációból származnak-e. H 0 : az X változó eloszlása az adott eloszlás H 1 : az X változó eloszlása nem az adott eloszlás megfigyelt és várt gyakorisági táblázat: A 1 A 2... A c Total Megfigyelt gyakoriságok: O 1 O 2... O c n Várt gyakoriságok: E 1 E 2... E c n Próbastatisztika: χ 2 = (O i E i ) 2 E i df = c 1 (a lehetséges kimenetelek száma-1) χ 2 < χ 2 table, elfogadjuk a null-hipotézist χ 2 > χ 2 table, elvetjük a null-hipotézist Orvosi fizika és statisztika I. előadás 2016.11.09 33

Khi-négyzet próba illeszkedésvizsgálatra -Példa 4 Szeretnénk tesztelni, hogy a dobókockánk szabályos-e. dobtunk a dobókockával. 120-szor 1 2 3 4 5 6 Total Megfigyelt gyakoriságok: 25 18 21 17 20 19 120 Várt gyakoriságok: 20 20 20 20 20 20 120 H 0 : A kocka szabályos minden kimenetel valószínűsége p i = 1 6 H 1 : A kocka nem szabályos legalább egy kimenetel valószínűsége eltér 1 6 -tól. Orvosi fizika és statisztika I. előadás 2016.11.09 34

Khi-négyzet próba illeszkedésvizsgálatra -Példa 4 Próbastatisztika: 6 χ 2 (k i 20) 2 = = 20 i=1 (25 20) 2 + (18 20) 2 + (21 20) 2 + (17 20) 2 + (20 20) 2 + (19 20) 2 = 2 20 df = 6 1 = 5 Kritikus érték (táblázatból): χ 2 table = 11.07 Döntés: χ 2 < χ 2 table 2 < 11.07, H 0 -t elfogadjuk, nincs elegendő bizonyítékunk arra, hogy azt állítsuk, hogy a kocka nem szabályos. Orvosi fizika és statisztika I. előadás 2016.11.09 35

Khi-négyzet próba illeszkedésvizsgálatra -Példa 5 Szeretnénk tesztelni, hogy a dobókockánk szabályos-e. dobtunk a dobókockával. 120-szor 1 2 3 4 5 6 Total Megfigyelt gyakoriságok 5 18 21 17 20 39 120 Várt gyakoriságok 20 20 20 20 20 20 120 H 0 : A kocka szabályos minden kimenetel valószínűsége p i = 1 6 H 1 : A kocka nem szabályos legalább egy kimenetel valószínűsége eltér 1 6 -tól. Orvosi fizika és statisztika I. előadás 2016.11.09 36

Khi-négyzet próba illeszkedésvizsgálatra -Példa 5 Próbastatisztika: 6 χ 2 (k i 20) 2 = = 20 i=1 (5 20) 2 + (18 20) 2 + (21 20) 2 + (17 20) 2 + (20 20) 2 + (39 20) 2 df = 6 1 = 5 Kritikus érték (táblázatból): χ 2 table = 11.07 Döntés: χ 2 > χ 2 table 30 > 11.07, H 0 -t elvetjük, a kocka nem szabályos. 20 = 30 Orvosi fizika és statisztika I. előadás 2016.11.09 37

Khi-négyzet próba illeszkedésvizsgálatra -Példa 6 Egy adott betegségben szenvedő 200 beteget egy bizonyos szerrel kezeltünk (ami nem közvetlenül kapcsolódik a betegségéhez). A betegség esetén a gyógyulási arány 50%. Szeretnénk vizsgálni, hogy a gyógyult és nem gyógyult betegek aránya azonos-e. Vagyis a kezelés befolyásolja-e a betegségből való felgyógyulást. Gyógyult Nem gyógyult Total Megfigyelt gyakoriságok 150 50 200 Várt gyakoriságok 100 100 200 H 0 : A kezelés nincs hatással a gyógyulásra p i = 1 2 H 1 : A kezelés hatással van a gyógyulásra legalább az egyik valószínűség eltér 1 2 től. Orvosi fizika és statisztika I. előadás 2016.11.09 38

Khi-négyzet próba illeszkedésvizsgálatra -Példa 6 Próbastatisztika: 2 χ 2 (k i 100) 2 = 100 i=1 = (150 100)2 + (50 100) 2 100 = 50 df = 2 1 = 1 Kritikus érték (táblázatból): χ 2 table = 3.841 p < 0.05 Döntés: p < 0.05 (vagy χ 2 > χ 2 table, 50 > 3.841), H 0 -elvetjük, a kezelésnek van hatása a betegségből való felgyógyulásra. Orvosi fizika és statisztika I. előadás 2016.11.09 39

Ismétlő kérdések A függetlenségvizsgálat célja, null hipotézise Gyakorisági táblázat Megfigyelt és várható gyakoriságok A khi-négyzet próba feltétele Szabadságfok számítása khi-négyzet próba végrehajtásakor A khi-négyzet próba végrehajtása, döntés táblázat alapján és p-érték alapján 2x2-es táblázatok kiértékelése khi-négyzet próbával Fisher-féle egzakt teszt Az illeszkedésvizsgálat célja, nullhipotézise Orvosi fizika és statisztika I. előadás 2016.11.09 40

Köszönöm a figyelmet!! Orvosi fizika és statisztika I. előadás 2016.11.09 41