Két diszkrét változó függetlenségének vizsgálata, illeszkedésvizsgálat

Átírás

1 Két diszkrét változó függetlenségének vizsgálata, illeszkedésvizsgálat Szűcs Mónika SZTE ÁOK-TTIK Orvosi Fizikai és Orvosi Informatikai Intézet Orvosi fizika és statisztika I. előadás Orvosi fizika és statisztika I. előadás

2 Főbb pontok Két diszkrét változó függetlenségének vizsgálata Khi-négyzet próba függetlenségvizsgálatra Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Fisher-féle egzakt teszt függetlenségvizsgálatra Khi-négyzet próba illeszkedésvizsgálatra Orvosi fizika és statisztika I. előadás

3 Bevezetés Klinikai kutatások során gyakran felmerülő kérdés, hogy két diszkrét változó között van-e kapcsolat. Példák: Az influenzás megbetegedések aránya függ-e az oltóanyag típusától? A betegség kimenetele függ-e a kezelés típusától? Van-e kapcsolat a HIV fertőződések és a STD (szexuálisan terjedő betegségek) között? Orvosi fizika és statisztika I. előadás

4 Kontingencia táblázat Egy olyan táblázat, mely a megfigyelt gyakoriságokat tartalmazza, a két változó alapján csoportosítva. Az egyik változó kimenetelei kerülnek a sorokba, a másik váltózóé pedig az oszlopokba. B 1 B 2... B c Sorösszeg A 1 O 11 O O 1c O 1+ A 2 O 21 O O 2c O A r O r1 O r2... O rc O r+ Oszlopösszeg O +1 O O +c n Legyenek a két diszkrét változó (X, Y ) értékei: x 1, x 2,... x r és y 1, y 2,... y c az A 1, A 2,... A r illetve B 1, B 2,... B c kimenetelek esetén. n a megfigyelések száma O i+ = O +j = c j=1 r i=1 O ij az A i, i = 1, 2,..., r esemény gyakorisága (sorösszegek) O ij az B j, j = 1, 2,..., c események gyakorisága (oszlopösszegek) Orvosi fizika és statisztika I. előadás

5 Várt gyakoriságok A relatív gyakorisági eloszlását a sorösszegeknek marginális eloszlásnak hívjuk. Tegyük fel, hogy a két változó független, ekkor az eloszlások minden oszlop esetén azonosak. Minden oszlopra a marginális eloszlást feltételezve, kapjuk a várt gyakoriságokat: E ij = O i+ O +j n várt gyakoriság = sorösszeg oszlopösszeg elemszám Orvosi fizika és statisztika I. előadás

6 Várt gyakoriságok várt gyakoriság = sorösszeg oszlopösszeg elemszám B 1 B 2... B c Sorösszeg A 1 E 11 E E 1c O 1+ A 2 E 21 E E 2c O A r E r1 E r2... E rc O r+ Oszlopösszeg O +1 O O +c n Orvosi fizika és statisztika I. előadás

7 Főbb pontok Két diszkrét változó függetlenségének vizsgálata Khi-négyzet próba függetlenségvizsgálatra Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Fisher-féle egzakt teszt függetlenségvizsgálatra Khi-négyzet próba illeszkedésvizsgálatra Orvosi fizika és statisztika I. előadás

8 Khi-négyzet próba függetlenségvizsgálatra Célja: Annak a vizsgálata, hogy populációban van-e két diszkrét változó közötti kapcsolat. Feltétele: A várt gyakoriságok legfeljebb 20%-a kisebb 5-nél. (Kis táblázat esetén ez azt jelenti, hogy a várt gyakoriságok mindegyike legalább 5.) Orvosi fizika és statisztika I. előadás

9 Khi-négyzet próba függetlenségvizsgálatra Hipotézisek: H0 : a két változó független. P(A i B j ) = P(A i ) P(B j ) H1 : a két változó között van összefüggés. Próbastatisztika: χ 2 = r i=1 j=1 c (O ij E ij ) 2 Ha két változó független, a próbastatisztika χ 2 eloszlást követ (r 1)(c 1) szabadsági fokkal E ij Orvosi fizika és statisztika I. előadás

10 Khi-négyzet eloszlás Ha X 1, X 2... X m független, standard normális eloszlású véletlen változók, akkor X1 2 + X X m 2 = m khi-négyzet (χ 2 ) eloszlást követ m szabadsági fokkal. i=1 X 2 i df=2 df=3 df=5 df= Orvosi fizika és statisztika I. előadás

11 Khi-négyzet eloszlás α α elfogadási tartomány kritikus érték elvetési tartomány Orvosi fizika és statisztika I. előadás

12 Khi-négyzet próba függetlenségvizsgálatra Döntés próbastatisztika alapján: Ha χ 2 < χ 2 table, a null-hipotézist elfogadjuk Ha χ 2 > χ 2 table, a null-hipotézist elvetjük. Döntés p-érték alapján Ha p > α, a null-hipotézist elfogadjuk Ha p < α, a null-hipotézist elvetjük p value χ 2 A nullhipotézist elfogadjuk 2 χ table α A nullhipotézist elvetjük α 2 χ table χ 2 p value Orvosi fizika és statisztika I. előadás

13 Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Van e kapcsolat az influenzás megbetegedések száma és a vakcina típusa között? Influenzás Nem lett influenzás Total Csak szezonális 43 (15.36%) 237 (84.64%) 280 (100%) Csak H1N1 52 (20.80%) 198 (79.20%) 250 (100%) Kombinált 25 (9.26%) 245 (90.74%) 270 (100 %) Total nem influenzás influenzás Orvosi fizikacsak és statisztika szezonális I. Csak előadás H1N Kombinált 13

14 Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Számoljuk ki a várt gyakoriságokat várt gyakoriság = sorösszeg oszlopösszeg elemszám Influenzás Nem lett influenzás Total Csak szezonális Csak H1N1 Kombinált = = = = = = Total Orvosi fizika és statisztika I. előadás

15 Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Minden cella esetén számoljuk ki a reziduálok négyzetét: (O ij E ij ) 2 megfigyelt gyakoriságok: E ij Influenzás Nem lett influenzás Total Csak szezonális Csak H1N Kombinált Total reziduálok négyzete: Influenzás Nem lett influenzás várt gyakoriságok: Csak szezonális Csak H1N1 Kombinált (43 42) 2 = ( ) 2 = ( ) 2 = ( ) 2 = ( ) 2 = ( ) 2 = Influenzás Nem lett influenzás Total Csak szezonális Csak H1N Kombinált Total Adjuk össze a reziduálok négyzeteit, hogy megkapjuk a próbastatisztikát: χ 2 = r c (O ij E ij ) 2 E ij = i=1 j= = Orvosi fizika és statisztika I. előadás

16 Khi-négyzet próba függetlenségvizsgálatra -Példa 1 Adjuk meg a kritikus értéket: α = 0.05, df = (3 1) (2 1) = 2 χ 2 kritikus értékei df χ 2 table = 5.99 Döntés próbastatisztika alapján: > 5.99 (χ 2 > χ 2 table) H 0 -t elvetjük, a influenzás megbetegedések aránya függ a vakcina típusától. Orvosi fizika és statisztika I. előadás

17 Khi-négyzet próba függetlenségvizsgálatra -Példa 1 R-rel számolva: > chi=matrix(c(43,52,25,237,198,245),ncol=2,byrow=false);ch [,1] [,2] [1,] [2,] [3,] > chisq.test(chi) Pearson s Chi-squared test data: chi X-squared = , df = 2, p-value = p = < 0.05, H 0 -t elvetjük. Orvosi fizika és statisztika I. előadás

18 Khi-négyzet próba speciális eset: két dichotóm változó B 1 B 2 Sorösszeg A 1 O 11 = a O 12 = b O 1+ = a + b A 2 O 21 = c O 22 = d O 2+ = c + d Oszlopösszeg O +1 = a + c O +2 = b + d n = a + b + c + d A próbastatisztika képlete: χ 2 = r c i=1 j=1 (O ij E ij ) 2 E ij = n(ad bc) 2 (a + b)(c + d)(a + c)(b + d) Orvosi fizika és statisztika I. előadás

19 Khi-négyzet próba függetlenségvizsgálatra -Példa 2 Van-e kapcsolat a betegség kimenetele és a kezelés típusa között. megfigyelt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés B kezelés Oszlopösszeg várt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés gyógyult beteg B kezelés A kezelés B kezelés Oszlopösszeg Teljesül a χ 2 próba feltétele. Orvosi fizika és statisztika I. előadás

20 Khi-négyzet próba függetlenségvizsgálatra Példa 2 H 0 : A kimenetel és a kezelés típusa független H 1 : Van összefüggés a kimenetel és a kezelés típusa között Próbastatisztika: χ 2 = n(ad bc) ( )2 = (a + b)(c + d)(a + c)(b + d) Kritikus érték: χ 2 table = 3.84 df = (2 1)(2 1) = 1 χ 2 kritikus értékek = 0.79 df Döntés: χ 2 < χ 2 table, H 0-t elfogadjuk. A betegség kimenetele független a kezelés típusától. Orvosi fizika és statisztika I. előadás

21 Főbb pontok Két diszkrét változó függetlenségének vizsgálata Khi-négyzet próba függetlenségvizsgálatra Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Fisher-féle egzakt teszt függetlenségvizsgálatra Khi-négyzet próba illeszkedésvizsgálatra Orvosi fizika és statisztika I. előadás

22 Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Abban az esetben, a szabadsági fok 1 (2 2-es táblázat), a khinégyzet próba próbastatisztikája pontosabban számolható, ha különböző korrekciókat alkalmazunk. Az egyik leggyakrabban alkalmazott korrekció,a Yates-féle folytonossági korrekció Ezt a korrekció csak két dichotóm változó közötti kapcsolat elemzése esetén használható. Próbastatisztika Yates-féle korrekcióval: χ 2 = r c i=1 j=1 ( O ij E ij 1 2 )2 E ij = n( ad bc 1 2 n)2 (a + b)(c + d)(a + c)(b + d) Orvosi fizika és statisztika I. előadás

23 Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Példa 2 Van-e kapcsolat a betegség kimenetele és a kezelés típusa között. megfigyelt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés B kezelés Oszlopösszeg várt gyakoriságok: Beteg Meggyógyult Sorösszeg A kezelés gyógyult beteg B kezelés A kezelés B kezelés Oszlopösszeg Teljesül a χ 2 próba feltétele. Orvosi fizika és statisztika I. előadás

24 Khi-négyzet próba függetlenségvizsgálatra -Példa 2 Yates korrekcióval H 0 : A kimenetel és a kezelés típusa független H 1 : Van összefüggés a kimenetel és a kezelés típusa között Próbastatisztika: χ 2 = n( ad bc 1 2 n)2 (a + b)(c + d)(a + c)(b + d) = 100 ( ) Kritikus érték: χ 2 table = 3.84 df = (2 1)(2 1) = 1 χ 2 kritikus értékei = df Döntés: χ 2 < χ 2 table, H 0-t elfogadjuk. Orvosi fizika és statisztika I. előadás

25 Khi-négyzet próba függetlenségvizsgálatra -Példa 2 Yates korrekcióval R-rel számolva: > t2=matrix(c(5,8,45,42),ncol=2);t [,1] [,2] [1,] 3 7 [2,] 5 10 > chisq.test(t2) Pearson s Chi-squared test with Yates continuity correction data: t2 X-squared = , df = 1, p-value = p = > 0.05, H 0 -t elfogadjuk. Orvosi fizika és statisztika I. előadás

26 Főbb pontok Két diszkrét változó függetlenségének vizsgálata Khi-négyzet próba függetlenségvizsgálatra Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Fisher-féle egzakt teszt függetlenségvizsgálatra Khi-négyzet próba illeszkedésvizsgálatra Orvosi fizika és statisztika I. előadás

27 Fisher-féle egzakt teszt Fisher-féle egzakt tesztet egy populáción belül két diszkrét változó közötti összefüggés vizsgálatára használjuk Habár gyakorlatban csak kis mintaelemszám esetén használjuk, bármekkora minta esetén is pontos értéket ad Hipotézisek: H0 : a két változó független. H1 : a két változó között van kapcsolat NINCS próbastatisztika, közvetlenül p-értéket számolunk p-érték képlete: p = p i p i a megfigyelt és azon átrendezett gyakorisági táblázatok valószínűsége, melyek legalább annyira eltérők, mint a megfigyelt táblázat. (a + c)!(b + d)!(a + b)!(c + d)! 2 2 táblázat estén a képlete = n!a!b!c!d! Orvosi fizika és statisztika I. előadás

28 Fisher-féle egzakt teszt Példa 3 Van-e kapcsolat a HIV fertőződések és a STD (szexuális úton terjedő betegségek) között? Megfigyelt gyakoriságok: HIV fertőzött Nem HIV fertőzött Total STD Nem STD Total Várt gyakoriságok: HIV fertőzött Nem HIV fertőzött Total STD Nem STD HIV fertozött STD Nem HIV fertozött Nem STD Total A χ 2 próba feltétele NEM teljesül Fisher-féle egzakt teszt H 0 : Nincs kapcsolat a HIV fertőződések és a STD között. H 1 : Van kapcsolat a HIV fertőződések és a STD között. Orvosi fizika és statisztika I. előadás

29 Fisher-féle egzakt teszt Példa 3 megfigyelt gyakoriságok: HIV fertőzött Nem HIV fertőzött Total STD Nem STD Total p 1 = 10! 15! 8! 17! 3! 7! 5! 10! 25! = lehetséges átrendezések: HIV fertőzött Nem HIV fertőzött Total STD Nem STD Total p 2 = 10! 15! 8! 17! 2! 8! 6! 9! 25! = HIV fertőzött Nem HIV fertőzött Total STD Nem STD Total p 3 = 10! 15! 8! 17! 1! 9! 7! 8! 25! = HIV fertőzött Nem HIV fertőzött Total STD Nem STD Total p 4 = 10! 15! 8! 17! 0! 10! 8! 7! 25! = Orvosi fizika és statisztika I. előadás

30 Fisher-féle egzakt teszt Példa 3 Fisher-féle p-érték: p = = H 0 -t elfogadjuk, mert p > α. Nincs kapcsolat a HIV fertőződések és a STD között. Orvosi fizika és statisztika I. előadás

31 Fisher-féle egzakt teszt Példa 3 R-rel számolva: > t=matrix(c(3,5,7,10),ncol=2);t [,1] [,2] [1,] 3 7 [2,] 5 10 > chisq.test(t) Pearson s Chi-squared test with Yates continuity correction data: t X-squared = 0, df = 1, p-value = Warning message: In chisq.test(t) : Chi-squared approximation may be incorrect > fisher.test(t,alternative="less") Fisher s Exact Test for Count Data data: t p-value = alternative hypothesis: true odds ratio is less than 1 95 percent confidence interval: sample estimates: odds ratio p = > 0.05, H 0-t elfogadjuk. Orvosi fizika és statisztika I. előadás

32 Főbb pontok Két diszkrét változó függetlenségének vizsgálata Khi-négyzet próba függetlenségvizsgálatra Khi-négyzet próba függetlenségvizsgálatra Yates korrekcióval Fisher-féle egzakt teszt függetlenségvizsgálatra Khi-négyzet próba illeszkedésvizsgálatra Orvosi fizika és statisztika I. előadás

33 Khi-négyzet próba illeszkedésvizsgálatra Az illeszkedésvizsgálat célja annak a meghatározása, hogy a mintaelemek adott eloszlású populációból származnak-e. H 0 : az X változó eloszlása az adott eloszlás H 1 : az X változó eloszlása nem az adott eloszlás megfigyelt és várt gyakorisági táblázat: A 1 A 2... A c Total Megfigyelt gyakoriságok: O 1 O 2... O c n Várt gyakoriságok: E 1 E 2... E c n Próbastatisztika: χ 2 = (O i E i ) 2 E i df = c 1 (a lehetséges kimenetelek száma-1) χ 2 < χ 2 table, elfogadjuk a null-hipotézist χ 2 > χ 2 table, elvetjük a null-hipotézist Orvosi fizika és statisztika I. előadás

34 Khi-négyzet próba illeszkedésvizsgálatra -Példa 4 Szeretnénk tesztelni, hogy a dobókockánk szabályos-e. dobtunk a dobókockával. 120-szor Total Megfigyelt gyakoriságok: Várt gyakoriságok: H 0 : A kocka szabályos minden kimenetel valószínűsége p i = 1 6 H 1 : A kocka nem szabályos legalább egy kimenetel valószínűsége eltér 1 6 -tól. Orvosi fizika és statisztika I. előadás

35 Khi-négyzet próba illeszkedésvizsgálatra -Példa 4 Próbastatisztika: 6 χ 2 (k i 20) 2 = = 20 i=1 (25 20) 2 + (18 20) 2 + (21 20) 2 + (17 20) 2 + (20 20) 2 + (19 20) 2 = 2 20 df = 6 1 = 5 Kritikus érték (táblázatból): χ 2 table = Döntés: χ 2 < χ 2 table 2 < 11.07, H 0 -t elfogadjuk, nincs elegendő bizonyítékunk arra, hogy azt állítsuk, hogy a kocka nem szabályos. Orvosi fizika és statisztika I. előadás

36 Khi-négyzet próba illeszkedésvizsgálatra -Példa 5 Szeretnénk tesztelni, hogy a dobókockánk szabályos-e. dobtunk a dobókockával. 120-szor Total Megfigyelt gyakoriságok Várt gyakoriságok H 0 : A kocka szabályos minden kimenetel valószínűsége p i = 1 6 H 1 : A kocka nem szabályos legalább egy kimenetel valószínűsége eltér 1 6 -tól. Orvosi fizika és statisztika I. előadás

37 Khi-négyzet próba illeszkedésvizsgálatra -Példa 5 Próbastatisztika: 6 χ 2 (k i 20) 2 = = 20 i=1 (5 20) 2 + (18 20) 2 + (21 20) 2 + (17 20) 2 + (20 20) 2 + (39 20) 2 df = 6 1 = 5 Kritikus érték (táblázatból): χ 2 table = Döntés: χ 2 > χ 2 table 30 > 11.07, H 0 -t elvetjük, a kocka nem szabályos. 20 = 30 Orvosi fizika és statisztika I. előadás

38 Khi-négyzet próba illeszkedésvizsgálatra -Példa 6 Egy adott betegségben szenvedő 200 beteget egy bizonyos szerrel kezeltünk (ami nem közvetlenül kapcsolódik a betegségéhez). A betegség esetén a gyógyulási arány 50%. Szeretnénk vizsgálni, hogy a gyógyult és nem gyógyult betegek aránya azonos-e. Vagyis a kezelés befolyásolja-e a betegségből való felgyógyulást. Gyógyult Nem gyógyult Total Megfigyelt gyakoriságok Várt gyakoriságok H 0 : A kezelés nincs hatással a gyógyulásra p i = 1 2 H 1 : A kezelés hatással van a gyógyulásra legalább az egyik valószínűség eltér 1 2 től. Orvosi fizika és statisztika I. előadás

39 Khi-négyzet próba illeszkedésvizsgálatra -Példa 6 Próbastatisztika: 2 χ 2 (k i 100) 2 = 100 i=1 = ( )2 + (50 100) = 50 df = 2 1 = 1 Kritikus érték (táblázatból): χ 2 table = p < 0.05 Döntés: p < 0.05 (vagy χ 2 > χ 2 table, 50 > 3.841), H 0 -elvetjük, a kezelésnek van hatása a betegségből való felgyógyulásra. Orvosi fizika és statisztika I. előadás

40 Ismétlő kérdések A függetlenségvizsgálat célja, null hipotézise Gyakorisági táblázat Megfigyelt és várható gyakoriságok A khi-négyzet próba feltétele Szabadságfok számítása khi-négyzet próba végrehajtásakor A khi-négyzet próba végrehajtása, döntés táblázat alapján és p-érték alapján 2x2-es táblázatok kiértékelése khi-négyzet próbával Fisher-féle egzakt teszt Az illeszkedésvizsgálat célja, nullhipotézise Orvosi fizika és statisztika I. előadás

41 Köszönöm a figyelmet!! Orvosi fizika és statisztika I. előadás