Korreláció és lineáris regresszió

Átírás

1 Korreláció és lineáris regresszió Két folytonos változó közötti összefüggés vizsgálata Szűcs Mónika SZTE ÁOK-TTIK Orvosi Fizikai és Orvosi Informatikai Intézet Orvosi Fizika és Statisztika I. előadás Orvosi Fizika és Statisztika I. előadás

2 Bevezetés Élettudományokkal foglalkozó kutatások során gyakran mérnek több változót ugyanazokon a mintavételi egységeken. (pl.: testtömeg, vérnyomás, vércukorszint, testmagasság) Felmerülő kérdések: Van-e kapcsolat a két változó között? Ha van kapcsolat a változók között, akkor le lehet-e írni valamilyen formulával? Meg lehet-e "jósolni" az egyik változó ismeretében a másik valószínű értékét. A folytonos változók közötti összefüggést pont-diagramon ábrázoljuk. Orvosi Fizika és Statisztika I. előadás

3 Lehetséges kapcsolatok Pozitív kapcsolat Ido Baktériumok mennyisége Pozitív, lineáris kapcsolat ps positive microvesicles Glycophorin A positive microvasicle Negatív lineáris kapcsolat Times (hours) Blood alcohol concentration (mg%) Negatív kapcsolat Time Unresolved sugar Nem monoton kapcsolat Time Nincs kapcsolat Actual weight (kg) Number of countries visited Orvosi Fizika és Statisztika I. előadás

4 Főbb pontok 1 Korrelációszámítás Pearson féle korrelációs együttható Hipotézisvizsgálat a korrelációs együtthatóra Kiugró értékek hatása 2 Regressziószámítás Lineáris regresszió 3 Nem lineáris kapcsolatok 4 Összefoglaló kérdések Orvosi Fizika és Statisztika I. előadás

5 Pearson féle korrelációs együttható Pearson féle korrelációs együttható Definíció A Pearson féle korrelációs együttható a lineáris kapcsolat erősségét méri. ρ: a korrelációs együttható a populációban (nem ismert) r: a korrelációs együttható a mintában (ezzel becsüljük ρ-t) Formula r = ahol x i, y i : a változók értékei x, y: a mintaátlagok n: mintaelemszám n i=1 (x i x) (y i y) n i=1 (x i x) 2 n i=1 (y i y) 2 Orvosi Fizika és Statisztika I. előadás

6 Pearson féle korrelációs együttható r tulajdonságai mértékegység nélküli 1 r 1 ha a két változó független, akkor r = 0 r = 0 a lineáris kapcsolat hiányát és NEM az összefüggés hiányát jelenti r 1 erős pozitív, lineáris kapcsolat r 1 erős negatív, lineáris kapcsolat r 0 gyenge lineáris kapcsolat r és ρ csak a lineáris kapcsolat erősségét méri, nem alkalmas ok-okozati kapcsolat kimutatására. Orvosi Fizika és Statisztika I. előadás

7 Hipotézisvizsgálat a korrelációs együtthatóra Hipotézisvizsgálat a korrelációs együtthatóra Célja: megmutatni, hogy a két változó közötti lineáris összefüggés valódi, vagy csak a véletlen műve, azaz a populációra vonatkozó korrelációs együttható (ρ) eltér-e 0-tól. Hipotézisek: H 0 : ρ = 0, nincs lineáris kapcsolat a két változó között, a változók lineárisan függetlenek H 1 : ρ 0, van lineáris kapcsolat a két változó között, a változók összefüggenek Feltétel: a minta kétdimenziós normális eloszlásból származik (populáció követ kétdimenziós normális eloszlást) Orvosi Fizika és Statisztika I. előadás

8 Hipotézisvizsgálat a korrelációs együtthatóra Kétdimenziós normális eloszlás µ Orvosi Fizika és Statisztika I. előadás

9 Hipotézisvizsgálat a korrelációs együtthatóra Hipotézisvizsgálat a korrelációs együtthatóra Próbastatisztika: Ha a null-hipotézis igaz, t n 2 szabadságfokú t-eloszlást követ n 2 t = r 1 r 2 Kritikus érték: t α,n 2 táblázatból Orvosi Fizika és Statisztika I. előadás

10 Hipotézisvizsgálat a korrelációs együtthatóra Hipotézisvizsgálat a korrelációs együtthatóra Döntés és értelmezés: próbastatisztika alapján Ha t < t α,n 2, t ( t α,n 2, t α,n 2 ) : elfogadjuk H 0 -t, a különbség nem szignifikáns α szinten, a populáció korrelációs együtthatója nem tér el 0-tól, azaz a két változó lineárisan független. Ha t > t α,n 2, t / ( t α,n 2, t α,n 2 ) : H 0 -t elvetjük, a különbség szignifikáns α szinten, a populáció korrelációs együtthatója eltér 0-tól, azaz a két változó között lineáris kapcsolat van. p érték alapján Ha p > α : H 0 -t elfogadjuk Ha p < α : H 0 -t elvetjük Orvosi Fizika és Statisztika I. előadás

11 Egy tanulmányban a hemoglobin (HGB) és a hermatokrit (HTC) értékek közötti kapcsolatot vizsgálták. Betegek HGB (g/dl) HTC ( %) Orvosi Fizika és Statisztika I. előadás

12 Hemoglobin szint (g/dl) Hematokrit szint (%) Orvosi Fizika és Statisztika I. előadás

13 Korrelációs együttható: r = Hipotézisek: H 0 : ρ = 0 Nincs lineáris kapcsolat a hematokrit és a hemoglobin értékek között. H 1 : ρ 0 A hematokrit és a hemoglobin értékek között van lineáris kapcsolat. Számolás: mintaelemszám: n = 10 szabadsági fok: df = 10 2 = 8 Próbastatisztika: 10 2 t = = Kritikus érték: t α,n 2 = Orvosi Fizika és Statisztika I. előadás

14 Döntés: t > t α,n > H 0 -t elvetjük. A különbség szignifikáns, a hemoglobin és a hematokrit értékek között valóban van lineáris kapcsolat, azaz nem függetlenek. Hemoglobin szint (g/dl) Hematokrit szint (%) Orvosi Fizika és Statisztika I. előadás

15 Megoldás R-rel > HGB=c ( , , , , , , 9. 6, , , ) > HTC=c ( 3 5, 4 5, 4 7, 5 0, 3 1, 3 0, 2 5, 3 3, 3 5, 4 0 ) > p l o t (HTC,HGB, pch =19) > c o r (HGB,HTC ) [ 1 ] > c o r. t e s t (HDB,HTC) Pearson s product moment c o r r e l a t i o n data : HGB and HTC t = , d f = 8, p v a l u e = a l t e r n a t i v e h y p o t h e s i s : t r u e c o r r e l a t i o n i s not e q u a l to 0 95 p e r c e n t c o n f i d e n c e i n t e r v a l : sample e s t i m a t e s : c o r Orvosi Fizika és Statisztika I. előadás

16 Kiugró értékek hatása Kiugró értékek hatása Egyetlen kiugró érték jelentősen meg tudja változtatni a korrelációs együttható értékét. r= r= r= r= Orvosi Fizika és Statisztika I. előadás

17 Főbb pontok 1 Korrelációszámítás Pearson féle korrelációs együttható Hipotézisvizsgálat a korrelációs együtthatóra Kiugró értékek hatása 2 Regressziószámítás Lineáris regresszió 3 Nem lineáris kapcsolatok 4 Összefoglaló kérdések Orvosi Fizika és Statisztika I. előadás

18 Regressziószámítás Ha van összefüggés a két változó között szükségessé válik a függvényszerű kapcsolat felírása. Csak lineáris kapcsolatot vizsgálunk. Orvosi Fizika és Statisztika I. előadás

19 Lineáris regresszió Lineáris regresszió Ha a feltételezett kapcsolat lineáris, szükséges a legjobban illeszkedő egyenes felírása (regressziós egyenes) Egyenlet: y = a x + b a: az illesztett egyenes meredeksége, regressziós együttható b: a regressziós egyenes y-tengelymetszete Az egyenes illesztése a legkisebb négyzetek módszerével történik. Orvosi Fizika és Statisztika I. előadás

20 Lineáris regresszió A legkisebb négyzetek módszere Meghatározzuk a minimumát a mintapontok és az egyenes függőleges távolságainak (reziduumok) négyzetösszegeinek. n (y i (a x i + b)) 2 min i=1 Orvosi Fizika és Statisztika I. előadás

21 Lineáris regresszió A legkisebb négyzetek módszere A minimum meghatározása parciális deriválással történik. a = n i=1 (x i x) (y i y) n i=1 (x i x) 2 a regressziós együttható b = y a x Kapcsolat a korrelációs és a regressziós együttható között. r = a sd x sd y Orvosi Fizika és Statisztika I. előadás

22 Lineáris regresszió Hipotézisvizsgálat a regressziós együtthatóra t próbával Célja: Van-e kapcsolat a függő (y) és független (x) változó között? Hipotézisek: H 0 : a pop = 0 a regressziós egyenes együtthatója 0, nincs kapcsolat a két változó között. H 1 : a pop 0 a regressziós egyenes együtthatója nem 0, van kapcsolat a két változó között. Számolás: próbastatisztika: t = a SE(a) Ha a nullhipotézis igaz t Student féle t-eloszlást követ n 2 szabadságfokkal. kritikus érték: t α,n 2 táblázatból Döntés: Orvosi afizika t-próbáknál és Statisztikahasználatos I. előadás módszerekkel 22

23 Lineáris regresszió Hipotézisvizsgálat a regressziós együtthatóra F-próbával Célja: Van-e kapcsolat a függő (y) és független (x) változó között? Hipotézisek: H 0 : a population = 0 a regressziós egyenes együtthatója 0, nincs kapcsolat a két változó között. H 1 : a population 0 a regressziós egyenes együtthatója nem 0, van kapcsolat a két változó között. Számolás: próbastatisztika: F = a 2 (1 a 2 ) 1 n 2 Ha a nullhipotézis teljesül, a próbastatisztika F eloszlást követ 1 és n 2 szabadsági fokokkal. kritikus érték: F α,1,n 2 táblázatból Orvosi Fizika és Statisztika I. előadás

24 Lineáris regresszió Hipotézisvizsgálat a regressziós együtthatóra F-próbával Döntés: Ha F < F α,1,n 2 H 0 -t elfogadjuk. Ha F > F α,1,n 2 H 0 -t elvetjük. A teljes szórás felbontása: ahol, SST = SSR + SSE SST = n i=1 (y i y) 2 Az y teljes szórása SSR = n i=1 (ŷ i y) 2 Az x-től való függésből eredő szórás SSE = n i=1 (y i ŷ i ) 2 egyéb hatásokból adódó szórás (véletlen hiba) Orvosi Fizika és Statisztika I. előadás y i y^ i y x i

25 Lineáris regresszió Determinációs együttható Definíció A korrelációs együttható négyzete * 100% Jelentése Megmutatja, hogy a függő változó y teljes varianciájának hány százaléka magyarázható az x-től való függéssel. Orvosi Fizika és Statisztika I. előadás

26 Egy tanulmányban a hemoglobin (HB) és a hermatokrit (HTC) értékek közötti kapcsolatot vizsgálták. Betegek HGB (g/dl) HTC ( %) Orvosi Fizika és Statisztika I. előadás

27 Hipotézisek: H 0 : R = 0 Nincs kapcsolat a hematokrit és a hemoglobin értékek között. H 1 : R 0 A hematokrit és a hemoglobin értékek között van kapcsolat. Számolás R-rel > p l o t (HTC, HGB) > a b l i n e ( lm (HGB~HTC), c o l=" r e d ", lwd =2) >lm (HGB~HTC) C a l l : lm ( f o r m u l a = HB ~ PCV) C o e f f i c i e n t s : ( I n t e r c e p t ) PCV Orvosi Fizika és Statisztika I. előadás

28 Megoldás R-rel > summary ( lm (HGB~HTC) ) C a l l : lm ( f o r m u l a = HGB ~ HTC) R e s i d u a l s : Min 1Q Median 3Q Max C o e f f i c i e n t s : E s t i m a t e Std. E r r o r t v a l u e Pr ( > t ) ( I n t e r c e p t ) e 05 PCV R e s i d u a l s t a n d a r d e r r o r : on 8 d e g r e e s o f freedom M u l t i p l e R s q u a r e d : , A d j u s t e d R s q u a r e d : F s t a t i s t i c : on 1 and 8 DF, p v a l u e : Orvosi Fizika és Statisztika I. előadás

29 Eredmények A regressziós egyenes egyenlete: próbastatisztika: t = p-érték: p < HB = PCV Döntés: H 0 -t elvetjük. A regressziós egyenes egyenlete szignifikánsan eltér 0-tól. A determinációs együttható: R 2 = A hemoglobin értékek teljes varinaciájának 80%- a a hematokrit szinttel való függéssel magyarázható. Orvosi Fizika és Statisztika I. előadás

30 Főbb pontok 1 Korrelációszámítás Pearson féle korrelációs együttható Hipotézisvizsgálat a korrelációs együtthatóra Kiugró értékek hatása 2 Regressziószámítás Lineáris regresszió 3 Nem lineáris kapcsolatok 4 Összefoglaló kérdések Orvosi Fizika és Statisztika I. előadás

31 Nem lineáris kapcsolatok Ha nem lineáris (exponenciális, logaritmikus, hatvány) kapcsolatot feltételezünk, a változók transzformálásával a probláma visszavezethető lineáris regresszióra. Kapcsolat független változó függő változó lineáris x y exponenciális x log y logaritmikus log x y hatvány log x log y Orvosi Fizika és Statisztika I. előadás

32 Exponenciális kapcsolat x y log y y log y x x Orvosi Fizika és Statisztika I. előadás

33 Logaritmikus kapcsolat x y log x y y x log x Orvosi Fizika és Statisztika I. előadás

34 Hatvány kapcsolat x y log x log y y log y x log x Orvosi Fizika és Statisztika I. előadás

35 Főbb pontok 1 Korrelációszámítás Pearson féle korrelációs együttható Hipotézisvizsgálat a korrelációs együtthatóra Kiugró értékek hatása 2 Regressziószámítás Lineáris regresszió 3 Nem lineáris kapcsolatok 4 Összefoglaló kérdések Orvosi Fizika és Statisztika I. előadás

36 Összefoglaló kérdések Két folytonos változó közötti kapcsolat grafikus reprezentálása A korrelációs együttható jelentése és tulajdonságai A korrelációs együttható szignifikanciája: nullhipotézis, t-érték, szabadságfok, döntés A determinációs együttható A regressziós egyenes együtthatóinak jelentése A regressziós egyenes együtthatóinak meghatározásának elve Regresszió transzformációkkal Orvosi Fizika és Statisztika I. előadás

37 Köszönöm a figyelmet! Orvosi Fizika és Statisztika I. előadás