Korreláció, regresszió. Boda Krisztina PhD SZTE ÁOK Orvosi Fizikai és Orvosi Informatikai Intézet

Átírás

1 Korreláció, regresszió Boda Krisztina PhD SZTE ÁOK Orvosi Fizikai és Orvosi Informatikai Intézet

2 Két folytonos változó közötti kapcsolat Tegyük fel, hogy 6 hallgató a következő válaszokat adta egy felmérés során: Tanuló Matematika Nyelvek Színház Kiskereskedelem Péter Sanyi Ibolya Anikó Gabi Bence Ugyanazon személyeken mért változók között gyakran van valamilyen kapcsolat. Krisztina Boda 2

3 A kapcsolat vizsgálatához először készítsünk ábrát (pont ábra vagy szóródás-ábra). A két változó mért értékeivel mint (x i, y i ) koordinátákkal berajzoljuk a megfelelő pontokat. Egy ilyen ábrán a kapcsolat irányát és szorosságát vizsgáljuk, valamint az általános alakzatot. Tanuló Matematika Nyelvek Péter x 1 =525 y 1 =550 Sanyi x 2 =515 y 2 =535 Ibolya x 3 =510 y 3 =535 Anikó x 4 =495 y 4 =520 Gabi x 5 =430 y 5 =455 Bence x 6 =400 y 6 =420 Krisztina Boda 3

4 theater language retailing Lehetséges kapcsolatok math score math score Pozitív korreláció Negatív korreláció math score Nincs korreláció Krisztina Boda 4

5 Mérőszám a lineáris kapcsolat szorosságának mérésére: a korrelációs együttható (r) (Pearson-féle korrelációs együttható) Ha a két változó mért értékei rendre x 1,x 2, x n és y 1,y 2, y n, akkor a korrelációs együttható képlete r n n x y x y i i i i1 i1 i1 n n n n 2 2 n xi xi n yi yi 2 ( ) ( ) i1 i1 i1 i1 n n i 2 n i1 n i1 ( x x)( y y) i 2 ( x x) ( y y) i n i1 i i 2 Krisztina Boda 5

6 Karl Pearson (27 March April 1936) established the discipline of mathematical statistics. /wiki/karl_pearson Karl Pearson Krisztina Boda 6

7 theater retailing language Az r tulajdonságai A korrelációs együttható értéke mindig -1 és +1 között van; -1 és 1 jelzi a tökéletes lineáris kapcsolatot. -1r 1. a) Ha r közel van +1-hez vagy -1-hez, azt mondjuk, hogy szoros (magas) korreláció van a két változó között math score math score b) Ha r=1, tökéletes pozitív korreláció Ha r= -1, tökéletes negatív korreláció c) Ha r=0, nincs korreláció, vagyis nincs lineáris kapcsolat. Ha r közel van 0-hoz, akkor alacsony korrelációról beszélünk math score Krisztina Boda 7

8 theater language retailing Az r értékei az előbbi példák adataira math score math score r= r= r= math score Krisztina Boda 8

9 Hallgatók adatain kapott összefüggések r=0.018 r=0.873 Krisztina Boda 9

10 Korreláció és okság A korreláció nem jelent oksági kapcsolatot Két változó között korreláció nem jelenti azt, hogy az egyik változását a másik okozza. Krisztina Boda. 10

11 Correlation by eye Ezen az oldalon gyakorolhatjuk azt, hogy adott ponthalmaz esetén mekkora lehet a korreláció. Krisztina Boda 11

12 language language theater theater Kiugró értékek hatása Egyetlen kiugró érték nagyon meg tudja változtatni a korrelációt r=-0.21 math score math score r= r=0.74 math score math score r=-0.26 Krisztina Boda 12

13 A korreláció csak a lineáris kapcsolat szorosságát méri Szoros, de nem lineáris kapcsolat esetén a korrelációs együttható kicsi y r=2.8 E-15 y r=0.157 Krisztina Boda 13

14 Korreláció és linearitás A fenti négy adathalmaz mindegyikére igaz, hogy r= Krisztina Boda 14

15 Mikor mondjuk, hogy jó a korreláció? Nincs olyan egyértelmű határ, amitől kezdve jónak vagy magasnak minősítjük a korrelációt. De végrehajtható egy statisztikai próba, mellyel tesztelhetjük, hogy a kapott korrelációs együttható elég messze van-e 0-tól. Részletek: 8. előadás Krisztina Boda 15

16 A korrelációs együttható szignifikanciája Azt teszteljük, hogy a kapott korrelációs együttható tekinthető-e a 0 közelítésének, vagy pedig elég messze van 0-tól. H 0 : ρ=0 (görög rho=0, a populációs korrelációs együttható = 0) H a : ρ 0 (a populációs korrelációs együttható 0) Feltétel: a két minta két független minta kétdimenziós normális eloszlásból. Ha igaz a nullhipotézis, az alábbi t statisztika n-2 szabadságfokú t-eloszlást követ t r n 2 1 r r n 2 1 r 2 2 Döntés t-táblázat alapján: Ha t >t α,n-2, a különbség szignifikáns α szinten, elvetjük a nullhipotézist és azt mondjuk, hogy a populációs korrelációs együttható szignifikánsan eltér 0-tól. Ha t <t α,n-2, a különbség nem szignifikáns α szinten, nem vetjük el a nullhipotézist és azt mondjuk, hogy a populációs korrelációs együttható nem tér el 0-tól. Döntés p-érték alapján: Ha p < α a különbség szignifikáns α szinten, elvetjük a nullhipotézist és azt mondjuk, hogy a populációs korrelációs együttható szignifikánsan eltér 0-tól. Krisztina Boda 16

17 Kétváltozós normális eloszlások ρ=0 ρ=0.4 Function Plot Function = 1/(2*pi)*exp(-0.5*(x^2))*exp(-0.5*(y^2)) Function Plot Function = 1/(2*pi*Sqrt(0.84))*exp(-(1/1.68)*(x^2+y^2-0.8*x*x)) Function Plot Function = 1/(2*pi)*exp(-0.5*(x^2))*exp(-0.5*(y^2)) > 0.14 < 0.13 < 0.11 < 0.09 < 0.07 < 0.05 < 0.03 < 0.01 Function Plot Function = 1/(2*pi*Sqrt(0.84))*exp(-(1/1.68)*(x^2+y^2-0.8*x*x)) > 0.16 < 0.15 < 0.13 < 0.11 < 0.09 < 0.07 < 0.05 < 0.03 < 0.01 Krisztina Boda > 0.14 < 0.13 < 0.11 < 0.09 < 0.07 < 0.05 < 0.03 < 0.01 > 0.16 < 0.15 < 0.13 < 0.11 < 0.09 < 0.07 < 0.05 < 0.03 <

18 1. példa A matematika és a nyelvtudás közötti korrelációs együttható r= Szignifikánsan eltér-e 0-tól? H 0 : A populációs korrelációs együttható = 0, ρ =0. H a : A populációs korrelációs együttható nem 0. A t statisztika: t szabadságfok: df=6-2=4 A táblabeli kritikus érték t 0.05,4 = Mivel 42.6 > 2.776, elvetjük a nullhipotézist és azt mondjuk, hogy a populációs korrelációs együttható szignifikánsan eltér 0-tól. 2 Krisztina Boda 18

19 560 Scatterplot (corr 5v*6c) LANGUAGE = *x LANGUAGE MATH:LANGUAGE: r = ; p = MATH p<0.05, populációs korrelációs együttható szignifikánsan eltér 0-tól. Krisztina Boda 19

20 2. példa A matematika és az adásvétel közötti korreláció r= Szignifikánsan eltér-e 0-tól? H 0 : A populációs korrelációs együttható = 0, ρ =0. H a : A populációs korrelációs együttható nem 0. A t statisztika: t Szabadságfok: df=6-2=4 A táblabeli kritikus érték t 0.05,4 = Mivel =53.42 > 2.776, elvetjük a nullhipotézis és azt mondjuk, hogy a populációs korrelációs együttható szignifikánsan eltér 0-tól. Krisztina Boda 20

21 100 Scatterplot (corr 5v*6c) RETAIL = *x RETAIL MATH:RETAIL: r = ; p = MATH Krisztina Boda 21

22 3. példa. A matematika és a színház szeretete közötti korreláció r= Szignifikánsan eltér-e 0-tól? H 0 : A populációs korrelációs együttható = 0, ρ =0. H a : A populációs korrelációs együttható nem 0. A t statisztika: : t Szabadságfok: df=6-2=4 A táblabeli kritikus érték t 0.05,4 = Mivel = < 2.776, nem vetjük el a nullhipotézist és azt mondjuk, hogy a korreláció nem szignifikáns 5%-os szinten. Nem tudjuk kimutatni a 0-tól való eltérés 5% hiba feltételezése mellett. Krisztina Boda 22

23 100 Scatterplot (corr 5v*6c) THEATER = *x THEATER MATH:THEATER: r = ; p = MATH Krisztina Boda 23

24 Hallgatók adatain kapott összefüggések, a korreláció szignifikanciája r=0.018, p=0.833 r=0.873, p< Krisztina Boda 24

25 A lineáris kapcsolat becslése: lineáris regresszió Ha a kapcsolat lineáris, szükséges lehet a legjobban illeszkedő egyenes egyenletének meghatározása. A regressziós egyenes általános egyenlete y=bx + a a és b jelentése. b: regressziós együttható, az egyenes meredeksége; a: az egyenes tengelymetszete. Az együtthatók becslése a legkisebb négyzetek elvén alapul. Ha adott x 1,x 2, x n and y 1,y 2, y n, keressük meg azt az a és b értéket, amelyre Σ( y i -(a+bx i ) ) 2 min Krisztina Boda 25

26 A legkisebb négyzetek elve n 2 ( yi ( a b xi )) S( a, b) ->min b S a n i1 i1 S 0, 0 b x y n i i1 i x 2 i n x i i1 i1 n n n ( xi ) i1 n a y b x 2 y i n i1 ( x x)( y y) n i i1 ( x x) i i 2 A korrelációs együttható kiszámítása a regressziós együttható segítségével r b s sx y színház matematika színház = * matematika R-Square = 0.05 Linear Regres Krisztina Boda 26

27 100 Reziduálok Scatterplot (corr 5v*6c) THEATER = *x (x 1,y 1 ) y 1 -(b*x 1 +a) b*x 1 +a THEATER y 2 -(b*x 2 +a) y 6 -(b*x 6 +a) MATH:THEATER: r = ; p = MATH Krisztina Boda 27

28 A regressziós egyenes egyenlete az 1.példa adataira. y=1.016 x+15.5 a meredekség Mennyi pont várható a nyelvtudásra, ha a matematika pontértéke 400? y jósolt = = LANGUAGE Scatterplot (corr 5v*6c) LANGUAGE = *x MATH:LANGUAGE: r = ; p = MATH Krisztina Boda. 28

29 Hipotézisvizsgálatok a regressziós egyenlet paramétereire Valóban függ-e y az x-től (nem csak a mintában, hanem a populációban is)? Feltétel: a két minta két független minta kétdimenziós normális eloszlásból Egyik lehetséges módszer: t-próba a regressziós együtthatóra H 0 : b elm =0 az egyenes meredeksége nulla (vízszintes egyenes) Ha: b elm 0 Ha igaz a nullhipotézis, akkor a t= b/se(b) statisztika n-2 szabadságfokú t-eloszlást követ Krisztina Boda 29

30 Hipotézisvizsgálatok a regressziós egyenlet paramétereire Valóban függ-e y az x-től (nem csak a mintában, hanem a populációban is)? Másik lehetséges módszer (az előzővel ekvivalens) F-próba a regresszióra a regresszió varianciaanalízise Jelölje a becsült értéket Érvényes az alábbi felbontás: y a y teljes szórása= x-től való függésből eredő szórás+ véletlen hiba i SStot SSx SSh bx i n i1 n n 2 2 ( yi y) ( yi y) ( yi yi i1 i1 ) 2 Krisztina Boda 30

31 A regresszió varianciaanalízise A szóródás oka Négyzet -összeg szabadságfok Variancia F Regresszió SSr 1 SSr Véletlen hiba SSh n-2 SSh/n-2 Összes SStot n-1 F SSr SSh /( n 2) Krisztina Boda F szabadságfokai: 1 és n-2. Ez egy egyoldali próba: a regresszió akkor szignifikáns, ha a regresszió varianciája nagyobb, mint a hibavariancia, ami annak felel meg, hogy a regressziós függvény nem állandó, vagyis b elm 0. Ekvivalens a regressziós együtthatóra vonatkozó (kétoldali) t-próbával (ugyanazt a p-értéket adja). Ekvivalens a korrelációs együtthatóra vonatkozó szignifikanciavizsgálattal is. 31

32 Hipotézisvizsgálatok a regressziós egyenlet paramétereire t-próba a tengelymetszetre, nullhipotézise: H 0 : a elm =0 szab. fok: 1 t-próba a regressziós együtthatóra; nullhipotézise: H 0 : b elm =0 szab. fok: n-2 F-próba a regresszió szignifikanciájára: H 0 : szab. fokok: 1 és n-2 Krisztina Boda 32

33 SPSS futási eredmények a hallgatók adataira Model Summary R R Square Adjusted R Square Std. Error of the Estimate The independent variable is Age Age in years. A korrelációs együttható, r=0.018 Regression Residual Total Age Age in years (Constant) ANOVA Sum of Squares df Mean Square F Sig The independent variable is Age in years. Coefficients Unstandardized Standardized Coeff icients Coeff icients B Std. Error Beta t Sig A regresszió szignifikanciája, p=0.833 (=a korreláció szignifikanciája, p=0.833 A regressziós együttható szignifikanciája =a korreláció szignifikanciája, p=0.833 A regressziós egyenes egyenlete: y=0.078x A tengelymetszet szignifikanciája, p< Krisztina Boda 33

34 A determinációs együttható, r 2 A korrelációs együttható négyzete a determinációs együttható. 100-zal szorzott értéke megadja, hogy az y (függő) változó össz-varianciájának hány %-a magyarázható az x- től való lineáris függésével Példa. A matematika és a nyelvtudás között korreláció r = A determinációs együttható, r 2 = Tehát a nyelvtudás összszóródásának 99.8%-a magyarázható a matematikától való lineáris függésével. Regression Residual Total Model Summary R R Square Adjusted R Square Std. Error of the Estimate The independent v ariable is Matematika. ANOVA Sum of Squares df Mean Square F Sig The independent v ariable is Matematika. r2 az ANOVA táblázatból: r2 = Regression SS/Total SS= = / = Krisztina Boda 34

35 Regresszió transzformációk alkalmazásával Néha a pont-ábra nemlineáris, ugyanakkor valamilyen görbevonalú, függvénnyel megadható kapcsolatot mutat. Krisztina Boda 35

36 Példa A felső ábra exponenciális kapcsolatot sejtet az x (idő) és az y között. Az y logaritmusát véve a kapcsolat lineárissá válik (alsó ábra) y time ln(y) time Krisztina Boda Biostat 9. 36

37 Az x-re és az y e-alapó logaritmusára (ln y) lefuttatva a lineáris regressziót, a következő egyenletet kapjuk: ln y = x Ezt visszatranszformálva kapjuk az exponenciális görbe egyenletét y = e x =e e x = 1.293e x y time y = 1.293e x ln(y) time ln y = x Krisztina Boda Biostat 9. 37

38 Lehetséges transzformációk Krisztina Boda Biostat 9. 38

39 log y y Exponenciális kapcsolat -> vegyük y logaritmusát x y lg y Modell: y=a*10 bx Mindkét oldalt logaritmálva: lg y =lga+bx Tehát lg y és x között lineáris a kapcsolat x x Krisztina Boda 39

40 y y Logaritmikus kapcsolat ->vegyük x logaritmusát x y log x Modell: y=a+lgx x 5 4 Tehát y és lg x között lineáris a kapcsolat log10 x Krisztina Boda 40

41 log y y Hatványfüggvény kapcsolat ->vegyük x és y logaritmusát 110 x y log x log y x Modell: y=ax b Mindkét oldalt logaritmálva : lg y =lga+b lgx Tehát lgy és lg x között lineáris a kapcsolat log x Krisztina Boda 41

42 y y Reciprokos kapcsolat -> vegyük x reciprokát x y 1/x Modell: y=a +b/x y=a +b*1/x tehát y és 1/x között lineáris a kapcsolat x /x Krisztina Boda 42

43 Egy példa az orvosi irodalomból Krisztina Boda 43

44 Krisztina Boda 44

45 EL HADJ OTHMANE TAHA és mtsai: Osteoprotegerin: a regulátor, a protektor és a marker. Összefoglalás irodalmi adatok és saját eredményeink alapján. Orvosi Hetilap évfolyam, 42. szám Krisztina Boda 45

46 10-es alapú logaritmus skála log10 x Krisztina Boda Biostat 3. 46

47 Logaritmikus papírok Szemilogaritmus papír log-log papír Krisztina Boda 47

48 Hasznos WEB oldalak ml ure=related nlinear/logarithmiccurve.htm Krisztina Boda. 48

49 Kérdések Két folytonos változó között kapcsolat grafikus vizsgálata A korrelációs együttható jelentése, tulajdonságai Korrelációs együttható és linearitás kapcsolata A korrelációs együttható szignifikanciája: nullhipotézis, t-érték, szabadságfok, döntés A determinációs együttható jelentése A regressziós egyenes együtthatóinak jelentése A regressziós egyenes együtthatói meghatározásának elve. Hipotézisvizsgálat a regressziós együtthatóra, kapcsolata a korreláció szignifikanciájával. Hipotézisvizsgálat a regressziós egyenes tengelymetszetére. Regresszió transzformációkkal: nem lineáris speciális kapcsolatok jellemzése Krisztina Boda 49

50 Feladatok n=5 megfigyelés (adatpár) alapján a korrelációs együttható értéke r=0.7. Szignifikáns-e a korreláció 5% -os szinten? Nullhipotézis és alternatív hipotézis:. A korreláció t-értéke:... szabadságfok:... Döntés a szignifikanciáról (A táblázatbeli t-érték t3,0.05=3.182).. A fizika gyakorlatokon háromszor megismételték a derékkörfogat méréseit. Az első és a második mérések összefüggését lineáris regresszióval vizsgálhatjuk. Értelmezze a kapott eredményeket (korreláció együttható, determinációs együttható, a korreláció szignifikanciája nullhipotézis, szabadságfok, t-érték, p- érték -, a regressziós egyenes egyenlete) Model Summary R R Square Adjusted R Square Std. Error of the Estimate The independent variable is DERÉKKÖRFOGAT Első. Regression Residual Total ANOVA Sum of Squares df Mean Square F Sig The independent v ariable is Waist circumference 1. Krisztina Boda

51 A regresszió szó eredete. Galton: Regression towards mediocrity in hereditary stature. Journal of the Anthropological Institute 1886 Vol.15, Krisztina Boda 51

52 Krisztina Boda 52