A modellben az X és Y változó szerepe nem egyenrangú: Y (x n )

Átírás

1 Kabos: Adatelemzés Regresszió-1 Regresszió (az adatelemzésben): Y (x n ) = l(x n ) + ε n, n = 1, 2,.., N, ahol ε 1,.., ε N független N(0, σ 2 ) eloszlású valószínűségi változók, és σ ismeretlen paraméter, és l( ) ismert paraméteres függvény, és {x 1, x 2,.., x N } ismert értékek. Lineáris regresszió: l(x n a, b) = a + b x n ahol a és b ismeretlen paraméterek. Bemenő adatok: {(x 1, y 1 ), (x 2, y 2 ),.., (x N, y N )} ahol y n egy megfigyelés Y (x n )-re, n = 1, 2,.., N A modellben az X és Y változó szerepe nem egyenrangú: Y (x n ) valószínűségi változó, mely az X = x n esemény bekövetkezése mellett van értelmezve. X lehet valószínűségi változó (pl ha X=testmagasság és Y =testsúly, akkor Y (x n ) eloszlása írja le a populációban az x n testmagasságú emberek testsúlyának eloszlását), de az is lehet, hogy X nem-valószínűségi jellegű (pl x 1, x 2,.., x n ismert időpontok, amikor Y megfigyelhető). Lin.regresszió legkisebb négyzetes (LS) paraméterbecslése: az l(x a, b) függvény a és b paramétereinek azon értékei, melyre a ( 2 y n l(x n a, b)) négyzetösszeg a eléri a minimumát. Jelölés: â és ˆb és ˆσ 2 a lineáris regressziós modell paramétereinek LS becslése, és ŷ n SSQ Y = SSQ Y.R = SSQ Y.W = = l(x n â, ˆb) ( y n y ) 2 ( ŷ n ŷ ) 2 ( y n ŷ n ) 2 (az Y változón megfigyelt teljes SSQ) (a regresszió által megmagyarázott SSQ) (a meg nem magyarázott SSQ)

2 Kabos: Adatelemzés Regresszió-2 Ezek között a mennyiségek között fennáll az ANOVA egyenlet: SSQ Y = SSQ Y.R + SSQ Y.W Jegyezzük meg, hogy az ŷ n -ek átlaga = y n -ek átlaga, képletben: ŷ = 1 ŷ n = 1 y n = y N N és a lin.regressziós LS egyenes átmegy a (x, y ) ponton. LS paraméterbecslések: ˆσ 2 = 1 N 2 SSQ SCP XY Y.W és ˆb = SSQ X és â = y x ˆb ahol x = 1 N x n és SCP XY = (x n x ) (y n y ) SSQ X = (x n x ) 2 és SSQ Y = (y n y ) 2 r XY = SCP XY SSQX SSQ Y (tapasztalati korrelációs együttható) A tapasztalati korrelációs együttható négyzete: r 2 XY = SSQ Y.R SSQ Y A H 0 : b = 0 hipotézis azt jelenti, hogy az X változónak nincs lineáris hatása az Y változóra, de azt nem jelenti, hogy X és Y függetlenek lennének. H 0 vizsgálára a próbastatisztika S = (N 2) SSQ Y.R SSQ Y.W S F 1,(N 2) (szavakban: S eloszlása 1, (N 2) szab.fokú F ), ha H 0 igaz. Egyoldali próbát kell végezni, azaz a 0.05 szignifikancia szintű elfogadási tartomány felső határa az F 1,(N 2) eloszlás 0.95 kvantilise.

3 Kabos: Adatelemzés Regresszió-3 A regressziós egyenes illeszkedésére vonatkozó próbák, illetve a modell egyes paramétereire vonatkozó próbák az alábbi állításokon alapulnak: SSQ Y.W khi-négyzet eloszlású (N 2 szabadságfok mellett), SSQ Y.R khi-négyzet eloszlású (1 szabadságfok mellett) és függetlenek, â szórásnégyzete = 1 N σ2, ˆb szórásnégyzete = 1 SSQ X σ 2 Durbin-Watson próba statisztikája / N S = (y n ŷ n ) (y n 1 ŷ n 1 ) (y n ŷ n ) 2, ahol az n=2 y indexek úgy vannak rendezve, hogy x 1 x 2... x N teljesüljön. Ez a teszt azt vizsgálja, hogy az x-ben szomszédos y reziduumokban kimutatható-e autokorreláció. Regressziós függvény (a matematikai statisztikában) az l(x) = E { Y X = x } feltételes várhatóérték. Belátható, hogy ha {(x 1, y 1 ), (x 2, y 2 ),.., (x N, y N )} EVM az (X, Y ) valószínűségi változópárra, melynek eloszlása kétdimenziós normális, akkor l(x) lineáris függvény, melynek paramétereire az előző lapon írtak szerint lehet becslést adni ill. hipotézisvizsgálatot végezni. A lineáris regresszió LS paraméterbecslései max. likelihood tulajdonságúak és torzítatlanok. LS függvényillesztés: adott a G = { } g(x a, b, c, d,...) paraméteres függvény-család, az {(x 1, y 1 ), (x 2, y 2 ),.., (x N, y N )} ponthalmazhoz ( ) 2 megkeressük G azon elemét, melyre a y n g(x n a, b) négyzetösszeg eléri a minimumát.

4 Kabos: Adatelemzés Regresszió-4 Akkor beszélünk lineáris LS függvényillesztésről, amikor G az a, b, c,.. paraméterekben lineáris, tekintet nélkül arra, hogy az x argumentumban lineáris-e. Fix osztópontokkal vett szakaszonként lineáris függvényillesztés: { } G = szakaszonként lineáris, az osztópontokban (is) folytonos függvény függvény-családból választjuk ki az {(x 1, y 1 ), (x 2, y 2 ),.., (x N, y N )} ponthalmazhoz LS értelemben legjobban illeszkedő függvényt. Spline függvényillesztés egyik legegyszerűbb változatában G szakaszonként harmadfokú polinomokból áll, melyek az osztópontokban (is) folytonosak, első és második deriváltjaik szintén. G minden elemén értelmezve van egy simasági pontszám (a simább függvény kisebb pontszámot kap). A másik tekintetbe vett tényező az {(x 1, y 1 ), (x 2, y 2 ),.., (x N, y N )} pontoktól vett LS távolság. A felhasználó megadhat egy váltószámot (trade-off), amely meghatározza, hogy a célfüggvény milyen arányban vegye számításba a függvény simaságát, és milyen arányban az illeszkedést. A spline módszer ezekután kiválasztja a G családból a célfüggvény szerinti optimális elemet (optimalizálva az osztópontok számát és elhelyezkedését is). Fontos észrevenni, hogy az LS függvényillesztés és az azt követő módszerek tárgyalásakor nem volt szó statisztikai modellről, így itt a statisztikai következtetés szokott módszereit nem használhatjuk. Az itt elmondott heurisztikus eljások az elemzési gyakorlatban eléggé elterjedtek. Léteznek olyan standard statisztikai modellek, melyek hasonlóan flexibilisek, ámde ezek többnyire sztochasztikus szimuláción alapulnak, és eléggé intenzív a számításigényük.

5 Lineáris Regresszió Temperature monthly averages, April, temperature ave years Az évek áprilisi havi középhőmérsékleti adatok és a (legkisebb négyzetek módszerével illesztett) regressziós egyenes. A megfigyelt adatokat zöld színű, a regressziós egyenest piros pontok jelzik. Az egyenes elhelyezkedése olyan, hogy a "lehető legközelebb" legyen az összes megfigyelt adathoz. A pont "távolsága" a regressziós egyenestől nem a mértani távolság szerint értendő. A mértanban az egyenesre merőlegesen kell mérni a távolságot, itt mindig az y-tengellyel párhuzamosan. Estimate Std. Error t value Pr(> t ) (Intercept) (Slope) A lineáris regressziós becslés szerint az egyenes meredeksége 0.05 szinten szignifikáns, értéke pozitív. A számítás SSQ Y.R és SSQ Y.W értelmezésével kezdődik:

6 Lineáris regresszió Temperature monthly averages, April, temperature ave ŷ n y n ŷ n y n years A meg nem magyarázott négyzetösszeg = SSQ Y.W = (y n ŷ n ) 2 = a mintabeli értékek y n (zöld pont) és a regressziós egyenesen a megfelelő ŷ n (piros pont) távolságnégyzeteinek összege. A megmagyarázott négyzetösszeg = SSQ Y.R = (ŷ n ŷ ) 2

7 április hónapjainak napi átlaghőmérsékletei, boxplot ábrázolásban. A szaggatott vonal a mintaterjedelem (range), a doboz az interkvartilis, a fekete csillag a medián helyét jelenti. A kiugró értéket különálló pont ábrázolja. A piros pont = havi átlaghőmérséklet. Regresszió: X az évek , Y: a 3000 áprilisi napi átlaghőmérséklet Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) (Slope) R-squared: F-statistic: on 1 and 2998 DF, p-value: Regresszió: X az évek , Y: a 100 áprilisi havi átlaghőmérséklet Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) (Slope) R-squared: F-statistic: on 1 and 98 DF, p-value: Az együtthatók becslése változatlan, de változik az SH, a megmagyarázott szórásnégyzet aránya, a szignif szint.

8 Széria-korrelációs teszt Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) (Slope) <2e-16 *** Multiple R-squared: F-statistic: on 1 and 98 DF, p-value: < 2e-16

9 Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-09 *** (Slope) < 2e-16 *** Multiple R-squared: F-statistic: on 1 and 98 DF, p-value: < 2e-16 Az ábrákon jól látjuk, hogy az első példában valóban lineáris kapcsolat van a két változó között, viszont a második példában nem. Arra kell felfigyelni, hogy az R 2 (korreláció négyzet) statisztika nem mutatja ezt a különbséget, sőt a 2. példában egy picit még nagyobb is a korreláció, mint az 1. példában. Kiválóan mutatja viszont a különbséget a Durbin-Watson széria-korrelációs teszt, mely az 1. példában nem szignifikáns, viszont a 2. példában igen.

10 érmedobás Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) 9.883e e <2e-16 *** (Slope) 6.561e e <2e-16 *** Multiple R-squared: F-statistic: 3.24e+04 on 1 and DF, p-value:< 2e-16 A lineáris regresszió (az N = mintanagyság ellenére) teljesen félrevezető eredményt ad, a regressziós egyenesnek sem a tengelymetszete, sem a meredeksége nem különbözhetne szignifikánsan 0-tól.

11

12 ISSP sport2007 adatfelvétel. tesmagasság és testsúly adatok Lineáris regresszió, két csoport WEIGHT Finland Uruguay HEIGHT Egy ábrán látjuk a finn (piros) és az uruguayi (kék) mintát, és a két mintára külön-külön illesztett regressziós egyenest. A Finnországi mintanagyság N = 1328 az átlagos magasság = cm, átlagos súly = kg Az Uruguayi mintanagyság N = 1298 az átlagos magasság = cm, átlagos súly = kg A két minta együtt: N = 2626 az átlagos magasság = cm, átlagos súly = kg Azt vizsgáljuk, különbözik-e a két mintában 1. a testsúly, 2. a testmagasság, 3. a testsúly és a testmagasság kapcsolata.

13 Regression HEIGHT ~ COUNTRY Analysis of Variance Table Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** COUNTRY <2e-16 *** Regression WEIGHT ~ COUNTRY Analysis of Variance Table Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** COUNTRY e-11 *** A regresszió magyarázó változója (COUNTRY) kétértékű, és azt jelzi, hogy az illető melyik országban él. A regresszió kimeneti változója a (HEIGHT) testmagasság ill. a(weight) testsúly. Az eredmények azt mutatják, hogy szignifikáns különbség van finnek és urugayiak között, mind testsúly, mind testmagasság tekintetében.

14 A most következő regressziós elemzésben becsült együtthatók: a tengelymetszet, az országonként különböző tengelymetszet, a testmagasság regressziós együtthatója, a testmagasság országonként különböző regressziós együtthatója. Multiple Regression WEIGHT ~ COUNTRY + HEIGHT + HEIGHT:COUNTRY Analysis of Variance Table Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-07 *** COUNTRY HEIGHT < 2e-16 *** HEIGHT:COUNTRY Multiple R-squared: F-statistic: on 3 and 2622 DF, p-value: < 2.2e-16 Ha azokat a statisztikusokat követjük, akik a nem szignifikáns tényezőket eltávolítják a modellből, akkor az országonként különböző együtthatók kiesnek. Ezzel azt a választ kapjuk a bevezetőben írt 3. kérdésre, hogy ugyanaz a regressziós egyenes írja le a testsúly és testmagasság kapcsolatát mindkét országban.

15 Ebben az elemzésben a következő sorrendben vonjuk be a magyarázó változókat a modellbe: COUNTRY, HEIGHT, COUNTRY&HEIGHT interakcó Sequential ANOVA Analysis of Variance Table Model 1: WEIGHT ~ 1 Model 2: WEIGHT ~ COUNTRY Model 3: WEIGHT ~ COUNTRY + HEIGHT Model 4: WEIGHT ~ COUNTRY + HEIGHT + COUNTRY:HEIGHT Res.Df RSS Df Sum of Sq F Pr(>F) e-14 *** < 2.2e-16 *** Az eredmény úgy értelmezhető, hogy a COUNTRY önmagában jelentős magyarázóerőt képvisel, de a HEIGHT bevonása után az interakciós tagra már nincs szükség.

16 Ebben az elemzésben a következő sorrendben vonjuk be a magyarázó változókat a modellbe: HEIGHT, COUNTRY, HEIGHT&COUNTRY interakcó Sequential ANOVA Analysis of Variance Table Model 1: WEIGHT ~ 1 Model 2: WEIGHT ~ HEIGHT Model 3: WEIGHT ~ HEIGHT + COUNTRY Model 4: WEIGHT ~ HEIGHT + COUNTRY + HEIGHT:COUNTRY Res.Df RSS Df Sum of Sq F Pr(>F) < 2e-16 *** * Az eredmény úgy értelmezhető, hogy a COUNTRY még a HEIGHT bevonása után is eléggé jelentős magyarázóerőt képvisel, de az interakciós tagra már nincs szükség.

17 Lineáris regresszió, két csoport WEIGHT Finland Uruguay HEIGHT Finland Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** (Slope) <2e-16 *** Multiple R-squared: F-statistic: on 1 and 1326 DF, p-value: < 2e-16 Uruguay Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** (Slope) <2e-16 *** Multiple R-squared: F-statistic: 416 on 1 and 1296 DF, p-value: < 2e-16

18 Lineáris regresszió, két csoport WEIGHT ~ polinom(height) WEIGHT Finland Uruguay HEIGHT Finland Coefficients: Estimate Std.Error t value Pr(> t ) (Intercept) (Slope) (2nd order) * Multiple R-squared: F-statistic: on 2 and 1325 DF, p-value: < 2e-16 Uruguay Coefficients: Estimate Std.Error t value Pr(> t ) (Intercept) *** (Slope) *** (2nd order) e-05 *** Multiple R-squared: F-statistic: on 2 and 1295 DF, p-value: < 2e-16

19 Transzformált regresszió, két csoport log(weight) ~ HEIGHT WEIGHT Finland Uruguay HEIGHT Finland Multiple R-squared: F-statistic: on 1 and 1326 DF, p-value: < 2e-16 Uruguay Multiple R-squared: F-statistic: on 1 and 1296 DF, p-value: < 2e-16 A lineáris regressziós illeszkedés R 2 értékét felülmúlja a 2-rendű polinomiális illesztés, ezt felülmúlja a log transzormált illesztése, mindez azonban nem jelent statisztikai bizonyítékot arra, hogy a legjobban illeszkedő modell írja le legjobban az összefüggést.

20 Kvantilis regresszió HEIGHT WEIGHT : 0.95 kvantilis : 0.75 kvantilis : 0.5 kvantilis : 0.25 kvantilis : 0.05 kvantilis LS regresszió: a ( y n l(x n )) 2 min feltételt teljesítő egyenest választjuk. 0.5-kvantilis (=medián) regresszió: ugyanez, csak a y n l(x n ) min feltételt teljesítő egyenest választjuk. q kvantilis regresszió: legyen h(t) = { q t, ha t 0 (1 q) t, ha t < 0 és a h ( y n l(x n ) ) min feltételt teljesítő egyenest választjuk.

21 Monoton regresszió 300 EUR/HUF JUL AUG SEP SEP OCT OCT NOV DEC DEC JAN FEB MAR MAR APR08 Monoton növekedő függvény f(x), ha x 1 < x 2 esetén f(x 1 ) f(x 2 ) teljesül. Monoton növekedő LS regresszió: ( 2 y n g(x n )) min feltételt teljesítő g G függvényt választjuk. Ez a g görbe egy lépcsősfüggvény. Az algoritmus az x-ek tartományát osztópontokkal intervallumokra osztja, a g függvény értéke egy-egy intervallumon belül nem változik, és egyenlő az ebbe az intervallumba eső x-ekhez tartozó y-ok átlagával. Ahol az EUR/HUF értéke folyamatosan emelkedik, ott ezek az intervallumok egészen rövidek (egy-egy nap), ahol EUR/HUF ingadozik, ott hosszabb intervallumok vannak (2008 október közepétől december végéig egy intervallum).

22 Lokális függvényillesztés Fix osztópontokkal vett szakaszonként lineáris függvényillesztésnél az x változó értéktartományában megadott osztópontok (az 1. példában egyenletesen elhelyezett 4 osztópont szerepel) meghatározta szakaszokon lineáris, az osztópontokban folytonosan illeszkedő töröttvonal közelíti az adathalmazt. A bemutatott példák rávilágítanak arra, hogy az osztópontok önkényes meghatározása jelentősen befolyásolja az eljárás megbízhatóságát.

23

24 A spline regressziós függvény itt alkalmazott változatában szakaszonként harmadfokú polinomokból áll, melyek az osztópontokban másodrendben folytonosan illeszkednek, ami azt jelenti, hogy az osztópontokban a függvény baloldali és jobboldali határértéke egyenlő, és ugyanez teljesül az első deriváltakra és a második deriváltakra is. A bemutatott 1. példában a spline függvény simább, de kevésbé illeszkedik az adathalmaz pontjaihoz, a 2. és a 3. példában a spline függvény egyre kevésbé sima, de ennek árán egyre jobb az adathalmaz pontjaihoz való illeszkedés.

25