Regresszióanalízis. Lineáris regresszió

Átírás

1 Regrezóanalíz Lneár regrezó REGRESSZIÓ 1 Modell: Valamely (pl. fzka) törvényzerûég értelméen az x független változó zonyo értékénél a függõ változó értéke Y ϕ (x). Y helyett y értéket mérünk, E(y x) Y, vagy y Y + ε é E( ε ) Var( ε ) σ Amennyen nncen mert é gazolt fzka özefüggé, nem lehetünk elõre meggyõzõdve az lleztett függvény alkalmaágáról. REGRESSZIÓ

2 A regrezóanalíz orán feltételezzük, hogy y az x mnden értékénél normál elozláú, vagy az ε méré hák N(,σ ) normál elozláúak; Var(y) kontan, lletve y-nak vagy x-nek mert függvénye; a különözõ méré pontokan elkövetett méré hák egymától függetlenek; Y(x) f(x, α,β,γ,...) az mert vagy feltételezett függvénykapcolat alakja, ahol α, β, γ a függvény kontana (paramétere). REGRESSZIÓ 3 Egyváltozó lneár regrezó métlé nélkül méréek eetén, A eclé krtérum: φ ( y Y$ ) mn. $Y + x a + x x Y β + βx α + β x x σ y φ y x mn. kontan β α βx a x REGRESSZIÓ 4

3 A normálegyenletek: φ [ y x] φ [ ] y x x Átrendezve: y n + x y x x + x Ha x a é ecléek egymától nem függetlenek REGRESSZIÓ 5 A normálegyenletek az Y + ( x x ) φ a φ [ y a ( x x )] [ y a ( x x )]( x x ) α β modell lleztéekor Átrendezve: ( ) y na + x x ( ) ( ) + ( ) y x x a x x x x ( x x ) x x n Az a é ecléek egymától függetlenek, mert REGRESSZIÓ 6

4 y na é y ( x x ) ( x x ) tehát az a é ecült paraméterek egymától függetlenül kaphatók meg a két normálegyenletõl: a y y( x x) n x x ( ) $Y a + x x ; ( $ ) α + β( ) E Y Y x x REGRESSZIÓ 7 A ecléek tulajdonága: E( a) y E α n Var a E( ) β σ n n σ Var( ) ( x x ) ( ) σ ( x x ) ( x x ) σ REGRESSZIÓ 8

5 [ ] E Y$ E a + x x E a + E x x α β E Y $ + x x Y Var( Y$ x x ) Var( a) + ( x x) Var( ) 1 σ + n n x ( x ) REGRESSZIÓ 9 a r n r ( x x ) 1 Y$ r + n x x ( x x ) + x x a + x Y$ ( x ) a A konfdencatartományok a t-elozlá alapján zámíthatók. REGRESSZIÓ 1

6 1. példa Kíérletleg vzgálták az x független változó é az y függő változó között özefüggét. Az x független változó értéke pontoan eállítható, az y függő változó értéke azonan a Y valód érték körül ngadozk. A méré adatok a következő tálázatan láthatók, az y értéke zernt növekvő orrende rendezve. A ténylege méré orrendet a tálázat máodk ozlopa tartalmazza. Feltételezve, hogy y normál elozláú, valamnt azt hogy az y é x között függvénykapcolat lneár, adjunk eclét az egyene paraméterere! REGRESSZIÓ 11 No méré orrend x y REGRESSZIÓ 1

7 Excel eredmények SUMMARY OUTPUT Regreon Stattc Multple R R Square Adjuted R Square Standard Error Oervaton 6 R r rezduál zórá ANOVA df SS MS F Sgnfcance F Regreon Redual Total r Coeffcent Standard Error t Stat P-value Lower 95% Upper 95% Intercept x REGRESSZIÓ 13 Determnácó együttható: Regreon R SSR SST SST SSE SST Redual 1 SSE SST Total R _ adj 1 SSE SST ( n ) n 1 REGRESSZIÓ 14

8 y ( y y) ( y Y$ ) + ( Y$ y) SST SSE + SSR d.f.: n-1 n- + 1 y ( y Y$ ) ( $Y y) R SSR/SST 4 R R xx REGRESSZIÓ 15 y 1 y ( y Y $ ) ( $Y y) R R x REGRESSZIÓ 16

9 ANOVA df SS Regreon Redual Total n - r SSE n SSR SSE SST REGRESSZIÓ 17 $Y y Y $ ( $ ) y Y r RESIDUAL OUTPUT Oervaton Predcted y Redual Standard Redual n ( Redual ) 1 SSE REGRESSZIÓ 18

10 a r n r ( x x ) 1 Y$ r + n x x ( x x ) + x x a + x Y$ ( x ) a A konfdencatartományok a t-elozlá alapján zámíthatók. REGRESSZIÓ 19 Y$ ( x ) Coeffcent Standard Error t Stat-valu Lower 95% Upper 95% Intercept x %-o konfdenca ntervallum a paraméterekre REGRESSZIÓ

11 Y$ Y$ + t 5 ( 4) fölõ Y$ Y$ t 5 ( 4) aló Konfdenca áv az Y(x) valód értékre. / Y$. / Y$ x Yhat _Yhat Yhat_aló Yhat_fölõ REGRESSZIÓ 1 Jólá ntervallum 1 $ r n y Y x x ( x x ) + + x x r a ntervallum: Y$ x ± tα y Y $ (1- α) a valózínűége annak, hogy x adott értékénél egy kéő méré eredménye a zámított ntervalluma ek. REGRESSZIÓ

12 7 6 r %-o jólá áv 5 4 Y$ x 3 y %-o konfdenca áv x REGRESSZIÓ 3 A méréek orrendje e t x 1 x x 3 x 4 x 5 x 6 x 7 x 8 x 9 x 1 dõ e t dõ x 9 x 1 x 3 x 1 x 6 x 5 x 8 x 4 x x 7 1 y rezduum x méré orrend y x méré orrend rezduum REGRESSZIÓ 4

13 Egyváltozó lneár regrezó mételt méréek eetén, σ y kontan y y k y a α Y α + β ( x x ) y Y $ Y$ Y n n n n ( x, y k ) ( x, y ) ( x, Y$ ) ( x, Y ) Y$ a + ( x x ) x x REGRESSZIÓ 5 SST SSE + SSR SST SSrepl + SSre + SSR Imétléekõl zámított négyzetözeg Rezduál négyzetözeg A zaadág fokok záma: n n p 1 e p ( ) ( p 1) SSrepl + n + 1 r SSre n REGRESSZIÓ 6

14 e Az coportokon elül error zóránégyzet a varanca torzítatlan eclée, függetlenül az Y függvény alakjától. Az r rezduál zóránégyzet cak akkor eclée σ y -nak, ha a tapaztalat regrezó függvény "megfelelõ alakú", vagy az elmélet regrezó függvény lneár. Eetünken tehát akkor, ha Y α + β( x x ). REGRESSZIÓ 7 A hpotéz vzgálatára az F-próát haználjuk: χ v r r σ / r F χ σ / ν e Ha az r e arány nem halad meg egy F α krtku értéket, mondhatjuk, hogy a méré adatok nem mondanak ellent annak a nullhpotéznek, amely zernt az elmélet é tapaztalat regrezó göre matematkalag azono alakú. e e REGRESSZIÓ 8

15 Ha elfogadjuk a nullhpotézt, egyen azt állítjuk, hogy e é r egyaránt σ torzítatlan eclée. A kettõ együtt tö nformácót nyújt, mnt ármelyk külön-külön, mvel az így egyeített zóránégyzet nagyo zaadág fokú (tehát ke varancájú) eclée σ -nak, mnt akár e, akár r. Célzerű tehát a két eclét egyeíten. σ$ ν + ν ν + ν e e r r e r ( y ) ( $ k y + p y Y ) k ( p n) + ( n ) REGRESSZIÓ 9. példa Kalrácó eljárá orán a tálázatan közölt adatokat mérték, x a koncentrácó, y a mért jel. Illezünk egyenet a méré adatokra. y k x ha k p p 3 REGRESSZIÓ 3

16 x y Az adatok a méré orrendjéen kerülnek e az nput fle-a, tehát a programok zámára általáan ugyanaz az x - y adatok zerkezete, mnt métlé nélkül méréek eetén. REGRESSZIÓ 31 SUMMARY OUTPUT Regreon Stattc Multple R R Square Adjuted R Square Standard Error.477 Oervaton 3 SSrepl + SSre p ANOVA df SS MS F Sgnfcance F Regreon E-6 Redual Total Coeffcent Standard Error t Stat P-value Lower 95% Upper 95% Intercept E x E REGRESSZIÓ 3

17 5 x a p y p 3 ( x ) ( x ) p y x p x $. +. (. ). +. Y x x REGRESSZIÓ 33 e ( yk y ) k p n Annak ellenõrzéére, hogy az alkalmazott lneár modell megfelelõ-e, F-próát végzünk. Az Excel tálázat egítégével zámítuk k a rezduál zóránégyzetet, majd végezzük el a próát! p ( p 1) + ( n ) e r r 3 r REGRESSZIÓ 34

18 F Az F-elozlá krtku értéke 95 % -o egyoldal znten ( α.5), ha a zámláló zaadág foka 3, a nevezõé 18: F.5 (3, 18) Azt mondhatjuk, hogy a zámított egyene (a tapaztalat regrezó göre) a méré pontokat megfelelõen leírja. REGRESSZIÓ 35 y ( x ) p x a y p 3 3 a REGRESSZIÓ 36

19 + x x Y$ a x Y $ ( x ) 184 Y$. ( x ) REGRESSZIÓ 37 Egyváltozó lneár regrezó mételt méréek eetén, A eclé krtérum: σ y A négyzetözeg felontható: k yk y σ y + σ k nem kontan yk Y$ y mn. σ y p σ p y Y $ mn. σ y y REGRESSZIÓ 38

20 A varanca nem kontan, hanem x-nek mert függvénye: ahol σ [ ] σ y σ ( ) Var y x h x x -tõl független kontan. A mnmalzálandó függvény: p y Y $ 1 h ( x ) σ σ [ ( )] ( Y$ ) w p y w p y Y$ w p y a x x mn ahol w az ún. úly: σ 1 w σ h y ( x ) REGRESSZIÓ 39 Ha x w p x w p az a é ecült paraméterek egymától függetlenül kaphatók meg a két normálegyenletõl: a w p y w p w p y x w p x ( x) ( x) REGRESSZIÓ 4

21 Kalrácó egyene: a regrezó egyenlet megoldáa a független változóra Az egyene egyenlete: $Y a + ( x x ) Mot y a független, de ztochaztku változó (ötzör mérve 5 különözõ azorancát kapunk), x a függõ változó, amelynek eclée y a x$ x$( y) x + várható értéke (é valód értéke) X. (Az $x eclé valózínûég változó, mvel y, a é valózínûég változók.) REGRESSZIÓ 41 $x konfdenca-ntervalluma: egédváltozó z y a ( X x ) ( ν p ) z E z t z α β( ) E z Y X x Var z Var y + Var a + X x Var Ha y n méré átlagértéke, értelemzerûen írandó y helyée, é Var( y) Var( y) n REGRESSZIÓ 4

22 Var z 1 1 σ + + wn w p X x w p x ( x ) Az z eclét úgy kapjuk, hogy Var(z) elõ kfejezééen a w úlyok helyett eírjuk a h (x) függvény recprokának ecléét, σ eclééül pedg az -tatztkát haználhatjuk. P t < t < t α / α / 1 α ; z t z y a X x z REGRESSZIÓ 43 Az X-re máodfokú kfejezé átrendezée után a konfdencantervallum y a 1 1 x + t + α α / + wn w p α / < x + α / / $ ( x x) w p x y a α t α / + wn w p α / α / ( x ) / $ < X < ( x x ) w p x ( x ) ahol α / t / α REGRESSZIÓ 44

23 Az X-re máodfokú kfejezé átrendezée után a konfdencantervallum y a y a P x + < X < x α α / α / ahol tα / h x + α / w p α / ( $ ) ( $ ) + x x w p x ( x ) é α / 1 tα / REGRESSZIÓ 45 a -val é -vel kfejezve α / ( h ( x$ ) a ) ( x$ x) tα / + + α / Ha >>,, így az elõzõ kfejezé egyzerûödk α / ahol ( $ $ ) P x < X x + 1 α t h x α / + a + x x n ( $ ) ( $ ) REGRESSZIÓ 46

24 Az özefüggéek ha >> :,, x felhaználáával, y x$ ; P( x$ < X < x$ ) 1 α ahol t h x α / + + n y ( $ ) ( x$ xx $ ) REGRESSZIÓ példa A. példáan kapott regrezó egyenet kalrácó özefüggéként haználjuk. Az meretlen koncentrácójú oldattal végzett 5 méré átlagértéke 1.5. Adjunk eclét é 95 %-o konfdenca-ntervallumot az oldat koncentrácójára (X-re ). y 15. n 5 x$ y t ; ;. /. t α / REGRESSZIÓ 48

25 α / tα /. 9864,, x felhaználáával: α / 1 h ( x ) (. 184) ( )( ) A konfdenca-ntervallum: P ( X ) < < P 1. 7 < X < REGRESSZIÓ 49 A regrezó feltételenek ellenõrzée; a rezduumok vzgálata A regrezóanalíz orán feltételeztük, hogy y az x mnden értékénél normál elozláú, vagy az ε méré hák N(,σ ) normál elozláúak; Var(y) Var(y x) kontan, lletve y-nak vagy x-nek mert függvénye; a különözõ méré pontokan elkövetett méré hák egymától függetlenek; E(y x) Y(x) f(x, α,β,γ,...) az mert vagy feltételezett függvénykapcolat alakja, ahol α, β, γ a függvény kontana (paramétere). REGRESSZIÓ 5

26 1. Rezduumok a méréek orzámának függvényéen: extrém értékek y -Y r A méré orzáma REGRESSZIÓ 51. Rezduumok a méréek orzámának függvényéen: trend y -Y r A méré orzáma REGRESSZIÓ 5

27 3. Ugrá (Szntváltozá a rezduumok vzgálatánál) y -Y r A méré orzáma REGRESSZIÓ A zórá (varanca, méré pontoág) változáa y -Y Y REGRESSZIÓ 54

28 A h ( x) függvény megfelelõen írja le változáát: y -Y h(x ) REGRESSZIÓ 55 Y 5. Normaltá y Y Az $ közelítõleg zéru várható értékû normál h( x) elozláú kell legyen az 1 4. feltételezéek zernt. A normaltát tatztka próával vzgálhatjuk (χ -próa, Kolmogorov Szmrnov próa). A normaltát úgy vzgálhatjuk, hogy ún. valózínûég papíron (Gau hálón) árázoljuk y Y $ értékét h x REGRESSZIÓ 56

29 A rezduumok elozláa nem normál, az lleztett modell nem megfelelõ: y -Y h(x ) Y REGRESSZIÓ 57 A rezduum értékek árázoláa Gau-hálón. a rezduumok nem normál elozláúak Expected Normal Value elmélet elozlá Redual REGRESSZIÓ 58

30 A rezduum értékek árázoláa Gau-hálón..5 a rezduumok normál elozláúak 1.5 Expected Normal Value Redual REGRESSZIÓ 59 Kétváltozó lneár regrezó Az elmélet regrezó függvény: Y α + β x x + β x x A eclé krtérum: ( y Y ) [ y a 1 ( x1 x1) ( x x )] φ $ mn. A ecülendõ paraméterek zernt derválva, é a derváltakat nullával egyenlõvé téve kapjuk a normálegyenleteket: REGRESSZIÓ 6

31 na + x x + x x y ( 1 1) + 1 ( 1 1) + ( 1 1)( ) ( 1 1) a x x x x x x x x y x x ( ) + 1 ( 1 1)( ) + ( ) ( ) a x x x x x x x x y x x A ecült paraméterek akkor függetlenek egymától, ha ( x x ) 1 1 ( x x )( x x ) é 1 1 ; ( x x ) ; ortogonál kíérlet terv REGRESSZIÓ 61 Szempontok a független változók értékenek megválaztáához Egymától független ecült paraméterek (ortogonaltá) x 1-1 P, kpa T, C x REGRESSZIÓ 6

32 A paraméter mnél pontoa eclée a) -1 1 σ. 43 ) -1 1 σ. 9 c) -1 1 σ. 7 REGRESSZIÓ 63 Töváltozó lneár regrezó Legyen r a független változók záma. A kíérletorozat eredményet a következő tálázato formáan zokáo írn: x x L x L x y 11 1 j1 r1 1 x x L x L x y 1 j r M M M M M x x L x L x y 1 j r r M M M M M x x L x L x y 1n n jn rn n REGRESSZIÓ 64

33 A modell Y β x + β x + β x + + β x 1 1 K r r ahol x az általáno írámód érdekéen evezetett fktív változó. Az x elemek értéke 1. A tapaztalat regrezó egyene $Y x + x + x + + x 1 1 K r r A kétváltozó regrezónál mondottakhoz haonlóan a j ecléek egymától nem függetlenek. REGRESSZIÓ 65 Az egye változók zgnfkancájának vzgálata Eldöntendõ, hogy q < r változó fgyelemevétele r változóhoz képet nem rontja-e a közelítét. A q ll. r zámú változóra a mért pontok é a ecült ík között eltéréek négyzetözege, ha mnden pontan cak egy y méré van: q S y x j q jq j r S y x j r jr j $Y q $Y r REGRESSZIÓ 66

34 Tegyük fel, hogy r változó ztoan elég (hátlan a regrezó egyenlet alakja), ekkor az [ y Y $ ( r) ] eltéréek normál elozláúak, (kontannak feltételezett) varancával; az eltéréek S r négyzetözegének zaadág foka n-(r+1) σ y [ ] Ha q változó elég (H nullhpotéz), az y Y $ ( q) σ y eltéréek normál elozláúak, varancával; az eltéréek S q négyzetözegének zaadág foka n-(q+1) REGRESSZIÓ 67 Ha a nullhpotéz gaz, az F ( 1) q Sq / n q S / n r r r ( 1) hányado F-elozláú n q 1 é n r 1 zaadág fokkal. F-próa REGRESSZIÓ 68

35 S q é S r különége zntén normál elozláú eltéréek négyzetözege, zaadág foka r q: F r q r ( Sq Sr ) ( r q) / S / n r 1 r F-próa Bármelyk módzerrel elvégezhetõ az F-próa, a máodk érzékenye (általáno regrezó próa). REGRESSZIÓ 69 Ha az arány a krtku F értéket meghaladja, el kell vetnünk a nullhpotézt, amely zernt r q változó hatáa nem zgnfkán. Termézeteen r q 1 lehet, ekkor azt vzgáljuk, hogy adott egyetlen változó hatáának (lneár) fgyelemevétele javítja-e a közelítét. Mnthogy a ecléek egymától nem függetlenek, az elõ vzgálat t-próával nem végezhetõ el. Ha a normál elozlá feltételezée nem jogo, az tt leírt vzgálat módzer ham eredményeket ad! REGRESSZIÓ 7

36 Regrezó má, a független változóan nemlneár, de a paramétereken lneár függvényekkel z Y + z + β β1 β exp + β3 log z Vezeük e a következõ jelöléeket: x z 1 z x exp x log 3 z β Ezekkel Y j x j j A eclé proléma é az eredmények tatztka elemzée teljeen azono a töváltozó lneár regrezónál leírtakkal. REGRESSZIÓ 71 Polnom lleztée Legyenek olyan méré adatank, amelyeknél az y függõ változó nem lneár, hanem polnommal leírható függvénye a z független változónak. Mvel a z független változó értéke pontoan eállítható é nem terhel méré ha, tetzõlege hatványa pontoan mert, tehát determnztku független változóként kezelhetõ. Bevezetve az x 1 z, x z,..., x k z k jelöléeket, a feladat a töváltozó lneár regrezóra vezethetõ vza. $ k Y + z + z z + x + x x 1 k 1 1 k k Mvel x j értékek nem függetlenek egymától, a ecült j együtthatók erõen korreláltak leznek. REGRESSZIÓ 7