Többváltozós Regresszió-számítás

Átírás

1 Töváltozós Regresszó-számítás előadás Kvanttatív statsztka módszerek Dr. Szlág Roland

2 Korrelácó Célja a kacsolat szorosságának mérése. X (X, X,, X ): magarázó változó(k), független változó(k) Y: eredménváltozó, függő változó Regresszó Ok-okozat kacsolat: X okozza Y változását Célja a kacsolatan megfgelhető törvénszerűség megfogalmazása, amelet valamlen függvén ír le.

3 Töváltozós lneárs regresszós modell,,, és között kacsolatot árázoló egenes. Az függ:,,, d magarázó változótól A véletlen ngadozásától (ε) β, β,, β regresszós egütthatóktól. Y = β + β + β + + β +ε

4 Töváltozós lneárs regresszó adatstruktúrája n n n n X

5 Legkse négzetek módszere A legkse négzetek módszere segítségével megtalálható a legjo torzítatlan ecslése a (β, β, β, β ) regresszós aramétereknek. (BLUE) f ( ; ; ;... ;) (... ) mn ŷ...

6 6 A araméterecslés egenletrendszere mn )... ( ;) ;... ; ; ( f n

7 Az egenletrendszer mátr alakan felírva: n X X X T T

8 Az egenletrendszer mátr alakan felírva: X X X T T X X X T T Az egenletrendszer megoldása adja a regresszós araméterek ecsült értéket, melek segítségével felírható a taasztalat (ecsült) regresszó függvén.

9 A araméterek értelmezése ŷ... Y -val lesz egenlő aan az eseten, ha mnden X =. Ez csak aan az eseten értelmezhető, a Y értékkészletéen szereel a. Az X egségn növekedésének hatására az eredménváltozó átlagosan egséggel fog megváltozn, ha a tö magarázó változó értéke nem változk (Ceters Parus).

10 Rezduáls változó n n n e e e ˆ ˆ ˆ ˆ ˆ S = + S e A megfgelt Y értékek eltérés négzetösszege A regresszó által magarázott eltérésnégzetösszeg A rezduáls eltérés (maradék) eltérésnégzetösszege S ˆ

11 ANOVA A varanca forrása Eltérésnégzetösszeg (SS) Szaadságfo k (DF) Átlagos négzetösszeg (MS) F-érték SSR S ŷ = (ŷ ) Regresszó (R) MSR=SSR/ Haténező (E) SSE S = ( ŷ n-- MSE=SSE/(n--) e ) F MSR MSE SST S = ( ) Teljes (T) n- -

12 Modell tesztelés H : H : j. F SSR SSE n

13 β araméterek tesztelése Ha t számított <t krtkus H Ha t számított >t krtkus H : : H H e v s s( = t ) ; n t krtkus t

14 Töváltozós lneárs regresszós modell feltételrendszere A hatagra vonatkozó feltételek. Várható értéke M(ε) =. Varancája konstans Var(ε) = 3. A hatag értéke nem autokorreláltak. 4. Normáls eloszlású valószínűség változó.

15 A magarázó változókra vonatkozó feltételek. Egmástól lneársan függetlenek legenek. (egk magarázó változót se lehessen a tö magarázó változó lneárs komnácójaként előállítan). Értékek rögzítettek legenek, ne változzanak mntáról mntára. 3. Mérés hát nem tartalmaznak. 4. Nem korrelálnak a haténezővel.

16 Feltétel Felt. sérülése Köv. Ellenőrzés Megjegzés Lneartás Független (egmástól) Normáls eloszlás Nem korreláltak Nem lneárs kacsolat Függő és független változókra vonatkozó feltétel Multkollneartás Nem normáls eloszlás Autokorrelácó Homoszkedasztctás Heteroszkedasztctás; korrelál az X -vel Becsült értékek sérülése Megízhatatlan ecslés, magas st. ha a regr. koeffcensnél Pontdagram, r F szgnfkáns, t nem; Korrelácós mátr; VIF-mutató Hatagokra vonatkozó feltétel F-teszt, t-teszt érvéntelen Nem hatásos, nag KI Nem hatásos, nag KI Rezduumok standardzált eloszlásának hsztogramja Rezduumok árázolása az dő / a megfgelések sorrendjéen; Durn- Watson teszt Pontdagram a standardzált rezduumok szórásáról Kzárólag töváltozós regr. esetéen Legkse négzetek módszere kküszööl Idősornál merülhet fel a roléma. Logartmzálás vag a súlozottan LNM segít Forrás: Sajtos-Mtev [6], 7.o.

17 Standard lneárs regresszós modell Ahol az elő említett feltételek teljesülnek. Amennen a mntael adatok nem gazolják a feltételek teljesülését, onolulta modellre és ecslés eljárásokra van szükség.

18 A hatagra vonatkozó feltételek ellenőrzése. Várható értéke M(ε) =. Varancája konstans Var(ε) = 3. A hatag értéke nem autokorreláltak. 4. Normáls eloszlású valószínűség változó.

19 . M(ε) = A hatagok oztív és negatív értéke kegenlítk egmást. Ha eltér a -tól, annak oka lehet, hog khagtunk a modellől eg szgnfkáns magarázó változót. Nehéz a gakorlatan ellenőrzn. Ha feltételezzük, hog a legkse négzetek módszere érvénesül, akkor teljesül ez a feltétel.

20 A hatagra vonatkozó feltételek ellenőrzése. Várható értéke M(ε) =. Varancája konstans Var(ε) = 3. A hatag értéke nem autokorreláltak. 4. Normáls eloszlású valószínűség változó.

21 . Homoszkedasztctás (Var(ε) = ) A hatag varancája állandó. Ha nem: heteroszkedasztctás Tesztelése: o Grafkus a ecsült rezduumokat a kválasztott magarázó változó vag az ŷ függvénéen árázoljuk o Statsztka tesztek Goldfeld-Quandt-féle teszt, (Különösen akkor, ha a heteroszkedasztctás valamelk magarázó változóhoz kacsolódk.)

22 Homoszkedasztctás grafkus tesztelése e e e ŷ ŷ ŷ Homoszkedasztkus hatag Heteroszkedasztkus hatag e rezduum

23 Homoszkedasztctás Goldfeld- Quandt-féle tesztelése H : j = H : j n-r (a varancák eloszlást követnek és ezek egmástól függetlenek) Léése:. Rangsor: a keresztmetszet adatokat szernt rangsora rendezzük.. Független részmnták ; r;, (ahol r >, > ) 3. Regresszós függvének, rezduáls szórásnégzet (s e ) számítása az. és 3. csoortra e s 4. F-róa: F e s n - r n r n - r F (α/) n - r H F (-α/); ν,ν

24 A hatagra vonatkozó feltételek ellenőrzése. Várható értéke M(ε) =. Varancája konstans Var(ε) = 3. A hatag értéke nem autokorreláltak. 4. Normáls eloszlású valószínűség változó.

25 A hatag értéke korrelálatlanok Keresztmetszet adatokól történő egszerű véletlen mntavétel esetéen ez a feltétel automatkusan teljesül. Ha a modell dősoros adatokra éül, gakran előfordul a hatagok autokorreláltsága. Autokorrelácó oka: Nem megfelelő függvéntíus. Nem véletlen jellegű mérés ha. A modellen nem szereel valamenn léneges magarázó változó (nem smerjük fel a szereét / túl rövd dősor / nncs adat).

26 Autokorrelácó grafkus tesztelése e t t e e A khagott változók matt a rezduumok nem véletlenszerűek, hanem az egmást követő értékek között jelentős korrelácó van. t Az autokorrelácó a függvéntíus heltelen megválasztásának a következméne. + KVANTITATÍV TESZTEK!

27 Autokorrelácó tesztelése Durn-Watson H : ρ = korrelálatlan róával H : ρ autokorrelácó + zavaró autokorrelácó - zavaró autokorrelácó d l d u 4-d u 4-d l 4 d n t Határa: ( e n t t ) t d 4 Poztív autokorrelácó: d Negatív autokorrelácó: t e e d 4 Bzontalanság tartomán: nem tudunk dönten Növeln kell a megfgelések számát Új változót kell evonn a modelle Elfogadás tartomán

28 A Durn-Watson róa döntés tálázata H Elfogadjuk H := Elvetjük > Poztív autokorrelácó < Negatív autokorrelácó Nncs döntés d>d u d<d l d l <d<d u d<4-d u d>4-d l 4-d l <d<4-d u d u lletve d l értékét a Durn-Watson tálázatól határozzuk meg Forrás: Kerékgártó-Mundruczó [999]

29 A hatagra vonatkozó feltételek ellenőrzése. Várható értéke M(ε) =. Varancája konstans Var(ε) = 3. A hatag értéke nem autokorreláltak. 4. Normáls eloszlású valószínűség változó.

30 A hatag eloszlása normáls Tesztelése: Grafkusan árákkal Kvanttatív módszerekkel lleszkedésvzsgálat - róa Ferdeség, csúcsosság mérőszámokkal

31 A rezduumok eloszlásának grafkus tesztelése e z A rezduumokat várható értékük függvénéen árázoljuk. Ha az ára megközelítően lneárs, akkor a feltétel teljesült.

32 Illeszkedésvzsgálat H : P r (ε j ) = P j (normáls eloszláshoz tartozó megfelelő valószínűség érték) H : J j : P r (ε j ) P j r ( f ) np np H ( ),( r )

33 A magarázó változókra vonatkozó feltételek. Egmástól lneársan függetlenek legenek. (egk magarázó változót se lehessen a tö magarázó változó lneárs komnácójaként előállítan). Értékek rögzítettek legenek, ne változzanak mntáról mntára. 3. Mérés hát nem tartalmaznak. 4. Nem korrelálnak a haténezővel.

34 Multkollneartás Mntael tulajdonság mntán kívül nem alkalmazható. Ellenőrzése: X j =f(x, X,,X j-, X j+,,x ) regresszós modell kézése után: Töszörös determnácós egütthatóval F-róával (F>F krt ) VIF-mutatóval

35 VIF-mutató Varancanövelő ténező VIF VIF= VIF ha R j = (amkor a j. magarázó változó nem korrelál a tö magarázó változóval) VIF R j = (a j. magarázó változó ontosan kfejezhető a tö lneárs komnácójaként) VIF - genge multkollneartás 5 VIF VIF 5 - erős zavaró multkollneartás R - nagon erős, káros multkollneartás j j

36 Káros multkollneartás esetén megkeressük azokat a magarázó változókat, amelek a zavart okozzák, és elhagjuk őket a modellől; az egmással nagon szoros kacsolatan álló magarázó változókat eg új változóan összevonjuk (főkomonensek), amel mása lesz, mnt az eredet, de hordozza azok nformácótartalmát.

37 Otmáls regresszós modell feléítése Hogan válasszuk k, mel magarázó változók kerüljenek e a modelle és melek nem? Korrelácós egütthatók Stewse eljárások Backward elmnácós módszer Foreward módszer.

38 Backward elmnácó léése. A magarázó változóval szerntünk logkalag összefüggő valamenn változót eéítjük a modelle és kszámítjuk a araméterek standard háját.. Kszámítjuk a magarázó változók araméterere a arcáls t-róa értékét.

39 β araméterek tesztelése Ha t számított <t krtkus H Ha t számított >t krtkus H : : H H e v s s( = t ) ; n t krtkus t

40 H : o Gazdaságtudomán Kar Backward elmnácó léése 3. Megvzsgáljuk azt, hog az aszolút értéken legalacsona t értékkel író változó szgnfkáns változó-e: ha a róafüggvén értéke magasa az adott szgnfkancasznthez tartozó függvénértéknél. a változót megtartjuk a modellen, íg otmáls regresszó-függvénnek az általunk választott valamenn változót tartalmazó modell teknthető, tehát már első terácóan otmáls regresszó-függvénhez jutottunk. Een az eseten teszteljük a modell megízhatóságát.

41 Model Testng : H : H : j. Pr H : Pr F n SSR SSE H ; ) F F ( ; ) F ( ; ) F

42 H : o Gazdaságtudomán Kar Backward Elmnaton ha a róa értéke alacsona az adott szgnfkanca-sznthez tartozó értéknél, akkor e változót kzárjuk - elmnáljuk - a regresszós modellől: e változó - a tö változóhoz kéest - nem gakorol léneges hatást a magarázó változóra, nncs ndokunk a modellen való szereeltetésére. 4. A maradék magarázó változók felhasználásával eg úja modellt szerkesztünk, majd a. ontnál foltatjuk a vzsgálatot.

43 H : o Gazdaságtudomán Kar Foreward módszer. A modelle elsőként azt a változót éítjük e, amelnek a legszorosa a kacsolata az eredménváltozóval a legnago a arcáls determnácós egütthatója.. Megvzsgáljuk, hog az első léésen evont változó szgnfkáns kacsolatan van-e az eredménváltozóval. F SSR SSE n

44 Foreward módszer 3. Az első léésen evonásra nem került magarázó változókra (;; -; +; ;) meghatározzuk a arcáls korrelácós egütthatókat. Másodkként azt a változót vonjuk e a modelle, amelnél az tt meghatározott arcáls korrelácós egütthatók négzete ( arcáls determnácós egüttható ) értéke a legmagasa. 4. Az új változó evonásával meghatározott új regresszós modell araméteret. Ha a arcáls regresszós araméterek értéke szgnfkánsan különözk nullától, akkor a munkát tová foltatjuk. Ellenkező eseten vsszatérünk a 3. lééshez. 5. A folamat addg tart, amíg az összes alkalmasnak vált magarázó változót nem teszteljük.

45 .. Mesterséges változók a regresszós elemzésen (dumm) Aan az eseten, ha a mnőség smérvnek két változata lehetséges, lletve megoldható annak alternatívvá alakítása, akkor numerkussá tehető úg, hog az egk előfordulást értékkel, a másk előfordulást értékkel tesszük egenlővé. Íg a mnőség smérvek korlátozott száman eéíthetők a regresszós modelle., ha nem teljesül a feltétel, ha teljesül a feltétel

46 H : o Gazdaságtudomán Kar Dumm változó alkalmazása Tegük fel, hog a háztartások fogasztás kadás függ a háztartás jövedelmétől (X ). Valamnt feltehetően függ attól s, hog hol él. (eg vdék háztartás kadása másként alakulnak, mnt eg városé) X = ha a háztartás vdék X = ha a háztartás város X eg dumm változó. Y = β + β X + β X +ε

47 H : o Gazdaságtudomán Kar Dumm változó alkalmazása A araméter ecsült értéke megmutatja, hog a város háztartás kadása átlagosan mennvel töek (vag keveseek, ha negatíve) eg vdék háztartás kadásahoz kéest, ha a háztartás jövedelme uganann.

48 H : o Gazdaságtudomán Kar Dumm változó alkalmazása Ha a modell olan nem metrkus smérvet tartalmaz, amelk k smérvváltozattal rendelkezk és nem szeretnénk alternatívvá tenn, akkor, k- dara dumm változó segítségével éíthető a modelle, úg, hog az egk változat lesz a ázs érték.

49 H : o Gazdaságtudomán Kar Dumm változó alkalmazása Iskola végzettség általános közé felső ŷ

50 Köszönöm a fgelmet strolsz@un-mskolc.hu