KOVÁCS PÉTER * A ultikollinearitás vizsgálata és odellezése lineáris regressziós odellekben a Red-utató alapján Bevezetés Exaination and Modelling of Multicollinearity in linear Regression Models on the Basis of Red Indicator In epirical analyses it frequently happens that not all the data have a useful content in respect of the exaination, in other words the database is redundant. In a ultivariate linear regression odels ulticollinearity can be interpreted as a type of redundancy. Therefore during regression analysis it is essential to know the proportion of the data with a useful content in respect of the estiator β ˆ = ( X X) X y, but its proper easureent poses a proble. Petres Red is one possibility for easuring the proportion of data with a useful content in respect of the estiator β ˆ = ( X X) X y. With this indicator, which contains the eigenvalues of the correlation atrix of the variables, it is possible to quantify the percentage of collinearity: fro 0% (all the eigenvalues are equal to ) to 00% (all the eigenvalues, except the first, are equal to 0). As a new approach, The elliptical odel of ulticollinearity can be forulated on the basis of Petres Red indicator. Parallel with the increase in the extent of the ean covariance of the variables, the possible eigenvalues are situated on an - diensional sphere with a greater radius. The possible eigenvalues are situated on a segent of the -diensional sphere in such a way that with a fixed Red value they are located on an ( )-diensional ellipsoid. Unfortunately, the higher the diension nuber of the odel is, the ore conditions have to be given for deterining and studying the range of possible eigenvalues. Therefore the detailed exaination of this range and of the elliptical curves was carried out only for three explanatory variables. We copared how the ellipses and the lines containing the identical-value quotients of the highest and lowest values of the eigenvalues ove along the range of the possible eigenvalues. Epirikus elezéseknél gyakori eset, hogy a vizsgálat szepontjából ne inden adat hordoz hasznos tartalat, azaz az adatálloány redundáns. Ez az eset a többváltozós lineáris regressziószáításnál a ultikollinearitással agyarázható. Ezért a regressziószáítás során fontos tudni a β ˆ = ( X X) X y becslıfüggvény szepontjából hasznos tartalat hordozó adatok arányát, de probléa ennek a egfelelı érése. Erre egy lehetıség a PETRES-féle Red-utató. Tanulányo célja a Red-utató és néhány tulajdonságának isertetése, valaint a ultikollinearitás Red-utatóra épülı elliptikus odelljének beutatása. * Szegedi Tudoányegyete Gazdaságtudoányi Kar, egyetei adjunktus, PhD. 8
BUDAPESTI GAZDASÁGI FİISKOLA MAGYAR TUDOMÁNY NAPJA, 008 A Red-utató A Red-utató definiálásakor a tényezıváltozók R korrelációs átrixának λj (j =,,, ) sajátértékeit alkalazzuk. Mivel a korrelációs átrix pozitív szeidefinit átrix, ezért ennek sajátértékei nenegatívak. A korrelációs átrix sajátértékeinek száa és összege is egegyezik a agyarázóváltozók száával. Ebbıl következıen sajátértékeinek szátani átlaga egy. A Red-utató az alábbi gondolateneten alapszik. Ha a agyarázóváltozók forrásául szolgáló adatálloány a βˆ becslıfüggvény szepontjából redundáns, azaz nagyértékő az adatok együttozgása, akkor ne indegyik adat hordoz hasznos tartalat. Minél kisebb a hasznos tartalat hordozó adatok aránya, annál nagyobb a redundancia értéke. Minél nagyobb értékben szóródnak a sajátértékek, annál nagyobb értékő az adatálloányban szereplı agyarázóváltozók együttozgása. Két szélsıséges eset létezik: inden sajátérték egyenlı egyással (azaz értékük egy), illetve egy sajátérték kivételével indegyik sajátérték nullával egyenlı. A diszperzió értékét szászerősíthetjük a sajátértékek relatív szórásával vagy (ebben az esetben az ezzel egyenlı) szórásával. σ λ λ = = λ ( λ j λ ) j= = λ j j= ( λ j λ ) j= = ( λ j ) j= = σ λ v () Különbözı adatálloányok redundanciájának összevethetısége végett a fenti utatót norálni kell. Mivel a sajátértékek nenegatívak, ezért a relatív szórásra vonatkozó 0 vλ összefüggés iatt, a norálás értékével történik. Az így kapott utatót a redundancia értékének szászerősítésére használhatjuk, és segítségével a Red-utatót az alábbiak szerint definiáljuk. v Red = λ A redundancia hiánya esetén a fenti utató értéke nulla, illetve nulla százalék, íg axiális redundancia esetén egy, illetve száz százalék. A Red-utató a vizsgált, adott érető adatálloány redundanciáját éri. Két vagy több különbözı érető adatálloány redundanciájának összevetésekor a Red-utatók alapján csak annyi állítható, hogy az egyes adatálloányok ennyire redundánsak, de arra vonatkozó közvetlen kijelentés ne tehetı, hogy ezek közül elyiknek van több hasznosítható adata. A Red-utató kiszáítható a tényezıváltozók korrelációs átrixa fıátlón kívüli eleeinek négyzetes átlagaként is. () 8
KOVÁCS P.: A MULTIKOLLINEARITÁS VIZSGÁLATA ÉS MODELLEZÉSE... Re d = j= j i r ij ( ) Az összefüggés abból a szepontból érdekes, hogy a Red-utató egy olyan négyzetes átlag, aely a definíciójából következıen százalékban is kifejezhetı. A (3) képlet szerint a Red-utatóval érni lehet a tényezıváltozók átlagos együttozgásának értékét. A utató definíciójából és a (3) képletbıl következik, hogy a utató elınye a többi sajátértékekre épülı utatóval szeben az, hogy úgy veszi figyelebe az összes sajátértéket, hogy értékét inden sajátérték azonos súllyal befolyásolja, továbbá figyelebe veszi a tényezıváltozók öszszes páronkénti együttozgását is, így a Red-utató indenképpen pozitív elozdulást jelent a ultikollinearitás eddigi kutatásához képest. A utató segítségével egkülönböztethetıek az extré ultikollinearitás különbözı esetei is, hiszen a utató akkor is használható, ha valaelyik sajátérték nulla. Azonban egjegyze, hogy a ultikollinearitás vizsgálatakor ne csak változópárok együttozgása, hane változócsoportok együttozgása is probléát jelenthet, ennek azonban ég nincs részletesen kidolgozott szakirodala. Erre egoldást jelenthet a kanonikus korrelációelezés használata, ahol valailyen korrelációs együtthatók négyzetes átlaga szerepel az RI redundancia-indexben is, de alkalazási körét és tartalát tekintve ez teljesen ás, int a Red-utató. Ennek egyik speciális esete az egy egy eleő csoportok vizsgálata, ely a Red-utatóval lehetséges. A redundancia-indexet a kanonikus korrelációelezés során alkalazzuk. A kanonikus korrelációelezés a lineáris korrelációvizsgálat általánosításának tekinthetı. A kanonikus korrelációelezés során adott az x, x,..., xp és y, y,... yq (q p) két standardizált változócsoport. A feladat az, hogy indkét változócsoportot u K uq z K zq helyettesítjük a változók különbözı, ut, zt (t =, u 0 0 r 0 0,, q) lineáris kobinációival úgy, hogy az ut, zt kanonikus változópáros közötti rt korrelációs M 0 O 0 0 O 0 együttható axiális legyen. Ezeket a korrelációkat kanonikus korrelációknak nevezzük. A z r 0 0 0 0 R = uq 0 0 0 0 rq kanonikus változók közötti korrelációs átrix szerkezete az alábbi. M 0 O 0 0 O 0 z 0 0 r 0 0 q q (3) A kanonikus korrelációelezés efféle egközelítése gyakorlatilag kettıs faktoranalízisnek tekinthetı, ivel két változóhalaz azon faktorait keressük, aelyek axiálisan korrelálnak egyással. A kanonikus korrelációelezés ásfajta egközelítése az, hogy változók egy csoportjával próbáljuk a függıváltozók egy csoportját egagyarázni, azonban ez ne a egfigyelt változókon keresztül történik, hane a agyarázóváltozók azon lineáris kobinációja segítségével, aely axiálisan egagyarázza a függıváltozókat, azok lineáris kobinációján keresztül (Füstös Kovács Meszéna Sionné [004]). 83
BUDAPESTI GAZDASÁGI FİISKOLA MAGYAR TUDOMÁNY NAPJA, 008 Ekkor az y változók szórásnégyzetét a zt kanonikus változó átlagosan r yz értékben, íg az ut kanonikus változó t yz q = RI = r t értékben agyarázza (HAJDU [003]). Tehát a kanonikus korrelációelezések során az eredeti változók és az ezeket helyettesítı valaelyik kanonikus változó közötti korrelációs együtthatók négyzetes átlagának négyzete használatos. Ezzel szeben a Red-utató képletében a tényezıváltozók közötti korrelációs együtthatók négyzetes átlaga szerepel. A kanonikus korrelációelezéseknél használatos négyzetes átlag inkább a VIFj-utatókkal hozható kapcsolatba. A kanonikus korrelációelezés speciális esete az, aikor az eredényváltozók csoportja egy változóból áll. Ekkor az egyetlen kanonikus korreláció ne ás, int a többszörös korrelációs együttható. Ekkor, a j-edik tényezıváltozót különvéve, a többitıl a kanonikus korreláció négyzete pontosan rx j. x, x, K, x j, x j+, K, x lesz. Ezt inden lehetséges kobinációra elkészítve felhasználva a VIFj képletét kiszáíthatjuk azt, hogy az egyes tényezıváltozók varianciái átlagosan r x j. x, x, K, x j, x j,, x j j VIF + K = = j j= VIFj (4) = = = VIF r q yz t y z i t r z u t t j H VIF j H a értékben agyarázhatóak a többi tényezıváltozóval együttesen, ahol VIFj-utatók haronikus átlaga. A (4) képlet négyzetgyöke egadja az egyes tényezıváltozóknak a többi tényezıváltozó csoportjával való együttozgás átlagos értékét, ellyel a ultikollinearitás okainak isételten csak egy speciális csoportja vizsgálható. A vizsgálatot a késıbbiekben általánosítani kell a tényezıváltozók inden lehetséges ódón elıállított két tetszıleges csoportja átlagos együttozgásának érésére. Ennek egyik speciális esete az egy egy eleő csoportok vizsgálata, ely a Red-utatóval lehetséges, illetve a ásik az egy ( ) eleő csoportok vizsgálata, aely a (4) képlettel lehetséges. A ultikollinearitás odellezése Felerülhet az a kérdés, hogy a ultikollinearitás hogyan odellezhetı. A tényezıváltozókat, int vektorokat ábrázolva sejtéseket fogalazhatunk eg a ultikollinearitás jelenlétére vonatkozóan. Az egyik leggyakrabban elegetett odellezési lehetıség a tényezıváltozók ortogonalitásának vizsgálata. Aennyiben az ábrázolt vektorok ortogonálisak, azaz a tényezıváltozók tere axiálisan kifeszített, akkor nincs ultikol- 84
KOVÁCS P.: A MULTIKOLLINEARITÁS VIZSGÁLATA ÉS MODELLEZÉSE... linearitás a odellben. Minél kisebb a tér kifeszítettsége, annál nagyobb a ultikollinearitás értéke. Egy ásik lehetıség az, ha a regressziós sík, hipersík vetületeit nézzük inden egyes xi xj síkvetületben. Például, két tényezıváltozó esetén az. ábra azt utatja, hogy a agyarázóváltozók statisztikailag jelentéktelen együttozgása esetén a becsült paraéterek varianciái, a jelentıs együttozgás esetén kiszáított szórásnégyzetekhez viszonyítva jóval kisebbek. Ez azért van, ert az elsı esetben az adatálloánynak a pontfelhıje az x x síkvetületben inden dienzióban szóródik és így az illesztett regressziós sík stabil. Míg a. ábra pontfelhıje ne indegyik dienzióban szóródik az x x síkvetületben, így a ráillesztett sík könnyen kibillen, azaz instabillá válik az illesztés. Ez az ábrázolási ód egyrészt eglehetısen sok unkával jár, ásrészt pedig a tényezıváltozóknak csak a páronkénti együttozgása szeléltethetı.. ábra Stabil regressziós sík a agyarázóváltozók ne szignifikáns együttozgása esetén ( = ). ábra Instabil regressziós sík szignifikáns ultikollinearitás esetén ( = ) 3 A Red-utató definíciójából kiindulva egadható a ultikollinearitás egy ás fajta odellje is. A Red-utató () képletét átrendezve az alábbi összefüggést kapjuk. ( λ i ) = ( ( ) Re d) (5) ( ) Re d, továb- Az (5) egyenlet egy olyan göb egyenlete, elynek sugara bá középpontjának inden koordinátája egy. Abban az esetben, ha a változók átlagos együttozgása nulla, azaz nincs együttozgás a tényezıváltozók között, akkor a göb arra az egyetlen pontra redukálódik, elynek inden koordinátája Tričković [976]. 85
BUDAPESTI GAZDASÁGI FİISKOLA MAGYAR TUDOMÁNY NAPJA, 008 egy. Minél nagyobb értékő a változók átlagos együttozgása, annál nagyobb lesz a göb sugara, azaz annál nagyobb értékő a göb felfújódása. Abban az esetben, ha a változók átlagos együttozgása egy, azaz inden tényezıváltozó-páros közötti korrelációs együttható abszolút értéke egy, akkor a göb sugara ( ). Terészetesen a göbök ne inden pontja jelent létezı korrelációs struktúrát, hiszen a göbökön a sajátértékek olyan kobinációi is egtalálhatóak, aelyek korrelációs átrixok esetén ne lehetségesek. Kérdés, hogy a göbök ely pontjai jelentenek létezı korrelációs struktúrát? Ezeket a sajátértékkobinációkat a továbbiakban röviden csak lehetséges sajátértékeknek fogo nevezni. A lehetséges sajátértékek vizsgálatához figyelebe kell vennünk a korrelációs átrix sajátértékeinek tulajdonságait. Mivel a sajátértékek összege egegyezik a tényezıváltozók száával, azaz a göb dienziójával, ezért a lehetséges sajátértékek biztosan az (5) egyenlettel adott göbök és (6) etszetein helyezkednek el. λ (6) A továbbiakban az általánosság egszorítása nélkül feltehetjük, hogy i = ax = λ λ K λ λ = λ A (6) képletbıl a legkisebb sajátértéket kifejezve és az (5) egyenletbe behelyettesítve az alábbi egyenletet kapjuk. in ( λi ) + λi = ( ) Re d Az egyenletet rendezve az alábbi egyenletet kapjuk. ( ) ( ) λi λi + λi λ j + = Re d j= j> i A (7) egyenlet azt jelenti, hogy a lehetséges sajátértékeket adott Red érték ellett egy ( )-dienziós ellipszoid tartalazza. Speciálisan háro tényezıváltozó esetén az ellipszisek valaely pontjai jelentik a lehetséges sajátértékeket. A odell elliptikus elnevezése a görbék jellegébıl adódik. Látható, hogy a (7) egyenlet alapján a sajátértékek száához képest egygyel alacsonyabb dienzióban kapjuk eg a sajátértékek reprezentációját. Ha a tényezıváltozók száa háro, akkor a (7) egyenlet az alábbi forában írható fel: λ + λ 3λ 3λ + λλ + 3 = 3Re d (8) Háro tényezıváltozó esetén a lehetséges sajátértékek tartoányának körülhatárolása a (6) képleten túl további háro feltétel egadásával lehetséges. A sajátértékek közötti relációt figyelebe véve: λ λ. A sajátértékek közötti relációt figyelebe véve: λ λ3 = 3 λ λ, ezért 3 λ λ (7) 86
KOVÁCS P.: A MULTIKOLLINEARITÁS VIZSGÁLATA ÉS MODELLEZÉSE... Továbbá λ + λ 3. Ez a feltétel ár tartalazza a λ + λ3 3 és λ + λ3 3 feltételeket is. A különbözı Red értékek elletti szintvonalak közül néhány szeléltetését a 3. ábra tartalazza. Az ábrázolás a két legnagyobb sajátérték függvényében történik. Tehát háro dienzió esetén a lehetséges sajátértékek a 3. ábra hároszögében találhatóak. Az extré ultikollinearitás eseteit az ellipszisek és a λ = 3 λ egyenes etszéspontjai adják. Ebbıl is látható, hogy az extré ultikollinearitás különbözı esetei is egkülönböztethetıek a Red-utató segítségével. 3. ábra A ultikollinearitás elliptikus odellje háro tényezıváltozó esetén (saját szerkesztés) A következıkben háro tényezıváltozó esetén beutato az ellipszisek néhány sajátosságát. () Ha nagyobb a tényezıváltozók együttozgásának értéke, az ellipszisek lehetséges tartoányba esı szakasza jobbra tolódik. () Az epirikus tapasztalatok szerint, adott Red érték ellett, a λ sajátérték növekedése a λ sajátérték nagyobb értékő csökkenésével jár együtt, ezért a legkisebb sajátérték is növekedni fog, ivel a sajátértékek összege háro. (3) Azon korrelációs átrixok elhelyezkedése, aelyek indegyik diagonálison kívüli elee egegyezik ekkor Red = r = Rij(i j) a lehetséges tartoány alsó határán találhatóak. Ekkor a korrelációs átrix deterinánsa egegyezik az 3Red + Red 3 kifejezés értékével. 87
BUDAPESTI GAZDASÁGI FİISKOLA MAGYAR TUDOMÁNY NAPJA, 008 (4) Az epirikus tapasztalatok szerint egy adott ellipszisen felfelé haladva a sajátértékek szorzata csökken, azaz a korrelációs átrix deterinánsa egyre kisebb (4. ábra). Így rögzített ellipszisen, azaz adott Red-érték ellett a korrelációs átrix deterinánsa beleesik a [ax( 3Red Red 3 ;0); 3Red Red 3 ] tartoányba. 4. ábra A tényezıváltozók korrelációs átrixa deterinánsának szintvonalai háro tényezıváltozó esetén (saját szerkesztés) (5) Érdekes kérdés lehet, hogy a korrelációs átrix közül egyetlen sajátértéke alapján, ilyen becslés adódik a Red-utató értéke. Ezek a tartoányok a lehetséges tartoányok és az ellipszisek etszéspontjaiból adódnak. Például, a legnagyobb sajátérték alapján az alábbiakat kapjuk. Ha λ,5, akkor λ Re d [ ; λ ], továbbá, ha λ,5, akkor λ (λ 3) + 3 Re d [ ; ] A legnagyobb sajátérték függvényében a Red-utató lehetséges értékeinek tartoányát szelélteti az 5. ábra. 88
KOVÁCS P.: A MULTIKOLLINEARITÁS VIZSGÁLATA ÉS MODELLEZÉSE... 5. ábra A Red-utató lehetséges legkisebb és legnagyobb értéke a legnagyobb sajátérték függvényében háro tényezıváltozó esetén (saját szerkesztés) (6) Érdekes kérdés lehet, egy ásik ultikollinearitás érıszá tartoányi bejárását is egvizsgálni és összehasonlítani az ellipszisekkel. Például, a legnagyobb és a legkisebb sajátértékek hányadosait (kondíciószá) vizsgálva egállapítható, hogy a hányadosok rögzített értéke ellett, a lehetséges sajátérték-kobinációk egy egyenesen helyezkednek el. Ezeknek az egyeneseknek közös pontja a (0;3) pont, továbbá ezek a ultikollinearitás értékének növekedésére egyre jobban közelítenek a tartoány λ = 3 λ határához (6. ábra). A sajátérték legnagyobb és legkisebb értékének hányadosát egbecsülhetjük a Red-utató rögzített értéke ellett és fordítva. Ehhez a lehetséges sajátértékek tartoányának határán kell eghatároznunk az ellipszisek és az egyenesek etszéspontjait. Nyilvánvaló, hogy a tartoány alsó határán határozhatjuk eg a hányados iniális értékét, íg a felsı határán a axiális értékét. Elondható, hogy ha Red < 0,5, akkor ha Red 0,5, akkor 7. λ + Re d λ Re d 3 + Re d ; Re d, λ + Re d 8. ; + λ Re d 3 Fordítva: ha a sajátérték legnagyobb és legkisebb értékének hányadosa rögzített, véges érték, akkor 89
BUDAPESTI GAZDASÁGI FİISKOLA MAGYAR TUDOMÁNY NAPJA, 008 9. ellenkezı esetben Red 0,5. λ λ3 Re d λ + λ3 ; λ λ3 λ + λ3 6. ábra A legnagyobb és a legkisebb sajátérték hányadosának viselkedése háro tényezıváltozó esetén (saját szerkesztés) Magasabb dienziók esetében a fenti gondolatenet alapján a lehetséges sajátértékek ábrázolása nehézkes a feltételek agas száa iatt. Ezért agasabb dienziókban csak azt állíthatjuk biztosan, 90
KOVÁCS P.: A MULTIKOLLINEARITÁS VIZSGÁLATA ÉS MODELLEZÉSE... hogy a változók átlagos együttozgásának növekedésével a vizsgált - dienziós göb sugara nı. Továbbá, a Red-utató rögzített értéke ellett a lehetséges sajátértékek egy ( )-dienziós ellipszoid felület részén helyezkednek el. Hasonló ábrázolás a szakirodaloban a lineáris korrelációs együtthatókra vonatkozóan létezik. Ezek egy elliptópot alkotnak (BOLLA KRÁMLI, [005]). Magasabb dienziókban az ábrázolás ilyen egközelítési ódja is nehézkes. Összegzés A redundancia és így a ultikollinearitás egy lehetséges érıszáa a PETRES-féle Red-utató. A Red-utató definiálásakor a tényezıváltozók korrelációs átrixának sajátértékeit alkalazzuk. A ultikollinearitást ne csak változók, hane változócsoportok is okozhatják. Megállapítható, hogy ennek egyik speciális esete a Red-utató segítségével, íg egy ásik speciális esete a VIFj-utatók haronikus átlagának segítségével érhetı. Új egközelítésként isertette a ultikollinearitás egy új odellezési lehetıségét, a Red-utatóra épülı elliptikus odellt. A lehetséges sajátértékek egy -dienziós göbnek egy etszetén helyezkednek el úgy, hogy rögzített Red érték ellett ezek egy ( )-dienziós ellipszoidon helyezkednek el. Beutatta a odell néhány jellezıjét háro tényezıváltozó esetén. Sajnos agasabb dienziókban, a feltételek agas száa iatt egyelıre nehézkesnek tőnik a lehetséges sajátértékek pontos behatárolása, illetve ezek grafikus reprezentációja. Irodalo BOLLA M. KRÁMLI A. [005]: Statisztikai következtetések elélete, Typotex Kiadó, Budapest. FÜSTÖS L. KOVÁCS E. MESZÉNA GY. SIMONNÉ M. N. [004]: Alakfeliserés (Sokváltozós statisztikai ódszerek), Új Mandátu Kiadó, Budapest. HAJDU O. [003]: Többváltozós statisztikai száítások, Központi Statisztikai Hivatal, Budapest. KOVÁCS P. PETRES T. TÓTH L. [005]: A new easure of ulticollinearity in linear regression odels, International Statistical Review (ISR), Volue 73 Nuber 3, Voorburg, The Netherlands, 405-4. oldal KOVÁCS P. [008]: A ultikollinearitás vizsgálata lineáris regressziós odellekben, Statisztikai szele, 86. évfolya. szá, 38-67. oldal. KOVÁCS P. [008]: A ultikollinearitás vizsgálata lineáris regressziós odellekben, A Petres-féle Red-utató vizsgálata, doktori értekezés, 0 oldal. TRIČKOVIĆ V. [976]: Teorijski odeli i etodi kvantitativnog istraživanja tržišta, Institut za ekonoiku industrije, Beograd. 9
BUDAPESTI GAZDASÁGI FİISKOLA MAGYAR TUDOMÁNY NAPJA, 008 9