ADATÁLLOMÁNYOK REDUNDANCIÁJÁNAK MÉRÉSE KOVÁCS PÉTER PETRES TIBOR TÓTH LÁSZLÓ Nagy ennyiségű adatokat tartalazó álloányok gyakran kevés inforációt hordoznak. Ennek oka az adatálloány adatait tartalazó változók közötti kapcsolattal agyarázható. Ez a kapcsolat lényegében egyfata redundanciaként is értelezhető. A tanulányban a redundancia érésére szolgáló avasolt ú érőszá található. Ezzel a utatóval, aely a változók korrelációs átrixának saátértékeire épül, százalékosan is lehetséges érni a kollinearitás értékét. Abban az esetben, ha inden egyes saátérték eggyel egyenlő, akkor a utató értéke nulla százalék; ha pedig az első kivételével az összes többi saátérték nullával egyenlő, akkor a utató értéke 00 százalék. TÁRGYSZÓ: Adatálloányok redundanciáa. Multikollinearitás. Korrelációs átrix spektrálfelbontása. Többváltozós epirikus elezéseknél az egyik leggyakrabban alkalazott odell az ~ y Xβ ~ ~ + ε standard lineáris regressziós odell, aelyben ezúttal az eredeti adatok helyett, azok átlagától vett eltérései szerepelnek. A odell specifikációának fontos részét alkoták többek között az alábbi feltételek is. A agyarázóváltozók lineárisan függetlenek. A agyarázóváltozók ne sztochasztikusak. Az ε hibatagok konstans varianciáú, korrelálatlan valószínűségi változók, elyek együttesen norális eloszlást követnek. Nagy ennyiségű adatból álló adatálloányok különösen, ha idősoros elezésről van szó gyakran kevés inforációt tartalaznak. Ezért epirikus elezéseknél fontos tudni, hogy az n éretű ( << n) agyarázóváltozókból álló X ~ átrix adatai az // szerinti standard lineáris regressziós odell ~ ~ ~ ( X X) X ~ y ˆ β ~ // becslőfüggvényének alkalazása szepontából ennyi hasznos tartalat hordoznak, ait a változók együttozgása nagyértékben befolyásol. // Statisztikai Szele, 8. évfolya, 004. 6 7. szá
596 KOVÁCS PÉTER PETRES TIBOR TÓTH LÁSZLÓ Az epirikus vizsgálatoknál a agyarázóváltozók között deterinisztikus kapcsolat helyett inkább sztochasztikus kapcsolat elentkezik. Ha a tényezőváltozók együttozgása elentős, akkor az // odell alapán becsült regressziós együtthatók ˆ~ ~ ~ Var ( β) σ (X X) /3/ szórásnégyzetei a /3/ képletben szereplő invertálás következtében túl nagyok lesznek, így a változók egyenkénti hatásának elezése érteletlenné válik. Ezért szükséges a ultikollinearitás szászerűsítése. A szakirodaloban ennek száos érőszáa iseretes, de egyik se tekinthető egyben szintetikus és norált utatónak. A továbbiakban a telesség igénye nélkül egelítünk néhányat. Az egyik leggyakrabban alkalazott utató az M, aelynek definícióa a következő: M R ( Ry.x,x, K,x Ry.x,x, K,x,x,,x ) y.x,x,,x + K K. /4/ A utató nagy értékei erős, kis értékei gyenge redundanciát settetnek. A többszörös deterinációs együtthatóhoz közeli értéke elentős ultikollinearitást elez. Az M egyik gyakran elegetett hiányossága az, hogy értéke negatív is lehet. Manapság igen népszerű a VIF (Variance Inflator Factor) utató, aely szeben az M-el ne szintetikus utató, hiszen inden agyarázóváltozóra külön-külön száítható, és az egyes agyarázóváltozók variancianövelő hatását utata változónként elkülönítve: VIF. /5/ R x. x, x, x, x +, x Fontos tuladonsága ennek a utatónak, hogy ha a -edik tényezőváltozó lineárisan független a többi agyarázóváltozótól, akkor e utató értéke eggyel egyenlő. Extré ultikollinearitás esetén a utató értéke végtelen. A /7/ szerint standardizált agyarázóváltozók esetén ( X X). VIF A Belsley-féle γ a norált agyarázóváltozók saátértékeit használa fel a ultikollinearitás ellezésére az alábbi ódon: ax γ. /6/ in Ugyanis, a agyarázóváltozók korrelációs átrixa alapán felírható az r x össze-. x, x, K, x, x +, K, x R függés, elyet az /5/ képletbe helyettesítve a ( X X) VIF összefüggést kapuk. VIF R forulát nyerük. Ekkor /8/ figyelebevételével az
ADATÁLLOMÁNYOK REDUNDANCIÁJÁNAK MÉRÉSE 597 A utató értéke ultikollinearitás hiánya esetén eggyel egyenlő. A zavaró ultikollinearitásnak nincs egyértelű küszöbértéke, egyes szerzők szerint a utató 30 feletti értéke elez erős ultikollinearitást. A továbbiakban egy ú érőszá kerül beutatásra, aely az adatálloány adatainak átlagos együttozgását szászerűsíti, és a ultikollinearitás szintetikus és norált utatóának tekinthető. A utató az alábbiakban isertetett gondolateneten alapul. Ha az eredeti adatokat tartalazó adatálloányban szereplő tényezőváltozókat standardizáluk a n σ /7/ nevezővel, ahol σ a -edik tényezőváltozó tapasztalati szórásnégyzete, akkor az így standardizált változókra vonatkozóan fennáll az X X R /8/ összefüggés. Ennek a átrixnak a spektrálfelbontásával kapott saátértékek négyzetösszege, szietrikus átrixról lévén szó, egegyezik a átrix eleeinek négyzetösszegével. ri i /9/ Ha a agyarázóváltozók forrásául szolgáló adatálloány a vizsgálat szepontából redundáns, akkor // alkalazásának szepontából ne indegyik adat hordoz hasznos tartalat. Minél kisebb a hasznos tartalat hordozó adatok aránya, annál nagyobb a redundancia értéke. Ez a tényezőváltozók nagyértékű együttozgásának következénye. A redundancia szászerűsítésére a tényezőváltozók (pozitív szeidefinit) korrelációs átrixának (nenegatív) saátértékei is alkalasak. Ugyanis, /9/ szerint, inél nagyobb értékben szóródnak a saátértékek, annál nagyobb a agyarázóváltozók együttozgása. Két szélsőséges eset létezik: inden saátérték egyenlő egyással (azaz értékük egy), illetve egy saátérték kivételével indegyik saátérték nullával egyenlő. A diszperzió értékét szászerűsíthetük a saátértékek relatív szórásával vagy (ebben az esetben az ezzel egyenlő) szórásával. ν σ ( ) ( ) ( ) σ, /0/ ahol a tényezőváltozók /8/ szerinti korrelációs átrixának saátértékeit elöli.
598 KOVÁCS PÉTER PETRES TIBOR TÓTH LÁSZLÓ Különböző adatálloányok redundanciáának összevethetősége végett a ν utatót norálni kell. Mivel a saátértékek nenegatívak, ezért a relatív szórásra vonatkozó 0 ν // összefüggés iatt, a norálás a kifeezés értékével történik. Az így kapott utatót a továbbiakban a redundancia értékének szászerűsítésére foguk használni, és segítségével a Red-utatót az alábbiak szerint definiáluk. ν R ed // A redundancia hiánya esetén a Red-utató értéke nulla, illetve nulla százalék, íg axiális redundancia esetén egy, illetve száz százalék. A Red-utató a vizsgált, adott éretű adatálloány redundanciáát éri. Két vagy több különböző éretű adatálloány redundanciáának összevetésekor a Red-utatók alapán csak annyi állítható, hogy az egyes adatálloányok ennyire redundánsak, de arra vonatkozó közvetlen kielentés ne tehető, hogy ezek közül elyiknek van több hasznosítható adata. A Red-utató szászerűsíthető a saátértékek iserete nélkül is, ha az eredeti adatokat tartalazó adatálloányban szereplő tényezőváltozókat /7/ szerint standardizáluk. Ekkor a /9/ összefüggés alapán a Red-utató értéke ne ás, int az R korrelációs átrix főátlón kívüli eleeinek négyzetes átlaga. Red ν ri ri i i ( ) ( ) i, /3/ azaz, figyelebe véve a tr ( A + B) tr ( A) + tr( B), a tr ( R ) és a összefüggéseket, az alábbi képletet kapuk. tr (I) Red tr( R I)) tr( (X X)(X X) I)). /4/ ( ) ( ) A /4/ összefüggés obb oldala szerint a Red egy szintetikus utató, ivel az egész adatálloány átlagos együttozgását szászerűsíti. Ráadásul a ultikollinearitást szászerűsítő, isert utatóktól eltérően a Red-utató inőségében és nagyságában is pontosabban ellezi az együttozgást. A utató segítségével egkülönböztethetük az extré ultikollinearitás különböző eseteit is. Értéke akkor a legnagyobb, ha a korrelációs átrix összes elee eggyel egyenlő.
ADATÁLLOMÁNYOK REDUNDANCIÁJÁNAK MÉRÉSE 599 ( Mivel a ultikollinearitás zavaró hatása a becsült paraéterek varianciáának és standard hibáának növekedésében utatkozik eg, a továbbiakban vizsgáluk eg a Var βˆ ) azaz a standardizált változókat tartalazó lineáris regressziós odell illesztése után kapott becsült paraéterek szórásnégyzetei és a Red közötti összefüggést. Ekkor /3/ és /8/ figyelebevételével a korrelációs átrix spektrálfelbontása alapán a becsült paraéterek variancia-kovarianciaátrixa felírható az alábbi forában is. E[ ( βˆ β)(βˆ β) ] Var(ˆ) β σ R σ UΛ U /5/ A saátvektorok U u ],,, K, l,, K, [ l átrixa és az A a ] [ ],,, K, l,, K, [ l u l l főkoponenssúly-átrix között fennálló kapcsolat alapán /5/ felírható az alábbi forában. u l a l σ l l l l Var (ˆ β ) σ /6/ Mivel a főkoponenssúly-átrix oszlopaiban az eleek négyzetösszege éppen a egfelelő saátértéket ada, ezért a varianciák összegére a következő összefüggést kapuk. a l a l Var ˆ l l l l l l ( β ) σ σ σ /7/ Ezek szerint a varianciák értékét végső soron a saátértékek befolyásolák: ha legalább egy nagyon közel van nullához, akkor igen nagy értékben növekszik a becsült paraéterek varianciáinak átlaga. Az, hogy legalább egy saátérték közel esik-e nullához, egyértelűen az adatálloány adatainak együttozgásától, azaz a ultikollinearitás értékétől függ. A és a l l l in in Var( βˆ ) σ (X X) σ A téával kapcsolatban bővebb inforáció található például a következő tankönyvben: Petres T. Tóth L. [00]: Statisztika. Jatepress. Szeged.
600 KOVÁCS PÉTER PETRES TIBOR TÓTH LÁSZLÓ összefüggések következénye az alábbi egyenlőtlenség. σ σ Var(ˆ β ) /8/ Ha inden egyes tényezőváltozó az összes többivel korrelálatlan (például főkoponens), akkor a /8/ egyenlőtlenség egyenlőségbe egy át, hiszen ekkor indegyik saátérték egy. Aennyiben valaelyik saátérték nulla, akkor a becsült paraéterek varianciái /7/ szerint végtelenbe tartanak. A becsült paraéterek varianciáinak összege akkor véges, ha a saátértékek iniua pozitív. Adott ellett a saátértékek iniua akkor nulla, ha valaelyik agyarázóváltozó lineárisan függ a agyarázóváltozók egy részrendszerétől. Ekkor a Redutató értéke akkor iniális, ha tényezőváltozó ortogonális, azaz lineárisan korrelálatlanok, és egy tényezőváltozó lineárisan függ valaelyik agyarázóváltozótól. Ekkor a Red-utató értéke: in Red. c ( ) /9/ Tehát, ha egy adatálloány redundanciáának értéke kisebb a Red c kritikus redundanciaértéknél, akkor a lineáris regressziós odell illesztése után kapott becsült paraéterek szórásnégyzetei biztosan végesek. Ha egy adatálloány redundanciáának értéke nagyobb a Red c kritikus redundanciaértéknél, akkor a lineáris regressziós odell illesztése után kapott becsült paraéterek szórásnégyzeteiről ne állíthatuk biztosra, hogy végesek. Ezért ez a határpont egyfata kritikus értékként is értelezhető. A kritikus redundanciaértékeket az ábra és az. tábla tartalazza. Red c,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0,0 A véges varianciákhoz tartozó kritikus redundanciaérték 0 0 40 60 80 00
ADATÁLLOMÁNYOK REDUNDANCIÁJÁNAK MÉRÉSE 60 A véges varianciákhoz tartozó kritikus redundanciaérték Red c Red c Red c Red c,0000 7 0,0534 5 0,075 77 0,085 3 0,5774 8 0,054 53 0,069 78 0,08 4 0,408 9 0,0496 54 0,064 79 0,080 5 0,36 30 0,0479 55 0,059 80 0,078 6 0,58 3 0,0464 56 0,055 8 0,076 7 0,8 3 0,0449 57 0,050 8 0,074 8 0,890 33 0,0435 58 0,046 83 0,07 9 0,667 34 0,04 59 0,04 84 0,069 0 0,49 35 0,040 60 0,038 85 0,067 0,348 36 0,0398 6 0,034 86 0,065 0,3 37 0,0387 6 0,030 87 0,063 3 0,3 38 0,0377 63 0,06 88 0,06 4 0,048 39 0,0367 64 0,03 89 0,060 5 0,0976 40 0,0358 65 0,09 90 0,058 6 0,093 4 0,0349 66 0,06 9 0,056 7 0,0857 4 0,034 67 0,03 9 0,055 8 0,0808 43 0,0333 68 0,00 93 0,053 9 0,0765 44 0,035 69 0,006 94 0,05 0 0,075 45 0,038 70 0,003 95 0,050 0,0690 46 0,03 7 0,00 96 0,048 0,0658 47 0,0304 7 0,098 97 0,047 3 0,069 48 0,098 73 0,095 98 0,045 4 0,060 49 0,09 74 0,09 99 0,044 5 0,0577 50 0,086 75 0,090 00 0,04 6 0,0555 5 0,080 76 0,087 0 0,04. tábla Példa Az elített összefüggések szeléltetése végett vizsgálunk két, azonos éretű adatálloányt. Ezeket a. és a 3. tábla tartalazza. Szászerűsítsük az adatok átlagos együttozgását ellező szintetikus Red-utatót! A ásodik tábla standardizált adatai alapán: Red 0,4434. Ez azt elenti, hogy az adott éretű és iniális redundanciáú adatálloányhoz képest a hasznos tartalat hordozó adatok aránya 55,66 százalék, azaz az adatok átlagos együttozgásának a axiálishoz viszonyított értéke 44,34 százalék. A 3. tábla standardizált adatai alapán: Red 0,6. Ez azt elenti, hogy az adott éretű és iniális redundanciáú adatálloányhoz képest a hasznos tartalat hordozó adatok aránya 73,88 százalék, azaz az adatok átlagos együttozgásának a axiálishoz viszonyított értéke 6, százalék. Az epirikus egfigyelések szerint az idősoros adatok többnyire különösen fogyasztáselezésnél együtt ozognak, és ennek értéke a keresztetszeti adatokkal összevetve óval nagyobb. Ezért a két vizsgált azonos éretű adatálloány redundanciáának elentős eltérése előre sethető volt, hiszen az első álloányt idősoros, íg a ásodikat keresztetszeti adatokból állították össze. Mivel indkét adatálloánynál a Red kiszáított értéke a hozzáuk tartozó kritikus redundanciaértéknél ( ; Red c 0,348) nagyobb, ezért a becsült paraéterek szórásnégyzeteinek átlaga elvileg végtelen is lehet.
60 KOVÁCS PÉTER PETRES TIBOR TÓTH LÁSZLÓ Éleliszerek egy főre utó hazai fogyasztása (kilogra) Év Hús a) Hal Te b) Toás c) Zsiradékok d) Liszt és rizs Burgonya Cukor és éz Zöldség, gyüölcs e). tábla Egyéb növényi eredetű éleliszerek f) 977 68,9,5 43,6 7, 9,4 8,9 60,5 35, 64,0 4, 978 7,,6 53,3 7,4 9,8 8,5 60,5 36,6 57,4 4,0 979 70,4,5 60,4 8, 30, 6,9 6,3 34,4 64,6 4, 980 7,8, 66, 7,6 30,5 5, 6, 38, 54,6 4, 98 73,0,4 7,5 7,4 3,0 3,4 59, 35,8 53,7 4, 98 74,6, 74,8 7, 3,8 3, 57,0 38,4 58,3 4, 983 75,8,6 8,4 8, 3,9,4 57,9 36,0 55,3 4, 984 75,5,5 85,0 7,8 33,5,3 59,3 34,6 48,7 4, 985 77,4, 83, 8, 34, 0,8 54,5 35,9 47,5 4,0 986 78,9, 85,6 7,8 34, 0, 50,4 36, 50, 4, 987 79,, 99, 8, 37,6 3,0 50,5 40,5 54,3 4, 988 76,4,3 95,6 0,0 37,0 09,3 56, 34,7 6, 4,0 989 78,,8 89,6 0, 39,, 55, 40,9 59,6 4,0 990 73,,7 69,7,6 38,6 0,3 6,0 38,6 55,4 3,3 99 7,5,6 67,4 9,8 37,0 0,6 55,3 35,4 54, 4,0 99 73,0,9 59, 8,8 37,5 05,6 56,0 39,9 57,3 4, 993 67,5 3,0 44, 0,3 36,8 97,4 59,3 36, 60,5 4,0 994 65,9 3, 40,0 8,8 38, 9,3 58, 34,6 55,5 3,9 995 6,5,7 3, 6,5 36,7 88, 60,3 37,8 48,4 3,7 996 59,4,5 36,4 4,8 35,7 84,6 66, 40,3 5,9 4,0 997 58,,7 56,4 4,8 36, 88, 65,3 40, 59, 4, 998 60,9,8 49,6 4,7 36, 84, 67,4 4, 6,9 4,9 999 60,5,8 5,7 5, 34, 90,4 68,0 38,3 6,6 5, 000 70, 3,0 60,6 5,3 39,0 94, 64,0 33,6 7,7 4, 00 67,5,9 44, 5,8 37,4 95,4 68, 30,6,6 3,7 a) Sertés-, arha-, ló- és uhhús, belsőség, barofihús; 970-től vad, kecske, házinyúl is. b) Egy liter,030 kilogra. c) Egy kilogra toás átlagosan 8 darab. d) Sertés- és barofizsiradék, va, étola és argarin. e) Zöldségfélék, hazai és déligyüölcs. 000-től a feldolgozott terékek friss súlyban száolva. f) Száraz hüvelyesek, dió, ák, kakaó. Megegyzés. Mindegyik terékcsoport alapanyagsúlyban, készítényekkel együtt. Forrás: Éleliszerérlegek és tápanyagfogyasztás, 970 00 [003]. Központi Statisztikai Hivatal. Budapest. Az egy főre utó éleliszer- és tápanyagfogyasztás nezetközi adatai, 000 (kilogra) Ország Hús Hal Te Toás Állati Növényi Cereália Burgonya Cukor zsiradék olaok 3. tábla Zöldség Gyüölcs Ausztria 07 5 83 4 8 3 66 43 96 9 Belgiu* 88 6 6 3 08 5 48 47 Dánia 6 7 34 4 6 7 8 84 36 05 03 Egyesült Királyság 79 0 7 0 08 09 34 84 84 Finnország 67 3 350 9 0 5 70 37 7 85 (A tábla folytatása a következő oldalon.)
ADATÁLLOMÁNYOK REDUNDANCIÁJÁNAK MÉRÉSE 603 Ország Hús Hal Te Toás Állati Növényi Cereália Burgonya Cukor zsiradék olaok (Folytatás.) Zöldség Gyüölcs Franciaország 09 3 59 6 9 7 5 67 36 3 94 Görögország 93 5 65 0 4 7 5 7 30 93 6 Hollandia 93 68 0 0 6 74 85 45 84 7 Írország 09 6 7 8 6 5 8 5 40 73 88 Néetország 88 5 3 97 80 36 74 3 Olaszország 96 5 65 0 7 60 40 9 86 4 Portugália 97 76 07 0 7 34 5 3 77 33 Spanyolország 8 45 6 5 8 00 85 30 57 7 Svédország 7 3 345 3 7 7 0 54 44 7 99 Bulgária 69 4 64 4 3 04 3 7 40 53 Csehország 8 3 04 6 9 7 06 80 38 76 69 Horvátország 37 6 57 9 4 0 93 5 04 8 Jugoszlávia 96 63 7 3 8 98 38 6 95 6 Lengyelország 7 90 4 3 54 35 4 5 46 Magyarország 70 3 6 5 8 94 64 33 09 09 Norvégia 6 5 6 0 8 4 3 66 44 59 08 Roánia 50 89 0 4 3 90 90 3 37 55 Szlovákia 70 7 3 3 7 8 3 78 35 8 63 Szlovénia 03 7 7 0 36 63 6 89 8 Svác 76 9 86 0 0 6 4 44 97 06 * Luxeburggal együtt. Forrás: Éleliszerérlegek és tápanyagfogyasztás, 970 00 [003]. Központi Statisztikai Hivatal. Budapest. * A tanulány a ultikollinearitás egy ú utatószáának (Red) alkalazását avasola. A bevezetett utatószá koplex, abban az érteleben, hogy ne egyes változók parciális hatásait, hane a agyarázóváltozók egész rendszerében egbúvó redundanciát próbála eg szászerűsíteni. Ebből a koplexitásból az is következik, hogy az egyes becsült paraéterek ultikollinearitás okozta variancia-növekedésére ne, csak azok összegére vagy átlagára tud agyarázatot találni a Red-utató segítségével. Mivel a avasolt utatószá eléleti és epirikus tuladonságai ég korántse tisztázottak véglegesen, az erre vonatkozó kutatások se tekinthetők lezártnak. IRODALOM BELSLEY, D. A. KUH, E. WELSCH, R. E. [980]: Regression diagnostics: identifying influential data and sources of collinearity. John Willey. New York. GREENE, W. H. [993]: Econoetric Analysis. Macillan Publishing Copany. New York. HUNYADI L. [00]: Statisztikai következtetéselélet közgazdászoknak. In: Statisztikai ódszerek a társadali és gazdasági elezésekben. Központi Statisztikai Hivatal. Budapest. PETRES T. TÓTH L. [004]: Piaci inforációk és a ultikollinearitás. SZTE GTK Tudoányos közleények. Szeged. SUMMARY Huge data sets with lot of data very often contain little aount of inforation. It is due to the collinearity of the variables of the given database. This collinearity is in fact a kind of redundancy of database.
604 KOVÁCS PETRES TÓTH: ADATÁLLOMÁNYOK REDUNDANCIÁJÁNAK MÉRÉSE In the study a new indicator easuring the redundancy is proposed. This indicator, which is based upon the eigenvalues of the correlation atrix of the regressors, is capable to quantify the percentage of collinearity fro 0 percent (all eigenvalues are equal to ) to 00 percent (all eigenvalues, except the first, are equal to 0). Soe properties of the proposed indicator are shown via an exaple containing the coparison of the redundancy of tie series and cross sectional data sets.