DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI Dmezó redukcó Absztrakt Adatelemzésekél az alkalmazható eljárásókat jeletős mértékbe befólyásólja a redelkezésre álló adatok száma és dmezója. A sokdmezós adatok kezelése, ábrázolása komoly ehézségeket jelet, ezért fotos az adatok hatékoyabb, ksebb dmezós ábrázolása. Sok esetbe a sokdmezós adatok valójába ksebb dmezós térbe s reprezetálhatóak leéek. Ehhez haszos, ha az adatok struktúráját, az adatok fotos rejtett kompoeset megkséreljük felderíte, és ezáltal a sokdmezós adatok ksebb dmezós reprezetácóját előállíta. Ez az összefoglaló - a teljesség géye élkül - a dmezóredukcó legfotosabb leárs és emleárs eljárásaról ad egy áttektést. A hagsúlyt a PCA-ra és eek változatara helyez, mközbe említést tesz éháy tovább eljárásról s. Kulcsszavak: Dmezóredukcó, főkómpóes aalízs, altér módszerek, kerel reprezetácó Bevezetés Adatelemzésekél a megfelelő módszerek kválasztását dötő módó befólyásólja, hógy mlye adatok állak redelkezésükre, és az adatokról mlye smeretük va. A köye hózzáférhető és egyre övekvő számítás kapactás, továbbá az ólcsó adattárólás lehetőségek matt egyre kább érdemes a legkülöbözőbb területekről adatókat gyűjte, mthógy eze adatók a vzsgált területről többyre rejtve fotos smereteket tartalmazak. Az adatelemzés eljárásók feladata dötőe éppe az, hogy segítse kyer ezeket a rejtett smereteket, segítse a vzsgált témakörre voatkozó új felsmeréseket megfogalmaz. Az adatgyűjtés köyű és ólcsó lehetősége következtébe agy adathalmazok keletkeztek, agymeységű adat áll redelkezésükre, melyek elemzésére hatékóy módszerek kdólgózása vált szükségessé. Mél teljesebb az adatok jellemzése, aál hatékoyabb eljárást tuduk kválaszta. Bár az adatok a legkülöbözőbb fórmába állhatak redelkezésükre lehetek számszerű adatak, de lehetek szöveges adatak, lletve képek fórmájába, stb. megjeleő adatak s a továbbakba adatoko mdg umerkus értékek együttesét fogjuk érte. Az adathalmazuk mde elemét egy szám -essel jellemezhetjük, vagys egy olya -dmezós x vektorral, mely vektor mde kompoese egy (valós) szám. Abból duluk k tehát, hogy redelkezésükre áll x 1, ahol x R -re. Az adatelemzés feladatok általába az adatók struktúrájáak, az adatokat leíró modellek a felderítését jeletk, pl. az adatók elhelyezkedését keressük az -dmezós térbe, vagy az egyes vektorok kompoese között esetleges kapcsolatok felderítése a cél. Adatak legteljesebb jellemzését az jeleteé, ha smerék az adatok eloszlását, smerék az adatok -dmezós sűrűség-, vagy eloszlásfüggvéyét. Feltételezzük tehát, hogy adatak valószíűség vektórváltózók kókrét realzácó, mely feltételezést legkább az dokolja, hogy az adatok legtöbbször mérések eredméyekét születek, mely méréseket bzoytalaság s jellemez. Az adatok eloszlását általába em smerjük, legtöbbször mdössze az adathalmaz eleme állak redelkezésükre, tehát az db -dmezós vektor. 1
A dmezó átka Adott tehát egy -dmezós térbe mtapot. Fotos kérdés, hogy mlye vszoyba va egymással az adatok száma, és az adatok dmezója,. Bár elvleg mde adatkompoesük tetszőleges valós szám lehet, a valóságba az adatkompoesek csak dszkrét értékeket vehetek fel, vagys az -dmezós tére értelmezük egy valamlye fomságú térbel rácsot. A lehetséges dszkrét értékek száma a rács felbotásától és a dmezótól függ. Feltételezve, hogy mde dmezó meté M külöböző értékük lehet, egydmezós esetbe az összes lehetséges dszkrét adat száma M, kétdmezós esetbe M és -dmezós esetbe M. A lehetséges külöböző adatók száma tehát a dmezóval expoecálsa ő. Ahhoz tehát, hogy -dmezós adatok mellett a teljes adatteret egyeletese ktöltsük adatokkal, vagys mde lehetséges dszkrét mtapot az adathalmazukba legalább egyszer szerepelje, a dmezóval expóecálsa övekvő számú adatra lee szükség. Ha még em s tekthető túl agyak, legye akár csak éháyszór 10, elfogadhatatla számú mtapotra lee szükségük. Pl. M=10 és =100 mellett ugya a kompo- 100 esekét lehetséges dszkrét értékek száma em agy, mégs agyságredleg 10 mtapotra lee szükségük. Ezt szokás a dmezó átkáak evez. [Bel57] A dmezóredukcó alkalmazás területe A probléma megoldását az adhatja, ha felsmerjük, hogy adatak az -dmezós mtatér adott tartomáyába em egyeletese helyezkedek el. Bzóyós résztartómáyókba sűrűsödek, míg más helyeke rtká vagy egyáltalá em fordulak elő. Az s lehetséges, hógy az adatak valójába em s -dmezósak, az -dmezós x vektorak egy -él sokkal ksebb, m-dmezós altérbe s reprezetálhatók leéek. A ehézséget csupá az okozza, hogy eze m-dmezós alteret meghatározó rejtett változókat em smerjük. A dmezóredukcó egyk fő feladata az lye rejtett változók meghatározása, vagys aak az m- dmezós altérek a meghatározása, melybe valójába megjeleek az adatak. A dmezóredukcó feladatát úgy s megfogalmazhatjuk, hogy az adatok olya ksebb dmezós reprezetácóját keressük, mely a sókdmezós térbe adótt adatak között meglévő valamlye hasolóságot, szomszédságot megtartja. A rejtett m-dmezós reprezetácó lehet az eredet adatak potos reprezetácója. Ugyaakkor számos esetbe az m-dmezós altérbe em tudjuk potosa ábrázol az adatokat, csak közelítőleg. Valójába lyekor az eredet -dmezós térből egy ólya m-dmezós altérbe törték az adatok vetítése, hogy az eredet és a vetített reprezetácójú adatok eltérése valamlye értelembe mmáls legye. Ebbe a feladattípusba az adatok közelítő, ksebb dmezós reprezetácóját keressük olya módo, hogy adott m mellett a lehető legksebb hbájú közelítést kapjuk, vagy adott hbakórlát mellett a lehető legksebb dmezós alteret találjuk meg. Ez a feladat a mmáls hbájú adattömörítés. Az adattömörítést általába az adatok hatékoyabb reprezetácója céljából végezzük, de alkalmazásával az s lehet a céluk, hógy az eredet adatókból a később feldólgózás szempotjából léyeges formácót kemeljük, és a léyegtelet elhagyjuk. Az adattömörítést ekkor léyegkemelés érdekébe végezzük. Közelítő reprezetácót kapuk akkór s, amkór az adatak valójába pótósa ábrázólhatók leéek egy m-dmezós altérbe, azóba az adatókat terhelő zaj matt hbametse ez mégsem tehető meg. Ilyekór, ha megtaláljuk a legksebb hbájú közelítő m-dmezós reprezetácót, ez valójába az adatók zajmetes reprezetácójáak felelhet meg. A feladat ekkór az adatókat terhelő zaj csökketése vagy eltütetése. A dmezóredukcót olya céllal s alkalmazhatjuk, hogy az adatakat köyebbe megjeleíthető fórmába ábrázóljuk. A sókdmezós adatók köye áttekthető megjeleítése, vzualzácója
DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI eheze oldható meg, míg legfeljebb 3D-g köye tudjuk szemléletese ábrázol az adatokat. Ilye alkalmazásokál a lehető legksebb, maxmum 3-dmezós közelítő reprezetácóját keressük az adatokak, természetese most s azo feltétel mellett, hogy a közelítés hbája adott hbadefícó mellett a lehető legksebb legye. A dmezóredukcó sorá az adatok olya kompoeset keressük, olya rejtett változókat keresük, melyek valamlye értelembe ktütetettek, vagy öálló jeletéssel redelkezek. Ilye értelembe az adatok dekompoálása s a dmezóredukcós alapfeladathóz köthető. Az adatok dekompoálása mdg feltételez egy rejtett adatmodellt, mely modell megadja a kompoeseket és az eredet adatókak a kómpóesekből való előállítás módját. Az adatok dekompoálásáak egy specáls változata, ha komplex adatok statsztkalag függetle kompoeset szereték meghatároz. A dmezóredukcós feladatók mdegyke értelmezhető úgy s, mt az adatok olya reprezetácójáak a keresése, amely sorá valamlye mellékfeltételt s teljesíte kell: keressük adott mellékfeltétel mellett az adatok optmáls reprezetácóját. A feladat tehát az m xr yr m (1) leképezés megkeresése, úgy hogy valamlye C(x,y ) krtérum (esetleg krtérumok) teljesüljö (teljesüljeek). A leképezés lehet leárs, de általáosa akár emleárs s. Az lye típusú feladatókál két ehézséggel találjuk magukat szembe. Először s meg kell találuk azt a ksebb dmezós alteret, amelybe az eredet adatók hatékóya ábrázólhatók. Másódszór, ha a megfelelő alteret megtaláltuk, el kell végezzük a bemeet adatokak az altérre való vetítését. Az előbb az alteret meghatárózó leárs vagy emleárs traszformácó defálását, az utóbb a kduló adatak traszformálásáak az elvégzését jelet. A dmezóredukcó tehát úgy s értelmezhető, hógy ólya vetítés ráyt (ráyókat) keresük, mely ráyókra törtéő vetítés adatak bzóyós fótós jellemzőt (pl. az adatok között hasolóság, külöbözőség, az adatókó értelmezett metrka, stb) megtartják, mközbe a vetítés ráyók által meghatározott altér dmezója ksebb, mt az eredet adatok dmezója. Ez az összefoglaló a dmezóredukcó éháy fotosabb eljárását tekt át rövde. A leárs eljárásók között ktütetett szerepe va a főkómpóes aalízsek (prcpal compoet aalyss, PCA), mely többféle megközelítésből s származtatható. A emleárs eljárásók tárháza ge széles. Itt csak éháy fótósabbat mutatuk be. Ezek között talá a legfótósabb a emleárs főkómpóes aalízs (PCA) és eek s az ú. kerel változata, a kerel főkómpóes aalízs (KPCA). A leárs és emleárs főkómpóes aalízssel rókó eljárásók, a fő altér (prcpal subspace) meghatározó eljárások, melyek közül éháyat szté bemutatuk rövde. A emleárs dmezóredukcós eljárások közé tartozak a (leárs) főkómpóes aalízshez hasóló fő görbe vagy fő felület (prcpal curve, prcpal surface) [Has89] eljárások, lletve a rejtett emleárs felületet közelítő lókáls leárs beágyazótt felület meghatárózását végző eljárás (locally lear embeddg LLE) [Row00] s, melyekre a jele összefoglaló em tér k, csak az rodalomra utal. Az adatok kompoesekre botása, egyes kompoesek megtartása, míg mások eldobása, szté dmezóredukcókét s értelmezhető. Az lye eljárásók között agy fótósságúak, sók gyakórlat alkalmazás feladatál merülek fel a függetle kompoes aalízs (depedet compoet aalyss, ICA) módszere, melyekek egész széles tárháza smert [Hyv01]. Végül a dmezóredukcó témaköréhez s sorolhatók azok a módszerek s, ahol az adatok olya vetítés ráyát és így az eredetél olya ksebb dmezós reprezetácóját keresük, hogy a hatékoyabb reprezetácó mellett még tovább célokat s megfogalmazuk. Ilye tovább cél lehet pl., hogy az adatok egyes csoportja a ksebb dmezós térbe jól elkülöíthetők legyeek. Ilye eljárás az adatok kétosztályos osztályozását bztosító leárs dszkrmás aalízs (Lear Dscrmat Aalyss, LDA), 3
lletve eek emleárs kterjesztése [McL9]. Az összefoglaló terjedelm korlátok matt - azoba ezekre az eljárásokra sem tér k, csupá utal az rodalomra. Főkompoes aalízs (PCA, KL) A hatékóy ábrázólás az alkalmazás körtől függőe külöbözőképpe defálható. Adattömörítésél törekedhetük arra, hógy az altérbe való vetítés sórá a vektór reprezetácóál a közelítő ábrázolásból adódó hba mél ksebb legye. Ebbe a megközelítésbe defál kell valamlye hbakrtérumot, pl. átlagos égyzetes hbát, majd egy olya, az eredet dmezószámál ksebb dmezós altér megtalálása a feladat, amelybe vetítve a kduló vektort a krtérum szert értelmezett reprezetácós hba a lehető legksebb lesz. Más feladatál, pl. felsmerés vagy ósztályózás feladatót megelőző léyegkemelésél a reprezetácó akkór tekthető hatékóyak, ha az altér dmezója mél ksebb, mközbe a közelítő reprezetácóba mdazo formácó megmarad, amely a felsmeréshez, ósztályózáshóz elegedő. Ebbe az esetbe tehát em követelméy a kduló vektor mél ksebb hbájú reprezetálása, csupá arra va szükség, hogy olya ksebb dmezós ábrázolást kapjuk, amely a feladat szempotjából szükséges léyeges formácókat megtartja. E feladatók mególdására uverzáls eljárás em létezk. Általába a megfelelő altér feladat- és adatfüggő, tehát a téyleges feladattól függetleül előre em meghatárózható, és md az altér meghatárózása, md a traszfórmácó elvégzése meglehetőse számításgéyes. A leárs adattömörítő eljárásók között ktütetett szerepe va a Karhue-Loève traszformácóak (KL), amely az eredet jeltér olya ortogoáls bázsredszerét és az eredet vektorok eze bázsredszer szert traszformáltját határozza meg, amelybe az egyes bázsvektorok fotossága külöböző. Egy -dmezós térből kdulva az új bázsvektórók közül kválasztható a legfótósabb m bázsvektor, amelyek egy m-dmezós alteret határozak meg. Egy vektorak eze altérbe eső vetülete az eredet vektórók közelítő reprezetácóját jelet, ahól a közelítés hbája átlagós égyzetes értelembe a legksebb, vagys a KL a közelítő reprezetácó szempótjából a leárs traszformácók között optmáls bázsredszert határoz meg. y x y 1 x 1 1. ábra A Karhue-Loève traszformácó
DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI A KL traszfórmácó működését llusztrálja az 1. ábra. A traszformácó feladata az eredet x 1, x koordátaredszerbe ábrázolt adatokból kdulva az y 1, y koordátaredszer megtalálása, majd az adatokak ebbe az új koordátaredszerbe való megadása. Látható, hogy míg az eredet koordátaredszerbe a két kompoes fotossága hasoló, addg az új koordátaredszerbe a két kómpóes szerepe jeletőse eltér: y 1 meté jóval agyobb tartomáyba szóródak a mtapotok (a mtapotokról az y 1 ráyú kompoes sokkal többet mod el), mt y meté, tehát az egyes mtapotok között külöbséget az y 1 koordáták jobba tükrözk. Ameybe az adatok egydmezós, közelítő reprezetácóját kívájuk előállíta célszerűe y 1-t kell meghagyuk és y - t eldobuk; így lesz a közelítés hbája mmáls. A KL traszformácó szokásos elevezése a matematka statsztkába faktóraalízs vagy főkómpóes aalízs (prcpal compoet aalyss, PCA). Egy x vektor y 1 és y ráyú vetületet főkómpóesekek s szókás evez. Közelítő reprezetácóál a főkómpóesek közül csak a legfótósabbakat tartjuk meg, a többt eldobjuk. Az ábrá látható esetbe ez azt jelet, hogy egy x vektór legfótósabb főkómpóese az y 1 tegely ráyú vetülete. A főkómpóes aalízs fótós tulajdósága, hógy az egyes kómpóeseket tt fótósság szempot szert ragsorolva határozzuk meg. A KL traszformácó és optmaltása A KL traszfórmácó alapfeladata a következő: keressük meg azt az órtógóáls (órtóórmált) bázsredszert, amely átlagos égyzetes értelembe optmáls reprezetácót ad, majd e bázsredszer segítségével végezzük el a traszformácót. Az eddgekhez hasolóa dszkrét reprezetácóval dolgozuk, tehát a bemeet jelet az -dmezós x vektorok képvselk, a traszformácót pedg egy mátrxszal adhatjuk meg. E szert a traszformált jel (y) előállítása: ahol a traszformácós mátrx a bázsvektorokból épül fel: Mvel bázsredszerük ortoormált, ezért: y x, () 1,,..., (3) j j, ebből adódóa I 1, vagys. (4) Feladatuk legye a következő: x közelítő reprezetácóját ( ˆx ) akarjuk előállíta úgy, hógy a közelítés égyzetes hbájáak várható értéke mmáls legye. Mvel x előállítható, mt a bázsvektorok leárs kombácója 1 x y (5) ahol y a ráyú kómpóes agysága, és mvel a közelítő reprezetácó x ˆ 1 y m, (6) a égyzetes hba várható értéke felírható az alább formába: m x xˆ F E E y m y E y 1 1 F m1. (7) 5
ahol. a Frobeus ormát jelöl.ovábbá, mvel F a következő összefüggés s a fet hbát adja meg: y x (8) E x x Exx Rxx, (9) m1 m1 m1 ahol R xx az x bemeet autokorrelácós mátrxa. A továbbakba feltételezzük, hogy E{x}=0, ekkor R xx helyett C xx, vagys x kovaracamátrxa szerepel a égyzetes hba kfejezésébe. bázst, amely mellett mmáls lesz. Ehhez az szükséges, hogy telje- Ezekutá keressük azt a süljö a C, (10) xx összefüggés [Da96], vagys a KL bázsredszerét alkotó vektorok a bemeet jel autokovaraca mátrxáak sajátvektóra legyeek. A közelítő, m-dmezós reprezetácó eseté elkövetett hba lyekor C xx m1 m1 m1 (11) ahol a értékek az autokovaraca mátrx sajátértéke, ahol 0 -re. Mmáls hbát ylvávalóa akkor foguk elkövet, ha a (11) összefüggésbe a sajátértékek (=m+1,...,) a mátrx legksebb sajátértéke, vagys a közelítő, m-dmezós reprezetácóál az autokovaraca mátrx első m legagyobb sajátértékéhez tartozó sajátvektort, mt m-dmezós bázst haszáljuk fel. A bemeet jel eze vektórók ráyába eső vetülete leszek a főkómpóesek (e ered a főkómpoes aalízs elevezés). Megjegyezzük, hogy a KL traszformácó korrelálatla kompoeseket eredméyez, vagys a traszformált jel autokóvaraca mátrxa dagóál mátrx, melyek főátlójába a sajátértékek vaak. A KL egy kétlépéses eljárás: először a bemeet jel autokovaraca mátrxát, és eek sajátvektorat és sajátértéket kell meghatároz, majd k kell választa a legagyobb m sajátértékek megfelelő sajátvektórt, amelyek a megfelelő altér bázsvektorat képezk. A bázsredszer smeretébe lehet elvégez másodk lépéskét az adatok traszformácóját. A sajátvektor(ok) meghatározására számos módszer áll redelkezésükre. A klasszkus megoldások a C kovaraca mátrxból dulak k, míg más eljárások közvetleül az adatokból dolgozak, C meghatározása élkül. Főkompoes- és altér meghatározó eljárások A legfótósabb főkómpóes ráyát meghatárózó sajátvektor a fetektől eltérőe, szélsőértékkereső eljárás eredméyekét s származtatható, mthógy a bemeő sztóchasztkus vektorfolyamat mtáak a legagyobb sajátvektor ráyába vett vetülete várható értékbe maxmumot kell f w = E y maxmumát w függvéyébe azzal a feltételezéssel, hogy adjo. Keressük tehát w 1. F
DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI E y f w w Cw w w w w A (1) összefüggést Raylegh háyadosak s evezk [Gol96b], mely ha w a C mátrx egy sajátvektóra, a háyadós a megfelelő sajátértéket adja. Ebből s következk, hógy (1) w szert maxmuma a legagyobb, mmuma a legksebb sajátértéket eredméyez. A mátrx explct smerete élkül s va mód a főkómpóesek meghatárózására. Ebbe az esetbe olya teratív eljárást alkalmazhatuk, mely közvetleül az adatokból, a kovaraca mátrx kszámítása élkül adja meg a legagyóbb sajátértékhez tartózó sajátvektórt és legfótósabb főkómpóest. Az teratív eljárás az ú. Oja algortmus [Oja8]: k 1 k k yk 1 y k O w w x k yk k k yk w x w ahol w(k) az teratív algortmus eredméye a k-adk terácóba, µ pedg egy skalár együttható. Az eljárás megfelelő µ megválasztása eseté bzoyította kovergál a legfotosabb sajátvektorhoz, bár a kovergeca általába elég lassú. A Raylegh háyados maxmalzálása, lletve az Oja algortmus csak a legfotosabb sajátvektort eredméyez. A külöböző alkalmazásókba a legfótósabb sajátvektórak és az ebbe az ráyba eső főkómpóesek a meghatárózása általába em elegedő. Olya hálózatót szereték kap, amely -dmezós bemeetből kdulva az m legfotosabb sajátvektor (m) meghatározására képes. A (13) összefüggés alapjá olya herarchkus számítás redszer alakítható k, mely egymást követőe számítja k redre a legfótósabb, a másódk legfótósabb, stb. sajátvektórókat. Ez a megközelítés md a Raylegh háyados alapjá, md az Oja algortmussal végzett számításál alkalmazható. Az Oja algortmusból kdulva a herarchkus számítás eljárás egyetle teratív összefüggéssel s leírható: k 1 k k kl k k k (1) (13) W W y x y y W, (14) ahol L(A), az A mátrxból képezett alsó háromszögmátrxot jelöl. Ez az ú. általáosított Hebb algortmus (Geeralzed Hebba Algorthm, GHA) [Sa89]. Az összefüggésbe W az autokovaraca mátrx összes sajátvektorát tartalmazó mátrx, legalábbs megfelelő µ megválasztása eseté az eljárás ehhez a mátrxhoz kovergál. A főkómpóeseket meghatárózó eljárásók mellett sókszór elegedő, ha em a téyleges főkómpóeseket, vagys a legfótósabb sajátvektórók ráyába eső vetületeket határózzuk meg, haem csupá azt az alteret és ebbe az altérbe eső vetületet, amelyet az első m legfotosabb sajátvektor feszít k. Az alteret emcsak a sajátvektorok határozzák meg, haem bármely bázsa. Azokat az eljárásokat, amelyek az alteret és a bemeet vektorok altérbe eső vetületet meghatározzák, de a sajátvektorokat em, altér (subspace) eljárásokak evezzük. A (14) összefüggéssel megadott Oja algórtmus egyszerűe módósítható olya módo, hogy e a legfótósabb főkómpóes meghatárózását végezze, haem az első m sajátvektor által kfeszített altérbe vetítse. Az algortmus tehát átlagos égyzetes értelembe mmáls hbájú közelítést eredméyez, ha az eredet Oja szabályt egy m-dmezós y kmeet vektorra alkalmazzuk. Az eredméy az Oja általáosított szabály [Oja83]: ΔW Wx x Wxx W W, (15) 7
ahol W w, w,..., w mátrx. 1 M az m-kmeetű redszer súlyvektoraból, mt sorvektorokból képezett Az Oja altér hálózat egy -bemeetűm-kmeetű hálózat. Mvel az Oja altér háló súlyvektora em a sajátvektorokhoz kovergálak, haem a sajátvektorok által kfeszített tér egy bázsához, az általáosított Oja szabályt Oja altér szabályak s szokás evez. Az altér feladatót az előbbektől léyegese eltérő szemlélet alapjá s meg tudjuk ólda. Mthógy az altérre vetítés egy leárs traszformácó, az m-dmezós altérből az eredet -dmezós térbe való vsszavetítés s elvégezhető egy leárs traszfórmácóval. A két traszfórmácó eredőjekét a kduló adatokak az eredet -dmezós térbel közelítő reprezetácóját kapjuk. A vetítés eredméye: ahol W a vetítés m dmezós mátrxa, míg a vsszavetítésé: y Wx, (16) xˆ Vy, (17) ahol a vsszavetítést a V m dmezós mátrx defálja. Általába VW I, vagys xˆ x. Ekkor olya W és V meghatározása a feladat, hogy hasolóa a (7) összefüggésbe megfogalmazott esethez a rekostrukcó hbája E xˆ (18) legye mmáls. Ez egy olya többrétegű perceptró euráls hálózattal [Hor06] s megvalósítható, mely euráls hálózat leárs eurookból épül fel (hsze x és y, lletve y és xˆ között leárs traszformácót kell megvalósíta) és autoasszócatív módó működk, vagys adótt bemeetre válaszkét magát a bemeetet várjuk. Ameybe a rejtett rétegbel eurook száma (m) ksebb, mt a bemeetek (és eek megfelelőe a kmeetek) száma (), akkor a rejtett rétegbel euroók kmeő értéke a bemeet tömörített (közelítő) reprezetácóját adják (ld. ábra). A rejtett réteg képez a háló "szűk keresztmetszetét". Ha a hálót a szókásós hbavsszaterjesztéses algórtmussal taítjuk, a háló által előállítótt kmeet (y) átlagos égyzetes értelembe közelít a háló bemeet jelét (x). A háló kmeet rétege a rejtett rétegbel m-dmezós reprezetácóból állítja vssza az -dmezós kmeetet, tehát a rejtett réteg kmeeté a bemeőjel ksebb dmezós altérbe vett vetületét kapjuk meg, ólya módó, hógy e közelítő ábrázólásból az eredet jel a legksebb átlagos égyzetes hbával állítható vssza. Az altér leárs eurook mellett bzoyította [Bal89] a megfelelő KL alteret jelet, de az altérbe a bázsvektórók a W traszformácós mátrx sorvektora em feltétleül leszek a sajátvektorok. Megjegyezzük, hogy ez az autoasszocatív euróhálós mególdás s alkalmas lehet a valód főkómpóesek meghatárózására, ameybe a háló csak egy rejtett eurot tartalmaz. Ebbe az esetbe a taítás sorá eek a euroak a kmeete a legfótósabb főkómpóeshez, a euró súlyvektóra pedg a legagyóbb sajátértékhez tartozó sajátvektorhoz fog kovergál. Ha több főkómpóest szereték meghatáróz, akkór az előbbekbe említett herarchkus redszerrel tt s meghatárózhatók az egymást követő sajátvektórók és főkómpóesek. Ehhez mdössze arra va szükség, hógy egyetle háló helyett m hálót alkalmazzuk, melyek bemeet vektóra az eredet bemeetkből a már meghatárózótt főkómpóesek fgyelembevételével származtatott bemeeteket kapják x F
DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI ábra Leárs többrétegű perceptró, mt adattömörítő autoasszocatív háló emleárs dmezóredukcós eljárások A PCA leárs traszformácót végez, a koordátaredszer olya forgatását végzt, melyek eredméyekét az eredet kóórdátaredszerről a C mátrx sajátvektoraak koordátaredszerére térük át. Az új koordátaredszerbe az egyes ráyok fotosságát a sajátvektorokhoz tartozó sajátértékek adják meg. Ha a sajátértékek jeletőse külöbözek, lehetőségük va az adatók dmezóját redukál úgy, hogy átlagos égyzetes eltérés értelembe a redukcó következtébe elkövetett hba mmáls legye. A legagyobb m sajátértékhez tartózó, legfótósabb sajátvektórt tartjuk meg, és az így kapott m-dmezós térre vetítjük a mtapotjakat. Az altér algortmusok ugya em a sajátvektorokat határozák meg, de tt s a sajátvektorok által meghatározott altér megtalálása a feladat, melyet szté egy megfelelő leárs traszfórmácó bztósít. Ha a sajátértékek közel azoosak, akkor a sajátvektorok meghatározása egyre kevésbé lesz deft, ráadásul em találuk ólya ktütetett, fótós ráyókat, melyek szerepe a több ráyál agyobb az adatok reprezetálása sorá. Szemléletes kétdmezós példa erre az estre, ha az adatok egy sprál vagy egy parabola meté helyezkedek el (3. ábra). 9
8 6 x 4 x 1 0 - -4 x' 1-6 -6-4 - 0 4 6 3. ábra Kétdmezós mtakészletek, ahol a leárs dmezóredukcó em működk Az ábrából látható, hogy az adatok valójába egydmezósak vagy közel egydmezósak, a rejtett dmezó meghatározása azoba leárs traszformácóval em lehetséges. Hasoló helyzetet mutat a 4.ábra, ahol a háromdmezós ú. swssroll adatokat ábrázoltuk. Az adatok valójába tt sem háromdmezósak, egy rejtett kétdmezós altér (emleárs felület) megtározása, és erre az altérre való vetítés ad lehetőséget a dmezóredukcóra. 4. ábra emleárs dmezóredukcó Az lye feladatokál az adatok az eredet -dmezós térbe reprezetácóál egy ksebb m-dmezós térbe s reprezetálhatók, akár hbametese s, ameyybe a rejtett m-dmezós teret meg tudjuk határoz. A megoldáshoz az adatokak olya emleárs traszformácójára va szükség, hogy a traszformált térbe az adattömörítés, dmezóredukcó már leárs eljárásokkal elvégezhető legye. A Φ emleárs traszfórmácó az eredet bemeet térből egy ú. jellemzőtérbe traszformál: Φ : R F, x X Φ( x) (19)
DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI A jellemzőtérbe ha a emleárs traszfórmácót megfelelőe választóttuk meg már alkalmazhatók a leárs módszerek, pl. a főkómpóes aalízs (PCA). A teljes eljárás azoba az eredet térbe emleárs, ezért szokás emleárs főkómpóes aalízsek (PCA) s evez. A emleárs főkómpóes aalízs eljárásókál s hasolóa a leárs eljárásokhoz olya új kóórdátaredszert keresük, melyek egyes kóórdátá jeletős mértékbe eltérő fótósságúak az adatók előállításába. A kétféle eljárás között alapvető külöbség, hógy tt a megfelelő traszformácó keresését em korlátozzuk a leárs traszformácók körére. Ezt elvbe úgy tesszük, hógy a emleárs feladat mególdását két lépésbe végezzük el: először az adatókat a jellemzőtérre képezzük le alkalmasa megválasztott emleárs traszformácóval, majd a leárs PCA-t a jellemzőtérbe alkalmazzuk. A módszer ehézségét már leárs eljárásál s az okozta, hogy a traszformácó bázsa a kduló adatok függvéye. emleárs esetbe a megfelelő traszfórmácó megtalálása és hatékóy megvalósítása még ehezebb feladat. A következőkbe egy emleárs eljárást mutatuk be. Az tt alkalmazott emleárs traszformácó általába a bemeet térél sókkal agyóbb dmezós jellemzőteret eredméyez, azóba a jellemzőtérbel főkómpóes aalízst em ebbe a térbe, haem az ebből származtatótt ú. kerel térbe tudjuk mególda. Itt tehát cs szükség a jellemzőtérbel traszfórmácó explct defálására és a jellemzőtérbel reprezetácó meghatárózására. Az ú. kerel trükk segítségével ugyas a jellemzőtérbel főkómpóes aalízs elvégezhető a kerel térbe s. Az ú. kerel PCA célja az adatókba meglévő rejtett (emleárs) struktúra meghatárózása. A kerel PCA tehát em feltétleül dmezóredukcóra szolgál, bár a emleárs dmezóredukcóak s hatékoy eszköze. Kerel PCA A PCA sórá a bemeet térbe keresük főkómpóeseket úgy, hógy a bemeetek megfelelő leárs traszformácóját végezzük. A kerel PCA ezzel szembe em a bemeet térbe keres főkómpóeseket, haem előbb a bemeet vektórókat emleárs traszfórmácóval egy ú. jellemzőtérbe traszfórmálja, és tt keres főkómpóeseket. Az eljárás bemutatásáhóz a következő jelölésekből duljuk k. Jelöljük a bemeet térből a jellemzőtérbe való emleárs traszfórmácót -vel. A bemeet tér lehet pl. a valós szám -esek tere, R, ekkor a emleárs traszformácó R -ből egy F jellemzőtérbe képez le: Φ : R F, x X Φ( x) (0) Az F jellemzőtér tetszőlegese sókdmezós, akár végtele dmezós tér s lehet. ételezzük fel, hogy az F térbe s feáll, hogy k1φxk 0, ahol a bemeet vektorok száma. Becsüljük a jellemzőtérbel kóvaracamátrxót a véges számú mtapót (jellemzőtérbel vektór) alapjá: j 1 j j 1 C Φ x Φ x A jellemzőtérbel főkómpóesek meghatárózásáhóz először móst s meg kell határózuk a kóvaracamátrx emulla sajátértéket és a megfelelő sajátvektórókat, melyek kelégítk a szokásos sajátvektor-sajátérték egyeletet: (1) V CV, () majd a jellemzőtérbel főkómpóeseket a ( ) Φx jellemzőtérbel vektórók és az egységy hósszúságúra ormált V sajátvektorok skalár szorzatakét kapjuk. 11
A sajátértékek és a sajátvektorok meghatározásához haszos, ha felhaszáljuk, hogy a C kovaracamátrx sajátvektóra a jellemzőtérbel vektórók által kfeszített térbe vaak: 1 V Φx, (3) tehát létezek olya (=1,,) együtthatók, melyek segítségével a sajátvektórók előállíthatók a bemeeteket a jellemzőtérbe reprezetáló vektórók súlyózótt összegekét. A (3) összefüggés felhaszálásával azóba meg tudjuk mutat, hógy a jellemzőtérbel főkómpóesek aélkül s meghatárózhatók, hógy a bemeet vektórók jellemzőtérbel reprezetácóját meghatárózák. Eek érdekébe tektsük a következő egyeletet: Φ x V Φ x CV, k=1,, (4) k Helyettesítsük ebbe az egyeletbe C (17) és V (3) összefüggését. Ekkor mde k=1,,-re a következőt kapjuk: 1 k k j j 1 1 j1 k Φ x Φ x Φ x Φ x Φ x Φ x (5) Vegyük észre, hógy ebbe az összefüggésbe a jellemzőtérbel Φx ( ) vektorok mdg csak skalár szorzat formájába szerepelek. Defáljuk egy méretű K kerel mátrxot, melyek (,j)-edk eleme: K K x, x Φ x Φ x. (6) j j j Ezzel a (5) összefüggés az alább tömör formába s felírható: Kα K α, (7) ahol az α oszlopvektor az =1,, együtthatókból áll. K szmmetrkus mátrx, és ha megoldjuk a következő sajátvektór-sajátérték problémát: α Kα, (8) ahol az α vektorok K sajátvektora és a értékek a sajátértékek, a megoldás kelégít a (7) egyeletet s. Jelöljük K emulla sajátértéket agyság szert sorbaredezve 1... -vel, a hozzájuk tartozó sajátvektorokat pedg 1 α,..., α -vel, és legye r az első (legksebb) emulla sajátérték. (Ha feltételezzük, hogy Φx ( ) em azoosa 0, akkor mdg léteze kell egy lye r - α,..., α sajátvektorokat, hogy az F térbe a következő egyelőség telje- ek.) ormalzáljuk az süljö k=r,, re : 1 Ez a következő órmalzálás feltételt szabja az α sajátvektorokra: k k V V 1 (9)
DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI 1, j1, j1 k α k k j Φ x Φ x j k k k k k j j α k A főkómpóesek meghatárózása utá szükségük va még a jellemzőtérbel vektórók sajátvektorok szert vetítésére. Legye x egy tesztpot, Φx ( ) képpel F-be, ekkor K α K α k k k 1 1 (30) V Φ x Φ x Φ x K x, x (31) A jellemzőtérbel főkómpóes tehát a közvetleül a kerel értékek függvéyébe kfejezhető, aélkül, hogy a Φx ( ) emleárs leképezéseket meg kée határoz. ehát tt s a kerel trükköt alkalmazhatjuk, ha a emleárs PCA számítását em a Φx ( ) emleárs leképezések rögzítésével, haem a K mátrx (a kerel függvéy) megválasztásával végezzük. A kerel PCA-ál tehát em a Φx ( ) emleárs leképezésekből, haem a kerel függvéyből duluk k. A kerel függvéy mplct módó defálja a jellemzőtérbel leképezést. Összefóglalva a következő teedők vaak a főkómpóesek meghatárózása sórá. Először meg kell választauk a kerel függvéyt, majd meg kell határozuk a K mátrxot. Eek a mátrxak k kell kszámítauk az α sajátvektorat. A sajátvektórók órmalzálását követőe határózhatjuk meg a bemeet vektórók jellemzőtérbel főkómpóeset a (31) összefüggés felhaszálásával. Az eljárás fő előye abba rejlk, hógy a Φx ( ) függvéy smeretére cs szükségük, továbbá, hogy míg az eredet PCA sorá a kovaracamátrx mérete a bemeet dmezótól függ, addg tt a K mátrx méretét a taítópotok száma határozza meg. Leárs PCA-ál legfeljebb sajátvektort és így főkómpóest találuk, ahól a bemeet vektorok dmezója. Kerel PCA-ál maxmum emulla sajátértéket kaphatuk, ahol a mtapotok száma. A ulla várhatóérték bztosítása a jellemzőtérbe A korábbakba téyékét kezeltük, hogy az F térbe gaz a k1φ xk 0 megállapítás. Ez ylvávalóa em lehet gaz mde Φx ( ) függvéyre, így szükségük va arra, hogy a Φx ( ) jellemzőtérbel vektórókat s 0 átlagértékűvé traszfórmáljuk. Ez mególdható, ha a vektórókból kvójuk az átlagukat: 1 k k 1 Φ x Φ x Φ x (3) Az eddg megállapítások szert most ez alapjá kell meghatároz a kovaracamátrxot, lletve a K Φ x Φ x (33) j j mátrxot az F térbe. Az így kapott K mátrx sajátérték-sajátvektor redszerét kell meghatározuk: ahol α a sajátvektórók együtthatót tartalmazza a következő fórmába: α Kα (34) 13
1 V Φx. (35) A K mátrx kszámítása a defícós összefüggés szert azoba em lehetséges a módosított jellemzőtérbel vektórók smerete élkül. Lehetőségük va vszót arra, hógy a K mátrxot K-val kfejezzük. Haszáljuk a következő jelöléseket: Kj j Ezek utá K számítása: K Φ x Φ x, 1 1 mde, j-re és j 1 1 Φx Φ x Φ x Φ x j p j k p1 k1 1 1/. j 1 1 1 K 1 K K 1 1 K 1 j p pj k kj p pk kj p1 k1 p,k1 (36) K 1 K K1 1 K1 j Most már kszámíthatók a sajátértékek és a sajátvektórók, a főkómpóesek számítása pedg ugyaaz, mt a em közpotosított adatok esetébe. Jelvsszaállítás Mvel a kerel PCA a jellemzőtérbe határóz meg főkómpóeseket, ezért a főkómpóesekből szté a jel jellemzőtérbel reprezetácóját tudák előállíta. Vszot a kerel trükk matt valójába em s dólgózuk a jellemzőtérbe, hsze a jellemzőtérbel vetületeket s meg tudjuk határoz a kereltérbel reprezetácó segítségével. Ha azt szereték tud, hogy m a jellemzőtérbel közelítő reprezetácó hatása a bemeet térbe, akkór a jellemzőtérbel főkómpóesekből vssza kell állítauk a jelet a bemeet térbe. Ez a feladat egyáltalá em trváls, sőt em s feltétleül egyértelmű. A vsszaállításra Sebasta Mka [Mk99] és mukatársa javasoltak közvetett eljárást. E szert a bemeet térbe keresük ólya vektórt, amelyek jellemzőtérbel főkómpóese mél kább hasolóak a vsszaállítadó adatok főkómpóesehez. Jelöljük az eredet adatok m főkómpóes alapjá kapótt jellemzőtérbel közelítő reprezetácóját ˆX -mel. Ekkor m m m k k1 ˆ k X V (37) vagys a közelítő reprezetácó a jellemzőtérbel sajátvektorok leárs kombácójakét állítható elő. A vsszaállításhóz ólya bemeetet keresük, melyek a jellemzőtérbel képe mél ksebb mértékbe tér el ˆX m -től. E mögött az a feltevés áll, hógy ha két vektor jellemzőtérbel reprezetácója között az eltérés kcs, akkór a bemeet térbe s kcs a köztük lévő eltérés. égyzetes hbakrtérumot alkalmazva ez azt jelet, hogy keressük azt az ˆX bemeet vektort, melyre ˆ ˆ m C x Φ x X ˆ (38) mmáls. Behelyettesítve (38)-be (37)-at és V(k) (3) összefüggését, az eltérésre a következőt kapjuk:
DIMEZIÓREDUKCIÓ HORVÁH GÁBOR, BME VIK MI m P k k k1 1 C xˆ K xˆ, xˆ K xˆ, x (39) ahol függtele ˆx -től. A (39) krtérum mmumát bztosító ˆx grades eljárással megkereshető, ha rögzítettük a kerel függvéyt. emleárs altér algortmusok A leárs altérfeladat autoasszocatív eurohálós megoldásához hasolóa a emleárs altérfeladat s mególdható többrétegű percetróal. Eél a mególdásál azt haszáljuk k, hógy egy többrétegű perceptró egy megfelelő méretű emleárs rejtett réteggel uverzáls appróxmátór, vagys tetszőleges fólytóós leképezés közelítésére képes. Mthogy a taítás a kívát választól való átlagos égyzetes eltérés mmalzálását végz most s, megfelelő többrétegű emleárs leképezésre alkalmas hálót a leárs adattömörítő MLP-hez hasolóa autóasszocatív módo taítuk, várható, hogy a háló emleárs adattömörítésre képes lesz [Mal96]. A háló felépítése hasoló lesz a. ábrá bemutatott háló felépítéséhez azzal az eltéréssel, hogy most md a traszformácó, md a vsszatraszformácó emleárs kell legye, am egy 5-rétegű hálózatót eredméyez (5. ábra). A tömörített reprezetácót (y) a másodk rejtett réteg kmeeté yerjük, míg a vsszaállított adatokat a háló kmeeté. A emleárs adattömörítő MLP alapjába véve abba külöbözk a leárs tömörítést végző, a ábrá bemutatott változattól, hogy kegészül két emleárs rejtett réteggel, melyek alapvetőe felelősek a emleárs leképezésért, és a tömörítést, lletve a vsszaállítást hvatottak bztosíta. Az l-lel jelölt eurookál s alkalmazhatuk emleárs aktvácós függvéyeket, bár a megfelelő működéshez erre valójába cs szükség. A bemutatótt emleárs hálózat hasólóa leárs megfelelőjéhez em feltétleül a emleárs főkómpóeseket, haem az m emleárs főkómpóes által meghatárózótt altérbe eső vetületet határozza meg. 5. ábra emleárs altér MLP hálózat Irodalom [Bal89] Bald, P. - Hork, K. "eural etworks ad Prcpal Compoet Aalyss: Learg from Examples Wthout Local Mma", eural etworks, Vol.. o. 1. pp. 53-58. 1989. [Bel57] Bellma R. E. Dyamc prógrammg, Prceto Uversty Press. 1957. [Da96] Damataras, K. I.- Kug, S. Y. "Prcpal Compoet eural etworks heory ad Applcatos", Joh Wley ad Sos, ew York. 1996. 15
[Has89] [Hor06] [Hyv01] [Mal96] Haste,. ad Stuetzle, W. Prcpal curves, Joural of the Amerca Statstcal Assocato Vol. 84.pp. 50 516. Altrchter M. Horváth G. Patak B. Strausz Gy. akács G. Valyo J. (Horváth G szerk.) euráls hálózatok, Paem, 006. Hyväre, A. - Karhue, J. - Oja, E. Idepedet Cómpóet Aalyss. Joh Wley & Sos, ew York, 001. Malthouse, E. C. "Some heoretcal Results o olear Prcpal Compoets Aalyss", ftp from http://skew.kellogg.wu.edu/~ecm, 4 p. 1996. [McL9] McLachla, G. J. Dscrmat Aalyss ad Statstcal Patter Recogto, Wley, ew York, 199. [Mk99] [Oja8] Mka, S. - Schölkopf, B. - Smola, A. - Müller, K-R. - Schultz, M. - Rätsch, G. Kerel PCA ad De-osg Feature Spaces, : M. S. Kears, S. A. Solla, D. A. Koh (eds.) Advaces eural Iformato Processg Systems, Vol. 11. pp. 536-54. Cambrdge, MA. he MI Press, 1999. Oja, E. "A Smplfed euro Model as a Prcpal Compoet Aalyzer", Joural of Mathematcal Bology, Vol. 15. pp. 67-73. 198. [Row00] Rowes, S.. ad Saul, L. K. (000). Locally lear embeddg, Scece, Vol. 90. pp. 33 36. [Sa89] Sager,. "Optmal Usupervsed Learg a Sgle-layer Lear Feedforward eural etwork", eural etworks, Vol.. o. 6. pp. 459-473. 1989.