PCA LDA MDS, LLE, CCA. Adatbányászat. Dimenziócsökkentő eljárások. Szegedi Tudományegyetem. Adatbányászat

HTML
DOWNLOAD

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "PCA LDA MDS, LLE, CCA. Adatbányászat. Dimenziócsökkentő eljárások. Szegedi Tudományegyetem. Adatbányászat"

Árpád Jónás
6 évvel ezelőtt
Látták:

1 Dimeziócsökkető eljárások Szegedi Tudomáyegyetem

2 Dimeziócsökketés szerepe Az adatpotok reprezetálására haszált dimeziók számáak csökketésével spórolhatuk Tödimeziós adatpotok vizualizálása (pl. 2 vagy 3D-e) Zajcsökketés, jellemzőszelekció Ötlet: próáljuk meg alacsoya dimezióa árázoli a potjaikat Az alacsoya dimeziós reprezetáció kapcsá mie mérjük az elégedettségüket?,, SVD,...

3 Főkompoes aalízis (ricipal Compoet Aalysis) Traszformáljuk úgy alacsoya dimezióa a tö/sokdimeziós adatukat, hogy a ee rejlő variacia miél kise részét veszítsük csak el Feltevés: az eredeti m-dimeziós adatpotok egy izoyos m -dimeziós altére (vagy legaláis aak közelée) helyezkedek el az adatpotokat az altér tegelyeire traszformálva jól reprezetálható az eredeti adat Mi lehet ez a m -dimeziós altér? 2 k(xi xi )k rekostrukciós hiát szereték miimálisak láti, ahol xi az eredeti xi pot egy közelítése

4 Kovariacia Emlékeztető Y és Z véletle változók együttmozgását számszerűsíti cov (Y, Z ) = E[(Y µy )(Z µz )] Ahol µy = 1 yi és µz = 1 zi Az X adatmátrixuk i, j oszlopaira (X:,i, X:,j ) tekithetük véletle változókét

5 Szóródási,- és kovariaciamátrixok Szóródási mátrix: S = (xi µ)(xi µ) Torzított (torzítatla) kovariaciamátrix: Σ = 1 S (Σ = 1 1 S) cov (X:,1, X:,1 ) cov (X:,1, X:,2 )... cov (X:,1, X:,m ) cov (X:,2, X:,1 ) cov (X:,2, X:,2 )... cov (X:,2, X:,m ) Σ= cov (X, X ). :,i :,j cov (X:,m, X:,1 ) cov (X:,m, X:,m ) Σi,j tehát az i. és j. jellemzők kovariaciája (cov (X:,i, X:,j )) Milye elemek állak a főátlóa?

6 Szóródási,- és kovariaciamátrixok tulajdoságai Állítás: S és Σ mátrixok szimmetrikusak és pozitív defiitek Bizoyítás. S= (xi µ)(xi =! (xi µ)(xi µ) = S a Sa = µ) (a (xi µ))((xi µ) a) = (a (xi µ))2 Következméy: S és Σ sajátértékeire λ1 λ2... λm Az adat variaciáját legjoa megőrző m -dimeziós projekciót úgy kapjuk, ha az adatpotokat S (vagy Σ) m legagyo sajátértékéhez tartozó sajátvektoráól képzett mátrixszal szorozzuk (lásd: tála)

7 Lagrage szorzók Korlátozott/feltételes (emlieáris) optimalizációs feladat f (x) mi/max f.h. gi (x) = i {1,..., } Lagrage függvéy: L(x, λ) = f(x) + X λi gi (x) Karush-Kuh-Tucker (KKT) feltételek: az optimalitás szükséges feltételei L(x, λ) = (1) λi gi (x) = i {1,..., } (2) λi (3)

8 Gyakorlati megfotolások Az adatpotokat érdemes egységes skálára hozi: ormalizáció mi-max ormalizáció: xi,j = stadardizálás: xi,j = xi,j mi(x,j ) max(x,j ) mi(x,j ) xi,j µj σj A redukált dimeziószámot (m ) miek válasszuk? m m si2 λi = Hit : k λi m = arg mi t küszöérték m 1 k m λi m = arg max 1 i m m = arg λi > m 1 X λj m j=1 max (λi λi+1 ) 1 i m 1

9 összegzés Cetralizáljuk és ormalizáljuk az X adatmátrixot Számoljuk ki a (cetralizált és ormalizált) X adatmátrixot jellemző kovariacia/szóródási-mátrixot Számoljuk ki a mátrix sajátértékeit Az m legagyo sajátértékhez tartozó sajátvektoról képezzük projekciós mátrixot X = X adja meg a traszformált adatmátrixot X alaka kaphatjuk vissza az eredeti adatpotok egy közelítését tutorial

10 Sziguláris érték felotás X = U x Sigma x V t rag (X ) σi ui vi s s rag m (X ) 2 xij2 = σi kx kf = X = UΣV = j=1 X alacsoy(a) ragú közelítése: X = U Σ V X előállítása sorá csupá Σ első m < m sziguláris értékére hagyatkozzuk Ha a közelítés eltérését Froeius-ormáa mérjük, akkor X megadható legpotosa m -dimeziós ecslése X

11 SVD példa =

12 SVD és a sajátérték dekompozíció viszoya Emlékeztető Egy szimmetrikus A mátrix felotható A = X ΛX 1 alaka, ahol X = [x1 x2... xm ] az A (ortogoális) sajátvekroraiól képzett mátrix, Λ = diag ([λ1 λ2... λm ]) pedig az egyes sajátvektorokhoz tartozó sajátértékeől álló diagoális mátrix. Miért is? Tetszőleges m-es X mátrix előáll UΣV szorzatkét, ahol U = [u1 u2... u ] XX ortoormált sajátvektoraiól álló mátrix Σ m = diag ( λ1, λ2,..., λm ) Vm m = [v1 v2... vm ] X X ortoormált sajátvektoraiól álló mátrix. Miért? Ortogoális mátrix: M M = I (szemléletese: olya forgatás, ami a vektorok hosszát em változtatja meg) Miért?

13 SVD és a Froeius-orma viszoya Tfh. M = Q R, azaz mij = k 58 M = = pik qkl rlj l 3 m32 = pik qkl rlj Ekkor kmk2f = (mij )2 = i j i j k l 2 Továá pik qkl rlj = pik qkl rlj pi qm rmj k l k l m Ahoa kmk2f = pik qkl rlj pi qm rmj i j k l m Ameyie, Q, R mátrixok az SVD felotásól jöek, kmk2f = pik qkk rkj pi q rj = qkk rkj qkk rkj = (qkk )2. i,j,k, j,k k Miért? X mátrix X = U Σ V mátrixszal törtéő közelítéséek hiája: kx X k2f = ku(σ Σ )V k2f = (σkk σ kk )2 k

14 CUR SVD hátráya, hogy egy jellemzőe ritka mátrixot sűrű mátrixokat (U és V ) is tartalmazó szorzatkét állítja elő Egy alteratíva az eredeti mátrix CUR formáa törtéő előállítása Csak az U mátrix adódik sűrűek, és az SVD felotás egy közelítését adja C és R mátrixok az eredeti X mátrix soraiól, illetve oszlopaiól származak, így azok megőrzik X ritkaságát Míg az SVD egyedi felotást eredméyez, addig a CUR em

15 CUR dekompozíció C és R előállítása Visszatevésessel válasszuk ki k oszlopot (sort) az eredeti adatmátrixól Előfordulhatak ismétlődő oszlopok (sorok) C-e (R-e) Egy oszlop (sor) kiválasztásáak pi valószíűsége legye a ee található elemek égyzetösszegével aráyos A kiválasztott oszlopot (sort) szorozzk e 1/ kpi -vel

16 CUR dekompozíció U előállítása Hozzuk létre a k kiválasztott oszlop/sor metszetéől W Rkxk -t W - hajtsuk végre SVD-t, azaz W = X ΣY U = Y (Σ+ )2 X, ahol Σ+ az SVD-ől jövő Σ (pszeudo)iverze Σ diagoális, így (pszeudo)iverzéek számítása egyszerű Elég a emulla főátlóeli elemeiek reciprokát vei eseté éritetleül hagyi azokat

17 Alie Matrix Casalaca Titaic CUR dekompozíció példa aul Sam Martha Bo Sarah C = U= 7.1 R=

18 Lieáris Diszkrimiacia Aalízis (Liear Discrimiat Aalysis) Traszformáljuk úgy alacsoya dimezióa a tö/sokdimeziós címkézett adatukat, hogy az új tére az eltérő osztályú potok miél kevésé keveredjeek Mi legye w vetítés iráya? µ ~i = w µi µ~1 µ~2 = w (µ1 µ2 ) s i = X (w x ~ µi ) 2 x i címkéjű w = arg max J(w) = arg max w w ~ µ1 ~ µ2 2 2 s 1 + s 22 (1)

19 Belső,- és külső szóródási mátrixok i osztályú traszformált potok első szóródási mátrixa: X Si = (x µi )(x µi ) x i címkéjű Aggregált első szóródási mátrix: SW = S1 + S2 i osztályú traszformált potok szóródása: X X s i 2 = (w x w µi )2 = w (x µi )(x µi ) w = w Si w x i címkéjű Eltérő osztályú traszformált potok közötti szóródási mátrix: SB = (µ1 µ2 )(µ1 µ2 ) Eltérő osztályú traszformált potok közötti szóródás: (µ 1 µ 2 )2 = (w µ1 w µ2 )2 = w SB w

20 Azaz az eredeti (1)-e foglalt céluk átfogalmazható w = arg maxw J(w) = arg maxw ww SSWB ww alakra w SB w w SW w az ú. általáosított Rayleigh-háyados J(w) maximális ww SSWB ww = SB w = λsw w 1 1 SW SB w = λw w = SW (µ1 µ2 ) (Lásd tála) Emlékeztetőül f (x) = g (x) f (x)g (x) f (x)g (x) g 2 (x) x x Ax = 2Ax, ameyie A = A xx y = xi yi x (vagyis egy x iráyáa mutató vektor)

21 vs

22 Multidimeziós skálázás (Multi-Dimesioal Scalig) Cél: adott potpárokéti költségeket/távolságokat tartalmazó mátrixhoz keressük meg az adatpotok azo pozícióit a tére, melyre kxi xj k δij Tö/sokdimeziós adatpotok traszformációja alacsoya dimezióa úgy, hogy a potok közötti távolságok miél iká megőrződjeek

Lokális lieáris eágyazás (Locally Liear Emeddig) A, SVD és mid lieáris függést feltételeztek Nemlieáris dimeziócsökkető eljárás Trükk: Mide pothoz

23 Lokális lieáris eágyazás (Locally Liear Emeddig) A, SVD és mid lieáris függést feltételeztek Nemlieáris dimeziócsökkető eljárás Trükk: Mide pothoz határozzuk meg a legközelei szomszédait, és írjuk fel őket azok lieáris komiációikét J(W ) = kxi Wij xj k2, úgy, hogy Wij = 1, és j=1 j=1 wij > xj eighors(xi )

24 Kaoikus korreláció aalízis A potjaik koordiátái két kordiátaredszer szerit ismertek Feladat: a két koordiátaredszer potjaiak egy (csökketett dimeziójú) koordiátaredszere való összegyúrása, hogy a traszformált jellemzők korrelációja maximális legye E [xy ] = E [x 2 ] E [y 2 ] wx Cxy w y wx Cxx wx wy Cyy wy ρ= E[wx xy wy ] E[wx xx wx ] E [wy yy wy ] = arg max ρ-t em efolyásolja wx vagy wy hossza arg max ρ = arg max wx Cxy wy " # " # Σxx Σxy x x Σ= =E y y Σyx Σyy

Hasonló dokumentumok

PCA LDA MDS, LLE, CCA. Adatbányászat. Dimenziócsökkentő eljárások. Szegedi Tudományegyetem. Adatbányászat

PCA LDA MDS, LLE, CCA. Adatbányászat. Dimenziócsökkentő eljárások. Szegedi Tudományegyetem. Adatbányászat Dimeziócsökkető eljárások Szegedi Tudomáyegyetem Dimeziócsökketés szerepe Az adatpotok reprezetálására haszált dimeziók számáak csökketésével spórolhatuk Tödimeziós adatpotok vizualizálása (pl. 2 vagy