Szinguláris értékek Wettl Ferenc 2016. április 12. Wettl Ferenc Szinguláris értékek 2016. április 12. 1 / 35
Tartalom 1 Szinguláris érték 2 Norma 3 Mátrixnorma 4 Alkalmazások Wettl Ferenc Szinguláris értékek 2016. április 12. 2 / 35
Szinguláris érték 1 Szinguláris érték Az SVD meghatározása Szinguláris érték szerinti felbontás létezése Szinguláris felbontás geometriai interpretációja 2 Norma Euklideszi vektornorma és p-norma A norma általános fogalma Vektornormák ekvivalenciája 3 Mátrixnorma Vektornorma mátrixokon A mátrixnorma általános fogalma Az 1-, 2- és -norma mátrixokra 4 Alkalmazások Információtömörítés Mögöttes tartalom analízise Wettl Ferenc Szinguláris értékek 2016. április 12. 3 / 35
Szinguláris érték Szinguláris értékek és vektorok D A pozitív σ 1 σ 2 σ r > 0 számok az r-rangú valós (komplex) A mátrix szinguláris értékei, ha van olyan {v 1,..., v r } ONB-a a sortérnek (konjugáltjának) és {u 1,..., u r } ONB-a az oszloptérnek, hogy Av i = σ i u i, i = 1,..., r. A v i vektorokat jobb, az u i vektorokat bal szinguláris vektoroknak nevezzük. m u i = 1 (i = 1, 2,..., r) Av i = σ i. Lehetne így: k = min(m, n), és σ r+1 = σ r+2 = = σ k = 0. P {v 1, v 2 } = {( 4, 3), ( 3, 4)}, 5 5 5 5 {u 1, u 2 } = {( 5, 12 13 13 ] [ ] [ 4 /5 5/13 [ 4/13 6 111/13 4 3 /5 σ 1 = 10, σ 2 = 5. = 10 12/13 ], [ 4/13 6 111/13 4 12 ), (, 5 )} 13 13 ] [ ] 3 /5 = 5 4/5 [ 12 /13 5/13 Wettl Ferenc Szinguláris értékek 2016. április 12. 4 / 35 ],
Szinguláris érték J Jelölések σ 1 0... 0 0 σ Σ 1 = diag(σ 1,..., σ r ) = 2... 0........ U 1 = {u 1,..., u r } V 1 = {v 1,..., v r } 0 0... σ r Av i = σu i AV 1 = U 1 Σ 1 σ 1 0... 0 [ ] [ ] 0 σ A v 1 v 2... v r = u1 u 2... u r 2... 0........ {v 1,..., v r }-b l {u 1,..., u r }-b l ONB: V 2 = [ v r+1... v n ] U 2 = [ u r+1... u m ] 0 0... σ r Wettl Ferenc Szinguláris értékek 2016. április 12. 5 / 35
Szinguláris érték R-ben V 2 oszlopvektorai S (C-ben S-re) r < i n esetén Av i = 0. AV = [ ] Av 1... Av r Av r+1... Av n = [ σ 1 u 1... σ r u r 0... ] 0 σ 1 0... 0 0... 0 0 σ 2... 0 0... 0 = [ ]................. u 1... u r u r+1... u m 0 0... σ r 0... 0 0 0... 0 0... 0........... 0 0... 0 0... 0 = UΣ, azaz A m n V n n = U m m Σ m n, blokkmátrix alakban [ ] [ ] [ ] Σ A V 1 V 2 = 1 O U1 U 2. O O Wettl Ferenc Szinguláris értékek 2016. április 12. 6 / 35
Szinguláris érték Szinguláris (érték szerinti) felbontás, SVD D Szinguláris érték szerinti felbontás, vagy szinguláris felbontás: A = UΣV H Redukált szinguláris felbontás: A = U 1 Σ 1 V H 1 Szinguláris érték szerinti diadikus felbontás vagy a szinguláris felbontás diadikus alakja A = σ 1 u 1 v T 1 + σ 2 u 2 v T 2 + + σ r u r v T r. Wettl Ferenc Szinguláris értékek 2016. április 12. 7 / 35
Szinguláris érték 0 2 2 2 3 2 = 4 2 0 = = 6 1/3 2 /3 2/3 2 /3 1/3 2/3 2/3 2/3 1/3 1/3 2 /3 2 /3 1/3 2/3 2/3 1 3 2 3 2 3 [ 2 3 2 3 6 0 0 0 3 0 0 0 0 2/3 2 /3 1/3 2/3 1/3 2 /3 1/3 2/3 2/3 [ ] [ ] 6 0 2 /3 2 /3 1/3 0 3 2/3 1/3 2 /3 ] 1 3 + 3 2 3 1 3 2 3 [ 2 3 ] 1 2 3 3 4/3 4 /3 2/3 4 /3 2 /3 4/3 = 8 /3 8/3 4 /3 + 2/3 1/3 2 /3. 8/3 8 /3 4/3 4/3 2/3 4 /3 Wettl Ferenc Szinguláris értékek 2016. április 12. 8 / 35
Szinguláris érték Az SVD meghatározása m Ötlet: A H A = (UΣV H ) H UΣV H = VΣ H U H UΣV H = VΣ H ΣV H Ez A H A sajátfelbontása: V ortogonális (unitér), Σ H Σ diagonális (σ i 0) A H A sajátértékei épp a szinguláris értékek négyzetei, ui. Σ H Σ = diag(σ 2 1, σ2 2,..., σ2 r, 0,..., 0). SVD kiszámítása: 1 meghatározzuk A T A sajátértékeit (λ i ) és sajátvektorait (x i ), 2 a sajátértékek gyökei a szinguláris értékek (σ i = λ i ), 3 a jobb szinguláris vektorok a sajátvektorok (v i = x i / x i ), 4 bal szinguláris vektorok: mivel Av i = σ i u i, ezért u i = Av i /σ i, 4 alternatíva: a bal szinguláris vektorok megegyeznek az AA T sajátvektoraival, innen v i = A T u i /σ i, 5 a szinguláris vektorokból fölírható V 1 és U 1, a redukált szinguláris felbontás és a diadikus alak, 6 a V-hez ki kell egészíteni a {v 1,..., v r } vektorokat ONB-sá (hasonlóképp U-hoz) Wettl Ferenc Szinguláris értékek 2016. április 12. 9 / 35
Szinguláris érték Szinguláris érték szerinti felbontás létezése T A szinguláris értékek létezése és egyértelm sége: Minden r-rangú komplex A mátrixnak létezik r (pozitív) szinguláris értéke. Ezek megegyeznek A H A (illetve az AA H ) pozitív sajátértékeinek négyzetgyökeivel. A szinguláris értékek monoton csökken sorozata egyértelm. B A H A önadjungált: (A H A) H = A H (A H ) H = A H A minden sajátértéke valós, így ortogonálisan diagonalizálható, A H A pozitív szemidenit, így minden sajátértéke nemnegatív, ui. x H A H Ax = (Ax) H (Ax) = Ax 2 0. r(a H A) = r(a) = r, így (λ 1 λ 2 λ n rendezés után), λ i > 0, ha 1 i r, és λ i = 0, ha r < i n σ i = λ i > 0, ha 1 i r A H A sajátértékei egyértelm ek, ezért A szinguláris értékei is azok A H A és AA H 0-tól különböz sajátértékei megegyeznek Wettl Ferenc Szinguláris értékek 2016. április 12. 10 / 35
Szinguláris érték Szinguláris felbontás geometriai interpretációja P SVD hatása egységkörön 2-rangú 2 2-es mátrixszal: V T v i = e i, Σe i = σ i e i, Uσe i = σue i = σu i, azaz V T a {v i } bázist a standardba viszi ortogonális leképezéssel (forgatás vagy tükrözés), ott Σ tengelyirányban nyújtja/összenyomja, végül az ortogonális U hat rá. A = UΣV T : x UΣV T x: V T e Σ U σ 1 u 1 2 σ 2 e 2 v 2 e 1 σ 1 e 1 σ 2 u 2 v 1 Wettl Ferenc Szinguláris értékek 2016. április 12. 11 / 35
Szinguláris érték Szinguláris felbontás geometriai interpretációja P 2 3-as, valós, 2-rangú mátrix: V T ortogonális, így hatása: V T v i = e i (i = 1, 2, 3). Σ a két els tengely irányában nyújt/összenyom: Σe i = σ i e i (i = 1, 2), a harmadik tengely irányával párhuzamosan vetít: Σe 3 = 0. A kép nem egy ellipszisvonal, hanem a teljes általa határolt tartomány. Végül az ortogonális U ezt elforgatja vagy tükrözi egy egyenesre. v 3 V T Σ U σ 1 u 1 e 2 σ 2 e 2 σ 2 u 2 v 2 e 1 e 3 σ 1 e 1 v 1 Wettl Ferenc Szinguláris értékek 2016. április 12. 12 / 35
Szinguláris érték Szinguláris felbontás geometriai interpretációja T A egy r-rangú, m n-es valós mátrix. Az x Ax leképezés R n az e T e = 1 egyenletet kielégít, egységgömb felületén lév pontjait, R m egy r-dimenziós altere egy ellipszoidjának felületére képzi, ha r = n, és egy ellipszoidja által határolt tartományára képzi, ha r < n. Wettl Ferenc Szinguláris értékek 2016. április 12. 13 / 35
Szinguláris érték Polárfelbontás m r e iϕ : egy nemnegatív nyújtási tényez (r) és egy egységnyi abszolút érték komplex szám (e iϕ, ami a komplex síkon ϕ-vel való forgatás) szorzata. D Polárfelbontáson egy négyzetes mátrixnak egy pozitív szemidenit és egy ortogonális mátrix szorzatára való felbontását értjük. T Bármely komplex (valós) négyzetes A mátrix el áll A = PQ alakban, ahol P pozitív szemidenit önadjungált (szimmetrikus) mátrix, Q pedig unitér (ortogonális). Ha A invertálható, akkor P pozitív denit, és a felbontás egyértelm. Wettl Ferenc Szinguláris értékek 2016. április 12. 14 / 35
Szinguláris érték B A = UΣV H = UΣU H UV H = (UΣU H )(UV H ), ahonnan P = UΣU H, Q = UV H. P önadjungált, hisz (UΣU H ) H = UΣ H U H = UΣU H. A P pozitív szemidenit, hisz hasonló a pozitív szemidenit Σ mátrixhoz (ha A invertálható, akkor Σ pozitív denit) Q unitér (ortogonális), hisz két unitér (ortogonális) mátrix szorzata. A P egyértelm (nem csak akkor, ha pozitív denit), ugyanis AA H = PQQ H P H = PP H = P 2, azaz P = AA H, és pozitív szemidenit önadjungált mátrix négyzetgyöke egyértelm az önadjungált pozitív szemidenit mátrixok körében. Ha P pozitív denit, akkor invertálható, így Q = P 1 A is egyértelm. Wettl Ferenc Szinguláris értékek 2016. április 12. 15 / 35
Szinguláris érték analógia a determinánson is: det P = r, det Q = e iϕ (hisz Q unitér), det A = r e iϕ. Fordított sorrend: azonos unitér (ortogonális) mátrixszal: A = UΣV H = UV H VΣV H = (UV H )(VΣV H ) = QˆP, Valós polárfelbontás geometriai jelentése: minden mátrixleképezés két olyan leképezés kompozíciója, amelyekb l az egyik forgatja vagy forgatva tükrözi a teret (Q), a másik pedig egy ortonormált bázis tengelyei mentén nyújtja/összenyomja a teret minden tengelyirányban egy-egy nemnegatív tényez vel. Wettl Ferenc Szinguláris értékek 2016. április 12. 16 / 35
Szinguláris érték P Polárfelbontásait számítsuk ki 0 2 2 A = 2 3 2 4 2 0 B P = UΣU T, Q = UV T, ˆP = VΣV H 2 2 0 4 /9 8 /9 1/9 A = PQ = 2 3 2 4 /9 1/9 8 /9 0 2 4 7/9 4 /9 4 /9 4 /9 8 /9 1/9 4 2 0 = QˆP = 4 /9 1/9 8 /9 2 3 2. 7/9 4 /9 4 /9 0 2 2 2 2 0 0 0 1 0 0 1 2 2 0 A = 2 3 2 0 1 0 = 0 1 0 2 3 2. 0 2 4 1 0 0 1 0 0 0 2 4 Wettl Ferenc Szinguláris értékek 2016. április 12. 17 / 35
Szinguláris érték Pszeudoinverz T SVD: A = U 1 Σ 1 V T 1, illetve A = UΣVT. Ekkor B U 1 teljes oszloprangú, Σ 1 V T 1 A + = V 1 Σ 1 1 UT 1 = VΣ + U T. teljes sorrangú, így ( ) A + 1 ) 1 = (Σ 1 V T 1 ) T Σ 1 V T 1 (Σ 1 V T 1 ) (U T T 1 U 1 U T 1 = V 1 Σ 1 Σ 2 1 UT 1 = V 1 Σ 1 1 UT 1. Ebb l VΣ + U T = [ V 1 V 2 ] [ Σ 1 1 O O O ] [ ] U T 1 U T 2 = V 1 Σ 1 1 UT 1. Wettl Ferenc Szinguláris értékek 2016. április 12. 18 / 35
Norma 1 Szinguláris érték Az SVD meghatározása Szinguláris érték szerinti felbontás létezése Szinguláris felbontás geometriai interpretációja 2 Norma Euklideszi vektornorma és p-norma A norma általános fogalma Vektornormák ekvivalenciája 3 Mátrixnorma Vektornorma mátrixokon A mátrixnorma általános fogalma Az 1-, 2- és -norma mátrixokra 4 Alkalmazások Információtömörítés Mögöttes tartalom analízise Wettl Ferenc Szinguláris értékek 2016. április 12. 19 / 35
Norma Euklideszi vektornorma és p-norma D Az x vektor euklideszi normája vagy más néven abszolút értéke x 2 = n x 2 = x i T x, ha x R n, i=1 x 2 = n x i 2 = x H x, ha x C n. i=1 m Manhattan ( x + y ), képméretezés (max{ x, y }). D A p 1 valósra az x C n vektor p-normája x p = ( n i=1 x i p ) 1/p, míg ennek határértéke a -norma, azaz x = lim p x p. Wettl Ferenc Szinguláris értékek 2016. április 12. 20 / 35
Norma Euklideszi vektornorma és p-norma m 1-norma = rácsnorma = Manhattan-norma maximum norma = -norma x = lim p x p = lim p ( n i=1 ) 1/p x i p = max x i. i B a legnagyobb abszolút érték koordináta x max ( x i / x max 1) 1 n x i /x max p n. i=1 Mindegyik kifejezést 1/p-edik hatványra emelve, majd x max -szal beszorozva kapjuk, hogy ( n x max x max i=1 x i x max p ) 1/p x max n 1/p, Wettl Ferenc Szinguláris értékek 2016. április 12. 21 / 35
Norma Euklideszi vektornorma és p-norma p = 1 p = 3 2 p = 2 p = 3 p = Wettl Ferenc Szinguláris értékek 2016. április 12. 22 / 35
Norma Euklideszi vektornorma és p-norma p = 1 p = 2 p = Wettl Ferenc Szinguláris értékek 2016. április 12. 23 / 35
Norma A norma általános fogalma Á Az el z normák alaptulajdonságai: x 0 x = 0 x = 0 ( a d(x, y) = x y távolságfüggvény szeparálja a pontokat, azaz két különböz pont távolsága sosem 0) cx = c x (pozitív homogenitás) x + y x + y (háromszögegyenl tlenség) D Az f : R n R, vagy f : C n R függvény norma, ha f (x) 0 minden x vektorra, és f (x) = 0 pontosan akkor áll fenn, ha x = 0, f (cx) = c f (x) minden x vektorra, f (x + y) f (x) + f (y). m x = x bármely. normára igaz, hisz x = 1 x = x. m háromszögegyenl tlenség másik alakja: z x z x Wettl Ferenc Szinguláris értékek 2016. április 12. 24 / 35
Norma A norma általános fogalma m A háromszögegyenl tlenség p-normánál: Minkowski-egyenl tlenség: x + y p x p + y p. (1) m A Hölder-egyenl tlenség a CBS-egyenl tlenség általánosítása: x H y x p y q, ahol 1 p + 1 q = 1. (2) m Ha x x egy norma, és A egy egy-egy értelm lineáris leképezés, akkor az x Ax leképezés is norma és a következ is x y x sup y 0 y m max i { x i } x 1 2 + + x n 2 x 1 + + x n azaz m Másrészt x x 2 x 1. x 1 n x 2, x 2 n x és x 1 n x. m Minden norma folytonos függvény. Wettl Ferenc Szinguláris értékek 2016. április 12. 25 / 35
Norma Vektornormák ekvivalenciája D A. a és. b normák ekvivalensek, ha van olyan c és d pozitív valós szám, hogy. a c. b és. b d. a. m Az 1-, 2- és -normák ekvivalensek T A K n téren értelmezett bármely két norma ekvivalens (K = R vagy C). m Ez csak véges dimenziós terekben igaz, itt tehát a konvergenciakérdésekhez bármelyik norma jó. Wettl Ferenc Szinguláris értékek 2016. április 12. 26 / 35
Mátrixnorma 1 Szinguláris érték Az SVD meghatározása Szinguláris érték szerinti felbontás létezése Szinguláris felbontás geometriai interpretációja 2 Norma Euklideszi vektornorma és p-norma A norma általános fogalma Vektornormák ekvivalenciája 3 Mátrixnorma Vektornorma mátrixokon A mátrixnorma általános fogalma Az 1-, 2- és -norma mátrixokra 4 Alkalmazások Információtömörítés Mögöttes tartalom analízise Wettl Ferenc Szinguláris értékek 2016. április 12. 27 / 35
Mátrixnorma Vektornorma mátrixokon D Az A C m n mátrix Frobenius-normája m n m n A F = a ij 2 = A i 2 = 2 A j 2. 2 i=1 j=1 T Frobenius-norma ekvivalens alakjai: A F = i=1 trace(a H A) = min(m,n) i=1 j=1 σ 2 i. B [A H A] jj = A j 2 2 nyom = sajátértékek összege Á Bármely x C n vektorra és A C m n mátrixra Ax 2 A F x 2. B CauchyBunyakovszkijSchwarz-egyenl tlenségb l: n n Ax 2 = 2 A i x 2 A i 2 2 x 2 = 2 A 2 F x 2. 2 i=1 i=1 Wettl Ferenc Szinguláris értékek 2016. április 12. 28 / 35
Mátrixnorma A mátrixnorma általános fogalma D. : K n R mátrixnorma, ha A 0, és A = 0 pontosan akkor áll fenn, ha A = O, ca = c A, A + B A + B, AC A C. D. egy tetsz leges vektornorma. Ekkor az A = max Ax x =1 egyenl séggel deniált függvényt a vektornorma által indukált mátrixnormának nevezzük. m Jelölés: A p = max x p =1 Ax p m Ha lineáris leképezésre értelmezzük, operátornormáról beszélünk. m A normák ekvivalenciájából bármely normában az egységgömb korlátos és zárt a x Ax függvénynek van maximuma és minimuma m a deníció ekvivalens alakjai Ax A = sup x =0 x = max Ax x =0 x. Wettl Ferenc Szinguláris értékek 2016. április 12. 29 / 35
Mátrixnorma Az 1-, 2- és -norma mátrixokra T Legyen A C m n, ekkor A 1 = max j n a ij = legnagyobb abszolút oszlopösszeg, (3) i=1 m A = max a ij = legnagyobb abszolút sorösszeg, (4) i j=1 A 2 = A H = max max y H Ax = σ 1, (5) 2 x 2 =1 y 2 =1 Ha az A C n n invertálható, akkor A 1 2 = max x 2 =1 1 Ax 2 = ahol σ n az A legkisebb (pozitív) szinguláris értéke. 1 = 1, (6) min Ax 2 σ n x 2 =1 m Az 1-, a - és a 2-normára szokásos másik elnevezés: oszlopnorma, sornorma és spektrálnorma. Wettl Ferenc Szinguláris értékek 2016. április 12. 30 / 35
Alkalmazások 1 Szinguláris érték Az SVD meghatározása Szinguláris érték szerinti felbontás létezése Szinguláris felbontás geometriai interpretációja 2 Norma Euklideszi vektornorma és p-norma A norma általános fogalma Vektornormák ekvivalenciája 3 Mátrixnorma Vektornorma mátrixokon A mátrixnorma általános fogalma Az 1-, 2- és -norma mátrixokra 4 Alkalmazások Információtömörítés Mögöttes tartalom analízise Wettl Ferenc Szinguláris értékek 2016. április 12. 31 / 35
Alkalmazások Információtömörítés T Kis rangú approximáció tétele EckartYoung-tétel A r-rangú, k-adik szinguláris értéke σ k, jobb és bal szinguláris vektorta v k, illetve u k. Legyen k A k = σ i u i v T i. Ekkor A k az A mátrix legjobb legföljebb k-rangú közelítése, azaz r min A B F = A A k F = σ 2, i r(b) k i=1 i=k+1 min A B 2 = A A k 2 = σ k+1. r(b) k Wettl Ferenc Szinguláris értékek 2016. április 12. 32 / 35
Alkalmazások Információtömörítés 1, 2, 3, 4, 8, 12, 40, 97, 194. Wettl Ferenc Szinguláris értékek 2016. április 12. 33 / 35
Alkalmazások Információtömörítés Wettl Ferenc Szinguláris értékek 2016. április 12. 34 / 35
Alkalmazások Mögöttes tartalom analízise A latent semantic indexing (LSI) vagy latent semantic analysis (LSA) Ö Az egy dokumentumban szerepl szavakat összekapcsolja a dokumentum tartalma, e kapcsolatokat a szavak mögött lév tartalmat az SVD kiemeli, mint lényeges információt. A sorai a szavakat, oszlopai a dokumentumokat reprezentálják. t ij az i-edik szó gyakorisága a j-edik dokumentumban és T i a teljes szöveggy jteményben ( ) t n ik log t ik T a ij = 1 + i T i log(1 + t ij ). log n k=1 az els tényez egy csak az i-edik szónak az egész gy jteményhez való kapcsolatától függ globális súly, a második csak a lokális érték függvénye. A = UΣV T és közelítése A k = U k Σ k V T k U k, illetve V k oszlopainak vektorterében a szavak, illetve dokumentumok kapcsolatát a hozzájuk tartozó vektorok helyzete jellemzi Wettl Ferenc Szinguláris értékek 2016. április 12. 35 / 35