B U D A P E S T I M Ű S Z A K I M A T E M A T I K A É S G A Z D A S Á G T U D O M Á N Y I I N T É Z E T E G Y E T E M Alkalmazott algebra BMETE90MX57 (FELSŐBB MATEMATIKA INFORMATIKUSOKNAK ) Lineáris leképezések 2018-09-24 EIC Wettl Ferenc ALGEBRA TANSZÉK 1
Ismeretek, képességek, célok Lineáris leképezés különböző ekvivalens definíciói. Lineáris transzformáció mátrixa különböző bázisokban. Hasonlóság és a hasonlóságra invariáns tulajdonságok. Vetítés, merőleges vetítés mátrixa. Legjobb közelítés tétele. Egyenletrendszer optimális megoldása, és annak kiszámítása. Lineáris és polinomiális regresszió. Pszeudoinverz tulajdonságai, kiszámítása, és az optimális megoldása kiszámítása. 2
Mátrixleképezés, lineáris leképezés
A mátrixleképezés fogalma D D A : R n R m ; x Ax képtér: Im(A) = O(A), magtér: Ker(A) = N (A) P a = (a 1, a 2, a 3 ) R 3, A : R 3 R 3 : x a x. M Az a x vektori szorzat koordinátás alakban: a 1 x y = a x = a 2 1 a x 2 = 2 x 3 a 3 x 2 a 3 x 1 a 1 x 3 a 3 x 3 a 1 x 2 a 2 x 1 a 3 x 2 + a 2 x 3 0 a = a 3 x 1 a 1 x 3 = 3 a 2 a 3 0 a 1 a 2 x 1 + a 1 x 2 a 2 a 1 0 x 1 x 2 x 3 3
Műveletek mátrixleképezések között Á A + B = C A + B = C Á ca = C ca = C Á XY = Z X Y = Z Á B = A 1 B = A 1 4
Mátrixleképezések tulajdonságai Á Á A : R n R m egy tetszőleges mátrixleképezés, x, y R n, c, d R: A(cx + dy) = ca(x) + da(y), (A megőrzi a lineáris kombinációt) A(cx) = ca(x), (a leképezés homogén) A(x + y) = A(x) + A(y), (a leképezés additív) Á A0 = 0 Á Á Tetszőleges altér képe altér. Tetszőleges affin altér képe affin altér. 5
Lineáris leképezés D Legyen V és W két F test fölötti vektortér. Azt mondjuk, hogy az A : V W leképezés lineáris, ha homogén és additív, lineáris transzformáció, ha V = W. P deriválás: D : V W : f D(f) = f D(cf) = (cf) = cf = cd(f), és D(f + g) = (f + g) = f + g = D(f) + D(g). P P integrálás: 1 0 1 cf = c f, és 0 1 Síkbeli forgatás, tükrözés, vetítés. 0 (f + g) = 1 0 1 f + g. 0 6
Vektortérből vektortérbe képző lineáris leképezések T Ekvivalens állítások: A : V W lineáris (homogén és additív). Tetszőleges x, y V, c, d F esetén A(cx + dy) = ca(x) + da(y) Tetszőleges x, y V és c F esetén A(cx + y) = ca(x) + A(y) x 1,..., x k V, c 1, c 2,..., c k F A(c 1 x 1 + + c k x k ) = c 1 Ax 1 + + c k Ax k. 7
Lineáris R n R m leképezések T A : R n R m egy tetszőleges függvény. Az A pontosan akkor lineáris, ha létezik egy olyan A m n mátrix, hogy az A függvény megegyezik az x Ax leképezéssel. Ekkor az e i standard egységvektorokkal A = [Ae 1 Ae 2... Ae n ], B Ax = A(x 1 e 1 + x 2 e 2 +... + x n e n ) = x 1 Ae 1 + x 2 Ae 2 +... + x n Ae n x ] 1 = [Ae 1 Ae 2... Ae n. = Ax x n 8
A mátrixleképezés hatásának szemléltetései x Ax Bx Cx Dx A = [ 5 4 3 4 3 4 5 4 ] B = [ 3 4 5 4 5 4 3 4 ] C = [ 5 4 3 4 3 4 5 4 ] D = [ 3 4 5 4 5 4 3 4 ] R n R m Im(A) 0 Ker(A) 0 9
Lineáris transzformáció mátrixa különböző bázisokban Legyen L : V V egy lineáris transzformáció, A és B a V két bázisa. Az L mátrixa e bázisokban L A és L B. [x] B L B [Lx] B [x] B L B [Lx] B C B A C B A C B A C A B = C 1 B A [x] A L A [Lx] A [x] A L A [Lx] A L B C B A = C B A L A L A = C A B L B C B A = C 1 B A L BC B A 10
Valami hasonló a Rubik-kockán T C T C 1 D Az n n-es A mátrix hasonló a B mátrixhoz, ha létezik olyan invertálható C mátrix, hogy B = C 1 AC. Jelölés: A B. 11
Hasonlóság T B T Hasonló mátrixok hatása Két mátrix pontosan akkor hasonló, ha van két olyan bázis, melyekben e két mátrix ugyanannak a lineáris leképezésnek a mátrixa. B = C 1 E C AC E C. Hasonlóságra invariáns tulajdonságok Ha A és B hasonló mátrixok, azaz A B, akkor 1. r(a) = r(b), 2. dim(n (A)) = dim(n (B)), 3. det(a) = det(b), 4. trace(a) = trace(b). 12
Alkalmazás: differenciálhatóság
Vektor-vektor függvények differenciálhatósága m D = lim h 0 f(x+h) f(x) h D lim h 0 f(x+h) f(x) Dh h = 0. lim h 0 f(x+h) f(x) Dh h = 0 Azt mondjuk, hogy az f : R n R m függvény differenciálható az x helyen, ha létezik olyan D f,x : R n R m lineáris leképezés, melyre f(x + h) f(x) D f,x h lim = 0. h 0 h A D f,x leképezést az f függvény x ponthoz tartozó deriváltleképezésének nevezzük. 13
Derivált y dy dy y x x + dx dx x 14
Derivált x f(x) zoom=1.50 f(x) x f(x) zoom=3.75 f(x) 15
Jacobi-mátrix T (Jacobi-mátrix) Ha az f : R n R m ; (x 1, x 2,..., x n ) (f 1, f 2,..., f m ) függvény differenciálható az x helyen, akkor a lineáris D f,x deriváltleképezés mátrixa a következő, ún. Jacobi-mátrix: f 1 x D f,x = (f 1 (x) 1, f 2,..., f m ) f 2 (x 1, x 2,..., x n ) (x) = x 1 (x). f m x 1 (x) f 1 f x 2 (x)... 1 x n (x) f 2 f x 2 (x)... 2 x n (x)..... f m f x 2 (x)... m x n (x) 16
Jacobi-determináns és az integrál transzformációja ϑ y ϑ r r ϑ r x 17
Függvények kompozíciójának deriváltja T (Láncszabály) Legyen f : R k R m, g : R n R k két függvény. Ha g differenciálható az x helyen, és f a g(x) helyen, akkor f g differenciálható az x helyen, és deriváltleképezése, illetve annak mátrixa: D f g,x = D f,g(x) D g,x, illetve D f g,x = D f,g(x) D g,x. 18
Lineáris trafók 2D-ben és 3D-ben
Forgatás Á Á T [ ] [ ] cos α sin α Forgatás 2D-ben: Ai Aj = sin α cos α Forgatás tengely körül 3D-ben: cos α sin α 0 1 0 0 cos α 0 sin α sin α cos α 0, 0 cos α sin α, 0 1 0. 0 0 1 0 sin α cos α sin α 0 cos α Rodrigues-formula: e R 3 egységvektor egyenese körül α szöggel ahol R = I + sin α[e] + (1 cos α)[e] 2 az x e x leképezés mátrixa. = I + sin α[e] + (1 cos α)(ee T I) 0 e 3 e 2 [e] = e 3 0 e 1. e 2 e 1 0 19
Kvaterniók Sir William Rowan Hamilton 1843 október 16. Kvaterniók: a + bi + cj + dk alakú számok, ahol a, b, c, d R, i, j, k olyan imaginárius számok, melyekre i 2 = j 2 = k 2 = ijk = 1, ij = k, ji = k, jk = i,, összeadás koordinátánként, szorzás az előző szabályok szerint: az u = u 1 i + u 2 j + u 3 k, v = v 1 i + v 2 j + v 3 k jelöléssel (a + u)(b + v) = ab u v + av + bu + u v. Here as he walked by on the 16th of October 1843 Sir William Rowan Hamilton in a flash of genius discovered the fundamental formula for quaternion multiplication T i 2 = j 2 = k 2 = ijk = 1 & cut it on a stone of this bridge. Forgatás kvaterniókkal: q = cos α 2 + (e 1i + e 2 j + e 3 k) sin α 2 a forgatást jellemző kvaternió, a (v 1, v 2, v 3 )-hoz tartozó kvaternió v = v 1 i + v 2 j + v 3 k. Az elforgatott: qvq 1, ahol q 1 = cos α 2 (e 1i + e 2 j + e 3 k) sin α 2 20
Merőleges vetítés és tükrözés Á Egyenesre való merőleges vetítés mátrixa P = 1 b T b bbt (P = ee T ). Á Síkra való merőleges vetítés mátrixa P = I nn T. Á Síkbeli tükrözés [ mátrixa az ] x-tengellyel α/2 szöget bezáró cos α sin α egyenesre:. sin α cos α Á Síkra való tükrözés mátrixa P = I 2nn T. 21
Eltolás Á Á 2D: (x, y) (x + a, y + b) a z = 1 egyenletű síkban: x x + az T y = y + bz z z mátrixa [ ] T = T i j k = 1 0 a 0 1 b. 0 0 1 3D: (x, y, z) (x + a, y + b, z + c) eltolás: 1 0 0 a x 1 0 0 a x x + a T = 0 1 0 b 0 0 1 c, T y z = 0 1 0 b y 0 0 1 c z = y + b z + c. 0 0 0 1 1 0 0 0 1 1 1 22
Merőleges vetítés, legjobb közelítés
Alterek direkt összege D V U és W U két tetszőleges altér. Azt mondjuk, hogy W a V kiegészítő altere, vagy komplementer altér, ha T V W = {0}, V + W = U, és azt mondjuk, hogy U a V és W alterek direkt összege, amit V W jelöl. Ekvivalens állítások: V W = {0} és V + W = U, azaz V és W kiegészítő alterek, U minden vektora egyértelműen áll elő egy V- és egy W-beli vektor összegeként, V W = {0} és dim V + dim W = n. P ha A R m n, akkor S(A) N (A) = R n, O(A) N (A T ) = R m. 23
Merőleges vetítés R n egy alterére T Ha W az R n egy altere, és az A mátrix oszlopvektorai a W egy bázisát alkotják (A teljes oszloprangú), akkor a W altérre való merőleges vetítés, azaz a proj W leképezés mátrixa A(A T A) 1 A T. B Legyen a v R n vektor W-re eső merőleges vetülete w. A oszloptere W, ezért létezik olyan x vektor, hogy Ax = w. W = O(A), így W = N (A T ), tehát v w benne van A T nullterében. Eszerint A T (v w) = 0, azaz A T (v Ax) = 0, innen A T Ax = A T v. Az A mátrix teljes oszloprangú, így A T A invertálható, azaz x = (A T A) 1 A T v, amiből proj W v = w = Ax = A(A T A) 1 A T v. 24
Melyik mátrix merőleges vetítés mátrixa? T Egy P mátrix pontosan akkor merőleges vetítés mátrixa, ha P = P T = P 2. P = A(A T A) 1 A T ( P 2 = A(A T A) 1 A T) 2 = A(A T A) 1 A T A(A T A) 1 A T = P, P T = (A(A T A) 1 A T) T ( = A (A T A) 1) T A T = A(A T A) 1 A T = P. Tegyük fel, hogy P = P T = P 2. Megmutatjuk, hogy P az O(P)-re való merőleges vetítés mátrixa. Ehhez elég megmutatnunk, hogy az x Px vektor merőleges O(P)-re bármely x vektor esetén. A P 2 = P feltétel miatt P(x Px) = Px P 2 x = 0, tehát x Px N (P), de P = P T, így x Px N (P T ). Ez épp azt jelenti, hogy x Px merőleges O(P)-re, és ezt akartuk belátni. 25
Altértől való távolság D T B x R n, W R n altér. x-nek a W altértől való távolságán a W altér x-hez legközelebbi w vektorának tőle való távolságát értjük. Legjobb közelítés tétele: Az x vektornak egyetlen W-beli legjobb ˆx közelítése van, nevezetesen ˆx = proj W x. x w = (x proj W x) + (proj W x w). első kifejezés W, a második W eleme! (x proj W x) (proj W x w) Pithagorász: x w 2 = x proj W x 2 + proj W x w 2. x w 2 x proj W x 2 egyenlőség csak akkor állhat fönn, ha w = ˆx = proj W x K R n = W W. 26
Altértől való távolság P Bontsuk fel az x = (8, 4, 2, 1) vektort W = span((1, 1, 1, 0), (0, 1, 1, 0))-be eső és W-re merőleges vektorok összegére. M A W-re való merőleges vetítés mátrixa P = W(W T W) 1 W T, ahol W két oszlopa a megadott két bázisvektor: 1 0 1 0 0 0 8 8 W = 1 1 1 1, amiből Px = 0 1/2 1/2 0 4 0 1/2 1/2 0 2 = 1 1. 0 0 0 0 0 0 1 0 proj W x = Px = (8, 1, 1, 0) és x proj W x = (0, 3, 3, 1). 27
Egyenletrendszer optimális megoldása D T Az Ax = b optimális megoldásain az Ax = proj O(A) b megoldásait értjük. Az Ax = b egyenletrendszer optimális megoldásai megegyeznek az A T Aˆx = A T b egyenletrendszer megoldásaival (normálegyenlet-rendszer). Ezek közül egyetlen egy esik az A mátrix sorterébe, a legkisebb abszolút értékű. 28
Lineáris és polinomiális regresszió T Az (x i, y i ) (i = 1, 2,... n) párokhoz tartozó, y = â + ˆbx egyenletű regressziós egyenes paraméterei kielégítik az alábbi egyenletet, mely egyértelműen megoldható, ha van legalább két különböző x i érték. [ ] [â ] [ ] n xi yi = xi x 2 i ˆb xi y i B Megoldandó: 1 x 1.. 1 x n [ ] a = b y 1.. A hozzá tartozó normálegyenlet-rendszer [ ] 1 x 1 [â ] [ ] y 1 1 1... 1 1 1... 1 x 1 x 2... x.. = n ˆb x 1 x 2... x.. n 29 1 x n y n y n
D Polinomiális regresszióról beszélünk, ha az y = a 0 + a 1 x + + a k x k egyenlet a i együtthatóira keresünk optimális becslést a legkisebb négyzetek módszerével, ismert (x i, y i ) párok sorozata mellett, ahol i = 1, 2,... n. m Keresendő az n egyenletből álló k + 1-ismeretlenes a 0 + a 1 x 1 +... + a k x k 1 = y 1 a 0 + a 1 x 2 +... + a k x k 2 = y 2.... a 0 + a 1 x n +... + a k x k n = y n egyenletrendszer megoldása az a 0, a 1,, a k ismeretlenekre. 1 x 1... x k 1 a 0 y 1 1 x 2... x k 2 a 1 y 2. =........ 1 x n... x k n a k y n Optimális megoldása a normálegyenletből megkapható. 30
P Másodfokú regresszió: Az x, y változók között egy y = a + bx + cx 2 összefüggés együtthatóit keressük. n = 4 mérést végzünk, a mért adatok k x k y k 1 1 3 2 0 0 3 1 1 4 2 1 Keressük meg az a, b, c legkisebb négyzetek elve szerinti legjobb becslését. M A megadott adatok közti összefüggés mátrixszorzat alakja: a + bx + cx 2 = y az együtthatómátrix k-adik sorvektora (1, x k, x 2 k ): 1 1 1 3 a 1 0 0 1 1 1 b = 0 1. 31 c 1 2 4 1
- A normálegyenlet 4 2 6 a 5 2 6 8 b = 0. 6 8 18 c 8 Ennek megoldása (a, b, c) = 1 4 (3, 5, 3), tehát a másodfokú polinom, mely legjobban illeszkedik a megadott (x k, y k ) pontokra y = 3 4 5 4 x + 3 4 x2. 32
Vetítés D U = V W, így bármely u U egyértelműen előáll u = v + w alakban, ahol v V, w W. A v vektor az u vektornak a V altérre W mentén való (vele párhuzamosan vett) vetülete. D E lineáris transzformációt vetítésnek vagy projekciónak nevezzük. m minden P vetítés az Im P-re Ker P mentén való vetítés. Á Mátrixa: U = R n, V bázisa { v 1,..., v r }, W bázisa { w 1,..., w n r }. Legyen U = [v 1 v 2... v r w 1 w 2... w n r ] = [V W]. Mivel Pv i = v i (i = 1, 2,..., r) és Pw j = 0 (j = 1, 2,..., n r), ezért a P leképezés P mátrixára U invertálható, ezért PU = P[V W] = [PV PW] = [V O]. P = [V O]U 1 = [V O][V W] 1. 33
Vetítés T A projekció tulajdonságai: Legyen P : R n R n egy projekció. 1. R n -nek van olyan bázisa, melyben a mátrixa P = diag(1, 1,..., 1, 0,..., 0). 2. I P is projekció: Ker(I P) = Im P, Im(I P) = Ker P, 3. r(p) = trace(p). 34
Pszeudoinverz
A pszeudoinverz fogalma Á D A sortér és az oszloptér közt létezik természetes kölcsönösen egyértelmű megveleltetés (Ax = b egyetlen sortérbe eső mo-a). R n S(A) 0 A A + R m O(A) 0 ˆx x 0 S(A) N (A) N (A T ) b ˆb 0 O(A) = S(A T ) Az A mátrix (Moore Penrose-féle) pszeudoinverze az az A + mátrix, melyre tetszőleges b esetén az Ax = b egyenletrendszer minimális abszolút értékű optimális megoldása A + b. 35
T T A pszeudoinverz létezése Jelölje az Ax = b egyenletrendszer egyetlen sortérbe eső optimális megoldását ˆx. Az A + : b ˆx függvény lineáris leképezés, így van mátrixa, melyet A + jelöl. Pszeudoinverz hatása a kitüntetett altereken Legyen A valós vagy komplex mátrix. 1. Az X mátrix pontosan akkor pszeudoinverze A-nak, (a) ha x N (A) esetén X(Ax) = x, és (b) ha z O(A) esetén Xz = 0. 2. Ha A + az A pszeudoinverze, akkor AA + = proj O(A) és A + A = proj O(A T ). Tehát AA +, illetve A + A merőlegesen vetít az A, illetve az A T oszlopterére. 36
Néhány pszeudoinverz Á A + = A 1, ha A invertálható, Á O + m n = O n m, Á [a] + = [ 1 /a], ha a 0, és [0] + = [0], Á (A + ) + = A, Á ha a ii 0 (i = 1, 2,..., r), akkor + 1 a 11 0... 0 0 a 22... 0...... O =. 0 0... a rr O O m n a 11 0... 0 0 1 a 22... 0.... O. 0 0... 1 a rr O O n m 37
A pszeudoinverz létezése és kiszámítása T B Ha a valós A teljes oszloprangú, akkor A + = (A T A) 1 A T, ha teljes sorrangú, akkor A + = A T (AA T ) 1. Ha A = BC, ahol B teljes oszlop-, C teljes sorrangú (ld. bázisfelbontás), akkor A + = C + B + = C T (CC T ) 1 (B T B) 1 B T = C T (B T AC T ) 1 B T. Ha A teljes oszloprangú, akkor R n = S(A), és A T A invertálható: (A T A) 1 A T Ax = x. Meg kell még mutatnunk, hogy ha z N (A T ), vagyis ha A T z = 0, akkor A + z = 0: (A T A) 1 A T z = (A T A) 1 0 = 0. Ha A teljes sorrangú, akkor O(A) = R m : y-ra Ax = y konzisztens. Jelölje ˆx az egyetlen sortérbe eső megoldást, így minden más x megoldásra proj S(A) x = ˆx. A + -ra fenn kell álljon A + y = ˆx: ( proj S(A) x = A T (AA T ) 1 Ax = A T (AA T ) 1) (Ax) = A + y. 38
Példák - Számítsuk ki a következő mátrixok pszeudoinverzét! 0 1 [ ] 0 1 1 1 0 1 B = 1 1, C = és M = 1 1 2 0 1 1 1 0 1 0 1 - B teljes oszloprangú, így [ ] 1 [ ] B + = (B T B) 1 B T 2 1 0 1 1 = 1 2 1 1 0 [ ] [ ] [ ] 2/3 = 1 /3 0 1 1 = 1 /3 1/3 2/3. 1 /3 2/3 1 1 0 2/3 1/3 1 /3 - A C mátrix teljes sorrangú, így 1 0 [ ] 1 C + = C T (CC T ) 1 2 1 = 0 1 = 1 2 1 1 2/3 1 /3 1 /3 2/3 1/3 1/3. 39
- M bázisfelbontása BC: - vagy M + = C + B + = 2/3 1 /3 [ ] 1 /3 2/3 1/3 1/3 2/3 2/3 1/3 1/3 1/3 1 /3 = 1 4 1 5 9 5 1 4 1 2 1 M + = C T (B T MC T ) 1 B T 1 0 ] = 0 1 [ 1 0 1 1 1 0 [0 ] 0 1 1 1 1 0 1 1 2 0 1 1 1 1 1 0 1 1 1 0 1 1 1 = 1 4 1 5 9 5 1 4 1 2 1 40
A pszeudoinverz tulajdonságai T Moore Penrose-tétel: A valós A mátrixnak X pontosan akkor pszeudoinverze, ha az alábbi négy feltétel mindegyike fennáll: a) AXA = A, b) XAX = X, c) (AX) T = AX, d) (XA) T = XA. K Tetszőleges A R m n mátrix esetén A + A = proj S(A) és AA + = proj O(A). Tehát A + A az R n teret merőlegesen vetíti A sorterére, míg AA + az R m teret merőleges vetíti A oszlopterére. 41
A pszeudoinverz és a min. absz. értékű opt. megoldás P Keressük a minimális abszolút értékű optimális megoldást! y + z = 3 x + y + 2z = 2 x + z = 2 0 1 1 3 1 0 1 0 M Inkonzisztens, ui.: 1 1 2 2 0 1 1 0 1 0 1 2 0 0 0 1 4 1 5 3 0 Pszeudoinverzzel ˆx = A + b = 1 9 5 1 4 2 = 1. 1 2 1 2 1 42