Numerikus Analízis I.

Átírás

1 Numerikus Analízis I. Sövegjártó András Jegyzet másodéves programozó és programtervező matematikus szakos hallgatóknak 2003.

2 ,,A sikerhez és tudáshoz vezető út senki előtt sincs zárva, akiben van bátorság és elszántság, hogy változzék, nyitottság, hogy mások tapasztalataiból tanuljon és állhatatosság, hogy gyakorlással elsajátítsa a sikeres cselekvés technikáját. ELŐSZÓ A numerikus analízis 1. az úgynevezett konstruktív matematika nagy fejezete, 2. a matematikai modellezés folyamatának fontos része. 1. Az alkalmazott matematikában leggyakrabban nem elégszünk meg azzal, hogy tudjuk (belátjuk, a vizsgált problémának létezik megoldása, hanem meg is akarjuk annak számszerű értékét határozni, ez pedig kétféle módon lehetséges: vagy véges sok lépésben elvileg a pontos megoldást (számítási, kerekítési hibáktól eltekintve, vagy egy általunk előre megadott pontossággal, úgynevezett közelítő megoldások (elvileg végtelen sorozatával. 2. A matematikai modellezés egy több lépésből álló (körfolyamat. A valóság egy részét vizsgálva, igyekezvén a jelenséget matematikailag leírni, elkészítjük annak egy lehetséges matematikai modelljét. Ez egyenletek és úgynevezett bemenő adatok (paraméterek rendszere. (A numerikus analízisben mi már kész, adott matematikai modelleket vizsgálunk. Sajnos, leggyakrabban a modellnek a pontos megoldása nem állítható elő úgynevezett analitikai eszközökkel véges sok lépésben. Ilyenkor numerikus módszerekre van szükség. (Egyszerű példa a 2 kiszámítása. A numerikus módszer kidolgozása után annak programozása és a programkód tesztelése következik, majd a konkrét számítások elvégzése. A két utolsó lépése a matematikai modellezésnek a számítások, eredmények analízise, és az eredményeknek másokkal könnyen közölhető formában való megjelenítése (esetleg vizualizálása rajzok, képek formájában. Tengernyi számadatból a megoldást értelmezni kell tudni. Gyakran, az eredmények analízise során kiderül, hogy a kapott eredmény nem felel meg a valóságnak (pl. a kísérleti eredményeknek, vagy annak, ami várható lett volna. Ilyenkor a modellezést újra elölről kell kezdeni. A modell finomításával, a jelenség pontosabb leírásával a lépéseket újra meg kell ismételni. Ebben a (körfolyamatban a numerikus analízis feladata numerikus módszerek kidolgozása és tanulmányozása. A számítógépek megjelenésével olyan feladatok megoldása is lehetővé vált, amelyekre korábban gondolni sem lehetett. Ilyenek például az időjárás előrejelzése, űrkutatási és komplex műszaki feladatok megoldása stb. Ha nyomon követjük a matematika fejlődésének történetét, azt láthatjuk, hogy a nagy matematikusok, természettudósok szinte mindegyike foglalkozott numerikus módszerek kidolgozásával is, hogy konkrét számítási eredményeket is kapjanak. Nevezetes példa erre Newton, akinek a fizikában, matematikában és numerikus módszerek területén elért eredményei is csodálatra méltóak! De megemlíthetnénk hasonló okból Gausst is.

3 2020-ra a számítógépek műveleti sebessége elérheti az emberi agy műveleti sebességét, azaz húsz millió milliárd ops-ot ( művelet per sec-ot. Ez a tény a numerikus módszerek kidolgozásának és alkalmazásainak kérdését is új megvilágításba helyezi és újabb problémákat is vet fel a kutatásban a hatékony algoritmusokkal kapcsoaltban. De ez már a jövő és a fiatal nemzedék feladata lesz. A numerikus módszerekkel való ismerkedés első lépéseként ajánljuk a jegyzet anyagát a másodéves programozó és programtervező matematikus hallgatóknak, és nem utolsósorban mindazoknak, akiket a tárgy érdekel. Kívánjuk, hogy a matematikával való foglalatosság nagy örömet nyújtson (és az sem baj, ha hasznot is! Ezúton szeretnék köszönetet mondani Sipos Boglárkának, aki a jegyzet megírásának fáradtságos munkáját vállalta. Nélküle, lelkes hozzáállása és munkája nélkül az anyag nem készült volna el. Budapest, szeptember 1. Sövegjártó András E kötet a programtervező matematikus szak nappali tagozatán a 2002/2003-as tanévben elhangzott I. félévi, Dr. Sövegjártó András egyetemi docens által tartott numerikus analízis előadássorozat alapján készült, kiegészítésekkel, Donald E. Knuth TEX szövegszedő rendszerével. Eötvös Loránd Tudományegyetem Informatikai Kar, 2003.

4 Tartalomjegyzék 1. HIBÁK A MATEMATIKAI MODELLEZÉS FOLYAMATÁBAN SZÁMÁBRÁZOLÁS TETSZŐLEGES B BÁZISBAN Fixpontos ábrázolás : Lebegőpontos ábrázolás : LEBEGŐPONTOS ARITMETIKA MŰVELETEK HIBÁI Összeg abszolút és relatív hibája, hibakorlátja Különbség abszolút és relatív hibája, hibakorlátja Szorzat abszolút és relatív hibája, hibakorlátja Hányados abszolút és relatív hibája, hibakorlátja LINEÁRIS EGYENLETRENDSZEREK DIREKT MEGOLDÁSI MÓDSZEREI GAUSS - ELIMINÁCIÓ A Gauss - elimináció műveletigénye GAUSS - JORDAN ELIMINÁCIÓ A Gauss - Jordan elimináció műveletigénye LU - FELBONTÁS (TRIANGULÁRIS FELBONTÁS Az LU - felbontás műveletigénye SÁVMÁTRIXOK, TRIDIAGONÁLIS MÁTRIXOK SCHUR - KOMPLEMENTER PASSAGE (PROGONKA MÓDSZER VAGY RÖVIDÍTETT GAUSS - ALGORIT- MUS TRIDIAGONÁLIS MÁTRIXÚ EGYENLETRENDSZERRE Az algoritmus stabilitása SZIMMETRIKUS POZITÍV DEFINIT MÁTRIXOK CHOLESKY FELBONTÁSA Az L n mátrix l ij elemeinek meghatározása Egyenletrendszer megoldása Cholesky felbontással szimmetrikus mátrixra HOUSEHOLDER (QR FELBONTÁS A Householder - algoritmus A Householder - algoritmus alkalmazása A Householder - algoritmus műveletigénye A = A 0 szimmetrikus mátrix tridiagonális alakra való transzformációja Householder módszerével VEKTORNORMÁK, MÁTRIXNORMÁK VEKTORNORMÁK MÁTRIXNORMÁK Korlátok a normákra LINEÁRIS EGYENLETRENDSZEREK PERTURBÁCIÓJA A JOBB OLDAL HIBÁJÁNAK (PERTURBÁCIÓJÁNAK HATÁSA AZ A MÁTRIX PERTURBÁCIÓJÁNAK HATÁSA LINEÁRIS EGYENLETRENDSZEREK ITERÁCIÓS MEGOLDÁSI MÓDSZEREI KONVERGENCIA HIBABECSLÉS JACOBI ITERÁCIÓ Konvergencia kritérium GAUSS - SEIDEL ITERÁCIÓ Konvergencia kritérium

5 5.5. RELAXÁCIÓS MÓDSZEREK Jacobi relaxáció Gauss - Seidel relaxáció KÉTRÉTEGŰ ITERÁCIÓS ELJÁRÁSOK Tompított Jacobi módszer A kerekítési hibák hatása az iterációs eljárásokra NEMLINEÁRIS EGYENLETEK ITERÁCIÓS MEGOLDÁSI MÓDSZEREI KONVERGENCIA HIBABECSLÉS Az egyszerű iteráció konvergenciasebessége NEWTON - MÓDSZER (ITERÁCIÓ SZELŐ MÓDSZER MÓDOSÍTOTT NEWTON - MÓDSZER KONVERGENCIAGYORSÍTÁS : AITKEN TRANSZFORMÁCIÓ (AITKEN 2 MÓDSZERE AITKEN - STEFFENSEN TRANSZFORMÁCIÓ BECSLÉS POLINOM GYÖKEINEK ELHELYEZKEDÉSÉRE NEWTON - MÓDSZER POLINOMOKRA NEMLINEÁRIS EGYENLETRENDSZEREK ITERÁCIÓS MEGOLDÁSI MÓDSZEREI NEWTON - MÓDSZER MÓDOSÍTOTT NEWTON - MÓDSZER SAJÁTÉRTÉKFELADATOK SAJÁTÉRTÉKEK LOKALIZÁCIÓJA HATVÁNY - MÓDSZER LEGNAGYOBB ABSZOLÚTÉRTÉKŰ SAJÁTÉRTÉK MEGHATÁROZÁSÁRA JACOBI MÓDSZERE SZIMMETRIKUS (VALÓS MÁTRIX SAJÁTÉRTÉKEINEK, SAJÁTVEKTORAINAK MEGHATÁROZÁSÁRA SZIMMETRIKUS TRIDIAGONÁLIS MÁTRIX SAJÁTÉRTÉKÉNEK MEGHATÁROZÁSA RANGSZÁMCSÖKKENTÉS

6 numerikus analízis i HIBÁK A MATEMATIKAI MODELLEZÉS FOLYAMATÁBAN I. Öröklött hibák 1. A matematikai modell hibája 2. A bemenő adatok hibája } Ezek a további számításokból nem kiküszöbölhetők, öröklődnek. II. Numerikus módszer hibája 1. Diszkretizációs hiba 2. Approximációs hiba 3. Képlet hiba III. Számítási hiba 1. Kerekítési hiba 2. Emberi, gépi tévedés Természetes követelmény, hogy az előző hibák összemérhetők legyenek az utolsóval (kerekítési hibával. Definíció : Numerikus algoritmus: Aritmetikai és logikai műveletek sorozata. Definíció : Numerikus matematika: Numerikus módszerek és algoritmusok elmélete. A numerikus módszer, algoritmus közelítő megoldást ad! Természetes követelmény, hogy az algoritmus adott ε pontosságot véges sok lépésben rövid idő alatt érjen el. Stabil az algoritmus, ha a bemenő adatok kis változtatása a megoldásban is csak kis változtatást okoz, azaz, ha a számolás során a számítási hibák nem nőnek jelentősen. Példák instabil algoritmusokra: (1 b 0 = 1, b 1 = 5 1 2, b n+1 = b n 1 b n (2 I 0 = ln 6 5, I n = 5 I n n

7 numerikus analízis i SZÁMÁBRÁZOLÁS TETSZŐLEGES B BÁZISBAN Tétel Legyen 2 B Z, 0 x R. Ekkor x mindig előállítható a következő alakban: ( x = σb k x n B n n=1 ahol σ { 1, 1 }, k N és x n { 0, 1,..., B 1 }. Ez az előállítás egyértelmű is, ha x 1 0 (úgy is mondjuk, hogy az x 1 számjegy normált és ha N N - re n N úgy, hogy ( x n B 1. Megjegyzés : 1. Tehát a B bázisban az x szám alakja: x = σb k 0.x 1 x 2 x Általában: B = 2, 8, 10, 16. Mivel a számítógépen ábrázolható számok halmaza véges, így alakjuk ( helyett a következő lesz: t (1 x = σb k x n B n n=1 ahol t N fix t m := x n B n neve: mantissza, n=1 t : a mantissza hossza, σ : az x szám előjele és k : az x szám kitevője (exponense, karakterisztikája.

8 numerikus analízis i Fixpontos ábrázolás : ( - ban k rögzített és x 1 = 0 is megengedett. Példa : k = 0 esetén ( a 0 x 1 számokat adja. k = t esetén azon x egészeket kapjuk, amelyekre x B t 1. Ez tudományos számításokra nem alkalmas a fizikai állandók nagyságrendjének nagy különbözősége miatt. (Pl.: m el = g, c = cm/sec Lebegőpontos ábrázolás : ( - ban a t > 0 mantissza hossza fix, és az exponensre alsó és felső korlát adott: k k k + (k, k + Z, k < 0, k + > 0 Az így ábrázolható számok halmaza: B k 1 x < B k +. Ha x < B k 1, akkor nullával veszi a számítógép. A B k + - nál nagyobb számok nem kezelhetők: exponenciális túlcsordulás. ε 0 := B k 1 a nullához legközelebbi szám. (Ugyanis (1 - ben x 1 = 1. Megjegyzés : Legtöbb számítógépen a B bázis 2 hatvány. B = 2 bináris rendszer. Hátránya, hogy nagy k, k + számokat kell választani kellően nagy számhalmaz ábrázolásához. B = 8, 16 oktális, hexadecimális rendszerek. Ezeknél minden x n jegy bináris ábrázolására 3 illetve 4 bit szükséges.

9 numerikus analízis i. 9 Decimális számrendszer esetén : t = 8 t = 16 egyszeres pontosság, dupla pontosság mellett. Az (1 számok tárolása számítógépen: [ ±, k, x 1,..., x t ] A géptől és a pontosságtól függően az m := (x 1,..., x t mantissza tárolására 4, 8, 16 byte adott. Ezzel párhuzamosan nő k értékkészlete. Mivel k k k +, a legnagyobb ábrázolható szám : a legkisebb : M := B k+ M. t n=1 B 1 B n = B k + ( 1 B t, TEHÁT : A lebegőpontos számok a [ M, M ] intervallumbeli racionális számok diszkrét halmaza, ami a nullára szimmetrikus. Így a nullán kívül ( ε 0, ε 0 intervallumban nincs más lebegőpontos szám. A 0 ábrázolása: [ +, 0, 0,..., 0 ]. Az ε 0 - hoz legközelebbi pozitív lebegőpontos szám: ( 1 B k B + 1 B t = ε 0 + B k t ( = ε B 1 t és ε 0 B 1 t ε 0 Az 1 mindig lebegőpontos szám, ugyanis 1 = [ +, 1, 1, 0,..., 0 ]. Az 1 utáni lebegőpontos szám: [ +, 1, 1, 0,..., 1 ] = 1 + ε 1, ahol ε 1 := B 1 t. ε 1 a gép relatív pontossága; gépi epszilon.

10 numerikus analízis i. 10 Példa : Legyen B = 16 = 2 4. Egyszeres pontosságú lebegőpontos számok ábrázolására 32 bit = 4 byte hozzáférhető. 1 bit az úgynevezett előjelbit, 7 bit van az exponens számára. E 7 biten tárolódik a k exponens, amire k = 64, k + = 63. Így 0 k = számok tároltak. A fennmaradó 3 byte-on t = 6 db hexadecimális jegy tárolható. Legyen x = = = 16 2 ( ami a következő módon tárolódik: A dupla pontosságú lebegőpontos számábrázolásra 8 byte áll rendelkezésre. 7 byte a mantissza t = LEBEGŐPONTOS ARITMETIKA Minden x valós számot gépen x véges előállításával reprezentálunk. Ezt a folyamatot kerekítésnek nevezzük, ami hibát okoz. Definíció : Legyen x, x R, ahol x az x approximáltja. Az x x különbséget abszolút hibának nevezzük, jele: x. Ha x 0, az x x x hányadost relatív hibának nevezzük, jele: δx. Tegyük fel, hogy minden számra és a számításokban teljesül a k k k + feltétel, azaz nincs túlcsordulás.

11 numerikus analízis i. 11 Megjegyzés : Tudományos számításoknál a megoldás nagyságrendje nagy mértékben változhat, a relatív hiba érdekes, mivel skálafüggetlen, azaz x αx, x α x,,skálázás a relatív hibát nem változtatja meg. KEREKÍTÉSI SZABÁLY : Legyen B 2 páros egész, t Z +, x R \ {0} és x ( előállítású. Ekkor az Rd t (x := t σb k x n B n ha x t+1 < B 2 n=1 ( t σb k x n B n + B t ha x t+1 B 2 n=1 számot az x t - jegyre kerekített értékének nevezzük. Megjegyzés : B = 10 bázisban ez a szokásos kerekítési szabály. Tétel t 1. Érvényes a következő előállítás: Rd t (x = σb k x nb n. n=1 2. Az abszolút hibára teljesül, hogy: Rd t (x x Bk t A relatív hibára érvényes, hogy: Rd t (x x x B t Az is igaz, hogy: Rd t (x x Rd t (x B t+1 2 (relatív hiba a kerekített értékre vonatkozóan.

12 numerikus analízis i. 12 Definíció : A τ := B t+1 2 számot a t - jegyű lebegőpontos aritmetika relatív pontosságának nevezzük. Példa : τ = < Így nincs sok értelme a bemenő és kijövő adatokat több, mint 7 jeggyel a mantisszában megadni. Duplapontos aritmetikában: τ = < KIEGYSZERŰSÖDÉS : Két közel egyenlő szám különbségének képzésekor lép fel a lebegőpontos aritmetikában. Először ugyanis az exponens azonos, de a mantissza kezdőjegyei nullává válnak. Az ezt követő normalizálásnál fontos jegyek elvesznek. (A mantissza jegyei balra tolódnak, az exponens csökken. Példa : a = = , ugyanis: 9876 = = Normalizálva : a = és itt a mantissza végén álló négy nulla értelmetlen. Példa : ax 2 + bx + c = 0 (a 0, ( x 1,2 = b ± b 2 4ac 2a Ha b 2 4ac = b 2 4ac b és így ( képlet egyik előjelre súlyos kiegyszerűsödésre vezet. Ezért először a nagyobb abszolútértékű gyököt számoljuk a következő módon: x 1 = [ b + sign (b ] b 2 4ac 2a, majd = x 1 x 2 = c a = x 2 = c ax 1. Ha b 2 4ac, akkor átrendezéssel sem kerülhető el a kiegyszerűsödés!

13 numerikus analízis i MŰVELETEK HIBÁI Legyen x, y pontos érték, a, b az x, y közelítő értékei. Definíció : Az a közelítő érték hibája: A b közelítő érték hibája: a := x a b := y b Definíció : Az a közelítő érték abszolút hibája: a = x a A b közelítő érték abszolút hibája: b = y b Definíció : Az a közelítő érték abszolút hibakorlátja minden olyan a szám, amelyre teljesül, hogy a a. Hasonlóan: b b Definíció : Az a közelítő érték relatív hibája: A b közelítő érték relatív hibája: δa := a x δb := b y a a b b Definíció : Az a közelítő érték relatív hibakorlátja minden olyan δ a szám, amelyre teljesül, hogy Hasonlóan: b b δ b a a δ a Összeg abszolút és relatív hibája, hibakorlátja (a + b hibája: (a + b = (x + y (a + b = (x a + (y b = a + b = (a + b a + b a + b ( y b = b = y = b + b Összeg abszolút hibakorlátja: (a+b = a + b Összeg relatív hibakorlátja: (a + b a + b a + b a + b = a δ a + b δ b a + b ( δ a = a a

14 numerikus analízis i Különbség abszolút és relatív hibája, hibakorlátja (a b hibája: (a b = (x y (a b = (x a (y b = a b = (a b a + b a + b Különbség abszolút hibakorlátja: (a b = a + b Különbség relatív hibakorlátja: (a b a b a + b a b = a δ a + b δ b a b Közeli számok kivonását kerülni kell! Szorzat abszolút és relatív hibája, hibakorlátja (a b hibája: (a b = xy ab = xy ay + ay ab = y(x a + a(y b = y a + a b = (b + b a + a b = = b a + a b + a b }{{} elhanyagolható = (a b b a + a b b a + a b Szorzat abszolút hibakorlátja: ab = b a + a b Szorzat relatív hibakorlátja: (a b a b b a + a b a b = a b δ a + a b δ b a b = δ a + δ b Hányados abszolút és relatív hibája, hibakorlátja ( a hibája: b ( a = x b y a b = a ( xb b ya 1 = a ( xb ya = a ( xb ab + ab ya = a ( b(x a a(y b = b ya b ya b ya = a b = a b ( b a a b a(b + b b b = a ( b 2 a b a b b b b a(b 2 2 ab b + a 2 b b a(b 2 2 a ( b 2 a b b ab 2 ab b ab 2 = ( a a b b = ( a a b b Hányados abszolút hibakorlátja: Hányados relatív hibakorlátja: a b ( a a ( a b a b = a b + b b ( a a + b b a b ( a a b a + b b a b ( a a + b b = a a + b b = δ a + δ b

15 numerikus analízis i LINEÁRIS EGYENLETRENDSZEREK DIREKT MEGOLDÁSI MÓDSZEREI Legyen (1 Ax = b Ahol A nem túl nagy rendű úgynevezett telemátrix (együttható mátrix, A R N N, ismeretlen vektor, b R N ismert vektor. x R N Tétel Cramer - szabály Ha det A 0, akkor (1 -nek! megoldása, amit a következő módon kapunk meg: x k = k Ahol det A =. Csak kis rendű mátrixok esetén célszerű alkalmazni. műveletet jelent. Nagy környezethibára vezethet. k = 1, 2,..., N. (N+1 mátrixot kell kiszámítani (N! rendű Tétel Az Ax = 0 egyenletnek x 0 megoldása det A = 0. Következmény det A 0 esetén csak triviális megodás létezik. [ Az (1 megoldása ekkor x = A 1 b ] Tétel Az (1 egyenletrendszernek! megoldása det A 0. Alapkövetelmény a megoldási módszerrel szemben: Minél kevesebb művelettel legyen meghatározható adott ε > 0 pontosságú közelítő megoldás. (Numerikus módszer hatékonysága. Definíció : Direkt módszer: Pontos adatokat feltételezve, a számításokat pontosan végezve, véges sok művelettel a pontos eredmény meghatározható (A, b - pontos bemenő adatok. Természetesen a megoldás itt is pontatlan, függ a környezethibától, azaz a géptől és a megoldási módszer numerikus stabilitásától.

16 numerikus analízis i GAUSS - ELIMINÁCIÓ Legyen (1 Ax = b det A 0, b 0 (! megoldás, ahol A - kitöltött N N - es mátrix. Legyen b i := a i, N+1. (1 a 11 x 1 + a 12 x 2 + a 13 x a 1N x N = a 1, N+1 a 21 x 1 + a 22 x 2 + a 23 x a 2N x N = a 2, N+1. a N1 x 1 + a N2 x 2 + a N3 x a NN x N = a N, N+1 Az algoritmus: 1. Tegyük fel, hogy a Adjuk (1 i - edik egyenletéhez az első egyenlet ( a i1 - szeresét = a 11 a 11 x 1 + a 12 x 2 + a 13 x a 1N x N = a 1, N+1 (1 a 22 x 2 + a (1 23 x a (1 2N x N = (1 a 2, N+1. (1 a N2 x 2 + a (1 N3 x a (1 NN x N = (1 a N, N+1 ahol: (1 a ij = a ij a i1 a 11 a 1j ( i = 2, 3,..., N j = 2, 3,..., N + 1 Ha a 11 = 0, akkor sorcserét alkalmazunk!

17 numerikus analízis i Tegyük fel, hogy (1 a Adjuk a második egyenlet (i = 3, 4,..., N = (1 a i2 - szeresét az i - edik egyenletéhez (1 a 22 a 11 x 1 + a 12 x 2 + a 13 x a 1N x N = a 1, N+1 (1 a 22 x 2 + a (1 23 x a (1 2N x N = (2 a 33 x a (2 3N x N = (1 a 2, N+1 (2 a 3, N+1. (2 a N3 x a (2 NN x N = (2 a N, N+1 ahol: (2 a ij = (1 a ij (1 a i2 (1 a 22 (1 a 2j ( i = 3, 4,..., N j = 3, 4,..., N Végül az (N edik lépés után: (N 1 a NN x N = a N 1 N,N+1. Legyen: a ij = (0 a ij ( i = 1, 2,..., N j = 1, 2,..., N + 1. Ekkor a k - adik lépésben a megváltozott együtthatók kiszámítása a következő módon történik: (2 (k a ij = (k 1 a ij (k 1 a ik (k 1 a kj (k 1 a kk k = 1,..., N 1 i = k + 1,..., N j = k + 1,..., N + 1 Így felső trianguláris mátrixot kapunk, ahol visszahelyettesítéssel az ismeretlenek kiszámolhatók: (3 x i = 1 a (i 1 i,n+1 (i 1 a ii N j=i+1 (i 1 a ij x j ( i = N, N 1,..., 1

18 numerikus analízis i A Gauss - elimináció műveletigénye A (2 - ből következik, hogy k - ra (N k osztást és (N k(n k + 1 szorzást kell végeznünk, míg a visszahelyettesítésnél i - re (3 - ból = 1 osztás és (N i szorzást kell végezni. Így a műveletigény: M G = N 1 k=1 [ ] N [ ] (N k + (N k (N k (N i M G = 1 3 N 3 + O(N 2 A visszahelyettesítés műveletigénye elhanyagolható az eliminációnál! i=1 M G = N 1 k=1 N 1 (N k k=1 (N k + N [ 1 + (N i ] = i=1 (N 1 N (2N N (N N + N (N 1 2 = 2N 3 + 3N 2 5N 6 + N 2 + N 2 = N 3 + 3N 2 N 3 = 1 3 N 3 + O(N 2 Tétel A Gauss - elimináció elvégezhető, azaz (k 1 a kk 0, k = 1,... N 1 az egyenlet mátrixának főminorai determinánsa nem nulla (bal felső sarokaldeterminánsok 0. a 11 a 1k det.. 0 a k1 a kk k = 1,..., N Bizonyítás Teljes indukcióval. Hogy a folyamat ne akadjon el, kell, hogy (k 1 a kk 0. Az első lépésben (k = 1 : [ ] a11 a (1 a 22 = a 22 a 21 a 12 = a det 12 22a 11 a 12 a 21 a 21 a 22 =, ha det [a 11 ] 0 a 11 a 11 det [a 11 ] [ ] a11 a Sőt, hogy az eljárás folytatható legyen, kell, hogy det a 21 a 22

19 numerikus analízis i. 19 Mivel sorok lineáris kombinációja a determináns értékét nem változtatja meg, azért: [ ] [ ] a11 a a11 det 12 a 12 = det a 21 a 22 0 (1 a 22 ( 0 Tegyük fel, hogy a módszer a (k 2 - edik lépésig elvégezhető, azaz (k 1 - edrendig a főminorok nem nullák (det A k 1 0. Belátjuk, hogy a (k 1 - edik lépésben (k 1 a kk 0 det A k 0. Tehát: a a 11 a 11 a 1k 1k (1 (1 a 21 a 2k det A k = det.. = det 0 a 22 a 2k =. a k1 a (k 1 kk 0 0 a kk k i=1 (i 1 a ii = (k 1 k 1 a kk Az indukciós feltétel miatt det A k 1 0, ezért (k 1 a kk 0 det A k 0. i=1 (i 1 a ii = (k 1 a kk det A k GAUSS - JORDAN ELIMINÁCIÓ Két fő dologban különbözik a Gauss - eliminációtól: 1. Minden lépésben először leosztjuk az egyenletet a megfelelő (k 1 a kk 2. Nem csak a főátló alatt, hanem felette is eliminálunk. N lépés után: együtthatóval. x 1 = x 2 =. x n = (N a 1,N+1 (N a 2,N+1 (N a N,N+1 A k - adik lépésben kapott együtthatók: (1 (k a ij = (k 1 a ij (k 1 a ik (k 1 a kk (k 1 a kj k = 1,..., N i = 1,..., N, i k j = 1,..., N + 1 Visszahelyettesíteni nem kell!

20 numerikus analízis i A Gauss - Jordan elimináció műveletigénye (1 = k - ra (N k + 1 osztás és (N k + 1(N 1 szorzás kell. Így : M = N [ ] N (N + 1 N (N k + 1+(N k + 1 (N 1 = N (N k + 1 = N 2 k=1 k=1 = 1 2 N 3 +O(N 2, ami mintegy 50%- kal több a Gauss - eliminációénál. Ezért lineáris egyenletrendszerek megoldására ezt nem célszerű használni. DE: Programozási szempontból mátrix invertálásra előnyös. Alkalmazások 1. Gauss - elimináció: egyenletrendszer megoldására telemátrix és kis rendszer (max esetén. 2. Gauss - elimináció: determináns értékének kiszámítására, ahol l - a sor- és oszlopcserék száma. det A = ( 1 l (0 a 11 (1 a (N 1 a NN 3. Gauss - Jordan elimináció: mátrix inverzének kiszámítására, Ax = e 1. Ax = e N ahol e i az i - edik egységvektor. Ax = I = x = A 1 Belátható, hogy a Gauss - elimináció alkalmazásával kapott felső mátrix alkalmas mátrix-szorzásokkal is megkapható.

21 numerikus analízis i. 21 Legyen (A b = a 11 a 1N b 1... a N1 a NN b N Ekkor a Gauss - elimináció lépései: 1. Azon r 1 index megkeresése, amelyre a r1 1 0, r 1 {1,..., N}. Az első sor cseréje az r 1 - edik sorral az (A b mátrixban. Az eredménymátrix legyen (Â b. 2. i = 2,..., N - re vonjuk ki az első sor l i1 = âi1 â 11 (Â b - ban. - szeresét az i - edik sorból Az eredménymátrix legyen (A b, azaz a 11 a 12 a 1N b 1 0 a 22 a 2N b 2 (A b = a N2 a NN b N Az (A b = (Â b = (A b transzformációk leírhatók mátrixok szorzásával is a következő módon: Az 1. - beli sorcsere az (A b mátrixnak egy permutáció mátrixszal való szorzásnak felel meg.

22 numerikus analízis i. 22 Definíció : Permutáció mátrix (N N - es : P ij := i - edik sor j - edik sor A permutáció mátrix felcseréli az i - edik és j - edik sort. P ij nem szinguláris, és belátható, hogy P 1 ij = P ij. Definíció : Frobenius mátrix (N N - es : i - edik oszlop L i := l i+1, i l N, i A Frobenius mátrix az I - től csak egy oszlopban különbözik. L i nem szinguláris. Így a Gauss - elimináció 1. lépése a következő módon írható: (A b = L 1 (Â b = L 1 P r1 1(A b

23 numerikus analízis i. 23 Állítás L 1 i = l i+1, i l N, i Bizonyítás L i - t írjuk a következő alakban: L i = I m (i ( e (i T, ahol m (i := [ 0,..., 0, l i+1 i,..., l Ni ] T (m (i oszlopvektor, e (i az i - edik egységvektor. = L i ( I + m (i e (i T = ( I m (i e (i T (I + m (i e (i T = I +m (i e (i T m (i e (i T m (i e (i T m (i e (i T = I A stabilitás miatt célszerű r 1 - et úgy választani, hogy: a r1 1 := max 1 i N a i1 A k - adik lépés után a következő mátrixot kapjuk: (A (k b (k = A (k 11 A (k 12 b (k 1 0 A (k 22 b (k 2 ahol A (k 11 Rk k egy felső mátrix. A (k edik lépésben: ( A (k+1 b (k+1 ( = L k+1 P rk k+1 A (k b (k ( és most csak az A (k 22 b(k 2 mátrix fog változni. (N 1 lépés után egy felső mátrixot R R N N és egy c R N vektort kapunk, ahol (R c = L N 1 P N 1 L N 2 P N 1... L 1 P 1 (A b

24 numerikus analízis i LU - FELBONTÁS (TRIANGULÁRIS FELBONTÁS Legyen (1 Ax = b, A R N N, det A 0 Bontsuk fel az A mátrixot két háromszögmátrix szorzatára! A = L U, ahol L = l l N 1 l N N 1 1 u 1 1 u 1 2 u 1 N U = 0 u un 1 N 0 0 u N N Ekkor (1 megoldása: LU x = b Ezt két lépésben végezhetjük: Tehát: A = L U legyen! L Ux = b }{{} y 1. Ly = b 2. Ux = y Számítsuk ki L és U elemeit! i - edik sor j - edik oszlop a 1 1 a 1 N.... a i i a ij. =... a N 1 } {{ a N N } A u 1 1 u 1 2 u 1j u 1 N l u = l i 1 l i i u i i u ij u in N... l N u N 1 N 1 u N 1 N l N 1 l N N u }{{} N N }{{} L U

25 numerikus analízis i. 25 (2 a ij = l i1 u 1j + l i2 u 2j + + l i i 1 u i 1 j + u ij, ha i j (3 a ij = l i1 u 1j + l i2 u 2j + + l i i 1 u j 1 j + l ij u jj, ha i > j Ahonnan: i = 1 - re: a 1j = u 1j j = 1,..., N, j = 1 - re: a i1 = l i1 u 11 i = 2,..., N, és amikből u 1j, l i1 elemek számolhatók, ha u i = 2 - re: a 2j = l 21 u 1j + u 2j j = 2,..., N, j = 2 - re: a i2 = l i1 u 12 + l i2 u 22 i = 3,..., N, amikből u 2j és l i2 elemek számolhatók, ha u Általánosan : i 1 (2 = u ij = a ij l ik u kj i j (j = i,..., N k=1 [ (3 = l ij = 1 a ij u jj ] j 1 l ik u kj k=1 i > j (i = j + 1,..., N Most L és U ismeretében 1. és 2. egyenletrendszer megoldása következik, az alábbi formulák alapján: Ly = b megoldása: i 1 y i = b i l ik y k (i = 1...., N k=1 majd Ux = y megoldása: [ x i = 1 y i u ii N k=i+1 u ik x k ] (i = N,..., 1

26 numerikus analízis i. 26 Tétel det A 0 LU = A felbontás } =! az LU felbontás Bizonyítás Indirekt. A = L 1 U 1 = L 2 U 2 / L 1 1 U 1 = L 1 1 L 2 U 2 / U2 1 U 1 U2 1 = L 1 1 L 2 bal oldalon felső mátrix jobb oldalon alsó mátrix Ez csak az egységmátrix lehet, azaz L 1 = L 2 és U 1 = U 2. Tétel Jelölje A k (k = 1,..., N az A mátrix k - adrendű főminorait. Ha det A k 0, k = 1,..., N, akkor! A = L U felbontás, ahol: L = l l N 1 l N N 1 1 u 1 1 u 1 2 u 1 N alsó mátrix, és U = 0 u u N 1 N 0 0 u N N felső mátrix. Bizonyítás Teljes indukcióval k - ra. k = 1 - re A = [a 11 ] = L = [ 1 ], U = [u 11 ], u 11 = a 11 Tegyük fel, hogy (k 1 - re a tétel érvényes =! felbontás, azaz A k 1 = L k 1 U k 1 Bizonyítjuk k - ra, hogy! A k = L k U k felbontás. Ehhez tekintsük az A k - t!

27 numerikus analízis i. 27 ( A k = A k 1 c T b L k 1 0, L k =, U k = m T 1 a kk U k 1 0 u kk u, ahol b, c, u, m vektorok (k 1 komponensűek. b, c ismert. A ( felírást figyelembe véve a következőknek kell teljesülniük: α. L k 1 U k 1 = A k 1 γ. m T U k 1 = c T β. L k 1 u = b δ. m T u + u kk = a kk Az indukciós feltevés miatt L k 1, U k 1 egyértelműen meghatározottak (α. det L k 1 det U k 1 = det A k 1 0 a feltevés miatt = det L k 1 0, det U k 1 0, tehát β, γ - ból u és m ugyancsak egyértelműen meghatározhatók. Végül δ - ból u kk egyértelműen meghatározható Az LU - felbontás műveletigénye U elemeinek kiszámítása alapján i 1 u ij = a ij l ik u kj i j (j = i,..., N k=1 ( N j (i 1 = j=1 i=1 N j=1 j (j 1 2 = 1 6 N 3 + O ( N 2 L elemeinek kiszámítása alapján [ l ij = 1 a ij u jj N j=1 ] j 1 l ik u kj k=1 N i=j+1 j = i > j (i = j + 1,..., N N j (n j = 1 6 N 3 + O ( N 2 j=1

28 numerikus analízis i. 28 Így a műveletigény : M LU = 1 3 N 3 + O ( N SÁVMÁTRIXOK, TRIDIAGONÁLIS MÁTRIXOK Közönséges és parciális differenciálegyenletek diszkretizációval történő numerikus megoldása gyakran olyan lineáris egyenletrendszerre vezet, melynek mátrixa a fődiagonális egy sávján kívül csupa 0 - kat tartalmaz. Definíció : Az A R n n mátrixot (m, k sávmátrixnak vagy szalagmátrixnak nevezzük, ha a ij = 0, j i > k és i j > m esetén. Az (1, 1 sávmátrixot tridiagonális mátrixnak nevezzük. Ha egy (m, k szalagmátrixnak trianguláris felbontása, A = LU, akkor L (m, 0 sávú és U (0, k sávú mátrix lesz, ha sorcserére nincs szükség. Tegyük fel, hogy meg akarjuk oldani az Ax = d, A C n n, d C n egyenletrendszert, ahol A tridiagonális és a 1 c b 2 a 2 c 2. (1 A = b n 1 a n 1 c n b n a n = tridiag (b i, a i, c i Tétel Felbontási tétel tridiagonális mátrixokra Tegyük fel, hogy az (1 mátrix elemeire teljesülnek a következő egyenlőtlenségek: ( a 1 > c 1 > 0, a i b i + c i, b i 0, c i 0, 2 i n 1 a n b n > 0.

29 numerikus analízis i. 29 Ekkor : i. α 1 := a 1, γ 1 := c 1 α 1 1, α i := α i b i γ i 1 (2 i n, γ i := c i α 1 i (2 i n 1 és teljesül, hogy: γ i < 1, (1 i n 1, 0 < a i b i < α i < a i + b i, (2 i n ii. A - nak A = LU felbontása, ahol: L := tridiag (b i, α i, 0, R := tridiag (0, 1, γ i iii. A nem szinguláris. Bizonyítás i. A ( - ból azonnal következik, hogy: γ q = c 1 a Most legyen: γ j < 1, j = 1,..., i 1 Ekkor: γ i = c i a i b i γ i 1 c i ai b i γ i 1 < c i a i b i 1 Továbbá: a i + b i > a i + b i γ i 1 α i a i b i γ i 1 > a i b i c i > 0

30 numerikus analízis i. 30 ii. Közvetlenül ellenőrizhető, hogy: A = tridiag (b i, α i, 0 tridiag (0, 1, γ i érvényes, sor - oszlop szorzással: ( a i i+1 = α i γ i = α i ci αi 1 = ci, a i i = b i γ i 1 + α i = b i γ i 1 + (α i b i γ i 1 = a i, a i+1 i = b i+1, a 11 = α 1 = a 1. 1 < i < n 1, 2 i n, 1 i n 1, iii. Az A mátrix reguláris, mivel: n det A = det L det U = α i 0 i=1 Definíció : A ( tulajdonságú tridiagonális mátrixokat irreducibilisen diagonálisan domináns mátrixoknak nevezzük. A fenti tétel tehát úgy is megfogalmazható, hogy egy irreducibilisen diagonálisan domináns A mátrixnak A = LU felbontása, ahol L (1, 0 - sávú, U (0, 1 - sávú (szalagmátrix és ahol U fődiagonálisában 1 - esek állnak SCHUR - KOMPLEMENTER A Gauss - algoritmusnál az 1. oszlop nullázása még a következő módon is leírható: Ax = b L 1 Ax = L 1 b, ahol: l (1 L 1 := = l 0 1 l N I N 1 l 1 = 1 a 11 a 1, a 1 = [a 21,..., a N1 ] T, a 1 = [a 12,..., a 1N ] a 11 a 1, A = a 1 A N 1 N 1, ahol:

31 numerikus analízis i. 31 Így : a 11 a 1 a u 1 (2 L 1 A = = 0 A (1 0 A (1 0 I N 1 Ilyen szorzatalakra bontható, ahol u 1 := 1 a 11 a 1, és A (1 a jobb alsó (N 1 (N 1 - es mátrix az 1. oszlop nullázása után. Ha A N 1,N 1 az eredeti A mátrix jobb alsó sarka, akkor: (1 = A (1 = A N 1,N 1 l 1 a 1 = A N 1,N 1 1 a 11 a 1 a 1 (2 = tudva, hogy L 1 reguláris mátrix és inverze: L 1 1 = 1 0 (3 = A = l 1 I N 1 a u 1 0 A (1 0 I N l l N Az A mátrix e felbontása három mátrix szorzatára tükrözi a Gauss - elimináció első lépését. A k - adik lépésben (N k (N k méretű A (k mátrixot, és u k, l k vektorokat állítunk elő. Állítás Az L i Frobenius mátrix inverze: L 1 i = l i+1, i l N, i Ugyanis ha L i = I m (i e (i T = = m := (0,..., l i+1 i,..., l N i T (I m (i e (i T (I + m (i e (i T = I Most (elimináljuk nullázzuk ki az első két oszlopot az első lépésben.

32 numerikus analízis i. 32 Legyen A 11 A 12 A =, b = A 21 A 22 b 1 b 2 a 11 a 12, és A 11 =, a 21 a 22 és ahol A 22 (N 2 (N 2 - es mátrix. Általánosítva a fenti eljárást: I 2 0 Ax = b - t szorozzuk balról az L 2 = l 2 I N 2 alsó blokkmátrixszal. Tegyük fel, hogy A 11 reguláris mátrix. Ekkor: I 2 0 ( L 2 Ax = l 2 I N 2 A 11 A 12 x = x = 0 A (2 b 1 b 2 (= L 2 b ahonnan l 2 = A 21 A 1 11 (N es mátrix, továbbá: (4 A (2 = A 22 A 21 A 1 11 A 12 ugyanis: l 2 A 12 + I N 2 A 22 = A (2 b 2 = A 21 A 1 11 b 1 + b 2 ugyanis: L 2 [ b1 b 2 ] = [ b1 b 2 ] Megjegyzés : A 1 11 létezhet akkor is, ha a 11 = 0, tehát ha a korábbi elimináció nem működik (csak sorcserével. Így a ( - beli A (2 - vel kapcsolatos egyenletrendszerrel kell tovább foglalkozni, ugyanis ha ennek megoldása: y := [x 3,..., x N ] T, akkor: [ ] x1 (5 A 11 x 2 ( = b 1 A 12 y egyenlet megoldása adja a hiányzó x 1, x 2 - t. A ( - beli L 2 A felső blokkmátrix, mint (2 - nél, szorzattá bontható. A 11 A 12 A 11 0 I 2 U 2 (6 L 2 A = =, 0 A (2 0 A (2 0 I N 2 ahol U 2 = A 1 11 A 12, ha A 11 reguláris.

33 numerikus analízis i. 33 Belátható közvetlenül, hogy L 1 2 = I 2 0 (7 A = l 2 I N 2 I 2 0 l 2 I N 2 A 11 0 I 2 U 2 0 A (2 0 I N 2, ezért (6 = Ennek és a (3 felbontásnak az általánosítása a következő: (8 A 11 A 12 I k 0 = A = A 21 A 22 L k I N k D k 0 I k U k, 0 D N k 0 I N k ahol: A 11, D k R k k, A 21, L k R (N k k, A 12, U k R k (N k A 22, D N k R (N k (N k 1 k N 1. Állítás Ha det A 11 0, akkor a (8 blokkfelbontás létezik. Bizonyítás D k A (8 jobb oldalát kiszámítva = A = L k D k D k U k D N k + L k D k U k Innen = A 11 = D k, A 12 = D k U k, A 21 = L k D k, A 22 = D N k + L k D k U k Mivel det A 0, azért D k, U k, L k és D N k egyértelműen meghatározottak, és D k = A 11, U k = A 1 11 A 12, L k = A 21 A 1 11, D N k = A 22 A 21 A 1 11 A 12 D N k az az almátrix, amely esetleg még további feldolgozásra vár. Így a Gauss - elimináció 1. lépése után: D N k = A (1, illetve a blokklépés (x 1, x 2 egyidejű eliminációja után: D N k = A (2.

34 numerikus analízis i. 34 Definíció : A D N k mátrixot a (8 alakú blokkmátrix A 11 blokkja Schur - komplementerének nevezzük. Jele: D N k = A 22 A 21 A 1 11 A 12 =: [A/A 11 ] (A létezését beláttuk, ha det A PASSAGE (PROGONKA MÓDSZER VAGY RÖVIDÍTETT GAUSS - AL- GORITMUS TRIDIAGONÁLIS MÁTRIXÚ EGYENLETRENDSZERRE Tekintsük a következő egyenleterndszert: (1 Ax = f, A R n n, x, f R n, ahol a 1 c b 2 a 2 c 2. A = b n 1 a n 1 c n b n a n = tridiag ( b i, a i, c i (2 b i, a i, c i > 0, i - re a i b i + c i, i - re és j index, amelyre a j > b j + c j Továbbá b 1 := 0, c n := 0. Az LU felbontásban a sávszélesség megmarad, így mindkét mátrixnak csak két (nem zérus átlója van. Így az (1 megoldását a következő alakban kereshetjük, ami a visszahelyettesítésnek felel meg: (3 x i 1 = α i x i + β i, i = n,..., 2, ahol az α i, β i együtthatókat az (1 i - edik sorából határozhatjuk meg: b i x i 1 + a i x i c i x i+1 = f i b i (α i x i + β i + a i x i c i x i+1 = f i azaz: x i (a i b i α i = c i x i+1 + f i + b i β i Tegyük fel, hogy (a i b i α i 0.

35 numerikus analízis i. 35 Ekkor: ( x i = c i a i b i α i x i+1 + f i + b i β i a i b i α i, ahol (4 α i+1 := c i a i b i α i és β i+1 := f i + b i β i a i b i α i i = 1,..., n 1 α 1, β 1 kezdőértékek meghatározásához írjuk fel (1 első egyenletét: a i x i c i x 2 = f 1 = a 1 x 1 = c 1 x 2 + f 1 ( alakra rendezve x 1 = c 1 a 1 x 2 + f 1 a 1 azt mutatja, hogy: (5 α 1 = 0, β 1 = 0 választható. A (4 és (5 - ből minden α i és β i megkapható. A (3 kiszámításához szükség van az x n,,kezdőértékre. Ehhez tekintsük az (1 utolsó egyenletét: b n x n 1 + a n x n = f n (3 = b n (α n x n + β n = f n + b n β n (6 = x n = f n + b n β n a n b n α n =: β n+1 Ebből indítva a visszahelyettesítési menetet, (3 alapján x n 1,..., x 1 megkapható. A (3 - (6 algoritmust rövidített Gauss - eliminációnak vagy tridiagonális algoritmusnak is nevezik. (Progonka vagy passage módszer Az algoritmus stabilitása Tétel A passage algoritmus (3 - (6 formulái jól definiáltak a (2 feltételek esetén, azaz a i b i α i 0 i = 1,..., n 1 és stabilak abban az értelemben, hogy 0 α i 1, i = 1,..., n.

36 numerikus analízis i. 36 Bizonyítás Teljes indukcióval i - re. Tudjuk, hogy i = 1 - re α i = 0 = a 1 b 1 α 1 > 0 Továbbá: 0 α 2 = c 1 a 1 b 1 α 1 1 Most legyen 0 α i 1 rögzített i - re. Ekkor: (2 = a i b i α i (1 α i b i + c i > 0, és így 0 < α i+1 = c i a i b i α i 1 a i b i c i, 1 1 = 1 c i c i a i b i a i b i c i a i b i α i Tehát 0 α i 1 i - re. Most még esetleg β n+1 - et nem tudnánk kiszámolni, ha α n = 1 a n = b n lenne. De (2 alapján létezik j index, amelyre a j > b j + c j, ami miatt i = j + 1,..., n - re teljesül, hogy 0 < α i < 1. Tehát α n = 1 nem állhat fenn SZIMMETRIKUS POZITÍV DEFINIT MÁTRIXOK CHOLESKY FELBONTÁSA Legyen R n euklideszi térben a skaláris szorzat: ( x, y := x i y i, x, y R n ( x, y = x T y i=1 Állítás A R n n = ( Ax, y = ( x, A T y

37 numerikus analízis i. 37 Definíció : Az A mátrix szimmetrikus, ha A = A T, azaz, ha a ij = a j i i, j - re. Megjegyzés : A szimmetrikus ( Ax, y = ( x, Ay Ha A szimmetrikus = A sajátértékei valós számok. Definíció : Az A szimmetrikus mátrix pozitív definit, ha (Ax, x > 0, x 0. Az A szimmetrikus mátrix pozitív szemidefinit, ha (Ax, x 0, x 0. Tétel Ha A pozitív definit = det A 0, sőt: det A > 0. Bizonyítás Indirekt. Tegyük fel, hogy det A = 0 = x 0, amelyre Ax = 0 = (Ax, x = (0, x = 0 lenne x 0 vektorra, ami ellentmond annak, hogy A pozitív definit. Állítás Ha A pozitív definit = A 1, ez is pozitív definit, sőt A főminora pozitív definit, és a ii > 0. Tétel Kritériumok A pozitív definitségére Az A mátrix pozitív definit ha valamelyik az alábbiak közül teljesül: 1. (Ax, x 0, x 0, 2. Az A mátrix sajátértékei pozitívak, 3. det A k > 0, ahol A k főminora A - nak, k = 1,..., n.

38 numerikus analízis i. 38 Tétel Ha A = W W T alakban írható = A szimmetrikus mátrix és pozitív definit. Bizonyítás Szimmetria : A T = ( W W T T ( = W T T W T = W W T = A Pozitív definit : (Ax, x = ( W W T x, x = ( W T x, W T x = W T x 2 > 0, ha x 0 Fontos kérdés : Milyen feltételek mellett létezik egy A mátrixnak A = W W T felbontása? Definíció : Az A = W W T felbontást, ahol W nem szinguláris mátrix, Cholesky felbontásnak nevezzük. Belátjuk, hogy ha A szimmetrikus és pozitív definit mátrix, akkor a Cholesky felbontása létezik és a W trianguláris mátrix lehet. Tétel Legyen A R n n szimmetrikus pozitív definit mátrix. Ekkor! A = L L T felbontás, ahol L alsó mátrix, nem szinguláris és l ii > 0 (i = 1,..., n. Bizonyítás Teljes indukcióval n - re. n = 1 - re A = (a 11, a 11 > 0, így L = L T = a 11 Legyen A R n n szimmetrikus pozitív definit és tegyük fel, hogy (n 1 - re igaz az állítás, tehát A n 1 R (n 1 (n 1 - re! A n 1 = L n 1 L T n 1.

39 numerikus analízis i. 39 Tekintsük A n - t: A n = A n 1 b T b L n 1 0 és keressük L n - t a következő alakban: L n =, c T α a nn ahol A n 1 főminor pozitív definit, a nn > 0, b, c R n 1, α > 0, és l ii > 0 i = 1,..., n 1 (ezek L n 1 főátlójának elemei. Ezt figyelembe véve: A n 1 b T b L n 1 0 = A n = c T α a nn c = 0 α L T n 1 = A n 1 = L n 1 L T n 1 L n 1 c = b b T = c T L T n 1 a nn = c T c + α 2 Az indukciós feltétel miatt L n 1 alsó mátrix. = det L n 1 0 =! c megoldás. Mivel 0 < det A n = det L n det L T n = α (det L n 1 α ( det L T n 1 = α 2 (det L n 1 2 = = α 2 > 0 és α 2 R Így α 2 = a nn c T c = α = a nn c T c = α > 0 és α R Az L n mátrix l ij elemeinek meghatározása A = L L T - ból oszloponként haladva elég i j - re az L - beli elemeket meghatározni. j i j a ij = l ik l jk = k=1 ( j j 1 = i = j a jj = ljk 2 = ( l jj = a jj k=1 k=1 l 2 jk 1 2 > 0 ( ( i > j l ij = 1 a ij l jj j 1 l ik l jk k=1

40 numerikus analízis i. 40 A műveletigény : 1 6 n3 + O(n 2. Állítás Ha A szimmetrikus de nem pozitív definit, a Cholesky felbontás nem mindig lehetséges. Viszont, ha létezik a Cholesky felbontás, akkor az L mátrix nem lehet valós, ugyanis valós, nem szinguláris L esetén, ha A = L L T = A pozitív definit Egyenletrendszer megoldása Cholesky felbontással szimmetrikus mátrixra (1 Ax = b, A szimmetrikus LL T x = b, azaz (2 Ly = b, majd (3 L T x = y. A (2 j - edik egyenlete a visszahelyettesítés után: ( (4 y j = 1 a j n+1 l jj j 1 l jk y k k=1 ( j = 1,..., N, ahol a j n+1 := b j (j = 1,..., n. Majd bevezetve az y j := l j n+1, (4 a következő alakú lesz: ( L j n+1 = 1 a j n+1 l jj j 1 l kj l k n+1 k=1 j = 1,... n, ami éppen a ( képletnek az i = n nek megfelelő speciális esete. A (3 - at most már a szokásos visszahelyettesítéssel adjuk meg: ( x i = 1 y i l ii N k=i+1 l ki x k ( i = N,..., 1.

41 numerikus analízis i. 41 A műveletigény : 1 6 N 3 + O(N 2. Fele, mint az LU felbontásnál, de N darab gyökvonás is kell. Megjegyzés : A ( formulából = j k=1 l 2 jk max 1 j N a jj, 1 j N - re. Így az L mátrix minden eleme korlátos, a max a jj korláttal, tehát nem nőhetnek túlságosan 1 j N gyorsan. Ez a tulajdonság biztosítja a módszer (algoritmus stabilitását. Az l jk számok az alatt a korlát alatt maradnak, amit a kiindulási adatok (az A mátrix elemei meghatároznak! 2.8. HOUSEHOLDER (QR FELBONTÁS (1 Ax = b A R n n Az A mátrixot felbontjuk A = QR alakra, ahol Q ortogonális mátrix, R felső mátrix. Definíció : Q mátrtix ortogonális, ha QQ T = I Q tulajdonságai: Q T = Q 1 det Q = ±1 Ha Q 1, Q 2 ortogonális = Q 1 Q 2 is ortogonális Láttuk már, hogy például a Gauss - eliminációnál a mátrixot felső mátrixra lehet transzformálni,,elemi mátrixok (Frobenius, permutáció szorzásával. Most is a Q ortogonális mátrixot úgynevezett Householder - mátrixok szorzásával állítjuk elő. Ha A = QR (1 = QRx = b ezt balról Q 1 - gyel szorozva = = Rx = Q T b felső mátrixú rendszer.

42 numerikus analízis i. 42 Definíció : Householder - mátrix : H R k k, H = I 2 h h T, ahol h R k, h := [0,..., 0, h i,..., h k ] T, h 2 = 1, ( h T, h = 1 H alakja : I H = = 0 1 2h 2 0 I 2h h T i 2h i h i+1 2h i h k.. 2h i h i+1 1 2h 2 i+1 2h i+1 h k h i h k 2h i+1 h k 1 2h 2 k H tulajdonságai : 1. H szimmetrikus: H = H T, 2. H idempotens: H 2 = I, ugyanis: H 2 = ( I 2 h h T 2 = I 4 h h T +4 h h T h h T = I, 3. H ortogonális: I = H H = H H 1 = H = H 1 = H T H geometriai jelentése : A H mátrtixszal való szorzás az R k térnek a tükrözését jelenti a H h, 0 := { z R k : h T z = 0 } hipersíkra (a h vektorra merőleges hipersík. Hz = ( I 2 h h T z = z 2 h ( h T z Alapfeladat : Adott x R k, x 0 vektorhoz adjuk meg azt a H R k k Householder mátrixot (azaz a h R k, h 2 = 1 vektort, amely az x vektort az e 1 egységvektor számszorosába transzformálja. Vagyis adott x R k vektorhoz meg kell adni a H mátrixot meghatározó h R k vektort, amelyre teljesül, hogy: Hx = ( I 2 h h T x = σe 1 Mivel H ortogonális = x 2 = Hx 2 = σ = σ = x 2, Továbbá Hx = σe 1, Hx7 ( I 2 h h T x = x 2 h h T x = x 2 ( h T x h = σe 1 = = 2 ( h T x h = x σe 1

43 numerikus analízis i. 43 Innen az következik, hogy a h vektor az (x σe 1 vektor számszorosa kell legyen. De mivel a h egységvektor ( h 2 = 1, azért x σe 1 - et osztva a normájával, megkapjuk a keresett h egységvektort. h = x σe 1 x σe 1 2 ahol σ R és σ = x 2 Minden feltételt kihasználtunk, de σ előjele határozatlan maradt. Az algoritmus stabilitására és a hibafelhalmozódás elkerülésére válasszuk σ előjelét a következő módon: σ := sign(x 1 x 2 és legyen sign (x 1 = 1, ha x 1 = 0 h kiszámításához kell: x σe = x + sign(x 1 x 2 e = k x1 + x x i 2 = = x x 1 x 2 + x 2 2 = 2 x 2 ( x 2 + x 1 i=1 [sign (x 1 ( x 1 + x 2, x2,..., x k ] T = h = [ 2 x 2 ( x1 + x 2 ] 1 2 Így a következő H mátrix megoldja az alapfeladatot: i. H = I β u u T, ii. β := iii. u := [ x 2 ( x1 + x 2 ] 1, [ sign (x 1 ( x 1 + x 2, x2,..., x k ] T A Householder - algoritmus Legyen A (n n - es tetszőleges mátrix, továbbá A (0 := A. Az A mátrixot minden lépésben szorozzuk H (i R n n Householder - mátrixszal. H n 1... H 2 H 1 A = R H i - k ortogonálisak = A = ( H n 1... H 2 H 1 1 ( R = H 1 1 (... H n 1 1 R A = H (1 H (2... H (n 1 R = Q := H (1... H (n 1.

44 numerikus analízis i. 44 i. Legyen A (0 := A. Az első lépésben A (0 - t szorozzuk olyan H (1 Householder - mátrixszal, amelyre teljesül, hogy H (1 (a = σe 1, ahol a az A mátrix első oszlopvektora. ii. (i 1 - edik lépésben H (i 1 A (i 2 = A (i 1, ahol A (i 1 = B (i 1 C (i 1 0 Ã (i 1 felső mátrix, ahol B (i 1 R (i 1 (i 1, Ã (i 1 R (n i+1 (n i+1, C (i 1 R (i 1 (n i+1 iii. Az i - edik lépésben megkeressük azt a H (i R (n i+1 (n i+1 - es Householder - mátrixot, amelyre teljesül, hogy H (i a (i 1 = σe 1, e 1 R (n i+1 Így kiegészítve H (i - ot (n n - esre a következő módon I i 1 0 H (i =, 0 H(i H (i R n n Ez is szimmetrikus és ortogonális, és ezzel szorozzuk A (i 1 - t = H (i A (i 1 = A (i iv. (n 1 - edik lépésben: H (n 1... H (2 H (1 A = A (n 1 = R, A = ( H n 1... H 2 H 1 1 ( R = H 1 1 (... H n 1 1 R = H (1 H (2... H (n 1 R Így megkapjuk az A (n 1 = R felső mátrixot és a Q ortogonális, szimmetrikus mátrixot, amelyekkel A = Q R

45 numerikus analízis i. 45 Tétel Tetszőleges A R n n - es mátrix felbontható A = Q R alakban, ahol Q ortogonális, R felső mátrix. Megjegyzés : Ez, az úgynevezett QR felbontási tétel könnyen kiterjeszthető mind komplex -, illetve téglalap - mátrixokra is A Householder - algoritmus alkalmazása Alkalmazás : Ax = b egyenletrendszer megoldására. Input: n N C = [ A b ] = [c ij ] R n (n i+1 1. Értékadás: i := 1 2. Eliminációs lépés: s := a. ( k=i c 2 ki 1 2 Ha s = 0, stop, egyébként: β := [s ( c ii + s] 1, u := [ 0,..., 0, c ii + sign (c ii s, c i+1 i,..., c nn ] T, sign(c ii = 1, ha c ii = 0, H (i := I β u u T b. C := H (i C =: (c ij 3. Ellenőrzés: ha i + 1 n 1, akkor i := i + 1 és go to stop 2., egyébként stop. Majd jön a visszahelyettesítés.

46 numerikus analízis i A Householder - algoritmus műveletigénye Az algoritmus műveletigénye : 4 3 n3 + O ( n 2 összesen. R Q előállítása: előállítása: 2 3 n3 + O ( n 2, 2 3 n3 + O ( n 2, de Q T b szorzat kiszámításához elég O ( n 2 művelet plusz (n 1 darab gyökvonás. Tehát Ax = b = Rx = Q T b a műveletigény: kétszer annyi, mint a Gauss - eliminációnál. 2 3 n3 + O ( n 2, Megjegyzés : A Householder - transzformáció alkalmazható mátrixok sajátértékeinek kiszámítására is (és sajátvektorok meghatározására. Numerikusan rendkívül stabil! A = A 0 szimmetrikus mátrix tridiagonális alakra való transzformációja Householder módszerével Egyszerre egy egész sort és oszlopot teszünk zérussá, kivéve a tridiagonális elemeket. Az eljárás (n 2 lépésből áll. r - edikben kapjuk a 0 - kat az r - edik sorban és oszlopban. A korábbi 0 - k nem változnak. Legyen az r - edik lépés előtt a mátrix: x x x x x A r 1 = x x x x x x x x x x x x x x x x x r n r = C r b T r b r 1 B r ahol b r 1 vektornak (n r komponense van, C r 1 r - edrendű tridiagonális mátrix, B r 1 (n r - edrendű mátrix.

47 numerikus analízis i. 47 A transzformáció P r (n n - es mátrixát következő módon adjuk meg: P r = I 0 0 Q r = I 0 0 I 2 v r v T r r n r ahol v r (n r komponensű és v = 1. Egyszerű számolással = C r (1 A r = P r A r 1 P r = c T r c r Q r B r 1 Q r 0 0 r n r ahol c r = Q r b r 1. Ha v r - t úgy választjuk, hogy c r komponensei az első kivételével mind eltűnjenek, akkor A r első (r + 1 sorában és oszlopában tridiagonális lesz. (1 = triviális, hogy hasonlósági transzformáció, és A 0, A 1,..., A n 2 sajátértékei megegyeznek. Kényelmesebb, ha a P r mátrixot a következő módon választjuk meg: P r = I 2 w r w T r, ahol w r n komponensű, első r ebből 0, w 2 = 1. Ekkor: (2 P r = I 2 w r w T r = I U r U T r 2K 2 r, ahol

48 numerikus analízis i. 48 u ir = 0, i = 1,..., r, ( u r+1 r = a r+1 r S r, u ir = a ir, i = r + 2,..., n, S r = ( i=r+1 a 2 ir 1 2 2K 2 r = S 2 r a r+1 r S r = S r u r+1 r, Itt a ik az A r 1 mátrix (i, k elemét jelöli (az r indexet elhagytuk. ( - ban S r előjelét abból a feltételből határozzuk meg, hogy u r+1 r = a r+1 r + S r, = S r u r+1 r értéke a le- mivel akkor kapjuk a legnagyobb pontosságot, ha (2 - beli nevező, 2Kr 2 hető legnagyobb. E triangularizációs eljárás műveletigénye: és emellett (n 2 darab négyzetgyökvonás is kell! 2 3 n3 + O ( n 2, Tétel Legyen A (n n - es nem szinguláris mátrix. Ekkor az A mátrix QR - felbontása egyértelmű az R mátrix diagonális elemeinek az előjelétől eltekintve. Bizonyítás Indirekt. Tegyük fel, hogy: ( A = Q 1 R 1 = Q 2 R 2, ahol Q 1, Q 2 ortogonális, R 1, R 2 felső mátrixok. Mivel det A = det Q i det R i = det R i, i = 1, 2 azért = R i (i = 1, 2 nem szinguláris mátrixok. ( = Q T 2 Q 1 = R 2 R 1 1 = V, ahol V szintén felső mátrix.

49 numerikus analízis i. 49 Itt Q T 2 Q 1 ortogonális mátrixok, ezért V T V = Q T 1 Q 2 Q T 2 Q 1 = I Tehát V = D = diag (d ii, ahol d ii = ±1. Mivel V = R 2 R 1 1 is teljesül, az állítás bizonyított. 3. VEKTORNORMÁK, MÁTRIXNORMÁK 3.1. VEKTORNORMÁK Definíció : Vektornorma : Legyen X n - dimenziós vektortér K := R vagy C test felett. A norma egy. : X R, x x leképezés a következő tulajdonságokkal: x, y X, λ C : 1. x 0, x = 0 x = 0, 2. λx = λ x, 3. x + y x + y egyenlőtlenség. Következmény ( x y x y, x, y X Az (X,. párt normált vektortérnek nevezzük. Leggyakoribb vektornormák : Euklideszi norma: x p := x := max i=1,...,n x i ( i=1 x i p 1 p, x X, 1 p <, Az 1, 2, normákat használjuk leggyakrabban.

50 numerikus analízis i. 50 Tétel x X, dim X = n. Az x vektornorma az x vektor x 1,..., x n koordinátáinak folytonos függvénye. Bizonyítás Ezt x R n - re és. normára bizonyítjuk. x := max 1 i n x i, x := (x 1,..., x n Legyen z := (z 1,..., z n és tekintsük x + z, x X vektort. ( = x + z x (x + z x = z = max 1 i n z i f (x n f (y, ha x n y Tehát, ha z 0 akkor max 1 i n z i 0. Mivel végesdimenziós vektortérben bármely két vektornorma ekvivalens egymással (lásd később, ezért tetszőleges normára a folytonosság igaz. Definíció : Az X komplex vektorteret a C test felett komplex Euklideszi térnek nevezzük, ha létezik X - en (x, y : X C leképezés tetszőleges x, y X - re, amit az x, y elemek skaláris szorzatának nevezünk és amelyre teljesül, hogy x, y X, λ C : 1. (x, x 0 valós szám, (x, x = 0 x = 0, ( x, y = ( y, x, ( λx, y = λ ( x, y első tényezőre nézve homogén, 4. ( x1 + x 2, y = ( x 1, y + ( x 2, y első tényezőre nézve disztributív. Következmény a. b. ( ( x, λy = λ x, y, (x, y 1 + y 2 = (x, y 1 + (x, y 2 második tényezőre nézve disztributív.