Matematika és információelmélet mérnököknek előadás

Átírás

1 Matematika és információelmélet mérnököknek előadás Baran Sándor 2018/19 tanév, 2. félév Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 1 / 239

2 Irodalom Brian Davies: Integráltranszformációk és alkalmazásaik. Műszaki Könyvkiadó, Budapest, John J. D Azzo, Constantine H Houpis, Stuart N. Sheldon: Linear Control System Analysis and Design with Matlab. Marcel Dekker, New York, Györfi László, Győri Sándor, Vajda István: Információ- és kódelmélet. Typotex, Járai Antal: Modern alkalmazott analízis. Typotex, Budapest, Eredmények, információk arato.inf.unideb.hu/baran.sandor/mischu.html Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 2 / 239

3 Tartalom 1 Mátrixkalkulus 2 Többváltozós függvények differenciálszámítása 3 Optimalizálási feladatok numerikus megoldása 4 Többváltozós függvények integrálszámítása 5 Laplace transzformált és alkalmazásai 6 A Fourier transzformált és tulajdonságai 7 Digitális jelek, z-transzformált 8 Forráskódolás alapjai, egyértelműen dekódolható és prefix kódok 9 Az entrópia és tulajdonságai. Blokk kódolás 10 Univerzális forráskódolás. Lempel-Ziv algoritmusok 11 Kvantálás, mintavételezés 12 Transzformációs kódolás. DPCM, Jayant-kvantáló, delta-moduláció, prediktorok 13 Hang és beszédkódolás 14 Képkódolás, videokódolás Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 3 / 239

4 Mátrixok Definíció. A valós vagy komplex számok m sorba és n oszlopba való a 11 a 12 a 1n a 21 a 22 a 2n A =... a m1 a m2 a mn alakú elrendezését m n dimenziós valós, illetve komplex mátrixnak nevezzük. Ha n = m, akkor A n-edrendű négyzetes mátrix. Alapvető ismert mátrixműveletek: összeadás és skalárral (R vagy C eleme) való szorzás; mátrixok szorzása; transzponálás. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 5 / 239

5 Speciális mátrixok Definíció. Egy A mátrixot szimmetrikusnak nevezünk, ha A = A. Definíció. Egy m n dimenziós A = ( a ij ) mátrix diagonális, ha csupán a főátlójában tartalmaz nullától különböző elemeket, azaz a ij = 0, ha i j. Jelölése az n = m esetben: A = diag(a 11, a 22,..., a nn ). Az olyan n-edrendű négyzetes diagonális mátrixot, melynek főátlójában csupa 1 áll, n-edrendű egységmátrixnak nevezzük. Jelölése: I n. Definíció. Egy m n dimenziós valós A mátrix ortogonális, ha A A=I n. Megjegyzés. Az A mátrix ortogonalitása pontosan azt jelenti, hogy a mátrix a 1, a 2,..., a n oszlopvektorai ortonormáltak, azaz { a 1, ha i = j, i a j = i, j = 1, 2,... n. 0, ha i j, Definíció. Egy A n-edrendű négyzetes mátrix hatványai: A 0 := I n, A 1 := A, A n := A n 1 A, n N. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 6 / 239

6 Sajátértékek Definíció. Legyen A egy n-edrendű négyzetes mátrix. Ha egy λ skalár és x 0 vektor esetén Ax = λx, akkor λ az A mátrix sajátértéke, x pedig a λ sajátértékhez tartozó sajátvektor. Ekvivalens megfogalmazás: Ax = λx ( A λi n ) x = 0. Megjegyzés. Az ( ) A λi n x = 0 homogén lineáris egyenletrendszernek pontosan akkor létezik triviálistól különböző (x 0) megoldása, ha det ( A λi n ) = 0. Definíció. A p(λ) := det ( ) A λi n n-edfokú polinomot az A mátrix karakterisztikus polinomjának nevezzük. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 7 / 239

7 Sajátvektorok Egy n-edrendű kvadratikus mátrixnak multiplicitással együtt pontosan n darab sajátértéke van. Az A = ( ) ( ) a ij mátrix λ sajátértékéhez tartozó x = x1, x 2..., x n sajátvektor az a 11 λ a 12 a 1n x 1 0 a 21 a 22 λ a 2n x = 0. a n1 a n2 a nn λ x n 0 homogén lineáris egyenletrendszer megoldása. Megjegyzés. Ha x megoldja a fenti egyenletet, akkor tetszőleges c 0 skalár esetén cx is megoldás, azaz a sajátvektorok nem egyértelműek. Normált sajátvektor: x 2 := x x = x x x n 2 = 1. Ha x R n, akkor x 2 := x x = x x x2 n = 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 8 / 239

8 Példa λ 1 1 A = 4 2 4, A λi 3 = 4 2 λ λ Karakterisztikus polinom: p(λ) = det ( A λi 3 ) = λ 3 + 6λ 2 + 4λ 24. A sajátértékek (a p(λ) polinom gyökei): λ 1 = 6, λ 2 = 2, λ 3 = 2. A λ 1 =6 sajátértékhez tartozó sajátvektor az ( A 6I 3 ) x=0 egyenletrendszer megoldása. ( ) x 1 0 A 6I3 x = x 2 = x x x 2 = x 3 0 A megoldás paraméteres: x 1 = 0, x 2 = t, x 3 = t, ahol 0 t R tetszőleges. A λ 1 =6 sajátértékhez tartozó normált sajátvektor: x 1 = ( 0, 1/ 2, 1/ 2 ). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 9 / 239

9 MATLAB megoldás >> A=[-1-1 1;-4 2 4;-1 1 5]; >> [V L]=eig(A) V = L = Sajátértékek: λ 1 = 6, λ 2 = 2, λ 3 = 2. Normált sajátvektorok rendre: 0 x 1 = 1/ / = , / 2 x 2 = 1/ = , / 6 x 3 = 2/ / = További példák B = 3 1 6, C = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 10 / 239

10 Példa, többszörös sajátértékek >> B=[3-1 2;3-1 6;-2 2-2]; >> [V L]=eig(B) V = L = Sajátértékek: λ 1 = λ 3 = 2, λ 2 = 4. Sajátvektorok általános alakja: s 2t u x 1 =x 3 = s t, x 2 = 3u, 2u ahol s, t, u R, u 0, s 2 + t 2 0. x 1, x 3 egy kétdimeziós alteret feszít fel, ennek tetszőleges bázisát vehetjük. Az s = 0, illetve t = 0 választáshoz tartozó normált sajátvektorok: x 1 = ( 1/ 5 ) 2 0, 1 x 2 = ( 1/ 14 ) 1 3, 2 x 3 = ( 1/ 2 ) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 11 / 239

11 Példa, komplex sajátértékek >> C=[-1-1 1;4 2 4;-1 1 5]; >> [V L]=eig(C) V = i i i i i i i i i L = i i i i i i i i i Sajátértékek: λ 1 = 2i, λ 2 = 2i, λ 3 = 6. Normált sajátvektorok: x 1 = ( 1/ 22 ) 1 2i 4, 1 x 2 = ( 1/ 22 ) 1 + 2i 4, 1 x 3 = ( 1/ 22 ) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 12 / 239

12 Sajátértékek tulajdonságai Tétel. Szimmetrikus valós mátrix sajátértékei valósak. Definíció. Egy A = ( a ij ) n-edrendű kvadratikus mátrix nyoma tr(a) = a 11 + a a nn. Tétel. Legyenek λ 1, λ 2,..., λ n az A n-edrendű kvadratikus mátrix sajátértékei. Ekkor tr(a) = λ 1 + λ λ n = n k=1 λ k; det(a) = λ 1 λ 2 λ n = n k=1 λ k. Következmény. Egy A kvadratikus mátrix pontosan akkor szinguláris, azaz det(a) = 0, ha a 0 sajátértéke. Tétel. Legyenek λ 1, λ 2,..., λ n az A n-edrendű kvadratikus mátrix sajátértékei. Ekkor A k sajátértékei λ k 1, λk 2,..., λk n, k N; ha A reguláris, akkor A 1 sajátértékei 1/λ 1, 1/λ 2,..., 1/λ n. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 13 / 239

13 Pozitív definit és pozitív szemidefinit mátrixok Definíció. Egy A n-edrendű valós négyzetes mátrix pozitív szemidefinit, ha tetszőleges x R n esetén x Ax 0. Az A mátrix pozitív definit, ha tetszőleges 0 x R n esetén x Ax > 0. Tétel. Egy A n-edrendű valós szimmetrikus mátrix esetén a következő állítások ekvivalensek: A pozitív definit; A összes sarokminora pozitív, azaz k :=det ( A k ) >0, k=1, 2,..., n, ahol A k az A mátrix bal felső sarkában lévő k-adrendű kvadratikus részmátrix. A sajátértékei pozitívak. Megjegyzés. Egy szimmetrikus, pozitív szemidefinit mátrix sajátértékei nemnegatívak. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 14 / 239

14 Negatív definit és negatív szemidefinit mátrixok Definíció. Egy A valós szimmetrikus négyzetes mátrix negatív definit, ha sajátértékei negatívak és negatív szemidefinit, ha a sajátértékei nem pozitívak. Tétel. Legyen A egy n-edrendű valós szimmetrikus mátrix és jelölje k az A mátrix k-adik sarokminorát, k = 1, 2,..., n. A pontosan akkor negatív definit, ha ( 1) k k > 0, k = 1, 2,..., n. Ha ( 1) k k > 0, k = 1, 2,..., n 1, és n = 0, akkor A negatív szemidefinit. Ha k > 0, k = 1, 2,..., n 1, és n = 0, akkor A pozitív szemidefinit. Definíció. Egy valós szimmetrikus mátrix indefinit, ha se nem pozitív, se nem negatív szemidefinit (így nem lehet pozitív és negatív definit sem). Tétel. Tetszőleges A valós mátrix esetén A A pozitív szemidefinit. A A pontosan akkor pozitív definit, ha A oszlopai lineárisan függetlenek. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 15 / 239

15 Mátrix polinomok Definíció. Legyen p(x) = α 0 + α 1 x + + α k x k egy tetszőleges valós vagy komplex együtthatós polinom, A pedig egy n-edrendű négyzetes mátrix. Ekkor a p(x) polinom A mátrixben vett értéke p(a) := α 0 I n + α 1 A + + α k A k. Cayley-Hamilton tétel. Legyen A egy n-edrendű négyzetes mátrix, p(λ) pedig az A karakterisztikus polinomja. Ekkor p(a) = 0 n, ahol 0 n a csupa nullából álló n-edrendű négyzetes mátrixot jelöli. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 16 / 239

16 Mátrix hatványsorok Definíció. Legyen f(x) = α k x k egy tetszőleges valós vagy komplex hatványsor, A pedig egy n-edrendű négyzetes mátrix. Ekkor f(a) := α k A k, amennyiben ez a sor konvergens. k=0 k=0 k=0 Példák. Legyen A egy n-edrendű négyzetes mátrix. 1 exp(x) = e x x k = k!, azaz exp(a) = A k k!. 2 cos(x) = k=0 ( 1) k x 2k, azaz cos(a) = (2k)! k=0 ( 1) k A 2k. (2k)! Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 17 / 239 k=0

17 Mátrix hatványsorok kiszámítása A: n-edrendű négyzetes mátrix p(x) karakterisztikus polinommal. f(x): tetszőleges polinom vagy hatványsor. Cél: határozzuk meg az f(a) értékét zárt alakban. Maradékos osztás: f(x) = g(x) p(x) + r(x), ahol deg [ r(x) ] n 1. Cayley-Hamilton tétel: p(a) = 0 n, azaz f(a) = r(a). Elegendő meghatározni az polinom együtthatóit. r(x) = β 0 + β 1 x + β n 1 x n 1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 18 / 239

18 Egyszeres sajátértékek Tegyük fel, hogy p(x) gyökei (A sajátértékei) egyszeresek, azaz p(x) = ( 1) n (x λ 1 )(x λ 2 ) (x λ n ). p(λ i ) = 0, így f(λ i ) = g(λ i )p(λ i ) + r(λ i ) = r(λ i ), i = 1, 2,..., n. Az r(x) = β 0 + β 1 x + β n 1 x n 1 polinom együtthatóinak meghatározáshoz meg kell oldani a f(λ i ) = β 0 + β 1 λ i + β n 1 λ n 1 i, i = 1, 2,..., n, lineáris egyenletrendszert. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 19 / 239

19 Példa Határozzuk meg az f(a) := exp(a) értékét, ha A = 4 2 4, azaz A 2 = Karakterisztikus polinom: p(x) = x 3 + 6x 2 + 4x 24 = (x 6)(x + 2)(x 2). Sajátértékek: λ 1 = 6, λ 2 = 2, λ 3 = 2. Az r(x) maradék polinom alakja: r(x) := β 0 + β 1x + β 2x 2. A megoldandó egyenletrendszer: A megoldás: e 6 = β 0 + 6β β 2; e 2 = β 0 2β 1 + 4β 2; e 2 = β 0 + 2β 1 + 4β 2. β 0 = 1 ( e 6 + 6e 2 + 3e 2), β 1 = 1 ( e 2 e 2), β 2 = 1 ( e 6 2e 2 + e 2) exp(a) = 1 e 2 +3e 2 e 2 +e 2 e 2 e 2 e 6 2e 2 +3e 2 e 6 +2e 2 +e 2 3e 6 2e 2 e 2. 4 e 6 +e 2 e 6 e 2 3e 6 e 2 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 20 / 239

20 Többszörös sajátértékek Tegyük fel, hogy p(x) gyökei (A sajátértékei): λ 1 : l 1 -szeres, λ 2 : l 2 -szeres,, λ k : l k -szoros, l 1 + l l k = n. A karakterisztikus polinom: p(x) = ( 1) n (x λ 1 ) l 1 (x λ 2 ) l2 (x λ k ) l k. p(λ i ) = p (λ i ) = p (λ i ) = = p (l i 1) (λ i ) = 0, i = 1, 2,..., k, így f(λ i ) =g(λ i )p(λ i )+r(λ i )=r(λ i ); f (λ i ) =g (λ i )p(λ i )+g(λ i )p (λ i )+r (λ i )=r (λ i ); f (λ i ) =g (λ i )p(λ i )+2g (λ i )p (λ i )+g(λ i )p (λ i )+r (λ i )=r (λ i );. f (l i 1) (λ i ) = = r (l i 1) (λ i ), i = 1, 2,..., k. A megoldandó, n egyenletből álló n ismeretlenes egyenletrendszer: f (j) (λ i ) = r (j) (λ i ), i = 1, 2,..., k, j = 1, 2,..., l i. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 21 / 239

21 Példa Határozzuk meg az f(b) := exp(b) értékét, ha B = 3 1 6, azaz B 2 = Karakterisztikus polinom: p(x) = x x 16 = (x 2) 2 (x + 4). Sajátértékek: λ 1 = λ 2 = 2, λ 3 = 4. Az r(x) maradék polinom alakja: r(x) := β 0 + β 1x + β 2x 2 ; r (x) = β 1 + 2β 2x. A megoldandó egyenletrendszer: A megoldás: e 2 = β 0 + 2β 1 + 4β 2; e 2 = β 1 + 4β 2; e 4 = β 0 4β β 2. β 0 = 1 ( 4e 2 + e 4), β 1 = 1 ( 4e 2 e 4), β 2 = 1 ( 5e 2 + e 4) exp(b) = 7e 2 e 4 6 e 2 e 4 2 e 2 +e 4 3 e 2 +e 4 6 e 2 +e 4 e 2 e 2 3 e 2 e 4 2. e 2 e 4 3 e 2 +2e 4 4 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 22 / 239

22 MATLAB megoldás A = 4 2 4, B= e A = e 2 +3e 2 4 e 6 2e 2 +3e 2 4 e 6 +e 2 4 e 2 +e 2 4 e 6 +2e 2 +e 2 4 e 6 e 2 4 e 2 e 2 4 3e 6 2e 2 e 2 4 3e 6 e = e B = 7e 2 e 4 6 e 2 e 4 2 e 2 +e 4 3 e 2 +e 4 6 e 2 e 2 3 e 2 +e 4 2 e 2 e 4 e 2 e 4 3 e 2 +2e = >> A=[-1-1 1;-4 2 4;-1 1 5]; >> expa=expm(a) expa = >> B=[3-1 2;3-1 6;-2 2-2]; >> expb=expm(b) expb = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 23 / 239

23 Mátrixok szinguláris felbontása Tétel. Tetszőleges m n dimenziós valós A mátrixnak létezik egy A = UΣV alakú szinguláris felbontása, ahol U és V rendre m m és n n dimenziós ortogonális mátrixok, Σ pedig egy m n dimenziós diagonális mátrix, melynek főátlójában a σ 1 σ 2 σ min{m,n} 0 valós értékek állnak, amiket az A szinguláris értékeinek nevezünk. Megjegyzés. A pozitív sziguláris értékek száma megegyezik az A mátrix r rangjával. Ekkor a szinguláris felbontás: r A = σ i u i v i, ahol u i, illetve v i rendre az U, illetve V mátrix i-edik oszlopa. i=1 Alkalmazások: képfeldolgozás: tömörítés, zajszűrés (deblurring); digitális jelfeldolgozás: zajszűrés. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 24 / 239

24 Szimmetrikus mátrixok spektrálfelbontása Tétel. Legyen A egy n-edrendű valós, négyzetes, szimmetrikus mátrix, λ 1 λ 2 λ n az A sajátérékei, q 1, q 2,..., q n pedig a megfelelő ortonormált sajátvektorok. Az A mátrix spektrálfelbontása A = n λ i q i q i. i=1 Mátrixos alakban A = QΛQ, ahol Q az az ortogonális mátrix melynek oszlopai a q 1, q 2,..., q n sajátvektorok és Λ = diag(λ 1, λ 2,..., λ n ). Megjegyzés. Szimmetrikus pozitív definit négyzetes mátrix esetén a spektrálfelbontás éppen a szinguláris felbontással egyenlő. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 25 / 239

25 MATLAB svd függvény használata >> A=[ ; ]; Teljes felbontás >> [U,S,V]=svd(A) U = S = V = Takarékos felbontás >> [U,S,V]=svd(A,'econ') U = S = V = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 26 / 239

26 Moore-Penrose pszeudoinverz Definíció. Legyen A egy m n dimenziós valós mátrix, melynek szinguláris felbontása A = UΣV. Az A mátrix Moore-Penrose pszeudoinverze az A + = VΣ + U n m dimenziós mátrix, ahol a Σ + mátrix úgy áll elő, hogy a Σ nemnulla elemeit a reciprokukkal helyettesítjük, majd a kapott mátrixot transzponáljuk. Tétel. Tétel. Tetszőleges mátrixnak létezik pszeudoinverze és az egyértelmű. A pszeudoinverz tulajdonságai: AA + A = A és A + AA + = A + ; ( AA + ) = AA + és ( A + A ) = A + A; amennyiben A invertálható, A + = A 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 27 / 239

27 Lineáris egyenletrendszerek megoldása Tekintsük az Ax = b alakú lineáris egyenletrendszert, ahol A egy m n dimenziós valós mátrix, b R m, x R n. Az egyenletrendszer általános megoldása: x = A + b. Amennyiben az egyenletrendszernek létezik egyértelmű megoldása, úgy x éppen a megoldás. Amennyiben az egyenletrendszernek több megoldása van, akkor a megoldások közül x normája a legkisebb. Amennyiben az egyenletrendszer ellentmondásos, azaz nincs megoldása, úgy x az Ax b 2 minimumhelyei közül a minimális normájú. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 28 / 239

28 MATLAB pinv függvény használata >> A=[ ; ]; >> A_inv=pinv(A) >> C=[-1-1 1;4 2 4;-1 1 5]; >> det(c) A_inv = >> B=[-1-1 1;4 2 4;3 1 5]; >> det(b) ans = 0 ans = 24 >> C_inv=pinv(C) C_inv = >> inv(c) >> B_inv=pinv(B) B_inv = ans = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 29 / 239

29 Összefoglaló az egyváltozós függvények deriválásáról Definíció. Azt mondjuk, hogy az f : R R függvény differenciálható az x pontban, ha létezik a f(x + h) f(x) lim =: f (x) = df h 0 h dx (x) határérték. Az f (x) érték az f függvény deriváltja az x pontban. Megjegyzés. f pontosan akkor differenciálható az x pontban, ha létezik a R, melyre f(x + h) f(x) a h lim = 0. h 0 h Ekkor a = f (x). Megjegyzés. Legjobb lineáris approximáció: f(x + h) f(x) + f (x) h. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 31 / 239

30 Többváltozós függvények deriválása Definíció. Azt mondjuk, hogy az f : R n R függvény differenciálható az x R n pontban, ha létezik egy a R n vektor, melyre f(x + h) f(x) a h lim = 0. h 0 h 2 A a vektort az f függvény x pontbeli gradiensvektorának nevezzük, a jelölése f(x). Definíció Azt mondjuk, hogy az f : R n R függvény x i -szerint parciálisan deriválható az x = (x 1, x 2,..., x n ) R n pontban, ha létezik a f f(x + he i ) f(x) (x) := lim x i h 0 h = lim h 0 f(x 1,..., x i 1, x i + h, x i+1,... x n ) f(x 1,..., x i 1, x i, x i+1,... x n ) h határérték. f x i az f i-edik parciális deriváltja, i = 1, 2,..., n. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 32 / 239

31 Másodrendű parciális deriváltak. Tétel. Ha az f : R n R függvény differenciálható az x R n pontban, akkor léteznek a parciális deriváltjai és a gradiense ( ) f f f f(x) = (x), (x),..., (x). x 1 x 2 x n Megjegyzés. x i : R n R, i = 1, 2,..., n, parciális deriváltaknak is tekinthetjük a parciális deriváltjait. Ekkor kapjuk a A f 2 f x i x j (x), i, j = 1, 2,..., n, másodrendű parciális deriváltakat. Amennyiben ezek minden x R n esetén folytonosak, akkor 2 f x i x j (x) = 2 f x j x i (x), i, j = 1, 2,..., n. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 33 / 239

32 Hesse-mátrix Definíció. Amennyiben az f : R n R függvénynek léteznek a másodrendű parciális deriváltjai, az 2 f (x) 2 f x 2 x 1 1 x 2 (x) 2 f x 1 x n (x) 2 f 2 x 2 x 1 (x) 2 f (x) 2 f x f(x) := 2 x 2 2 x n (x)... 2 f x n x 1 (x) 2 f x n x 2 (x) 2 f (x) x 2 n mátrixot az f függvény Hesse-mátrixának nevezzük. Megjegyzés. Ha a másodrendű parciális deriváltak folytonosak, akkor a Hesse-mátrix szimmetrikus. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 34 / 239

33 Példa Határozzuk meg az f(x 1, x 2) := x x 3 2 3x 1 3x 2 függvény gradiensét és Hesse-mátrixát. Megoldás. Parciális deriváltak: f x 1 (x 1, x 2)=3x 2 1 3, Gradiens: f x 2 (x 1, x 2)=3x f(x 1, x 2) = ( 3x 2 1 3, 3x ). 4 2 Másodrendű parciális deriváltak: f (x 1, x 2) = 6x 1, x f (x 1, x 2) = 6x 2, x f x 1 x 2 (x 1, x 2) = 0, 2 f x 2 x 1 (x 1, x 2) = Hesse-mátrix: ( ) 2 6x1 0 f(x 1, x 2) =. 0 6x 2 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 35 / 239

34 Példa Határozzuk meg az függvény gradiensét és Hesse-mátrixát. MATLAB megoldás. >> syms x1 x2 x3 >> F=x1*x2*x3+x3*exp(x1)+x2^4*x3^2; >> GradF=jacobian(F) f(x 1, x 2, x 3) := x 1x 2x 3 x 3e x 1 + x 4 2x 2 3 GradF = [ x2*x3 + x3*exp(x1), 4*x2^3*x3^2 + x1*x3, 2*x3*x2^4 + x1*x2 + exp(x1)] >> HesseF=jacobian(GradF) HesseF = [ x3*exp(x1), x3, x2 + exp(x1)] [ x3, 12*x2^2*x3^2, 8*x3*x2^3 + x1] [ x2 + exp(x1), 8*x3*x2^3 + x1, 2*x2^4] Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 36 / 239

35 Jacobi-mátrix Definíció. Az f = (f 1, f 2,..., f m ) : R n R m vektor értékű függvény differenciálható az x = (x 1, x 2,..., x n ) R n pontban, ha az f i függvények (i = 1, 2,..., m) differenciálhatóak x-ben. Ebben az esetben az f 1 f x 1 (x) 1 f x 2 (x) 1 x n (x) f 2 f f x (x) := 1 (x) 2 f x 2 (x) 2 x n (x)... f m f x 1 (x) m f x 2 (x) m x n (x) m n dimenziós mátrixot az f Jacobi-mátrixának nevezzük. Megjegyzés. A Jacobi-mátrix i-edik sora f i (x). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 37 / 239

36 Példa Határozza meg az e 2x 1+x 2 ( ) f(x 1, x 2) := x 2 x 1 y1 + 2y 2 + y 2 3 és g(y 1, y 2, y 3) := x 2 y sin(y 1 + x 2 + y 3) 2 függvények Jacobi-mátrixát. MATLAB megoldás. >> syms x1 x2 >> f=[exp(2*x1+x2);x2-x1;x1^2+x2] f = exp(2*x1 + x2) x2 - x1 x1^2 + x2 >> Jf=jacobian(f) Jf = [ 2*exp(2*x1 + x2), exp(2*x1 + x2)] [ -1, 1] [ 2*x1, 1] >> syms y1 y2 y3 >> g=[y1+2*y2+y3^2;y1^2+sin(y2+y3)] g = y3^2 + y1 + 2*y2 y1^2 + sin(y2 + y3) >> Jg=jacobian(g) Jg = [ 1, 2, 2*y3] [ 2*y1, cos(y2 + y3), cos(y2 + y3)] Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 38 / 239

37 Taylor sorfejtés Taylor tétel. Legyen f : R n R egy folytonosan differenciálható (differenciálható és a parciális deriváltjai folytonosak) függvény, valamint legyen p R n. Ekkor létezik olyan t (0, 1), melyre f(x + p) = f(x) + f(x + tp) p. Amennyiben f kétszer folytonosan differenciálható, akkor létezik olyan t (0, 1), melyre f(x + p) = f(x) + f(x) p p 2 f(x + tp) p. Elsőrendű Taylor közelítés x körül: f(x + p) f(x) + f(x) p. Másodrendű Taylor közelítés x körül: f(x + p) f(x) + f(x) p p 2 f(x) p. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 39 / 239

38 Példa Határozzuk meg az f(x 1, x 2) := x x 2 1, x1 R+, x2 R, függvény első-, illetve másodrendű Taylor közelítését az (1, 1) pont körül. Megoldás. A parciális deriváltak: f x 1 (x 1, x 2) = x 2x x 2 1 1, 2 f (x 1, x 2) = x 2(x x 2 2 1)x x 2 2 1, 1 f x 2 (x 1, x 2) = x x 2 1 ln(x1); 2 f (x 1, x 2) = x x 2 x 2 1 ln2 (x 1), 2 2 f (x 1, x 2) = x x ( x2 ln(x ) 1) = 2 f (x 1, x 2). x 1 x 2 x 2 x 1 Gradiens: f(1, 1) = (1, 0) ; Hesse-mátrix: 2 f(1, 1) = Elsőrendű Taylor közelítés: Másodrendű Taylor közelítés: f(1 + p 1, 1 + p 2) f(1, 1) + f(1, 1) (p 1, p 2) = 1 + p 1. ( ) f(1+p 1, 1+p 2) f(1, 1)+ f(1, 1) (p 1, p 2) (p1, p2) 2 f(1, 1)(p 1, p 2) = 1+p 1+p 1p 2. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 40 / 239

39 Példa Közelítsük az kifejezés értékét Taylor közelítés segítségével. Megoldás. Függvény: f(x 1, x 2) := x x 2 1. Elsőrendű közelítés az (1, 1) pont körül: f(1 + p 1, 1 + p 2) 1 + p 1. Másodrendű közelítés az (1, 1) pont körül: f(1 + p 1, 1 + p 2) 1 + p 1 + p 1p 2. p 1 = 0.01, p 2 = mellett az elsőrendű közelítés: = 1.01; a másodrendű közelítés: = ; a pontos érték (15 tizedesjegyig): = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 41 / 239

40 Többváltozós függvények szélsőértékhelyei Legyen f : R n R egy folytonosan differenciálható függvény. x az f globális minimumhelye [maximumhelye], ha minden x R n esetén f(x ) f(x) [ f(x ) f(x) ]. x az f lokális minimumhelye [maximumhelye], ha x -nak létezik egy olyan N R n környezete, hogy minden x N esetén f(x ) f(x) [ f(x ) f(x) ]. x az f szigorú lokális minimumhelye [maximumhelye], ha x -nak létezik egy olyan N R n környezete, hogy minden x x N esetén f(x ) < f(x) [ f(x ) > f(x) ]. x az f izolált lokális minimumhelye [maximumhelye], ha x -nak létezik egy olyan N R n környezete, amiben nincs másik lokális minimumhely [maximumhely]. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 42 / 239

41 Stacionárius pontok Tétel. (Elsőrendű szükséges feltétel) Ha x az f : R n R lokális szélsőértékhelye (minumuma vagy maximuma) és f folytonosan differenciálható az x egy nyílt környezetében, akkor f(x ) = 0. Definíció. Az x pont az f : R n R függvény stacionárius pontja, ha f(x ) = 0. Definíció. Ha x az f függvény olyan stacionárius pontja, amely se nem lokális minimum, se nem lokális maximum, akkor x nyeregpont. Példa f(x 1, x 2 ) := x 2 1 x 2 2. f(x 1, x 2 ) = ( 2x 1, 2x 2 ) Az egyetlen stacionárius pont a (0, 0), ami nyeregpont. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 43 / 239

42 A szélsőérték másodrendű feltételei Tétel. (Másodrendű szükséges feltétel) Ha x az f : R n R lokális minumumhelye [maximumhelye], valamint 2 f létezik és folytonos az x egy nyílt környezetében, akkor a) f(x ) = 0; b) 2 f(x ) pozitív [negatív] szemidefinit. Tétel. (Másodrendű elégséges feltétel) Tegyük fel, hogy 2 f létezik és folytonos az x egy nyílt környezetében, valamint a) f(x ) = 0; b) 2 f(x ) pozitív [negatív] definit. Ekkor x az f szigorú lokális minumumhelye [maximumhelye]. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 44 / 239

43 Példa Határozzuk meg az f(x 1, x 2) := x x 3 2 3x 1 3x 2 függvény szélsőértékhelyeit. Megoldás. Gradiens: f(x 1, x 2) = ( 3x 2 1 3, 3x ). Stacionárius pontok: (1, 1), ( 1, 1), (1, 1), ( 1, 1) Hesse-mátrix: ( ) 2 6x1 0 f(x 1, x 2) =. 0 6x f(1, 1) pozitív definit, (1, 1) minimumhely. 2 f( 1, 1) negatív definit, (1, 1) maximumhely. 2 f( 1, 1) és 2 f(1, 1) indefinit, ( 1, 1) és (1, 1) nyeregpontok. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 45 / 239

44 Optimalizálási feladat Adott egy f : R n R folytonosan differenciálható függvény. Keressük a értékét. Példák. f(x 1, x 2 ) := x x3 2 3x 1 3x 2. min f(x) x Rosenbrock-függvény: g(x 1, x 2 ) := 100 ( x 2 x 2 1) 2+ ( 1 x1 ) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 47 / 239

45 Optimalizáló eljárások Egy optimalizáló eljárás általános alakja: 1 egy x 0 kezdeti közelítés megadása; 2 az x k x k+1 stratégia meghatározása; 3 leállási feltétel. Vonalmenti keresés: meghatározunk egy p k irányt, amerre csökken a függvény, és ebben az irányban egy egyváltozós minimalizálást hajtunk végre. min α f(x k + αp k ). Definíció. Azt mondjuk, hogy egy x k x k+1 stratégiájú optimalizáló algoritmus q-adrendben konvergál az x optimumhelyhez, ha létezik olyan C > 0 konstans, melyre valamely normában x k+1 x C x k x q. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 48 / 239

46 Vonalmenti keresés A p keresési irány megválasztása: csökkenjen a függvény. Elsőrendű Taylor közelítés valamely kicsi α esetén: Így a megoldandó feladat: f(x k + αp) f(x k ) + αp f(x k ). min p p f(x k ), p = 1. Mivel p f(x k ) = p f(x k ) cos Θ = f(x k ) cos Θ, ezért az optimális irány a cos Θ = 1-nek megfelelő: p = f(x k) f(x k ). Legmeredekebb leereszkedés elve (gradiens módszer). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 49 / 239

47 Példa x s x min x max x s f(x 1, x 2) := x x 3 2 3x 1 3x 2 Minimumhely: (1, 1). Maximumhely: ( 1, 1). Nyeregpontok: (1, 1) és ( 1, 1) Kontúrvonalak, stacionárius pontok és a negatív gradiens mező Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 50 / 239

48 Csökkenési irányok Definíció. A p R n irány x pontbeli csökkenési irány (leereszkedési irány), ha p f(x) < 0. Kicsi α esetén f(x k + αp) f(x k ) + αp f(x k ). Mivel ha cos Θ < 0, akkor p f(x k ) < 0 p f(x k ) = p f(x k ) cos Θ, Speciális eset: legmeredekebb leereszkedés (gradiens módszer): p = f(x k ) azaz cos Θ = 1. Probléma: A gradiens módszer nagyon lassú lehet, ha a szélsőérték egy hosszú, elnyújtott völgyben van. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 51 / 239

49 Elnyújtott völgyek hatása x s x min 1 x s x min x max x s 1 x max x s f(x 1, x 2) := x x 3 2 3x 1 3x 2 kontúrvonalai és a negatív gradiensmező. g(x 1, x 2) := 10x x x 1 3x 2 kontúrvonalai és a negatív gradiensmező. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 52 / 239

50 Gradiens módszer - lépéshossz választás Ha adott a p k keresési irány, akkor az α f(x k + αp k ), (α > 0) egyváltozós függvényt kellene minimalizálni. A minimumhely meghatározása túl költséges lehet, ezért sokszor beérjük egy elég jó α értékkel. Két lépés: Meghatározunk egy intervallumot, ahol α-t keressük (maximális lépéshossz). Az adott intervallumon keresünk egy elegendően jó α-t (amire az f(x k + αp k ) elegendő mértékben kisebb az f(x k ) értékénél). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 53 / 239

51 Ideális eset: kvadratikus függvény Legyen f : R n R kvadratikus, azaz f(x) := 1 2 x Qx b x. Q: n n-dimenziós szimmetrikus és pozitív definit mátrix; b R n. Ekkor f(x) = Qx b, azaz az x stacionárius pontra Qx = b. Az optimális lépéshossz az x k pontban: azaz α k = f (x k ) f(x k ) f (x k )Q f(x k ), ( f ) (x k ) f(x k ) x k+1 = x k f f(x k ). (x k )Q f(x k ) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 54 / 239

52 Példa: gradiens módszer A gradiens módszer az f(x 1, x 2 ) := x x2 2 függvényre. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 55 / 239

53 Gradiens-módszer visszaléptetéssel Visszaléptetéses módszer α k megválasztására: 1 Legyen c 1 (0, 1), ϱ (0, 1) rögzített, α := α 0 ; 2 while f(x k + αp k ) > f(x k ) + αc 1 f(x k ) p k α := ϱα end 3 α k = α; A visszaléptetéses gradiens-módszer algoritmusa: 1 Legyen adott x 0. 2 Ha ismert x k, akkor legyen p k = f(x k ). 3 Válasszuk α k -t a visszaléptetéses módszerrel. 4 Legyen x k+1 = x k + α k p k. 5 Leállás: ha f(x k ) = 0 (ha f(x k ) < ε). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 56 / 239

54 Példa: visszaléptetéses gradiens módszer A visszaléptetéses gradiens módszer a Rosenbrock-függvényre, az utolsó 130 iterált. x 0 = ( 1.2, 1), ε = 10 3, ϱ = 0.5. Az elvégzett lépések száma Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 57 / 239

55 Newton-módszer nemlineáris egyenletekre Nemlineáris egyenlet: f(x) = 0, ahol f : R R. A megoldás közelítésére szolgáló, adott x 0 kezdőpontú Newton-iteráció: Nemlineáris egyenletrendszer: x k+1 = x k f(x k) f, k = 0, 1, 2,.... (x k ) F(x) = 0, ahol F : R n R n. A megoldás közelítésére szolgáló, adott x 0 kezdőpontú Newton-iteráció: F (x k ) ( x k+1 x k ) = F(xk ), k = 0, 1, 2,... Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 58 / 239

56 Newton-módszer optimalizálásra Az f függvény minimumhelye megoldása a f(x) = 0 egyenletnek. f : R n R n, így f(x) = 0 nemlineáris egyenletrendszer. Ha f kétszer folytonosan differenciálható, akkor az adott x 0 kezdőpontú Newton-módszer a f(x) = 0 egyenletrendszerre: 2 f(x k ) ( x k+1 x k ) = f(xk ), k = 0, 1, 2,.... Az algoritmus: x 0 adott; 2 f(x k )p k = f(x k ), azaz p k = ( 2 f(x k ) ) 1 f(xk ); x k+1 = x k + p k. Megjegyzés. A Newton-módszer lépéshossza 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 59 / 239

57 Newton-irány Definíció. A irányt Newton-iránynak nevezzük. p k = ( 2 f(x k ) ) 1 f(xk ) Ha 2 f(x k ) pozitív definit, akkor a Newton-irány csökke- Megjegyzés. nési irány: p k f(x k) = f (x k ) ( 2 f(x k ) ) 1 f(xk ) < 0. Ha 2 f(x k ) nem pozitív definit, akkor előfordulhat, hogy a Newton-irány nem definiált, vagy nem csökkenési irány. A Newton-irány előnye: a minimumhely elég jó közelítése esetén négyzetes konvergencia; hátránya: szükség van a Hesse-mátrixra. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 60 / 239

58 Kvázi-Newton irány Ha nem ismerjük a 2 f(x k ) Hesse-mátrixot, vagy költséges a meghatározása, annak egy B k 2 f(x k ) közelítését használjuk. Ez egy kvázi-newton irányt eredményez. A B k mátrixokat megválasztásának szempontjai: teljesül B k+1 ( xk+1 x k ) = f(xk+1 ) f(x k ); B k szimmetrikus; B k és B k+1 eltérése alacsony rangú. Legismertebb: Broyden-Fletcher-Goldfarb-Shanno (BFGS) algoritmus. A BFGS formula: B k+1 = B k B ks k s k B k s k B ks k + y k y k y k s, k ahol s k = x k+1 x k és y k = f(x k+1 ) f(x k ). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 61 / 239

59 Példa: BFGS x x BFGS módszer a Rosenbrock-függvényre, x 0 = ( 1.2, 1), ε = Az elvégzett lépések száma 36. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 62 / 239

60 Felosztások Legyen D := [a, b] [c, d] R 2 egy téglalap, valamint f : D R egy korlátos függvény. Tekintsük az [a, b] és [c, d] intervallumok egy felosztását. a = x 0 < x 1 < x 2 < < x m 1 < x m = b, c = y 0 < y 1 < y 2 < < y n 1 < y n = d A D téglalap egy P felosztása alatt az mn darab R ij := { (x, y) R 2 xi 1 x x i, y j 1 y y j }, i = 1, 2,..., m, j = 1, 2,..., n résztéglalapot értjük. R ij területe: A ij := x i y j = (x i x i 1 )(y j y j 1 ). R ij átmérője: diam(r ij ) := (x i x i 1 ) 2 + (y j y j 1 ) 2. A P felosztás normája: P := max 1 i m 1 j n diam(r ij ). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 64 / 239

61 Integrálközelítő összegek Definíció. ( A D téglalap egy P felosztásához és a felosztás tagjaiból vett x ij, y ) ij Rij pontokhoz tartozó integrálközelítő összeg R(f, P) := m i=1 n f ( x ij, y ij) Aij. j=1 Forrás: Robert Adams, Christopher Essex: Calculus: A Legyen f 0. f ( x ij, y ij) Aij : az R ij alapú és f ( x ij, y ij) magasságú egye- nes hasáb térfogata. R(f, P): az f függvény D feletti gráfja alatti térfogat közelítése. D f(x, y)dxdy: az R(f, P) határértéke P 0 mellett, amennyiben ( a határérték az x ij, y ) ij választásától függetlenül létezik. Complete Course, 7th Edition. Pearson, Toronto, Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 65 / 239

62 Téglalap feletti kettős integrál Definíció. Legyen f : D R 2 R egy korlátos függvény. Azt mondjuk, hogy f integrálható a D téglalap felett, ha a D tetszőleges finomodó P k felosztássorozata esetén, melyre lim k P k = 0, valamint a P k résztéglalapjaiból választott tetszőleges pontrendszerre az R(f, P k ) integrálközelítő összeg sorozat konvergens. Az integrálközelítő összegek sorozatának I := f(x, y)dxdy határértéke az f kettős integrálja a D felett. Példa Legyen D = [0, 1] 2 és f(x, y) := 2x 2 + xy, valamint tekintsük az x = 1/2 és y = 1/2 egyenesek által meghatározott felosztást és vegyük a kapott kis négyzetek középpontjait, azaz az (1/4, 1/4), (1/4, 3/4), (3/4, 1/4) és (3/4, 3/4) pontokat. D (2x 2 + xy)dxdy ( 2 ( + 2 D ) (2x 2 + xy)dxdy = = ( ) ) ( ) 1 4 = 7 8 = D Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 66 / 239

63 Integrál síkbeli korlátos halmazon Definíció. Legyen S R 2 egy korlátos halmaz, f : S R egy korlátos függvény, f S : R 2 R pedig { f(x, y), ha (x, y) S, f S (x, y) := 0, ha (x, y) S. Legyen D R 2 egy olyan tégla, melyre S D. Azt mondjuk, hogy az f függvény integrálható S felett, ha f S integrálható D felett. Ekkor az f függvény S feletti kettős integrálja f(x, y)dxdy := f s (x, y)dxdy. S D Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 67 / 239

64 A kettős integrál tulajdonságai Tétel. Legyen D R 2 egy korlátos halmaz, f, g : D R korlátos függvények, valamint jelölje λ(d) a D halmaz területét. a) Ha λ(d) = 0, akkor f(x, y)dxdy = 0. D b) 1dxdy = λ(d). D c) Ha f és g integrálható D felett, akkor αf + βg is integrálható és ( ) αf(x, y) + βg(x, y) dxdy = α f(x, y)dxdy D D + β g(x, y)dxdy, α, β R. d) Ha f és g integrálható D felett és f(x, y) g(x, y), (x, y) D, akkor f(x, y)dxdy g(x, y)dxdy. D Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 68 / 239 D D

65 A kettős integrál tulajdonságai e) Ha f integrálható D felett, akkor f is integrálható D felett és f(x, y)dxdy f(x, y) dxdy. D f) Legyen S D. Ha f 0 integrálható mind S, mind pedig D felett, akkor f(x, y)dxdy f(x, y)dxdy. S g) Ha f integrálható a D 1, D 2,..., D k diszjunkt halmazok mindegyike felett, akkor f integrálható a D D D := D 1 D 2 D k unió felett is és D f(x, y)dxdy k i=1 D i f(x, y)dxdy. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 69 / 239

66 Egyszerű tartományok Definíció. A D R tartomány y-egyszerű, ha az x = a és x = b függőleges egyenesek és az y = c(x) és x = d(x) függvények határolják. Hasonlóképpen, a D x-egyszerű ha az y = c és y = d vízszintes egyenesek és az x = a(y) és x = b(y) függvények határolják. y y=d(x) y d x=a(y) x=b(y) y=c(x) c a y-egyszerű tartomány b x x-egyszerű tartomány x Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 70 / 239

67 Ismétléses integrálás Tétel. Legyen f(x, y) folytonos az a x b és c(x) y d(x) egyenlőtlenségekkel definiált D korlátos y-egyszerű tartományon. Ekkor [ b ] d(x) f(x, y)dxdy = f(x, y)dy dx. D Hasonlóképpen, ha f(x, y) folytonos a c y d és a(y) x b(y) egyenlőtlenségekkel definiált D korlátos x-egyszerű tartományon, akkor [ d ] b(y) f(x, y)dxdy = f(x, y)dx dy. D a c c(x) a(y) Megjegyzés. Az D f(x, y)dxdy helyett használhatjuk az Df(x, y)dydx kifejezést is, mindkettő az f függvény D feletti kettős integrálját jelenti. A dx és dy sorrendje az ismétléses integrálás során válik fontossá. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 71 / 239

68 Példa Határozzuk meg az (x 2 + y)dxdy értékét, ahol S := { (x, y) 0 x 1, x 2 y x }. Megoldás. D D (x 2 + y)dxdy = = [ ] x (x 2 + y)dy dx = x 2 (x 5/2 + x2 32 x4 ) dx = ] y= x [x 2 y + y2 dx 0 2 y=x 2 [ 2 7 x7/2 + x2 4 3 ] x = MATLAB megoldás. >> syms x y >> int(int((x^2+y),y,x^2,sqrt(x)),x,0,1) ans = 33/140 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 72 / 239

69 Improprius integrálok Improprius integrálról akkor beszélhetünk, ha vagy maga a D R 2 integrálási tartomány nem korlátos, vagy pedig az f integrandus nem korlátos a D valamelyik pontja közelében, vagy a D határán. f 0 vagy f 0 esetén az integrál vagy létezik (véges), vagy végtelen. Példa. Adjuk meg a T Megoldás. 1 x 4 e y/x dxdy = T = = MATLAB megoldás. >> syms x y >> f=exp(-y/x)/x^4; x ( 1 1 e 1 x 4 e y/x dxdy értékét, ha T:= { (x, y) R 2 x 1, 0 y x }. 1 [ x 4 ) 1 x 4 e y/x dydx = xe y/x] y=x lim ϱ y=0 ] ϱ [ 1 2x 2 1 dx = = 1 [ 1 x x 4 ( 1 1 e 0 ) ( 1 1 ) e ] e y/x dy dx lim ϱ lim ϱ ϱ 1 dx x 3 ( ϱ 2 ) = 1 2 >> int(int(f,y,0,x),x,1,inf) ans = 1/2 - exp(-1)/2 ( 1 1 ). e Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 73 / 239

70 Integráltranszformáció Legyen f : D R 2 R egy integrálható függvény és tegyük fel, hogy x és y felírható valamely u és v változók függvényeként, azaz x = x(u, v), y = y(u, v). A fenti függvények egy transzformációt határoznak meg az uv-sík (u, v) pontjaiból az xy-sík (x, y) pontjaiba. Definíció. A transzformáció Jacobi determinánsa ) J(u, v) := det ( x u y u x (u, v) y (u, v) v v (u, v) (u, v) Tétel. Legyen x=x(u, v), y=y(u, v) az uv-sík S tartományát az xy-sík D tartományába átvivő kölcsönösen egyértelmű transzformáció és tegyük fel, hogy az x és y folytonosan differenciálható az S tartományon. Ha f(x, y) integrálható D felett, akkor g(u, v):=f ( (x(u, v), y(u, v) ) J(u, v) is integrálható S felett és f(x, y)dxdy = f ( (x(u, v), y(u, v) ) J(u, v) dudv. D S Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 74 / 239.

71 Síkbeli polártranszformáció Tetszőleges (x, y) Descartes koordinátájú P pont megadható az [r, θ] polár koordinátáival is. y y+dy y θ x r x da dx dy x+dx [r, θ] (x,y) y x y θ r: az origótól való távolság. θ: az x-tengely pozitív irányával bezárt szög. da rdθ dr dθ x = r cos θ, r = x 2 + y 2, y = r sin θ, r r+dr x tan θ = y/x. da = dx dy: egy kicsiny téglalap területe a Descartes-féle koordinátarendszerben. da r dr dθ: a megfelelő terület a polár koordinátarendszerben. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 75 / 239

72 Áttérés polár koordinátákra Az [r, θ] polár koordináták és az (x, y) Descartes koordináták közötti transzformáció: x = r cos θ, y = r sin θ. Jacobi determináns: ( ) cos θ r sin θ J(r, θ) = det = r. sin θ r cos θ Integráltranszformáció: f(x, y)dxdy = D Példák halmazok közötti transzformációkra: S f ( r cos θ, r sin θ ) r drdθ. D := { (x, y) x 2 + y 2 a 2} S := { [r, θ] 0 r a, 0 θ 2π } ; D := { (x, y) b 2 x 2 + y 2 a 2, x, y 0 } S := { [r, θ] b r a, 0 θ π/2 }. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 76 / 239

73 Példa Határozzuk meg az xy dxdy integrál értékét, ahol S egy a sugarú kör első síknegyedbe eső részének azon pontjaiból áll, amik az y = 3x egyenes alatt helyezkednek S el. Megoldás. S xy dxdy = = π/3 0 π/3 = 1 2 = a4 8 0 π/3 [ a 0 ] r cos θ r sin θ r dr dθ cos θ sin θ dθ a [ r 4 sin(2θ) dθ 0 4 [ 12 ] π/3 cos(2θ) 0 0 r 3 dr ] a = a4 ( ) 3 1 cos(2π/3) = a4. 0 y π/3 S y= 3x 2 2 x + y = a 2 a x Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 77 / 239

74 Háromszoros integrálok Legyen B:=[a, b] [c, d] [p, q] R 3 egy téglatest és legyen f : B R egy korlátos függvény. A B résztéglatestekre való felosztásának segítségével a f(x, y, z)dxdydz B háromszoros integrál a kettős integrálhoz hasonlóan definiálható. Tulajdonságai a kettős integrál tulajdonságaival analógok. Legyen D R 3 egy korlátos halmaz. Ekkor 1dxdydz = λ(d), ahol λ(d) a D térfogata. D Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 78 / 239

75 Példa Három pontot választva véletlenszerűen az [a, b] intervallumból adjuk meg annak a valószínűségét, hogy a harmadik kiválasztott pont az első kettő közé esik. Megoldás. Geometriai való színűség. Jelölje rendre x, y és z a kiválasztott pontok koordinátáit. Ez a három érték a λ(c) = (b a) 3 kocka egy (x, y, z) pontját határozza meg, mely kocka térfogata λ(c) = (b a) 3. A feltételeknek eleget tevő pontok az S := { (x, y, z) [a, b] 3 x < z < y vagy y < z < x } halmaz elemei. A keresett valószínűség: P = λ(s)/λ(c) = λ(s)/(b a) 3. A szimmetria miatt: λ(s) = 1dxdydz = 2 = 2 S b y a a [ (y a) 3 = 3 A fentiek alapján P = 1/3. b y z (z a)dzdy = 2 ] y=b y=a = a a a b a (b a)3. 3 1dxdzdy = 2 [ (z a) 2 2 ] z=y b y a dy = z=a a b [x] x=z x=a dzdy a (y a) 2 dy Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 79 / 239

76 Integráltranszformáció háromszoros integrálok esetén Legyen f : D R 3 R egy integrálható függvény és tegyük fel, hogy az x, y és z koordináták felírhatóak x = x(u, v, w), y = y(u, v, w), z = z(u, v, w) alakban. Az egyenletek az uvw-tér (u, v, w) pontjainak az xyz-tér (x, y, z) pontjainba való transzformációját definiálják. A Jacobi determináns: x x x u (u, v, w) v (u, v, w) w (u, v, w) J(u, v, w) := det y y y u (u, v, w) v (u, v, w) w (u, v, w). z z (u, v, w) (u, v, w) (u, v, w) z u Ha az uvw-tér S tartományát az xyz-tér D tartományába átvivő transzformáció kölcsönösen egyértelmű, az azt definiáló fügvények folytonosan differenciálhatóak és f : D R 3 R integrálható D felett akkor f(x, y, z)dxdydz = g(u, v, w) J(u, v, w) dudvdw, D v ahol g(u, v, w) := f ( x(u, v, w), y(u, v, w), z(u, v, w) ). S Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 80 / 239 w

77 Hengerkoordináta transzformáció Tetszőleges (x, y, z) Descartes koordinátájú P pont megadható az [r, θ, z] hengerkoordináták segítségével is. z [ r, θ, z] (x, y, z) r: a P pont xy-síbeli merőleges vetületének az origótól való távolsága. d z θ: az xy síkban az x tengely pozitív irányával bezárt szög. x x y θ r y x = r cos θ, y = r sin θ, z = z. Jacobi determináns: cos θ r sin θ 0 J(r, θ, z) = det sin θ r cos θ 0 = r Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 81 / 239

78 Térbeli polár transzformáció Tetszőleges (x, y, z) Descartes koordinátájú P pont megadható az [ρ, ϕ, θ] polárkoordináták segítségével is. x x y z θ φ ρ r [ρ,φ,θ] (x,y,z) z y ρ: az origótól való távolság. ϕ: a z tengely pozitív irányával bezárt szög. θ: az xy síkban az x tengely pozitív irányával bezárt szög. x = ρ sin ϕ cos θ, y = ρ sin ϕ sin θ, z = ρ cos ϕ. Jacobi determináns: sin ϕ cos θ ρ cos ϕ cos θ ρ sin ϕ sin θ J(ρ, ϕ, θ) = det sin ϕ sin θ ρ cos ϕ sin θ ρ sin ϕ cos θ = ρ 2 sin ϕ. cos ϕ ρ cos ϕ 0 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 82 / 239

79 Példa Számítsuk ki a következő integrált: x 2 z 2 dxdydz, ahol S := { (x, y, z) x, y > 0, x 2 + y 2 + z 2 a 2}, a > 0. S Megoldás. Így Polár koordinátarendszerben az S halmaz a következőképpen írható fel: S D := { [ρ, ϕ, θ] 0 ρ a, 0 ϕ π, 0 θ π/2 }. x 2 z 2 dxdydz = = ( ρ sin ϕ cos θ ) 2 ( ρ cos ϕ ) 2 ( ρ 2 sin ϕ ) dρ dϕ dθ D π/2 π a 0 0 ( a ) ( π = ρ 6 dρ 0 0 [ = a cos3 ϕ(3 cos 2 ϕ 5) = a7 7 ρ 6 sin 3 ϕ cos 2 θ cos 2 ϕ dρ dϕ dθ 0 4 π 15 4 = a7 π 105. ) ( ) π/2 sin 3 ϕ cos 2 ϕ dϕ cos 2 θ dθ 0 ] ϕ=π ϕ=0 [ θ sin(2θ) ] θ=π/2 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 83 / 239 θ=0

80 A Laplace-integrál Definíció. Legyen f : [0, [ R egy tetszőleges függvény. Az F(s) := 0 f(t)e st dt Laplace-integrált, amennyiben létezik, az f(t) függvény Laplace-transzformáltjának nevezzük. Megjegyzések. a) s egy s = σ + iω alakú komplex szám, ahol i 2 = 1. b) A gyakorlatban a t változó általában az időt jelenti, azaz f(t) egy időben változó mennyiséget ad meg. c) Az f függvény Laplace-integráljának általánosan használt rövidítése L [ f ] := F(s). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 85 / 239

81 Példák Egységugrás-függvény (Heaviside-függvény): u 1(t) u 1(t) := { 1, t > 0; 0, t < 0. L [ u 1(t) ] = 0 u 1(t)e st dt =: U 1(s). U 1(s) = 0 e st dt = ] t= [ e st s t=0 = 1, ha σ > 0. s Csökkenő exponenciális függvény: e αt (α > 0) L [ e αt] = 0 e αt e st dt = 0 e (s+α)t dt = ] t= [ e (s+α)t = 1 s + α t=0 s + α, ha σ > α. Egyszerű periodikus függvény: e iωt (ω R) L [ e iωt] = 0 e iωt e st dt = 0 e (s iω)t dt = ] t= [ e (s iω)t = 1, ha σ > 0. s iω t=0 s iω Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 86 / 239

82 Példák Egyszerű harmonikus (szinuszoid) függvény: cos(ωt) (0 < ω R) L [ cos(ωt) ] = 0 L [ cos(ωt) ] = 1 2 = 1 [ 2 0 cos(ωt)e st dt, ahol cos(ωt) = eiωt + e iωt. 2 ( e iωt + e iωt) e st dt = 1 [ e iωt e st dt s iω + 1 s + iω ] = Rézsű-függvény (ramp function): u 2(t) := tu 1(t) Parciális integrálás: L [ u 2(t) ] = U 2(s) = 0 = 0 0 u 2(t) e st dt = te st dt = ] t= [ e st s 2 0 s, ha σ > 0. s 2 + ω2 0 ] t= [ te st t=0 s t=0 te st dt =: U 2(s). ( e st = 1, ha σ > 0. s2 0 s 0 ) dt ] e iωt e st dt Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 87 / 239

83 A Laplace-transzformált tulajdonságai I Tétel (Linearitás). Ha α és β konstansok, vagy nem függenek az s és t értékétől, f(t) és g(t) Laplace-transzformáltjai rendre F(s) és G(s), akkor L [ αf(t) + βg(t) ] = αl [ f(t) ] + βl [ g(t) ] = αf(s) + βg(s). Tétel (Eltolás az időtartományban). Legyen az f(t) Laplace-traszformáltja F(s), valamint a egy pozitív konstans. Ekkor az f(t a)u 1 (t a) időeltolt függvény Laplace-transzformáltja L [ f(t a)u 1 (t a) ] = e as F(s). Tétel (Komplex differenciálás). Legyen az f(t) Laplace-traszformáltja F(s). Ekkor L [ tf(t) ] = d ds F(s). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 88 / 239

84 Példák 1. L [ cos(ωt) ] = s s 2 + ω, így L[ t cos(ωt) ] = d ( ) s = s2 ω 2 2 ds s 2 + ω 2 (s 2 + ω 2 ) Az L [ e αt] = 1 s + α így L[ te αt] = d ( ) 1 1 = ds s + α (s + α). 2 alapján L [ u 1(t) ] = 1 s L [ u 2(t) ] = L [ tu 1(t) ] = d ds ( ) 1 = 1 s s ; 2 L [ u 3(t) ] = L [ tu 2(t) ] = L [ t 2 u 1(t) ] d ds L [ u 4(t) ] = L [ tu 3(t) ] = L [ t 3 u 1(t) ] d ds ( ) 1 s 2 ( ) 2 s 3 = 2 s 3 = 2! s 3 ; = 6 s 4 = 3! s 4. Általánosan: L [ u (n+1) (t) ] = L [ t n u ] 1(t) = n! s. n+1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 89 / 239

85 A Laplace-transzformált tulajdonságai II Tétel (Eltolás az s tartományban). Legyen az f(t) Laplace-traszformáltja F(s), valamint a egy komplex szám. Ekkor L [ e at f(t) ] = F(s a). Tétel (Valós differenciálás). Legyen az f(t) Laplace-traszformáltja F(s), és tegyük fel, hogy f (t) = d dtf(t) = Df(t) is Laplace-traszformálható. Ekkor L [ f (t) ] = sf(s) f(0 + ), ahol f(0 + ) az f függvénynek a 0 pontban vett jobboldali határértéke, azaz f(0 + ) := lim f(t). x 0 x>0 Az f (t) = d2 dt 2 f(t) = D 2 f(t) második derivált Laplace-transzformáltja L [ f (t) ] = s 2 F(s) sf(0 + ) f (0 + ). Általánosan, az f (n) (t)= dn dt n f(t)=d n f(t) n-edik derivált transzformáltja L [ f (n) (t) ] =s n F(s) s n 1 f(0 + ) s n 2 f (0 + ) sf (n 2) (0 + ) f (n 1) (0 + ). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 90 / 239

86 A Laplace-transzformált tulajdonságai III Tétel (Valós integálás). az f függvény D 1 f(t):= t 0 Legyen az f(t) Laplace-traszformáltja F(s). Ekkor f(s)ds + D 1 f(0 + ), ahol D 1 f(0 + ):= lim t 0 t>0 integrálja is transzformálható és a Laplace-transzformáltja L [ D 1 f(t) ] = F(s) + D 1 f(0 + ). s s A kétszeresen integrált függvény Laplace-transzformáltja Általánosan L [ D 2 f(t) ] = F(s) s 2 + D 1 f(0 + ) s 2 + D 2 f(0 + ). s L [ D n f(t) ] = F(s) s n + D 1 f(0 + ) s n + + D n f(0 + ). s t 0 f(s)ds, A továbbiakban az f(0 + ) helyett egyszerűan az f(0) jelölést használjuk. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 91 / 239

87 Példák 1. Ezek alapján L [ cos(ωt) ] = s s 2 + ω 2, valamint sin(ωt) = 1 ω cos (ωt). L [ sin(ωt) ] = 1 ω L[ cos (ωt) ] = 1 ( [ ] ) sl cos(ωt) cos(0) ω = 1 ( ) s 2 ω s 2 + ω 1 ω = 2 s 2 + ω L [ e αt cos(ωt) ] = s + α (s + α) 2 + ω Laplace-transzformálás MATLAB segítségével >> syms A W t >> f=sin(w*t); >> F=laplace(f,t) F = W/(W^2 + t^2) >> g=exp(-a*t)*cos(w*t); >> G=laplace(g,t) G = (A + t)/((a + t)^2 + W^2) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 92 / 239

88 A Laplace-transzformált tulajdonságai IV Tétel (Határérték a végtelenben). Ha f(t) és f (t) Laplace-transzformálható, az f(t) Laplace-transzformáltja F(s), valamint t esetén létezik az f(t) határértéke, akkor lim F(s) = lim f(t). s 0 t Tétel (Határérték a nullában). Ha f(t) és f (t) Laplace-transzformálható, az f(t) Laplace-transzformáltja F(s), valamint s esetén létezik az sf(s) határértéke, akkor lim sf(s) = lim f(t). s t 0 Tétel (Komplex integrálás). Legyen az f(t) Laplace-transzformáltja F(s) és tegyük fel, hogy t 0, t > 0 esetén létezik az f(t)/t határértéke (jobboldali határérték). Ekkor [ ] f(t) L = F(s)ds. t 0 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 93 / 239

89 Példa: soros RLC kör v(t) vagy u(t): feszültség a t időpontban (V); I(t): áramerősség a t időpontban (A) Kirchhoff törvények + 1 Zárt hurokban a feszültségforrások összege megegyezik a feszültségesések összegével (huroktörvény). 2 A csomópontban befolyó áramok összege megegyezik az onnan elfolyó áramok összegével (csomóponti törvény). I(t) u(t) R L C Elem Mennyiség Feszültségesés Ellenállás (R) Ellenállás (Ω) v R = RI Tekercs (L) Induktivitás (H) v L = L di =: LDI dt Kondenzátor (C) Kapacitás (F) v C = 1 t 0 I C 0 C CD Q 0: u(t): a kondenzátor kezdeti töltése. bemenő feszültség. Kirchhoff huroktörvénye: A kapcsolódó egyenlet: v R (t) + v L (t) + v C (t) = u(t). RI + LDI + I CD = u. Output y(t): a kondenzátoron mért v C (t) feszültségesés. Az outputra felírt egyenlet: RCDy(t) + LCD 2 y(t) + y(t) = u(t) LC y (t) + RC y (t) + y(t) = u(t). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 94 / 239

90 A Laplace-transzformálás alkalmazása Másodrendű lineáris differenciálegyenlet az y(t) output feszültségesésre: Az egyenlet Laplace-transzformáltja: A tagok Laplace-transzformáltjai: LC y (t) + RC y (t) + y(t) = u(t). L [ LC y (t) + RC y (t) + y(t) ] = L [ u(t) ]. L [ y(t) ] = Y(s), L [ RC y (t) ] = RC ( sy(s) y(0) ), L [ u(t) ] = U(s), L [ LC y (t) ] = LC ( s 2 Y(s) sy(0) y (0) ). Az egyenletbe való behelyettesítés eredménye: ( LCs 2 + RCs + 1 ) Y(s) ( LC sy(0) + LC y (0) + RC y(0) ) = U(s). Y(s) = 1 LCs 2 + RCs + 1 }{{} A rendszer átviteli függvénye A megoldás Laplace-transzformáltja: U(s) + LC sy(0) + LC y (0) + RC y(0) LCs 2 + RCs + 1 } {{ } A kezdeti értékeket tartalmazó tag Y(s) = U(s) + LC sy(0) + LC y (0) + RC y(0). LCs 2 + RCs + 1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 95 / 239.

91 Az egyenlet megoldása Az eredeti egyenlet: LC y (t) + RC y (t) + y(t) = u(t). A megoldás Laplace-transzformáltja: Y(s) = U(s) + LC sy(0) + LC y (0) + RC y(0). LCs 2 + RCs + 1 Az y(t) megoldás az L 1 inverz Laplace-transzformált segítségével adható meg y(t) = L 1[ Y(s) ] [ ] U(s) + LC sy(0) + LC y = L 1 (0) + RC y(0). LCs 2 + RCs + 1 A konkrét értékek behelyettesítése után használhatjuk a Laplace-transzformációs táblázatokat. Tegyük fel, hogy t = 0 időpillanatban egy 1 V feszültségű egyenáramú forrást kapcsolunk be, azaz y(0) = y (0) = 0, u(t) pedig az egységugrás-függvény, azaz u(t) = u 1(t). y(t) = L 1[ Y(s) ] [ ] [ ] = L 1 1/(LC) s ( s 2 + (R/L)s + 1/(LC) ) = L 1 ω 2 s ( s 2 + 2ζωs + ω 2), ahol ω := 1/ LC és ζ := ( R/2) C/L. A Laplace-transzformációs táblázat alapján: y(t) = 1 (ω e ζωt sin ) 1 ζ 2 t + arccos ζ. 1 ζ 2 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 96 / 239

92 Konvolúció Definíció. Legyenek f 1, f 2 : [0, [ R tetszőleges integrálható függvények. Ekkor az f 1 és f 2 függvények konvolúciója f(t) := f 1 (t) f 2 (t) := 0 f 1 (τ)f 2 (t τ)dτ. Tétel. Ha az f 1 (t) és f 2 (t) függvények Laplace transzformáltjai rendre F 1 (s) és F 2 (s), akkor L [ f 1 (t) f 2 (t) ] = F 1 (s) F 2 (s). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 97 / 239

93 Inverz transzformálás Az f(t) függvény F(s) Laplace transzformáltja gyakorta egy racionális törtfüggvény, aminek alakja F(s) = P(s) Q(s) = a ks k + a k 1 s k a 1 s + a 0 s n + b n 1 s n b 1 s + b 0, k < n. Definíció. Az F(s) pólusai a Q(s) polinom s 1, s 2,..., s n gyökei, amennyiben P(s i ) 0, i = 1, 2,..., n (a P(s) és Q(s) polinomoknak nincs közös gyöke). Az inverz transzformált az F(s) parciális törtekre való bontásával számolható. Négy esetet különböztethetünk meg aszerint, hogy az F(s) pólusai: 1 elsőrendű valós pólusok; 2 többszörös valós pólusok; 3 elsőrendű komplex konjugált párok; 4 többszörös komplex konjugált párok. A szükséges Laplace transzformált: [ ] L 1 1 (s α) n = tn 1 e αt (n 1)!. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 98 / 239

94 Elsőrendű valós pólusok F(s) = P(s) Q(s) = P(s) (s s 1 )(s s 2 ) (s s n ) = A 1 s s 1 + A 2 s s 2 f(t) = L 1[ F(s) ] = A 1 e s 1t + A 2 e s 2t + + A n e snt, t 0. Példa. Határozzuk meg a következő függvény inverz Laplace transzformáltját: Megoldás. F(s) = F(s) = 10 s(s + 2)(s + 5) = 1 s MATLAB megoldás >> syms s >> F=10/(s^3+7*s^2+10*s) F = 10/(s^3 + 7*s^2 + 10*s) 10 s 3 + 7s s. 1 s A n s s n. 1 s + 2, f(t) = e 5t 5 3 e 2t. >> ilaplace(f,s) ans = (2*exp(-5*s))/3 - (5*exp(-2*s))/3 + 1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 99 / 239

95 Többszörös valós pólusok F(s) = P(s) (s s 1 ) q 1 (s s2 ) q = A A 1q 1 2 (s sr ) qr s s 1 (s s 1 ) q 1 + A A 2q 2 s s 2 (s s 2 ) q + + A r1 + + A rq r 2 s s r (s s r ). qr t q 1 1 f(t) = L 1[ F(s) ] = A 11 e s1t + A 12 te s 1t + A 1q1 (q 1 1)! es 1t + + A r1 e srt + A r2 te srt t qr 1 + A rqr (q r 1)! es 1t, t 0. Példa. Határozzuk meg a következő függvény inverz Laplace transzformáltját: Megoldás. F(s) = s 2 + s + 1 s 4 + 5s 3 + 9s 2 + 7s + 2. F(s) = s2 + s + 1 (s + 1) 3 (s + 2) = 3 s (s + 1) (s + 1) 3 3 s + 2. f(t) = 3e t 2te t + t2 2 e t 3e 2t, t 0. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 100 / 239

96 Elsőrendű komplex konjugált párok F(s) = F(s) = P(s) (s 2 +2ζωs+ω 2 )(s s 3 ) (s s n ) = A 1 + A A n, s s 1 s s 2 s s n s 1 = ζω+iω 1 ζ 2, s 2 = ζω iω 1 ζ 2 C, s 3,..., s n R. A 1 s+ζω iω 1 ζ + A 2 2 s+ζω+iω 1 ζ + A A n. 2 s s 3 s s n f(t) = A 1 e ( ζω+iω 1 ζ 2 )t + A 2 e ( ζω iω 1 ζ 2 )t + A 3 e s 3t + + A n e snt. A 1, A 2 C: komplex konjugáltak; A 2,, A n R. ( f(t) = 2 A 1 e ζωt sin ω ) 1 ζ 2 t + ϕ + A 3 e s3t + + A n e snt = 2 A 1 e σt sin ( ω d t + ϕ ) + A 3 e s 3t + + A n e snt, ahol σ := ζω, ω d := ω 1 ζ 2, valamint ϕ π/2 az A 1 szöge. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 101 / 239

97 Példa Határozzuk meg a következő függvény inverz Laplace transzformáltját: Megoldás. F(s) = 36s s 3 + 6s s F(s) = 36s (s 2 + 4s + 13)(s + 2) = 36s (s + 2 3i)(s i)(s + 2) = 4 6i s + 2 3i i s i 8 s + 2. f(t) = (4 6i)e ( 2+3i)t + (4 + 6i)e ( 2 3i)t 8e 2t = 4e 2t( e 3it +e 3it) 6ie 2t( e 3it e 3it) 8e 2t = 4e 2t( 2 cos(3t)+3 sin(3t) 2 ) }{{}}{{} 2 cos(3t) 2i sin(3t) =4 ( 13e 2t 2 cos(3t)+ 3 ) sin(3t) 8e 2t = 4 13e 2t( sin ϕ cos(3t) + cos ϕ sin(3t) ) 8e 2t = 4 13e 2t sin(3t + ϕ) 8e 2t, ahol tan ϕ = 2/3, azaz ϕ = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 102 / 239

98 Tiszta képzetes pólusok Példa. F(s) = P(s) (s 2 + ω 2 )(s s 3 ) (s s n ) = A 1 s s 1 + A 2 s s A n s s n = A 1 s iω + A 2 s+iω + A A n, s 3,..., s n R. s s 3 s s n f(t) = A 1 e iωt + A 2 e iωt + A 3 e s 3t + + A n e snt = 2 A 1 sin ( ωt + ϕ ) + A 3 e s 3t + + A n e snt, t 0. Határozzuk meg a következő függvény inverz Laplace transzformáltját: MATLAB megoldás >> syms s >> F=20/(s^2+16)/(s+2) F = 20/((s^2 + 16)*(s + 2)) F(s) = 20 (s )(s + 2). >> ilaplace(f,s) ans = exp(-2*s) - cos(4*s) + sin(4*s)/2 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 103 / 239

99 Többszörös komplex konjugált párok A többszörös komplex konjugált pólus párokat a többszörös valós pólusokhoz hasonlóan kezeljük. Példa. Határozzuk meg a következő függvény inverz Laplace transzformáltját: 324s F(s) = (s 2 + 4s + 13) 2 (s + 2) = 324s (s + 2 3i) 2 (s i) 2 (s + 2). Megoldás. F(s) = 4 3i s + 2 3i i s i 9 + 6i (s + 2 3i) 9 6i 2 (s i) 8 2 s + 2. f(t) = (4 3i)e ( 2+3i)t + (4+3i)e ( 2 3i)t (9+6i)te ( 2+3i)t (9 6i)te ( 2 3i)t 8e 2t ( ( = e 2t (4 9t) e 3it +e 3it) ( (3 + 6t)i e 3it e 3it) ) 8 = 2e 2t( (4 9t) cos(3t) + (3 + 6t) sin(3t) 4 ) ( = 10e 2t 4 5 cos(3t) + 3 ) 5 sin(3t) 6 ( 13te 2t 3 cos(3t) 2 ) sin(3t) 8e 2t = 10e 2t sin(3t + ϕ) te 2t sin(3t ψ) 8e 2t, tan ϕ = 4 3, tan ψ = 3 2. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 104 / 239

100 Fourier transzformált Definíció. Egy f : R R függvény Fourier-transzformáltja alatt az F [ f(t) ] := f(ω) := f(t)e iωt dt integrált értjük azon ω pontokban, ahol az integrál létezik. Megjegyzés. Legyen f be abszolút integrálható, azaz f(t) dt <. Ekkor f(t)e iωt dt f(t)e iωt dt f(t) dt <, azaz létezik az f Fourier-transzformáltja. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 106 / 239

101 Kapcsolat a Laplace-transzformálttal Jelölje F ± (s) a F ± (s) := 0 f(±t)e st dt Laplace-transzformáltat. Ekkor az f(t) függvény f(ω) Fourier-transzformáltjára teljesül f(ω) = F+ ( iω) + F (iω). Példa. Legyen f(t) := e α t, t R, α > 0. f(ω) = e α t e iωt dt = [ e (α+iω)t = α + iω ] t=0 t= 0 [ e ( α+iω)t + α + iω A megfelelő Laplace-transzformáltak: e (α+iω)t dt + ] t= t=0 0 e ( α+iω)t dt = 1 α + iω 1 α + iω = 2α α 2 + ω. 2 F +(s) = L [ e αt] = 1 s + α, F (s) = L[ e αt] = 1 s + α. F +( iω) + F (iω) = 1 iω + α + 1 iω + α = 2α α 2 + ω = f(ω). 2 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 107 / 239

102 Kapcsolat a valószínűségszámítással Definíció. Legyen f(t) egy X abszolút folytonos valószínűségi változó sűrűségfüggvénye, azaz P ( X x ) = x f(t)dt. Ekkor az f sűrűségfüggvény f(ω) Fourier-transzformáltját az X karakterisztikus függvényének nevezik. Megjegyzés. A karakterisztikus függvényt úgy is tekinthetjük, mint az e iωx valószínűségi változó E [ e iωx] várható értékét, mivel f(ω) = f(t)e iωt dt = E [ e iωx]. Példa. φ(t): a standard normális eloszlás sűrűségfüggvénye. φ(t) := 1 2π e t2 /2, φ(ω) = e ω2 /2. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 108 / 239

103 Inverz Fourier-transzformált Tétel. Tegyük fel, hogy mind f, mind pedig f abszolút integrálható. Ekkor f folytonos és minden egyes t értékre f(t) = 1 2π f(ω)e iωt dω, azaz az f függvényt a Fourier-transzformáltja egyértelműen meghatározza. Megjegyzés. A Fourier-transzformáció köti össze az időtartományban értelmezett f függvényt a frekvenciatartománybeli f reprezentációjával. Tétel (Parseval-egyenlőség). Tegyük fel, hogy mind f, mind pedig f abszolút integrálható. Ekkor f(t) 2 dt = 1 f(ω) 2 dω. 2π Ha f és g, valamint az abszolút integrálhatóak, és ugyanez teljesül az f és ĝ Fourier-transzformáltjaikra, akkor f(t)g(t)dt = 1 2π f(ω)ĝ(ω)dω. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 109 / 239

104 Fizikai értelmezés f(t): jel az időtartományban (pl. feszültségesés egy ellenálláson). Az f(t) jel teljes energiatartalma az összes t időpillanatra: E f := f(t) 2 dt. Az f(ω) Fourier-transzformáltak teljes energiatartalma az összes ω frekvenciára : 1 f(ω) 2 dω = f(2πν) 2 dν. 2π f(ω) 2 : az f energia-sűrűség spektruma. Parseval-egyenlőség: az f(t) jel energiatartalma nem csak energia per egységidő alapján számolható, azaz f(t) 2 integráljaként, hanem energia per egységfrekvencia alapján is, ami f(ω) 2 /2π integráljaként áll elő a frekvenciatartományon. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 110 / 239

105 Példa 2T hosszúságú négyszögjel { 1, t T; f(t) := 0, t > T. f(ω) = 2 sin(ωt) ω T [ f(ω) = e iωt e iωt dt = iω T ] t=t t= T = 2 sin(ωt). ω ( ωt ) = 2T sinc, ahol sinc(x) := sin(πx), x R. π πx Time domain Frequency domain f(t) f(ω) t ω T hosszúságú négyszögjel és Fourier-transzformáltja T = 5 esetén. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 111 / 239

106 Példa Sávszűrő. Legyen 0 < w < W és f(ω) = { 1, ω [w, W]; 0 egyébként. f(t) = sin(wt) πt sin(wt). πt Frequency domain 1.5 Time domain f(ω) f(t) ω t Sávszűrő és inverz Fourier-transzformáltja w = 1, W = 5 esetén. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 112 / 239

107 A Fourier-transzformált tulajdonságai, I Tétel (Linearitás). Ha α és β konstansok, vagy nem függenek az ω és t értékétől, az f(t) és g(t) függvények Fourier-transzformáltjai pedig rendre F [ f(t) ] = f(ω) és F [ g(t) ] = ĝ(ω), akkor F [ αf(t) + βg(t) ] = αf [ f(t) ] + βf [ g(t) ] = α f(ω) + βĝ(ω). Tétel (Deriválás az időtartományban). Ha f(t) folytonos és szakaszonként differenciálható, valamint f (t) abszolút integrálható, akkor f (ω) = iω f(ω). Tétel (Eltolás és moduláció). Legyen τ, a R. F [ f(t τ)] = e iωτ F [ f(t)] = e iωτ f(ω), F [ e iat f(t)] = f(a + ω). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 113 / 239

108 A Fourier-transzformált tulajdonságai, II Tegyük fel, hogy tf(t) abszo- Tétel (Deriválás a frekvenciatományban). lút integrálható. Ekkor F [ tf(t) ] = i d dω f(ω). Tétel (Hasonlóság). Legyen 0 a R. Ekkor F [ f(t/a) ] = a f(aω). Tétel (Konvolúció). Legyen f(t) az f 1 (t) és f 2 (t) abszolút integrálható függvények konvolúciója, azaz f(t) := f 1 (t) f 2 (t) := f 1 (τ)f 2 (t τ)dτ. Ekkor f(ω) = f 1 f 2 (ω) = f 1 (ω) f 2 (ω). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 114 / 239

109 Diszkrét idejű Fourier transzformált f[n], n Z: egy diszkrét idejű (digitális) jel. Az f[n] jelet megkaphatjuk úgy, hogy T periódussal mintavételezünk egy g(t), t R, folytonos jelből, azaz f[n] = g(nt). Definíció. Az f : Z R digitális jel diszkrét idejű Fourier transzformáltja F(ω) := F { f[n] } := n= f[n]e iωn, π ω π. A megfelelő diszkrét idejű inverz Fourier transzformált f[n] = 1 2π π π F(ω)e iωn dω. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 115 / 239

110 Diszkrét Fourier transzformált f[n], n = 0, 1,..., N 1: egy véges diszkrét idejű jel. Definícó. Az f[n], n = 0, 1,..., N 1, véges diszkrét jel diszkrét Fourier transzformáltja N 1 F[k] := f[n]e ikω0n, ω 0 := 2π, N k = 0, 1,..., N 1. n=0 A megfelelő diszkrét inverz Fourier transzformált f[n] := 1 N 1 F[k]e ikω0n, n = 0, 1,..., N 1. N k=0 Megjegyzés. ω 0 = 2π N az alapfrekvencia ( 1 N Hz, 2π N rad/s). Emellett felhasználjuk a 2ω 0, 3ω 0,..., (N 1)ω 0 felharmonikusokat és a 0 = 0 ω 0 DC komponenst. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 116 / 239

111 Mátrix reprezentáció Az f[n], n = 0, 1,..., N 1, diszkrét Fourier transzformáltja: N 1 F[k] := f[n]e i 2π N kn, k = 0, 1,..., N 1. n=0 Mátrix reprezentáció: F[0] F[1] 1 W W 2 W 3 W N 1 F[2] 1 W 2 W 4 W 6 W N 2 = 1 W 3 W 6 W 9 W N F[N 1] 1 W N 1 W N 2 W N 3 W f[0] f[1] f[2]. f[n 1], ahol W := e i 2π N az N-edik komplex egységgyök. A szorzó mátrix tulajdonságain alapulnak a gyors Fourier transzformált (FFT) algoritmusok. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 117 / 239

112 Példa Tekintsük a következő folytonos jelet: f(t) = }{{} cos ( 2πt π/2 ) + 3 cos ( 4πt ), t 0. }{{}}{{} DC 1Hz 2Hz f(t) t Minavételezzünk az f(t) jelből 4Hz frekvenciával (másodpercenként 4 minta, mintavételi periódus T = 1/4) a t = 0-tól a t = 3/4-ig (N = 4 érték). A mintavételezett jel a t = nt = n/4, n = 0, 1, 2, 3 időpillanatokban: f[n] = cos ( πn/2 π/2 ) + 3 cos ( πn ). f[0] = 9, f[1] = 5, f[2] = 9, f[3] = 1. A diszkrét Fourier transzformált: 3 F[k] = f[n]e i π 2 kn, k = 0, 1, 2, 3. n=0 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 118 / 239

113 Példa Folytonos jel: f(t) = cos ( 2πt π/2 ) + 3 cos ( 4πt ), t 0. Mintavételezett jel: f[n] = cos ( πn/2 π/2 ) + 3 cos ( πn ), n = 0, 1, 2, 3. Fourier transzformált: F[k] = 3 f[n]e i π 2 kn, k = 0, 1, 2, 3. n=0 W := e i π 2 = i, azaz W 2 = 1, W 3 = i, W 4 = 1. Matrix reprezentáció: F[0] f[0] F[1] F[2] = 1 W W 2 W 3 f[1] 1 W 2 W 4 W 6 f[2] = 1 i 1 i = F[3] 1 W 3 W 6 W 9 f[3] 1 i 1 i i 12 4i. Az együtthatók F[k] nagyságrendje: 24, 4, 12, 4. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 119 / 239

114 Digitális jelek z-transzformáltja Definíció. Legyen f : Z C egy olyan diszkrét idejű (digitális) jel, melyre f[n] = 0, ha n = 1, 2,.... Az f (egyoldali) z-transzformáltja F(z) := Z { f[n] } := f[n]z n n=0 azon z C értékekre, ahol a sor konvergens. Megjegyzés. A z-transzformálás egy kölcsönösen egyértelmű megfeleltetést ad f[n] és Z { f[n] } között. Példa. Legyen a C és f[n] := a n, n = 0, 1, 2,..., valamint f[n] = 0, n = 1, 2,.... Z { a n} ( = a n z n a ) n z = = z z a. n=0 Speciális eset (egységugrás fügvény): f[n] 1 = 1 n =: u[n], n = 0, 1, 2,..., valamint f[n] = 0, n = 1, 2,.... Z { u[n] } = z z 1. n=0 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 121 / 239

115 Motiváció: mintavételezés f(t) t p(t) f(t): folytonos jel. p(t): 1/γ amplitúdójú és T periódusú mintavételező impulzus sorozat. Az egyes impulzusokhoz kapcsolódó terület 1. Mintavételezett függvény: T f*(t) p γ 1 γ t f p(t) = p(t) f(t). γ 0: Dirac impulzus sorozat (ideális mintavételező) δ T (t) := δ(t nt). n= t δ(t): Dirac delta függvény. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 122 / 239

116 Dirac delta függvény u 1 (t): δ(t, γ): egységugrás függvény. 1/γ amplitúdójú és γ hosszúságú impulzus δ(t, γ) := u 1(t) u 1 (t γ). γ Delta függvény: δ(t) := lim γ 0 γ>0 δ(t, γ) = lim γ 0 γ>0 u 1 (t) u 1 (t γ). γ Formálisan: δ(t) = { t = 0; 0 t 0, vagy δ(t) = u 1(t). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 123 / 239

117 A Dirac delta függvény tulajdonságai f(t): folytonos jel. f(τ)δ(τ t 0 )dτ = t2 t 1 f(τ)δ(τ t 0 )dτ = f(t 0 ), t 0 R, minden olyan intervallumra, ahol t 0 [t 1, t 2 ] R. Speciális eset: { t2 1, 0 [t 1, t 2 ]; δ(τ)dτ = δ(τ)dτ = t 1 0, egyébként. Laplace transzformált: F(s, γ) := L [ δ(t, γ) ] = 1 γ F(s) := L [ δ(t) ] = lim γ 0 γ>0 ( [ L u 1 (t) ] L [ u 1 (t γ) ]) = 1 e γs. γs 1 e γs F(s, γ) = lim γ 0 γs γ>0 = 1. A Dirac delta függvény Laplace transzformáltja: L [ δ(t) ] = 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 124 / 239

118 A mintavételezett jel Laplace transzformáltja f(t): folytonos jel, f(t) = 0, ha t < 0. δ T (t): ideális mintavételező. Mintavételezett jel: f δ T (t) = f(t) δ T (t) = f(t)δ(t nt). n=0 A mintavételezett jel Laplace transzformáltja: F δ T (s) := L [ f δ T (t) ] = = n=0 0 0 f(t)δ T (t)e st dt f(t)δ(t nt)e st dt = f(nt)e snt. n=0 Legyen z = e st, azaz s = 1 T ln z. Ekkor ( 1 ) F δ T (z) := F δ T T ln z = f(nt)z n = Z { f[nt] }. n=0 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 125 / 239

119 A z-transzformált tulajdonságai, I Tétel. Legyenek f, g : Z C olyan diszkrét idejű (digitális) jelek, melyekre f[n] = g[n] = 0, ha n = 1, 2,..., valamint jelölje rendre F(z) és G(z) az f és g z-transzformáltját. (Linearitás) Ha α és β konstans, vagy független a z és n értékétől, akkor Z { αf[n] + βg[n] } = αz { f[n] } + βz { g[n] } = αf(z) + βg(z). (Konvolúció) Jelölje h[k] az f[k] és g[k] konvolúcióját, azaz k h[k] = (f g)[k] := f[l]g[k l] = f[l]g[k l], l= l=0 ahol k = 0, 1, 2,.... Ekkor H(z) := Z { h[k] } = Z { f[k] } Z { g[k] } = F(z) G(z). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 126 / 239

120 A z-transzformált tulajdonságai, II Tétel. Legyen f : Z C egy olyan digitális jel, melyre f[n] = 0, ha n = 1, 2,..., valamint jelölje rendre F(z) az f z-transzformáltját. (Visszaléptetés) Z { f[n 1] } = z 1 Z { f[n] } = z 1 F(z). Általánosan, tetszőleges k N esetén Z { f[n k] } = z k Z { f[n] } = z k F(z). (Eltolás) Z { f[n + 1] } = zz { f[n] } zf[0] = zf(z) zf[0]. Általánosan, tetszőleges k N esetén Z { f[n + k] } = z k Z { f[n] } k 1 k 1 f[l]z k l = z k F(z) f[l]z k l. l=0 l=0 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 127 / 239

121 Példák 1. A Kronecker-delta függvény δ 0[n] := { 1, n = 0, 0, n 0. A z-transzformált: Z { δ 0[n] } = δ 0[n]z n = Határozzuk meg az f[n] := na n, n = 0, 1, 2,..., 0 a C, z-transzformáltját Megoldás. Z { a n} = n=0 n=0 a n z n = z z a Vegyük mindkét oldal z szerinti deriváltját: na n z n 1 = a (z a) 2 Ezek alapján n=1 Z { na n} = na n z n za = (z a). 2 n=1 za (z a) 2. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 128 / 239

122 Példa 1. Legyen 0 a C, 0 k Z, és f[n] := ( n k) a n. Z { f[n] } {( } n = Z )a n za k = k (z a). k+1 Speciális eset: a = 1. {( )} n z Z = k (z 1). k+1 Még speciálisabb esetek (k = 1, 2): Z { n } z = (z 1), Z{ n(n 1)/2 } z = 2 (z 1). 3 Ezek alapján Z { n 2} = 2. z-transzformálás MATLAB segítségével >> syms n k a z >> f=nchoosek(n,k)*a^n; >> F=ztrans(f,n,z) 2z (z 1) + z z(z + 1) = 3 (z 1) 2 (z 1). 3 F = piecewise([k == 0, z/(a*(z/a - 1))], [0 < k, z/(a*(z/a - 1)^(k + 1))], [k < 0, 0]) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 129 / 239

123 Példa: a Fibonacci sorozat Fibonacci sorozat: az első kettő kivételével mindegyik szám az előző két szám összege. f[n]: 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233,... a Fibonacci sorozat n-edik tagja. A sorozatot definiáló rekurzió: f[n + 2] = f[n + 1] + f[n], f[0] = f[1] = 1. A fenti egyenlet megoldása megadja az f[n] zárt alakját. Az egyenlet z-transzformáltja: Z { f[n + 2] } = Z { f[n + 1] + f[n] } Z { f[n + 2] } = Z { f[n + 1] } + Z { f[n] }. Legyan F(z) := Z { f[n] }. A több tag z-transzformáltja: Z { f[n + 1] } = zf(z) zf[0] = zf(z) z; Z { f[n + 2] } = z 2 F(z) z 2 f[0] zf[1] = z 2 F(z) z 2 z. Az egyenletbe való behelyettesítés eredménye: z 2 F(z) z 2 z = zf(z) z + F(z) ( z 2 z 1 ) F(z) = z 2. A megoldás z-transzformáltja: F(z) = z 2 z 2 z 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 130 / 239

124 Példa: a Fibonacci rekurziós egyenlet megoldás A Fibonacci rekurzió: f[n + 2] = f[n + 1] + f[n], f[0] = f[1] = 1. A megoldás Z { f[n] } =: F(z) z-transzformáltja: F(z) = z 2 z 2 z 1 = z ( z z ) ( A parciális törtekre való bontás eredménye: ( F(z) = z z = 2 z z z 5 2 z, z a z ). z z Mivel tetszőleges a C esetén Z { a n} = {( ) n } {( F(z) = 2 5 Z Z 2 A megoldás így ( ) n ( ) n f[n] = ) ) n }. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 131 / 239

125 Állandó együtthatós lineáris differencia egyenletek A Fibonacci rekurziós egyenlet f[n + 2] f[n + 1] f[n] = 0 egy speciális állandó együtthatós lineáris differencia egyenlet. A k-adrendű állandó együtthatós lineáris differencia egyenlet általános alakja: a k f[n + k] + a k 1 f[n + k 1] + + a 1 f[n + 1] + a 0 f[n] = g[n], ahol a 0, a 1,..., a k C, a k 0, g[n] pedig egy adott digitális jel. Homogén egyenlet: g[n] 0. Kezdeti értékek: f[0] = b 0, f[1] = b 1,..., f[k 1] = b k 1, b 0, b 1,..., b k 1 C. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 132 / 239

126 Általános megoldás Az egyenlet: a k f[n+k] + a k 1 f[n+k 1] + + a 1f[n+1] + a 0f[n] = g[n]. Kezdeti értékek: f[0] = b 0, f[1] = b 1,..., f[k 1] = b k 1. Az egyenlet z-transzformáltja: a k Z { f[n+k] } + a k 1 Z { f[n+k 1] } + + a 0Z { f[n] } = Z{g[n]}. Legyen F(z) := Z { f[n] } és G(z) := Z { g[n] }. A tagok z-transzformáltjai: Z { f[n + j] } = z j Z { f[n] } j 1 j 1 z j l f[l] = z j F(z) z j l b l, l=0 A transzformált egyenlet alakja: ( k ) F(z) a jz j j=0 k j=1 a j j 1 l=0 z j l b l = G(z); l=0 ( k ) k 1 ( k F(z) a jz j z a jb j=l 1 )z l = G(z). j=0 l=0 j=l+1 A megoldás z-transzformáltja: ( k ) 1 k 1 ( k F(z) = a jz (G(z) j + z j=0 l=0 j=l+1 a jb j=l 1 ) z l ). j = 1, 2,..., k Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 133 / 239

127 Példa Oldjuk meg az alábbi differencia egyenletet: f[n + 2] 2f[n + 1] 3f[n] = 6n + 6, f[0] = 0, f[1] = 1. Megoldás. továbbá Let F(z) := Z { f[n] }. A g[n] = 6n + 6 z-transzformáltja G(z) := Z { g[n] } ( z = 6 (z 1) + z ) = 6z2 2 z 1 (z 1), 2 A transzformált egyenlet: z 2 F(z) z 2zF(z) 3F(z) = A megoldás z-transzformáltja: Z { f[n + 1] } = zf(z) zf[0] = zf(z); Z { f[n + 2] } = z 2 F(z) z 2 f[0] zf[1] = z 2 F(z) z. F(z) = z 6z2 (z 1) 2 ( z 2 2z 3 ) F(z) = z + 6z2 (z 1) 2. (z 1) 2 + 6z (z 2 2z 3)(z 1) 2 = z z 2 + 4z + 1 (z 3)(z + 1)(z 1) 2. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 134 / 239

128 Példa A megoldandó differencia egyenletet: f[n + 2] 2f[n + 1] 3f[n] = 6n + 6, f[0] = 0, f[1] = 1. A megoldás z-transzformáltja parciális törtekre bontva: z 2 + 4z + 1 F(z) = z (z 3)(z + 1)(z 1) = 11 z 2 8 z z 8 z z 2 z 1 3 z 2 (z 1). 2 Mivel a megoldás Z { n } = z és Z { a n} = z (z 1) 2 z a, a C, f[n] = n ( 1)n n. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 135 / 239

129 Az információelmélet alapfogalmai Forrásábécé: X = {x 1, x 2,..., x n }, n 2, véges halmaz. Elemeit (forrás) betűknek nevezzük. Felfoghatóak úgy, mint egy X diszkrét valószínűségi változó (forrás) lehetséges értékei. X : az X elemeiből álló véges sorozatok halmaza. X elemeit üzeneteknek, vagy közleményeknek nevezzük. Kódábécé: Y = {y 1, y 2,..., y s }, s 2, véges halmaz. Elemeit kódjeleknek nevezzük. Y : az Y elemeiből álló véges sorozatok halmaza. Y elemei a kódszavak. Kód: egy f : X Y függvény. s = 2: bináris kód. Időnként kódként hivatkoznak az f kód K = f(x ) értékkészletére. Ha az f kód értékkészlete különböző hosszúságú kódszavakból áll, akkor változó hosszúságú kódolásról beszélünk. Betűnkénti kódolás: egy közlemény kódját az egyes forrásbetűk kódjainak egymás után írásával kapjuk. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 137 / 239

130 Egyértelműen dekódolható kódok Definíció. Az f : X Y kód egyértelműen dekódolható, ha tetszőleges u X, v X esetén, ahol u=u 1 u 2... u k, v=v 1 v 2... v l és u v, teljesül, hogy f(u 1 )f(u 2 )... f(u k ) f(v 1 )f(v 2 )... f(v l ). Minden véges kódjelsorozat legfeljebb egy közlemény kódolásával állhat elő. Példák. 1. X ={a, b, c}, Y ={0, 1}, és f(a)=1, f(b)=01, f(c)= Az f kódoló függvény invertálható, de a kód nem egyértelműen dekódolható. Pl., f(c)f(a) = = f(a)f(b)f(a)f(b). 2. X ={a, b, c}, Y ={0, 1}, és f(a)=1, f(b)=10, f(c)=100. A kód egyértelműen dekódolható, mivel az 1 mindig egy új kódszó kezdetét jelzi. 3. X ={a, b, c}, Y ={0, 1}, és f(a)=1, f(b)=00, f(c)=01. A kód egyértelműen dekódolható. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 138 / 239

131 Prefix kódok Definíció. Az f kód prefix, ha a lehetséges kódszavak mind különbözőek és egyik kódszó sem folytatása a másiknak. Megjegyzések. 1. Minden prefix kód egyértelműen dekódolható. 2. Állandó hosszúságú kód mindig prefix, ha a kódszavai különbözőek. Példák. 1. X ={a, b, c}, Y ={0, 1}, és f(a)=1, f(b)=00, f(c)=01. A kód prefix. 2. X ={a, b, c}, Y ={0, 1}, és f(a)=1, f(b)=10, f(c)=100. A kód nem prefix, de egyértelműen dekódolható. 3. X = {a, b, c, d, e, f, g}, Y = {0, 1, 2}, valamint f(a)=0, f(b)=10, f(c)=11, f(d)=20, f(e)=21, f(f)=220, f(g)=221. A kód prefix. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 139 / 239

132 Kódfák Minden prefix kód ábrázolható egy fagráffal, ahol az egyes kódszavaknak a gyökértől az egyes levelekig tartó töröttvonalak felelnek meg. Bináris kód esetén pl. a 0-nak a bináris fa felfelé tartó ágai, az 1-nek pedig a lefelé mutatók felelnek meg. Példa. Rajzoljuk fel a megfelelő fagráfokat. 1. Y = {0, 1}, K = {0, 100, 1010, 1011, 110, 111}. 2. Y = {0, 1, 2}, K = {0, 10, 11, 20, 21, 220, 221}. Kódszóhosszak f(x) : az x X betű f(x) kódjának a kódszóhossza. L jelöli egy f kódhoz tartozó kódszóhosszak halmazát. A kódszóhosszak nem lehetnek tetszőlegesek. Pl., nem létezik olyan 4 kódszóból álló egyértelműen dekódolható bináris kód, melynek a kódszóhosszai {1, 2, 2, 2}. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 140 / 239

133 McMillan és Kraft egyenlőtlenségek Tétel (McMillan). ahol s a kódábécé elemszáma. Tétel (Kraft). Minden egyértelműen dekódolható f : X Y kódra n s f(xi) 1, i=1 Ha az L 1, L 2,..., L n pozitív egész számokra n s L i 1, i=1 akkor létezik olyan f prefix kód, melyre f(x i ) = L i, i = 1, 2,..., n. Megjegyzés. A McMillan és Kraft egyenlőtlenségekből következik, hogy minden egyértelműen dekódolható kódhoz létezik vele azonos kódhosszú prefix kód. Így elég, ha egy kódtól a speciálisabb prefix tulajdonságot követeljük meg. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 141 / 239

134 Az információmennyiség mérőszáma I. Hartley (1928): Az n elemű X halmaz egyes elemeinek azonosításához I = log 2 n mennyiségű információra van szükség. Heurisztika. Ha n = 2 k, akkor az X elemeinek reprezentálásához k = log 2 n hosszú bináris sorozatokat érdemes használni. Ha log 2 n Z, akkor a szükséges bináris jegyek száma a log 2 n utáni első egész. Ha X elemeiből alkotható m hosszú sorozatokat kell binárisan reprezentálni (ezek száma n m ), akkor olyan k hosszra van szükség, melyre 2 k 1 < n m 2 k. Az X egy elemére eső bináris jegyek K = k/m számára teljesül, hogy log 2 n < K log 2 n + 1/m. A log 2 n alsó határ így tetszőlegesen megközelíthető. A formula az információ mennyiségét a megadáshoz szükséges állandó hosszúságu bináris sorozatok hosszának alsó határaként definiálja. Az információmennyiség egysége: bit. Egy kételemű halmaz azonosításához 1 bit információ szükséges. Probléma: Hartley nem veszi figyelembe, hogy az X elemei esetleg nem egyforma valószínűek. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 142 / 239

135 Az információmennyiség mérőszáma II. Shannon (1948): Egy P(A) valószínűségű A esemény bekövetkezése mennyiségű információt szolgáltat. I(A) = log 2 1 P(A) = log 2 P(A) Heurisztika. Követelmények az I(A) információmennyiséggel kapcsolatban. Ha P(A) P(B), akkor I(A) I(B). Következmény: I(A) csak a P(A) valószínűségétől függ, az- az I(A) = g ( P(A) ). Független események együttes bekövetkezése esetén az információ összeadódik, azaz ha P(A B) = P(A)P(B), akkor I(A B) = I(A) + I(B). Ez azt jelenti, hogy g(p q) = g(p) + g(q), p, q ]0, 1]. Ha P(A) = 1/2, akkor I(A) := 1, azaz g(1/2) = 1. Tétel. Ha g : [0, 1] R olyan függvény, melyre a) g(p) g(q), ha 0 < p q 1; b) g(p q) = g(p) + g(q), p, q ]0, 1]; c) g(1/2) = 1, akkor 1 g(p) = log 2, p ]0, 1]. p Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 143 / 239

136 Az információmennyiség mérőszáma III. Kapcsolat a két definíció között: Ha az X minden eleme azonos (1/n) valószínűségel következik be, akkor egy elem előfordulása éppen log 2 n információt szolgáltat. Megjegyzés. A továbbiakban a 0 és b > 0 esetén 0 0 log 2 a = 0 log a 2 0 = 0; b log b 2 0 = + ; b log 0 2 b =. X: egy X elemeit értékként felvevő valószínűségi változó. p(x): az x X forrásbetű előfordulási valószínűsége, azaz p(x) := P(X = x), x X. Az X egy értékéhez tartozó átlagos információmennyiség: n n p(x i )I(X = x i ) = p(x i ) log 2 p(x i ) = E ( log 2 p(x) ). i=1 i=1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 144 / 239

137 Entrópia, átlagos kódszóhossz Definíció. Az X = {x 1, x 2,, x n } értékkészletű X valószínűségi változó entrópiája H(X) := E ( log 2 p(x) ) = n p(x i ) log 2 p(x i ). i=1 Megjegyzés. Ugyanezzel a formulával definiáljuk a P := { p(x 1 ), p(x 2 ),..., p(x n ) } eloszlású X forrásábécé H(X ) entrópiáját, azaz n H(X ) := p(x i ) log 2 p(x i ). i=1 Definíció. Egy f : X Y kód átlagos kódszóhossza E(f) := E f(x) n = p(x i ) f(x i ). i=1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 145 / 239

138 Példák 1. X ={a, b, c}, Y ={0, 1}, és f(a)=1, f(b)=00, f(c)=01. Valószínűségek: p(a)=0.6, p(b)=0.3, p(c)=0.1. Rövidebb felírás: s=2, K ={1, 00, 01}, L={1, 2, 2}, P ={0.6, 0.3, 0.1}. H(X) = 0.6 log log log ; E(f) = = s = 2, L = {1, 3, 3, 3, 4, 4}, P = { 1 2, 1 8, 1 8, 1 8, 1 16, 16} 1. H(X) = 1 2 log log log = 2.125; E(f) = = Cél: az átlagos kódszóhossz alsó határának meghatározása, mivel annál jobb egy kód, minél kisebb az átlagos kódszóhossza. Keressük azt az f kódot, mely minimalizálja az n E(f)= p(x i ) f(x i ) n függvényt a s f(xi) 1 feltétel mellett. i=1 i=1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 146 / 239

139 Az átlagos kódszóhossz határai Tétel (Shannon). Tetszőleges egyértelműen dekódolható f : X Y kódra E(f) = n p(x i ) f(x i ) i=1 n i=1 p(x i ) log s p(x i ) = H(X ) log 2 s, egyenlőség pedig pontosan akkor áll fenn, ha p(x i ) = s f(x i), i = 1, 2,..., n. Ha p(x i ) = s L i, ahol L i N, akkor létezik olyan f prefix kód, melyre f(x i ) = L i, i = 1, 2,..., n, és E(f) = H(X ) log 2 s. Tetszőleges eloszású X forrásábécé esetén létezik olyan f : X Y prefix kód, melyre E(f) < H(X ) log 2 s + 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 147 / 239

140 Blokkonkénti kódolás A forrásüzeneteket m hosszússágú blokkokra vágjuk és ezeket a blokkokat kódoljuk. Formális definíció: egy f : X m Y leképezés. Olyan, mintha egy új, X := X m forrásábécét kódolnánk. Forrás blokk: X = (X 1, X 2,..., X m ) véletlen vektor. Eloszlása: Entrópia: p(x) = p(x 1, x 2,..., x m ) = P(X 1 = x 1, X 2 = x 2,..., X m = x m ). H(X) = x X m p(x) log 2 p(x). Ha X 1, X 2,..., X m független, akkor H(X) = m i=1 H(X i). Ha X 1, X 2,..., X m még azonos eloszlású is, akkor H(X)=mH(X 1 ). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 148 / 239

141 Betűnkénti átlagos kódhossz Egy m-dimenziós X forrás f : X m Y kódjának betűnkénti átlagos kódhossza 1 m E f(x) = 1 p(x) f(x). m x X m Shannon tétel: E f(x) H(X) log 2 s. Következmény. Ha X 1,..., X m független, az X-szel azonos eloszlású valószínűségi változók, akkor létezik olyan f : X m Y prefix kód, hogy 1 m E f(x) < H(X) log 2 s + 1 m. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 149 / 239

142 Optimális kódok Bináris eset: s = 2. Tétel. Ha az f : X {0, 1} prefix kód optimális, és X elemei úgy vannak indexelve, hogy p(x 1 ) p(x 2 ) p(x n ) > 0, akkor feltehető, hogy f-re teljesül az alábbi három tulajdonság. a) f(x 1 ) f(x 2 ) f(x n ), azaz nagyobb valószínűségekhez rövidebb kódszavak tartoznak. b) f(x n 1 ) = f(x n ), vagyis a két legkisebb valószínűségű forrásbetűhöz tartozó kódszó azonos hosszúságú. c) Az f(x n 1 ) és az f(x n ) kódszavak csak az utolsó bitjükben különböznek. Heurisztika. a) Ha p(x k ) > p(x j) és f(x k ) > f(x j), akkor x j és x k kódszavát felcserélve egy az eredetinél rövidebb átlagos kódszóhosszú kódot kapunk. Az eredeti így nem lehet optimális. b) Ha f(x n 1) < f(x n), akkor f(x n) utolsó bitjét levágva egy az eredetinél rövidebb átlagos kódszóhosszú, ugyancsak prefix kódot kapunk. Az eredeti így nem lehet optimális. c) Ha létezik olyan f(x i) kódszó, hogy f(x i) és f(x n) csak az utolsó bitben különböznek, akkor a korábbiak alapján f(x i) = f(x n 1) = f(x n). Ha i n 1, akkor cseréljük fel x i és x n 1 kódját. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 150 / 239

143 Bináris Huffman-kód Tétel. Tegyük fel, hogy az X = {x 1, x 2,..., x n } forrásábécé elemei úgy vannak indexelve, hogy p(x 1 ) p(x 2 ) p(x n ) > 0, és tekintsük azt az X = {x 1, x 2,..., x n 2, x n 1 } forrásábécét, ahol az x n 1 szimbólumot az x n 1 és x n forrásbetűk összevonásával kapjuk és p( x n 1 )=p(x n 1 )+p(x n ). Ha az új { p(x 1 ),p(x 2 ),..., p(x n 2 ), p(x n 1 )+p(x n ) } eloszláshoz ismerünk egy g optimális bináris prefix kódot, akkor az eredetileg megadott { p(x1 ), p(x 2 ),..., p(x n ) } eloszlás egy optimális f prefix kódját kapjuk, ha a g( x n 1 ) kódszót kiegészítjük egy nullával és egy egyessel, a többi kód- szót pedig változatlanul hagyjuk. Példa. Adjuk meg az alábbi valószínűségi eloszlásokhoz tartozó bináris Huffman-kódokat. Vizsgáljuk meg az átlagos kódszóhossznak az elméleti alsó korláttól való eltérését. 1. P 1 = {0.68, 0.17, 0.04, 0.04, 0.03, 0.03, 0.01}. 2. P 2 = {0.49, 0.14, 0.14, 0.07, 0.07, 0.04, 0.02, 0.02, 0.01}. 3. P 3 = {0.15, 0.15, 0.14, 0.14, 0.14, 0.14, 0.14}. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 151 / 239

144 Bináris Shannon-Fano-kód Tegyük fel, hogy az X = {x 1, x 2,..., x n } forrásábécé elemei úgy vannak indexelve, hogy p(x 1 ) p(x 2 ) p(x n ) > 0. Legyen és L i := log s p(x i ), ahol a := min{n Z, n a}, i 1 w 1 := 0, w i := p(x l ), i = 2, 3,..., n. l=1 Az x i forrásbetű f(x i ) kódja legyen 2 L i w i bináris alakja Li hosszon ábrázolva, ahol a := max{n Z, n a}. Tétel. A bináris Shannon-Fano-kód prefix és az átlagos kódszóhosszára teljesül E(f) H(X ) + 1. Példa. Adjuk meg az alábbi valószínűségi eloszlásokhoz tartozó bináris Shannon-Fano-kódokat. 1. P 1 = {0.68, 0.17, 0.04, 0.04, 0.03, 0.03, 0.01}. 2. P 2 = {0.49, 0.14, 0.14, 0.07, 0.07, 0.04, 0.02, 0.02, 0.01}. 3. P 3 = {0.15, 0.15, 0.14, 0.14, 0.14, 0.14, 0.14}. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 152 / 239

145 Az Shannon entrópia Definíció. Az X = {x 1, x 2,, x n } értékkészletű X valószínűségi változó entrópiája n H(X) := p(x i ) log 2 p(x i ). Megjegyzések. Az entrópia i=1 az X értékének meghatározásához szükséges információ mennyisége; az X értékében rejlő bizonytalanság mértéke. Az entrópia definíciója ugyanígy néz ki, ha X = (X 1, X 2,..., X r ) egy véletlen vektor aminek értékkészlete X = {x 1, x 2,, x n }: H(X) := n p(x i ) log 2 p(x i ). i=1 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 154 / 239

146 Az entrópia tulajdonságai X X, Y Y: diszkrét valószínűségi változók. Tétel. a) Ha az X valószínűségi változó n különböző értéket vehet fel pozitív valószínűséggel, akkor 0 H(X) log 2 n. A bal oldalon egyenlőség pontosan akkor áll fenn, ha X egy valószínűséggel konstans, a jobb oldalon pedig pontosan akkor, ha X eloszlása egyenletes, azaz p(x i ) = 1 n, i = 1, 2,..., n. b) Az X és Y diszkrét valószínűségi változókra H(X, Y) H(X) + H(Y), az egyenlőség pedig pontosan akkor teljesül, ha X és Y független. c) Az X tetszőleges g(x) függvényére H ( g(x) ) H(X), az egyenlőség szükséges és elégséges feltétele pedig a g invertálhatósága. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 155 / 239

147 Feltételes entrópia p(x):=p(x=x); p(y):=p(y=y); p(x, y):=p(x=x, Y=y); p(x, y) p(x y):=p(x=x Y=y)= p(y) ; p(y, x) p(y x):=p(y=y X=x)= p(x). Definíció. Az X-nek az Y = y feltétellel vett feltételes entrópiája H(X Y = y) := x X p(x y) log 2 p(x y). Az X-nek az Y feltétellel vett feltételes entrópiája H(X Y) := p(y)h(x Y = y) = p(x, y) log 2 p(x y). y Y y Y x X Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 156 / 239

148 A feltételes entrópia tulajdonságai Tétel. Ekkor a) Legyenek X, Y, és Z véges értékkészletű valószínűségi változók. H(X, Y) = H(Y) + H(X Y) = H(X) + H(Y X). b) c) 0 H(X Y) H(X). A bal oldalon egyenlőség pontosan akkor áll fenn, ha X egy valószínűséggel az Y függvénye, a jobb oldalon pedig pontosan akkor, ha X és Y független. H(X Z, Y) H(X Z), egyenlőség pedig akkor és csak akkor áll fenn, ha p(x z, y) = p(x z) minden olyan x, y, z-re, amelyre p(x, y, z) > 0. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 157 / 239

149 A feltételes entrópia tulajdonságai d) Az Y valószínűségi változó minden f függvényére H(X Y) H ( X f(y) ), egyenlőség pedig pontosan akkor áll fenn, ha minden rögzített z-re p(x y) = P ( X = x f(y) = z ) minden olyan x-re és y-ra, amelyre f(y) = z és p(y) > 0. e) Az X 1, X 2,..., X n valószínűségi változók együttes entrópiájára H(X 1, X 2,..., X n ) = H(X 1 ) + H(X 2 X 1 ) + H(X 3 X 2, X 1 ) + + H(X n X n 1,..., X 1 ). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 158 / 239

150 Kölcsönös információ Definíció. Az X és Y diszkrét valószínűségi változók kölcsönös információján az I(X; Y) := H(X) + H(Y) H(X, Y) mennyiséget értjük. Megjegyzés. A kölcsönös információ szimmetrikus, és I(X; Y) = H(X) H(X Y) = H(Y) H(Y X) = I(Y; X). Megjegyzés. I(X; Y) = x,y = x,y p(x, y) log 2 p(x, y) p(x)p(y) p(x, y) log 2 p(x y) p(x) = x,y p(x, y) log 2 p(y x) p(y). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 159 / 239

151 A kölcsönös információ tulajdonságai Tétel. Legyenek X és Y diszkrét valószínűségi változók. a) I(X; Y) 0 és I(X; Y) pontosan akkor 0, ha X és Y független. b) I(X; X) = H(X). c) I(X; Y) H(X) és I(X, Y) H(Y). d) Az X és Y bármely g és h függvényére I(X; Y) I ( g(x); h(y) ). e) A következő három állítás ekvivalens: i) I(X; Y) = H(X); ii) H(X Y) = 0; iii) létezik olyan g : R R, hogy P ( X = g(y) ) = 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 160 / 239

152 Zajmentes távközlési csatornák Adott egy távközlési csatorna, ami az Y = { y 1, y 2,..., y s } kódábécé jeleit tudja továbbítani. X: a csatorna bemeneténél leadott jel. Y: a csatorna kimeneténél vett, az X-nek megfelelő jel. Feltesszük, hogy a csatorna emlékezet nélküli, azaz Y csak az X-től függ. Az Y kimenő kódjel az X bemenő kódjelről I(X, Y) információt tartalmaz. Zajmentes csatorna: X = Y, ekkor I(X, Y) = H(X). H(X) maximális értéke log 2 s, azaz egy kódjel maximálisan ennyi információt tartalmazhat. Ez az információmennyiség maradéktalanul továbbítható a csatornán. A zajmentes csatorna maximálisan C = log 2 s információt tud továbbítani, ennyi a kapacitása. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 161 / 239

153 Csatornakapacitás Zajos csatorna: X Y, ekkor I(X, Y) < H(X). A csatorna viselkedését a p i j := P { Y = y i X = yj }, i, j = 1, 2,..., s, átmenetvalószínűségek írják le. Az X bemenő jel eloszlása: q j := P(X = y j ), j = 1, 2,..., s. Egy emlékezet nélküli távközlési csatorna kapacitása C := sup I(X, Y), ahol az supremum az X összes lehetséges eloszlása felett értendő. Példa. Zajmentes csatorna: p i j = { 1, i = j, 0, i j. I(X, Y) = H(X) log 2 s és az egyenlőség teljesül, ha X egyenletes eloszlású, azaz q j = 1/s, j = 1, 2,..., s. Kapacitás: C = log 2 s. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 162 / 239

154 Emlékezet nélküli szimmetrikus bináris X-csatorna 0 1 p 0 Y = {0, 1}, azaz s = 2. 1 q p Legyenek p, q [0, 1]. X Y 1 p 1 A bemenő jel eloszlása: q 1 p P(X = 1) = q, P(X = 0) = 1 q. Átmenetvalószínűségek: p 0 0 := P(Y = 0 X = 0) = 1 p, p 1 0 := P(Y = 1 X = 0) = p, p 1 1 := P(Y = 1 X = 1) = 1 p, p 0 1 := P(Y = 0 X = 1) = p. Az emlékezet nélküli szimmetrikus bináris X-csatorna (BSC p) kapacitása: C = 1 H 2(p), ahol H 2(p) := p log 2 p (1 p) log 2 (1 p). Speciális esetek: C = 1 H 2(p) = 0 p = 0 vagy p = 1. p = 0: zajmentes csatorna; p = 1: bináris fordító csatorna. C = 1 H 2(p) = 1 p = 1/2: véletlen csatorna. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 163 / 239

155 Infomációforrások X: információforrás, az X 1, X 2,... valószínűségi változók végtelen sorozata. A forrás az i-edik időpontban az X i értéket veszi fel. Mindegyik valószínűségi változó ugyanazon X = {x 1, x 2,..., x n } forrásábécéből veszi fel az értékeit. Az X forrás emlékezetnélküli, ha az X 1, X 2,... változók függetlenek. Az X forrás stacionárius, ha az X 1, X 2,... sorozat stacionárius, azaz minden pozitív n-re és k-ra az X 1, X 2..., X n véletlen vektor és az eltolt X k+1, X k+2,..., X k+n vektor együttes eloszlása megegyezik. Az X forrás ergodikus, ha tetszőleges f(x 1,..., x k ) függvényre 1 lim n n n f(x i,..., X i+k 1 ) = Ef(X 1,..., X k ) i=1 ha a határérték létezik. egy valószínűséggel, Adott egy f kódoló Y = {y 1, y 2,..., y s } kódábécével. Egyértelműen dekódolható. Blokk kódolás k 1 blokkhosszal. Cél: az egy forrásbetűre jutó L átlagos kódszóhossz minimalizálása. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 164 / 239

156 Infomációforrások változó szóhosszú kódolása X emlékezetnélküli és stacionárius, betűnkénti kódolás. Egy k hosszúságú üzenet kódjára L = 1 k E ( f(x1 ) + + f(x k ) ) = E f(x 1 ). Shannon tétel: E f(x1 ) H(X 1 ) log 2 s. Létezik f prefix kód: E f(x 1 ) < H(X 1) log 2 s + 1. Blokkonkénti kódolás f : X k Y kódolóval. L = 1 k E ( f(x 1,..., X k ) ) 1 k H(X 1,..., X k ) log 2 s = függetlenség H(X 1 ) log 2 s. Minden k-re létezik olyan L betűnkénti átlagos kódszóhosszú f : X k Y prefix kód, melyre L < H(X 1) log 2 s + 1 k. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 165 / 239

157 Általánosabb infomációforrások kódolása Definíció. Az X = X 1, X 2,... forrás forrásentrópiája a 1 H(X) = lim n n H(X 1, X 2,..., X n ) mennyiség, amennyiben a határérték létezik. Tétel. Ha az X = X 1, X 2,... forrás stacionárius, akkor létezik az entrópiája, és H(X) = lim H(X n X 1, X 2,..., X n 1 ). n Tétel. Ha az X = X 1, X 2,... stacionárius forrást blokkonként kódoljuk az f : X k Y egyértelműen dekódolható kóddal, akkor a kód L betűnkénti átlagos kódszóhosszára mindig teljesül az L H(X) log 2 s egyenlőtlenség. A k blokhosszt elég nagyra választva létezik olyan f kód, amelynek L betűnkénti átlagos kódszóhossza tetszőlegesen megközelíti a fenti alsó korlátot. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 166 / 239

158 Univerzális forráskódolás Adatátvitel költségei az eddig vizsgált (blokk)kódoknál: Állandó költség: pl. a forrásszimbólumok gyakoriságai. Változó költség: az üzenet kódszavai. Elméletileg végtelen hosszú forrásokat vizsgálunk. Az állandó költség ekkor fajlagosan nullához tart. A gyakorlatban a források véges hosszúságuak. Az állandó költség esetleg magasabb lehet, mint az üzenet kódszavainak összhossza. Adaptív kód: az aktuális forrásszimbólumot az azt megelőző szimbólumok alapján kódoljuk. Példák: Adaptív Huffman-kód; Lempel-Ziv algoritmusok (LZ77, LZ78, LZW). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 168 / 239

159 Az LZ77 algoritmus Abraham Lempel és Jakov Ziv (1977) A forrászimbólumokon egy h a hosszúságú csúszóablakot mozgatunk. A csúszóablak részei: Példa. keresőpuffer: a legutóbb kódolt h k darab forrásszimbólumot tartalmazza; előretekintő puffer: a következő h e darab kódolandó szimbólumot tartalmazza. Forrásszöveg... cabracadabrarrarrad... Csúszóablak: h a := 13, h k := 7, h e := 6. c a b r a c a d a b r a r r a r r a d Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 169 / 239

160 Az LZ77 algoritmus Kódolás: 1 Egy hátrafelé mutató mutatóval a kódoló megkeresi a keresőpufferben az előretekintő puffer első szimbólumával megegyező szimbólumokat. 2 Megvizsgálja, a kapott pozíciókkal kezdődően a keresőpufferben lévő szimbólumok milyen hosszan egyeznek meg az előretekintő puffer szimbólumaival. 3 A talált szimbólumok közül kiválasztja azt, ahol a leghosszabb az egyezés. 4 Átküldi a t, h, c hármast. t: a keresőpufferben megtalált szimbólum távolsága az előretekintő puffertől. Ha nincs találat a keresőpufferben, t = 0. h: a kereső- és az előretekintő puffer egyező szimbólumainak legnagyobb hosszúsága. Ha nincs találat a keresőpufferben, h = 0. c: az első, az előretekintő pufferben levő nem egyező karakter kódszava. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 170 / 239

161 Példa Csúszóablak: h a := 13, h k := 7, h e := 6. c a b r a c a d a b r a r r a r r a d d nincs a keresőpufferben. Átküldendő: 0, 0, f(d). c a b r a c a d a b r a r r a r r a d a a keresőpufferrben: t = 2, h = 1, t = 4, h = 1 és t = 7, h = 4. Leghosszabb egyezés: t = 7, h = 4. Átküldendő: 7, 4, f(r) c a b r a c a d a b r a r r a r r a d r a keresőpufferrben: t = 1, h = 1 és t = 3, h = 5. Leghosszabb egyezés: t = 3, h = 5. Átküldendő: 3, 5, f(d) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 171 / 239

162 Jellemzők A t, h, c kódolásához állandó kódhosszú kód esetén log 2 h k + log 2 h e + log 2 n bit szükséges, ahol n a forrásábécé mérete. Az eljárás hatékonysága aszimptotikusan (h k, h e ) tart az optimális algoritmuséhoz, amihez viszont kell a forrás eloszlása is. Stacionárius és ergodikus forrás esetén az átlagos kódszóhossz h k, h e esetén konvergál H(X) log 2 s -hez. Hatékonyságot növelő módosítások, pl. Változó hosszúságú kódok t, h, c tömörítéséhez. Pl. adaptív Huffman kódolás. Duál formátum: t, h vagy c továbbítódik. Jelzőbittel azonosítja a formátumokat. LZSS Lempel-Ziv-Storer-Szymanski Változtatható méretű pufferek. Alkalmazások: pkzip, arj Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 172 / 239

163 Az LZ78 algoritmus A kódoló és a dekódoló szótárt épít az előzőleg előfordult sorozatokból. 1 A kódoló megkeresi a forrásszimbólumok aktuális pozíciójától kezdődő leghosszabb egyezést a szótárban. 2 Átküldi az i, c párt. i: az egyező karaktersorozat szótárbeli indexe; c: az első nem egyező karakter kódja. Ha nem talál egyezést a szótárban, a 0, c párt küldi át. 3 A szótárba felveszi az i indexű karaktersorozat és a c konkatenációjával kapott stringet. Van eof szimbólum is. Stacionárius és ergodikus forrás esetén az egy betűre jutó átlagos kódszóhossz konvergál H(X) log 2 s -hez. Probléma: a szótár folyamatosan, korlát nélkül növekszik. Megoldás: egy idő után fix szótár használata, vagy a ritkán használt, illetve felesleges bejegyzések eltávolítása. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 173 / 239

164 Példa Kódolandó szöveg: dabbacdabbacdabbacdabbacdeecdeecdee a kódoló szótár a kódoló szótár kimenete index bejegyzés kimenete index bejegyzés 0, f(d) 1 d 4, f(c) 10 bac 0, f(a) 2 a 9, f(b) 11 dabb 0, f(b) 3 b 8, f(d) 12 acd 3, f(a) 4 ba 0, f(e) 13 e 0, f(c) 5 c 13, f(c) 14 ec 1, f(a) 6 da 1, f(e) 15 de 3, f(b) 7 bb 14, f(d) 16 ecd 2, f(c) 8 ac 13, f(e) 17 ee 6, f(b) 9 dab Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 174 / 239

165 Az LZW algoritmus Az LZ78 továbbfejlesztése. Terry Welch (1984) Az LZ78 i, c párjából csak az i indexet kell átküldeni. A szótárban szerepelnie kell a teljes forrásábécének. 1 A kódoló az aktuális pozíciótól addig olvassa be a forrásszimbólumokat egy p pufferbe, míg a beolvasott sorozat szerepel a szótárban. Legyen c az első karakter, amelyre pc nincs a szótárban. 2 Átküldi a p sorozat indexét. 3 Felveszi a szótárba a pc sorozatot és a c karaktertől folytatja az eljárást. Alkalmazás: a Unix rendszer compress parancsa, a GIF formátum. Adaptív szótárméret. Compress esetén 512 bejegyzés, ha megtelik 1024, stb. A felső határ beállítható, maximum 2 16 bejegyzésig. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 175 / 239

166 Példa Kódolandó szöveg: dabbacdabbacdabbacdabbacdeecdeecdee index bejegyzés output index bejegyzés output 1 a 14 acd 10 2 b 15 dabb 12 3 c 16 bac 9 4 d 17 cda 11 5 e 18 abb 7 6 da 4 19 bacd 16 7 ab 1 20 de 4 8 bb 2 21 ee 5 9 ba 2 22 ec 5 10 ac 1 23 cde cd 3 24 eec dab 6 25 cdee bba 8 5 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 176 / 239

167 Példa Kódoljuk az alábbi szövegeket a) abbabbabbbaababa; b) az ipafai papnak fapipaja van a papi fapipa, ahol a space és az eof külön karakter, LZ77 algoritmussal h k = 7, h e = 6 paraméterekkel; LZ78 algoritmussal; LZW algoritmussal. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 177 / 239

168 Kvantálás X = X 1, X 2,... : Q : R R: stacionárius forrás, X i R abszolút folytonos. véges értékkészletű függvény, kvantáló. Q(X 1 ), Q(X 2 ),... : az X skalár kvantáltja, diszkrét valószínűségi változó sorozat. k = 1 hosszú blokkokat kódoló forráskód. A kvantálás hűségének mértéke egy n hosszú blokkra: D(Q) := 1 ( n n E ( Xi Q(X i ) ) ) 2 = E( X Q(X) ) 2. stacionaritás i=1 D(Q): a Q kvantáló négyzetes torzíása. X: az X 1, X 2,... közös eloszlásával megegyező eloszlású valószínűségi változó. {x 1, x 2,..., x N }: a Q kvantáló értékkészlete. Elemei a kvantálási szintek. Kvantálási tartományok: B i := { x R : Q(x)=x i }, i=1, 2,..., N. A definíciók diszkrét X forrás esetén is érvényesek. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 179 / 239

169 Optimális kvantáló Adott {x 1, x 2,..., x N } kvantálási szintek esetén a legkisebb négyzetes torzítású Q kvantáló tartományai: B i = { x : x x i x x j, j = 1, 2,... N }. Egyenlőség esetén egy adott x-et a legkisebb indexű tartományhoz rendeljük. Ez a legközelebbi szomszéd feltétel. Csak ilyen tulajdonságú kvantálókkal dolgozunk. Ha x 1 < x 2 < < x n, akkor a kvantálási tartományok határai: y i = x i + x i+1, i = 1, 2,..., N 1, azaz 2 B 1 =], y 1 ], B i =]y i 1, y i ], i = 1, 2,..., N 1, B N =]y N 1, [. f(x): az X stacionárius forráshoz tartozó sűrűségfüggvény. Egy adott B i tartományhoz tartozó optimális kvantálási szint a B i súlypontja: x i = B i xf(x)dx B i f(x)dx = E( X ) X Bi. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 180 / 239

170 Egyenletes kvantáló A Q(x) = x i, ha x B i, i = 1, 2,..., N, kvantáló négyzetes torzítása: [ A, A]: D(Q) = ( ) 2f(x)dx N x Q(x) = i=1 B i (x x i ) 2 f(x)dx. az X értékkészlete, azaz f(x) = 0, ha x [ A, A]. Az N-szintű egyenletes kvantáló alakja: Q N (x) = A + (2i 1) A N, ha A + 2(i 1) A N < x A + 2i A, i = 1, 2,..., N. N Magyarázat. Az Q N kvantáló tartományait a [ A, A] intervallum N egyenlő részre való osztásával kapjuk. A szintek az intervallumok felezőpontjai. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 181 / 239

171 Nem egyenletes kvantálók Alapelv: a nagy valószínűségű tartományokon rövidebb kvantálási intervallumokat használunk. Cél: adott X valószínűségű változóhoz (forráshoz) határozzuk meg úgy az x 1 < x 2 <... < x N kvantálási szinteket és a Q függvényt, hogy a D(Q) minimális legyen. Az optimális kvantáló eleget tesz az alábbi két szükséges feltételnek (együtt Lloyd-Max feltétel). 1 Legközelebbi szomszéd feltétel: x Q(x) = min 1 i N x x i, x R. 2 Súlypont feltétel: Minden x j kvantálási szint megegyezik azon X i minták átlagával (feltételes várható értékével), amelyeket erre a szintre kvantáltunk (Q(X i ) = x j ). A fenti feltételeket kielégítő kvantálót Lloyd-Max kvantálónak nevezzük. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 182 / 239

172 Példa Nem minden Lloyd-Max kvantáló optimális. Legyen X eloszlása egyenletes az {1, 2, 3, 4} halmazon. A lehetséges 2-szintű Lloyd-Max kvantálók: A négyzetes torzítások: Q 1 (1) = 1; Q 1 (2) = Q 1 (3) = Q 1 (4) = 3; Q 2 (4) = 4; Q 2 (1) = Q 2 (2) = Q 2 (3) = 2; Q 3 (1) = Q 3 (2) = 1.5; Q 3 (3) = Q 3 (4) = 3.5. Csak a Q 3 kvantáló optimális. D(Q 1 ) = D(Q 2 ) = 0.5, D(Q 3 ) = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 183 / 239

173 Lloyd-Max feltétel abszolút folytonos forrásokra X: abszolút folytonos valószínűségi változó f sűrűségfüggvénnyel. Lloyd-Max feltétel: 1 Legközelebbi szomszéd feltétel: y 0 =, y i = x i + x i+1, i = 1, 2,..., N 1, y N =, 2 ahol y i 1 és y i az x i -hez tartozó kvantálási intervallum határai. 2 Súlypont feltétel: x i = yi y i 1 xf(x)dx yi, i = 1, 2,..., N. y i 1 f(x)dx Tétel (Fleischer, 1964). Legyen az f(x) logaritmikusan konkáv, azaz log f(x) konkáv. Ekkor f(x)-re egyetlen N-szintű Lloyd-Max kvantáló létezik, így ez egyben optimális kvantáló is f(x)-re. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 184 / 239

174 Lloyd-Max algoritmus Keressük az optimális x i kvantálási szinteket és a kapcsolódó B i =]y i 1, y i ] tartományokat. Stuart P. Lloyd, Bell Laboratories, 1957 (publikálva: 1982); Joel Max, General Telephone and Electronics Lab., Waltham, Algoritmus 1 Válasszuk meg a kiinduló x 1 < x 2 < < x N kvantálási szinteket. 2 Határozzuk meg az y i intervallumhatárokat a legközelebbi szomszéd feltétel szerint, azaz y i = x i+x i+1 2, i=1, 2,..., N 1. 3 Az y 0 = és y N = választás mellett optimalizáljuk a kvantálót a súlypont feltétellel, meghatározva az új kvantálási szinteket. 4 Vizsgáljuk meg a négyzetes torzítás változását. Amennyiben egy előre megadott küszöb alatt van, álljunk meg, egyébként pedig ismételjük meg a 2. és 3. lépést. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 185 / 239

175 Kompanderes kvantáló A gyakorlatban az eszközök általában egyenletes kvantálást valósítanak meg. Ez pl. a széles dinamika tartományú beszéd esetén nem eredményez hatékony kódolást. A forrást egy szigorúan monoton növekvő kompresszorral a [ 1, 1] intervallumba transzformáljuk, majd egyenletesen kvantáljuk. Összességében ez egy nem egyenletes kvantáló. A kvantált értékeket dekódoljuk, majd az expanderrel (a kompreszszor inverze) visszaállítjuk az eredeti dinamika tartományt. Kompander: a kompresszor és expander együtt. Alkalmazások: Digitális telefonrendszereknél az A/D konverter előtt egy kompreszszor, majd a D/A konverter után egy expander. Professzionális drótnélküli mikrofonoknál, mivel a mikrofon audiojelének dinamika tartománya jóval szélesebb, mint a rádiójeleké. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 186 / 239

176 Kompanderek a beszédkódolásban 8-bites Pulse Code Modulation (PCM) digitális telefonrendszerek. Észak-Amerika és Japán: µ-law (µ = 255). log(1 + µ x ) G µ (x) = sign(x) log(1 + µ), 1 x 1. G 1 µ (x) = sign(x) 1 ( ) (1 + µ) x 1, 1 x 1. µ Európa: A-law (A = 87.7 vagy A = 87.6) { sign(x) A x 1+log A G A (x) =, 0 x < 1 A ; 1+log Ax sign(x) 1+log A, 1 A x 1. G 1 A (x) = { sign(x) x (1+log A) A, 0 x < 1 sign(x) 1+log A ; exp{ x (1+log A) 1} 1 A, 1+log A x 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 187 / 239

177 µ-law és A-law µ law A law x Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 188 / 239

178 Vektorkvantálás A forrás kimeneteit többdimenziós eloszlának tekintjük. Így ugyanakkora torzítás mellett jobb tömörítést érhetünk el, különösen, ha az egyes dimenziókhoz tartozó változók korrelálnak. Példa. Egy színes kép RGB értékeit nem egyenként, hanem egy 3D színtér elemeiként kvantáljuk. 3 skalár kvantálóval a kvantáló tartományok téglatestek, 3D kvantálóval tetszőleges térbeli idomok használhatóak. X: d-dimenziós forrásvektor f(x) sűrűségfüggvénnyel. Kvantáló: Q : R d {x 1, x 2,..., x N }, x i R d, i = 1, 2,..., N. Kvantálási tartományok: B 1, B 2,..., B N. R d egy partíciója, azaz diszjunktak és N i=1 B i = R d. Q(x) = x i, ha x B i, i = 1, 2,..., N. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 189 / 239

179 Lloyd-Max feltétel vektorkvantálóra Négyzetes torzítás: D(Q) = 1 d E X Q(X) 2 = 1 d N x x i 2 f(x)dx. i=1 Lloyd-Max feltétel: 1 Legközelebbi szomszéd feltétel: R d tartományai Voronoi-tartományok, azaz B i = { x : x x i x x j, j i }. 2 Súlypont feltétel: x i = arg min x y 2 f(x)dx, y B i azaz a kimeneti vektorok a kapcsolódó tartományok súlypontjai. Lloyd-Max algoritmus természetes általánosítása: Linde-Buzo-Gray algoritmus. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 190 / 239

180 Mintavételezés X(t): négyzetesen integrálható jel. {X(kT), k = 0, ±1, ±2,...}: az X(t) folyamat mintavételezése T > 0 mintavételi idővel. X(t) reprodukciója: X(t) := k= ( t ) X(kT) sinc T k, t R, ahol sinc(t) := sin(πt), t R. πt Megjegyzés. sinc(0) = 1 és sinc(k) = 0, k = 0, ±1, ±2,..., azaz ha t = kt, akkor X(t) = X(t). Probléma: Az X(t) jel milyen feltételek mellett állítható vissza az X(kT) mintavételezett jelből (X(t) = X(t), t R)? Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 191 / 239

181 Nyquist-Shannon mintavételi tétel Tétel. Ha az X(t) négyzetesen integrálható jel sávkorlátos W > 0 korláttal, azaz az X(t) Fourier-transzformáltjára teljesül, hogy ω > W esetén X(ω) 0, akkor X(t) folytonos minden t R pontban, X(t) pontosan visszaállítható a T periódusú mintavételezett jelből, azaz minden t R esetén X(t) = X(t) ( t ) := X(kT) sinc T k, ha k= T < π W. Megjegyzés. Ha W = W 2π a sáv frekvencia, akkor a mintavételi frekvencia legalább a W duplája (Nyquist-frekvencia) kell, hogy legyen. Példa. A telefonvonalaknál a beszédet 3400 Hz-re sávszűrik és 8000 Hz-el mintavételezik. CD-minőség esetén 20 khz-re sávszűrnek és Hz-el mintavételeznek. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 192 / 239

182 Transzformációs kódolás 1. A kódolandó jelsorozatot diszjunkt blokkokra bontjuk és minden blokkra alkalmazunk egy invertálható transzformációt. 2. Kvantáljuk a transzformált blokkokat. 3. A kvantált értékeket kódoljuk egy bináris kóddal. x = (x 0, x 1,..., x k 1 ) : y = (y 0, y 1,..., y k 1 ) : A = (a i,j ): transzformálandó blokk. transzformált blokk. k k dimenziós ortonormált transzformációs mátrix. Transzformáció és inverze: y = Ax és x = By, ahol B = A 1 = A. Két-dimenziós esetben (képtömörítés) a transzformálandó és transzformált blokkok mátrixok (X és Y): Y = AXA és X = A YA. Példa. JPEG tömörítés esetén 8 8 pixeles blokkokat használnak. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 194 / 239

183 Speciális transzformációk 1. Diszkrét koszinusz transzformáció (DCT) Ahmet, Natarajan, Rao (1974) Az A mátrix elemei a 1,j = 1 k, a i,j = 2 k cos ( (2j 1)(i 1)π 2k ), i, j = 1, 2,..., k. A legkedveltebb transzformáció. Alkalmazásai: JPEG, MPEG. 2. Diszkrét Walsh-Hadamard transzformáció (DWHT, 1923) Jacques Hadamard, Joseph L. Walsh. Az A mátrix elemeit rekurzióval számoljuk: [ ] A2 k 1 A A 2 k = 2 k 1, ahol A A 2 k 1 A 1 = 1. 2 k 1 A 2 ka 2 k = 2 k I 2 k, ezért a transzformáció mátrixa 1 2 k A 2 k. Alkalmazásai: JPEG XR (JPEG extended range, 2009; Microsoft HD photo) és MPEG-4 AVC vagy H.264 (MPEG-4 Part 10 Advanced Video Coding, 2003; pl. Blue-Ray lemezek). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 195 / 239

184 Részsávos kódolás (SBC: subband coding) 1. A forrást egy szűrőbankon vezetjük át, ami azt frekvenciasávokra bontja (analízis szűrők). Pl. M egyforma széles sávot veszünk. 2. A szűrők kimeneténél mintavételezünk és, hogy szinkronban maradjunk, csökkentjük a minták számát a bemeneti és kimeneti sávszélesség arányában (decimálás, alulmintavételezés). Pl. minden M-edik mintát tartunk meg. 3. Az egyes decimált jeleket külön-külön kódoljuk és továbbítjuk. 4. A dekódolás után a minták közé annyi nullát írunk, hogy visszaállítsuk az eredeti mintaelemszámot (felülmintavételezés). 5. Az egyes mintákat egy szűrőbankon vezetjük keresztül (szintézis szűrők), ami előállítja a kimenő jelet. Az emberi érzékszervek frekvenciafüggőek. A fontosabb frekvenciákat pontosabban kell rekonstruálni, a kevésbé fontosakat elég nagyobb torzítással. Példa. Az emberi hallásnál ha az egyik frekvencia elég hangos, akkor elnyomja (maszkolja) a mellette lévő frekvenciákat. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 196 / 239

185 Példa A szűrőbank bemenete: (x 1, x 2,..., x n ). Kimenetek: (y 1, y 2,..., y n ) és (z 1, z 2,..., z n ), ahol x 0 = 0 jelöléssel y i = x i + x i 1 2 ; z i = x i y i = x i x i 1, i = 1, 2,..., n. 2 Mindkét kimenő jelsorozat simább (kisebb dinamikájú), mint az eredeti, így kisebb torzítással tömöríthető. Megdupláztuk az outputot. Alulmintavételezés: továbbítsuk csak a páros indexű y 2i és z 2i jeleket. Szintézis: x 2i = y 2i + z 2i, x 2i 1 = y 2i z 2i. y 1, y 2,... y 2 2, y 4,... z 1, z 2,... z 2 2, z 4,... 2 y 2, 0, y 4, 0, y 6,... 2 z 2, 0, z 4, 0, z 6, 0,... + y 2+z 2, y 4+z 4,... y 2 z 2, y 4 z 4,... Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 197 / 239

186 Különbségi kódolás A prediktív kódolás egy speciális esete. Akkor előnyös, ha a szomszédos minták közötti eltérés kicsi, pl. digitális képeken ha nem vagyunk egy él közelében. Példa. 8 bites intenzitású kép 8 szomszédos pixelének értéke: 147, 145, 141, 146, 149, 147, 143, 145. Bitenkénti kódolás egyenként 8 biten: 64 bit. Különbségek (az első kivételével): 147, 2, 4, 5, 3, 2, 4, 2. A legnagyobb különbség abszolút értéke 5, ami 3 biten kódolható. A különbségek kódolásához elegendő 4 bit (3 + 1 előjel). 8 biten küldjük át a különbségek ábrázolásának hosszát. Különbségi kódolás hossza: = 44 bit. 31 % nyereség. A tömörítés veszteségmentes. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 198 / 239

187 Veszteséges tömörítés, példa A forrás kimenete: A különbségek: 5.4, 10.1, 7.2, 4.6, 6.9, 12.5, 6.2, , 4.7, 2.9, 2.6, 2.3, 5.6, 6.3, szintű egyenletes kvantáló. A szintek: 6, 4, 2, 0, 2, 4, 6. A kvantált értékek: A rekonstruált értékek: A hibák: 6, 4, 2, 2, 2, 6, 6, 0. 6, 10, 8, 6, 8, 14, 8, , 0.1, 0.8, 1.4, 1.1, 1.5, 1.8, 2.7. Hosszabb sorozatok még nagyobb eltéréseket eredményezhetnek. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 199 / 239

188 Kvantálási hibák {x n }, { x n }: input, illetve rekonstruált sorozat {d n }: különbség sorozat, d n = x n x n 1. Kvantált különbség sorozat tagjai: d n = Q(d n ) = d n + q n. Rekonstruálás: x 0 = x 0 és x n = x n 1 + d n. d 1 = x 1 x 0 ; d1 = Q(d 1 ) = d 1 + q 1 ; x 1 = x 0 + d 1 = x 0 + d 1 + q 1 = x 1 + q 1 ; d 2 = x 2 x 1 ; d2 = Q(d 2 ) = d 2 + q 2 ; x 2 = x 1 + d 2 = x 1 + q 1 + d 2 + q 2 = x 2 + q 1 + q 2 ; n x n = x n + q k. k=1 A kvantálási hibák kumulálódnak. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 200 / 239

189 Prediktív kódolás Az n-edik lépésben a kódoló ismeri az x n 1 értékét. Módosított különbségek: d n = x n x n 1. d 1 = x 1 x 0 ; d1 = Q(d 1 ) = d 1 + q 1 ; x 1 = x 0 + d 1 = x 0 + d 1 + q 1 = x 1 + q 1 ; d 2 = x 2 x 1 ; d2 = Q(d 2 ) = d 2 + q 2 ; x 2 = x 1 + d 2 = x 1 + d 2 + q 2 = x 2 + q 2 ; x n = x n + q n. Cél: minél kisebb d n különbségek elérése. Az x n értékét a rekonstruált sorozat korábbi értékeinek egy függvényével, a p n = f( x n 1, x n 2,..., x 0 ) prediktorral közelítjük. d n = x n p n = x n f( x n 1, x n 2,..., x 0 ). Ez a különbségi impulzuskód moduláció (DPCM: differential pulse code modulation). Szabadalom: C. Chapin Cutler, Bell Laboratories, Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 201 / 239

190 DPCM x n + p n d n dn kvantáló p n + + prediktor x n dn + + p n prediktor dekódoló x n kódoló A bemeneti jelek idővel változhatnak: adaptív DPCM. 1. Alkalmazkodás a kódoló bemenő x n jele alapján: előre adaptív módszer. A dekódoló nem ismeri az x n jelet, az új paramétereket át kell vinni. 2. Alkalmazkodás a kimenő x n jel alapján: hátra adaptív módszer. Mind a kódoló, mind a dekódoló ismeri. A kvantáló is lehet adaptív. Előre adaptív eset: az inputot blokkokra bontjuk és az egyes blokkokra optimális kvantáló paramétereit is továbbítjuk. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 202 / 239

191 Jayant-kvantáló Hátra adaptív kvantáló. Nikil S. Jayant, Bell Laboratories, Ha az input érték a kvantáló belső (origóhoz közeli) tartományába esik, finomítsuk a lépésközt, ellenkező esetben növeljük. Minden kvantálási intervallumhoz tartozik egy szorzótényező, ami a belső részen 1 alatti, azon kívül 1 feletti. A szorzók az origóra szimmetrikusak. M k : a k-adik szint szorzótényezője. Külső tartomány: M k > 1; belső tartomány: M k < 1. n : a kvantáló lépésköze az x n (n-edik) inputnál. Ha x n 1 az l(n 1)-el jelölt intervallumba esik, akkor n = M l(n 1) n 1. A véges pontosság miatt szükséges min és max megadása. Példa. Egy 8 szintű (3 bites) kvantáló szorzói: M 1 = M 8 = 1.2, M 2 = M 7 = 1, M 3 = M 6 = 0.9, M 4 = M 5 = 0.8. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 203 / 239

192 3 bites Jayant kvantáló szintjei 7 /2 Output 8 5 /2 7 3 /2 6 / /2 2 3 Input 3 3 /2 2 5 /2 1 7 /2 A súlyok szimmetrikusak: M 1 = M 8, M 2 = M 7, M 3 = M 6, M 4 = M 5. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 204 / 239

193 Példa Belső tartomány: M 4 = M 5 = 0.8, M 3 = M 6 = 0.9. Külső tartomány: M 2 = M 7 = 1, M 1 = M 8 = 1.2. Kiinduló lépésköz: 0 = 0.5. Input: 0.1, 0.2, 0.2, 0.1, 0.3, 0.1, 0.2, 0.5, 0.9, 1.5, 1.0, 0.9. A kvantálás menete: n n Input Szint Output Hiba Lépésköz frissítés = M = M = M = M = M = M = M = M = M = M = M = M 8 11 Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 205 / 239

194 Delta moduláció Egy folytonos jelből vett sűrű mintavételezés esetén a szomszédos értékek között kicsi az eltérés. Delta moduláció (DM): 2 szintű (1 bites) kvantálóval bíró DPCM. A torzítás csökkentéséhez a mintavételi frekvenciát növelik, akár a sávfrekvencia százszorosára. Kimeneti értékek: ±. Rögzített : lineáris delta moduláció. Probléma: lapos input esetén az output oszcillál, meredeken változó inputot nem tud követni. Forrás: John Edward Abate: Linear and adaptive delta modulation. PhD thesis, Newark College of Engineering, Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 206 / 239

195 Adaptív delta moduláció John Edward Abate, AT&T and Bell Laboratories, Közel konstans tartomány: kis ; gyors változás: nagy lépésköz. s n : a DM lépése az n-edik időpillanatban, s n = ± n. Egy lépést figyelő módszer: { M 1 n, ha sign s n = sign s n 1 ; n+1 = 1 < M 1 = 1 < 2. M 2 n, ha sign s n sign s n 1 ; M 2 Forrás: John Edward Abate: Linear and adaptive delta modulation. PhD thesis, Newark College of Engineering, Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 207 / 239

196 Változó meredekségű delta moduláció Johannes Anton Griefkes, Karel Riemens, Philips, Változó meredekségű delta moduláció (CVSD: continuous variable slope delta modulation): n = β n 1 + α n 0. β: konstans, egynél alig kisebb; α n {0, 1}: α n = 1, ha a kvantáló legutóbbi K output értékéből J darab azonos előjelű, egyébként α n = 0. Jellemzően: J = K = 3. Mintánként 1 biten kódol, pl. 16 khz-es mintavétel 16 kbit/s sebességgel kódolódik. Alkalmazások: 16 és 32 kbit/s CVSD: TRI-TAC katonai kommunikációs rendszer. 16 kbit/s: US Army; 32 kbit/s: US Air Force. 64 kbit/s CVSD: bluetooth (wireless headsetek, mobiltelefonok közötti kommunikáció). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 208 / 239

197 Prediktorok p n = f( x n 1, x n 2,..., x 0 ): Cél: a prediktív kódoló (pl. DPCM) prediktora. azon optimális f függvény meghatározása, mely minimalizálja a σ 2 d = E(X n p n ) 2 négyzetes eltérést. Általánosan a feladat túl bonyolult. Elég finom kvantálás esetén x n X n, azaz tekinthető p n = f(x n 1, X n 2,..., X 0 ). σ 2 d minimális, ha f(x n 1, X n 2,..., X 0 ) = E(X n X n 1, X n 2,..., X 0 ), de ehhez szükséges a megfelelő feltételes valószínűségek ismerete. Általában nem ismertek. Normális eloszlású forrás esetén a feltételes várható érték az X n 1, X n 2,..., X 0 lineáris függvénye. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 209 / 239

198 Lineáris becslés N-edrendű lineáris prediktorfüggvény: Elég finom kvantálás esetén minimalizálandó σ 2 d = E (X n p n := N i=1 a i x n i. N ) 2 a i X n i. R(k) = E(X n X n+k ): az X k nulla várható értékű gyengén stacionárius forrás kovariancia függvénye. A a j σd 2 = 0, j = 1, 2,..., N, egyenletekből: i=1 N a i R(i j) = R(j), j = 1, 2,..., N. i=1 A egyenletrendszer megoldása megadja a prediktor együtthatóit. Probléma: a megoldandó Wiener-Hopf egyenletrendszer felírásakor feltétel volt a stacionaritás. Ez legfeljebb csak lokálisan teljesül. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 210 / 239

199 Adaptív prediktor Előre adaptív eset: az inputot blokkokra osztjuk. Beszédkódolás: 16 ms blokkhossz Hz-es mintavételezésnél 128 mintaelem. Képtömörítés: 8 8 pixeles blokkok. Az l-edik M hosszú blokk kovarianciájának becslése: R (l) (k) = 1 M k lm k i=(l 1)M+1 X i X i+ k, R (l) ( k) = R (l) (k). A bemenetet pufferelni kell, ami késleltetést visz a rendszerbe. A dekódolónak kiegészítő információkra is szüksége van, mert nem ismeri az input jelet. Hátra adaptív eset: a kódoló kimeneti jelét felhasználva rekurzív formula a ( N ) 2 d 2 n = X n a i x n i i=1 minimumának meghatározására. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 211 / 239

200 Hullámformán alapuló beszédkódolás Referencia módszer: impulzuskód moduláció (PCM: pulse code modulation) codec. Analóg Hz-es sávszélességű beszédjelből 8000 Hz-el mintavételezünk és 8 bittel kvantáljuk. Bitsebesség: = 64 kbit/s. ITU-T (International Telecommunication Union Telecommunication Standardization Sector) G.711 távközlési szabvány (1972): PCM kódolás kompanderes kvantálóval (A-law vagy µ-law). Adaptív DPCM: kihasználja a beszéd különböző mintái közötti korrelációt (Jayant, Bell Laboratories, 1974) Kvantálás: 5, 4, 3, 2 bit; bitsebesség: 40, 32, 24, 16 kbit/s. ITU-T G.726 távközlési szabvány (1990): leváltja a korábbi G.721 (32 kbit/s, 1984) és G.723 (24 és 40 kbit/s, 1988) szabványokat. Legelterjedtebb: 32 kbit/s, standard codec a DECT (digital enhanced cordless telecommunications) telefonkészülékekben (pl. Panasonic KX-TG1100). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 213 / 239

201 Hangképzés A tüdőből áramló levegő megmozgatja a hangszálakat. A hang a gége, garat, száj- és orrüreg, valamint a nyelv által képzett akadályokon való átjutás során alakul ki (hangképző út). A hangképző út modulálja a hangszálak által képzett zöngét. Mesterséges hangképzésnél egy gerjesztő jelet modulálunk. A Decision szó hullámformája. Forrás: Sun, L., Mkwawa, I.-H., Jammeh, E., Ifeachor, E. Guide to Voice and Video over IP. Springer, 2013 (21. old., 2.3 ábra). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 214 / 239

202 Zöngés és zöngétlen hangok Zöngés hangok: b, d, dz, dzs, g, gy, j, l, m, n, ny, r, v, z, zs. A hangszalagok egy megadott frekvencián rezegnek (hangmagasság). A beszédminták álperiodikus viselkedést mutatnak. Zöngés hangminta. Forrás: Sun et al. (2013); 22. old., 2.4 ábra. Zöngétlen hangok: c, cs, f, h, k, p, s, sz, t, ty. A hangszalagok nem rezegnek. A beszédminták zajszerű szerkezetet mutatnak. Zöngétlen hangminta. Forrás: Sun et al. (2013); 23. old., 2.5 ábra. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 215 / 239

203 Paraméteres beszédkódolás A beszéd rövid, kb 20 ms-os, szegmensekben stacionáriusnak tekinthető, a hangképző út alakja ilyenkor konstans. Egy-egy stacionárius szegmensben a hangképzű utat egy szűrővel modellezhetjük. A kódoló analizálja az egyes szegmenseket: eldönti zöngés, vagy zöngétlen; meghatározza a hangképző szűrő paramétereit; megbecsli a gerjesztő jel energiáját, valamint zöngés esetben a hangmagasságát (férfiak: 125 Hz; nők: 250 Hz). A paraméterek binárisan kódolva jutnak el a dekódolónak, ami ezek alapján állítja elő a saját gerjesztő jelét és állítja be a szűrő paramétereit. A paraméteres kódolók bonyolultabbak, mint a hullámformán alapulók. A hangminőségük lényegesen rosszabb, érthető, de gépi hang jellegű beszédet hallunk. Nagyon alacsony bitsebességgel működnek: kbit/s. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 216 / 239

204 Lineáris prediktív kódolás LPC: linear predictive coding, Bishnu S. Atal, Bell Labs, p-lépéses lineáris szűrőt alkalmaz. ε n : gerjesztő jel. Zöngés esetben adott frekvenciájú periodikus, zöngétlen esetben fehér zaj (véletlen, független, stacionárius). G: a szűrő energiája. x n : kimenő beszédjel. p x n = a i x n i + Gε n. periódus, T periodikus jel zöngés fehér zaj zöngétlen i=1 LPC együtthatók (a i) ε n hangképző út x n (időben változó szűrő) energia (G) Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 217 / 239

205 LPC-10 algoritmus Department of Defense, USA. Federal Standard (FS) 1015 (1984). Főleg titkosított kommunikációnál használatos. Egy szegmens hossza: 22.5 ms. Továbbítandó információ: 54 bit. Gerjesztés típusa (zöngés/zöngétlen): 1 bit. Hangmagasság (periódus): 6 bit (logaritmikus karakterisztikájú kompanderes kvantáló). Szűrőparaméterek: 41 bit. Érzékeny az 1 közeli együtthatók hibájára. a 1 és a 2 helyett g i = (1 + a i )/(1 a i ), i = 1, 2, kvantálódik. Zöngés eset: 10-edrendű prediktív szűrő. Egyenletes kvantáló, g 1, g 2, a 3, a 4 : 5 bit; a 5,..., a 8 : 4 bit; a 9 : 3 bit, a 10 : 2 bit. Zöngétlen eset: 4-edrendű prediktív szűrő. Egyenletes kvantáló, g 1, g 2, a 3, a 4 : 5 bit; hibajavítás: 21 bit. Energia: 5 bit (logaritmikus karakterisztikájú kompanderes kvantáló). Szinkronizáció: 1 bit. Bitsebesség: 54 bit/22 ms = 2.4 kbit/s szeres kompresszió a PCM-hez képest. Továbbfejlesztett változat: akár 800 bit/s. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 218 / 239

206 Kóddal gerjesztett lineáris prediktív kódoló Szintézis alapú kódoló (AbS: analysis-by-synthesis): a kódolóban van egy dekódoló is, ami szintetizálja a bemenő beszédjelet. Egy zárt optimalizáló hurokban meghatározza azt a gerjesztő jelet, ami minimalizálja az eredeti és a szintetizált jel közötti hibát. Ennek a paramétereit továbbítja a dekódolónak. Kóddal gerjesztett lineáris prediktív kódoló (CELP: code excited linear prediction) Manfred R. Schroeder és Bishnu S. Atal, Az optimális gerjesztőjelet egy elemű kódkönyből választja és annak adatait küldi át a dekódolónak. Jó minőségű beszédátvitel már 4.8 kbit/s sebességnél. Lassú a keresés a kódkönyvben, ezért azt részekre bontják. Eredeti algoritmus (Schroeder és Atal, 1983) Cray-1 szuperszámítógépen (80 MFLOPS; DE HPC: 254 TFLOPS): 1s beszéd kódolása 150s idő. Szabványok: ITU-T G.728 (16 kbit/s), G.729 (8 kbit/s) Alkalmazás: része a RealAudio és az MPEG-4 Audio formátumnak. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 219 / 239

207 Hangtömörítés CD minőség: 20 khz-es sáv, Hz-es mintavétel, 16 bites egyenletes kvantáló (pl. WAV: waveform audio file format, 1991). Bitsebesség: kbit/s ( 2: sztereó). Hangtömörítésnél figyelembe vett tényezők. A hallás legnagyobb érzékenysége 2 4 khz között van. Kevésbé érzékeny részen ugyanolyan intenzitásu hang halkabbnak tűnik, itt jobban elviseljük a torzítást. Adott frekvenciájú nagy intenzitású hang elfedi a vele egyszerre szóló közeli frekvenciákon lévő kisebb intenzitásuakat. Adott frekvenciájú nagy intenzitású hang már a bekapcsolása előtt (kb. 2 ms-ig) és kikapcsolása után (kb. 15 ms-ig) is maszkolja a közeli frekvenciákon lévő alacsonyabb intenzitásuakat. A tömörítendő hangot a frekvenciatartományban analizálják. Nem minden frekvenciaösszetevőt kell átvinni, és a kódolandókat sem kell azonos pontossággal kvantálni. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 220 / 239

208 MPEG-2 Audio Layer III (MP3) tömörítés, I Input jel: tömörítetlen PCM audio (pl. WAV file), amit 1152 hosszú blokkokra osztanak (frame). Két folyamat indul párhuzamosan. 1a. A bemenő minták egy szűrőbankon átvezetve azt 32 egyforma frekvenciasávra bomlanak khz-es mintavételnél mindegyik sáv 22050/32 = 689 Hz széles. 1b. Gyors Fourier transzformáció (FFT): a bemenő mintákat az időtartományból átviszi a frekvenciatartományba. 2a. A minták időkorlátos volta miatt a részsávokat ablakolni kell, az MPEG formátum 4 ablakfüggvény típust használ. Ablakolás után az egyes részsávok módosított diszkrét koszinusz transzformáció (MDCT) segítségével 18 további sávra bomlanak. A végeredmény 576 frekvenciaösszetevő. 2b. Pszichoakusztikus modell: az emberi hallást szimulálja. Megadja milyen információk hagyhatóak ki a maszkolás miatt, milyen típusú ablakot használjon az MDCT és hogyan kvantálódjanak az egyes frekvenciasávok. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 221 / 239

209 MPEG-2 Audio Layer III (MP3) tömörítés, II A már a frekvenciatartományban lévő két párhuzamosan futó folyamat összekapcsolódik. 3. A pszichoakusztikus modell információi alapján az 576 frekvenciaösszetevő 22 sávra bomlik és sávonként más-más faktorral skálázva kvantálódik. Itt zajlik a maszkolás. 4. Huffman-kódoló: kódolja a kvantált jeleket. Fix bitsebességnél minden egyes blokkot ugyanannyi bájton kódol. Változó bitsebességnél (VBR) egyes blokkokat rövidebben kódol, a fennmaradó biteket pedig átadja a következő blokknak. 5. Kiegészítő információk kódolása: a tömörítés során kapott és a dekódolónak átadandó információkat kódolja. 6. Multiplexer: a frame fejlécét, CRC (cyclic redundancy code) szavát (hibajavítás), a kiegészítő információkat és a frekvenciaösszetevők kódjait egy továbbítható bitfolyammá rakja össze. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 222 / 239

210 Az MP3 tömörítés vázlata Forrás: Rassol Raissi, The theory behind mp3. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 223 / 239

211 Az emberi látás Szín és fényesség érzékelés: Pálcikák: pálcikák és csapok. perifériás látásnál és kis fényességnél játszanak szerepet. Csapok: háromféle különböző spektrális érzékenység a látható színtartományban (s(λ): short; m(λ): medium; l(λ): long). Egy L(λ) energiasűrűségű fénysugár által kiváltott inger: (S, M, L) = (s(λ), m(λ), l(λ) ) L(λ)dλ. Ebből alakul ki a fényesség- és színérzet. Metamer színek: azonos S, M és L ingert kiváltó spektrumok. Ezeket nem tudjuk megkülönböztetni. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 225 / 239

212 Színkoordináta-rendszer Fényesség és színérzet elkülönítése: (X, Y, Z) = M(S, M, L). Y: fényesség; X és Z: színérzet. M: olyan lineáris transzformáció, ami mindig nemnegatív elemű vektort eredményez. Gyakorlatban (X, Y, Z) helyett (Y, x, y), ahol x = X X + Y + Z, y = Y X + Y + Z. Színérzet ábrázolása: (x, y) színkoordináta rendszer. Ha a L i (λ) spektrumhoz az (x i, y i ), i = 1, 2, pont tartozik, akkor a µ 1 L 1 (λ) + µ 2 L 2 (λ), µ 1, µ 2 > 0, képe az (x 1, y 1 ) és (x 2, y 2 ) közötti szakaszon van. Monokromatikus spektrum: egyetlen λ 0 összetevőből áll. A monokromatikus spektrumok egy görbét alkotnak. Ez határolja a lehetséges (x, y) értékek halmazát (színpatkó). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 226 / 239

213 Színpatkó International Commission on Illumination (CIE: Commission internationale de l éclairage), Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 227 / 239

214 Az RGB színtér Három szín (R: piros; G: zöld; B: kék) additív keverésével dolgozik. Az alapszínek által meghatározott háromszög színei ábrázolhatóak. (R, G, B ): az alapszínek aránya egész skálán szín. Az (R, G, B ) értékek a gamma korrekció után kapott arányok. Különböző RGB színterek (bal) és az LG 42LB731V TV színkalibrációja (jobb). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 228 / 239

215 Az YCbCr színtér (Y, x, y): különválasztja a fényességet és a színinformációt. Probléma: a szem nem egyenletesen érzékel az Y koordinátában. Y 16 C b = R G. 256 C r B Y : luminancia. Egyenletesen érzékeli a szem. C b, C r : krominancia. A kéktől és a pirostól való eltérést adja meg. Mindhárom koordináta egész skálán. ITU-R BT.601 SDTV szabvány (korábban CCIR 601, 1982). Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 229 / 239

216 Graphics Interchange Format (GIF) Indexelt tárolás: a kép színeit egy palettával írják le. Az egyes képpontok színeinél a palettabeli indexet adják meg. GIF: maximum 8 bites paletta (256 szín) a 24 bites RGB színtérből (3 8 bit). CompuServe, Sorfolytonos letapogatás, LZW tömörítés. Veszteségmentes. Fő alkalmazási terület: kis ikonok, ábrák tömörítése. Jellemzőik: Kevés szín. Sok a nagy, egyszínű terület és az ismétlődő részlet. Jól tömöríthető az LZW algoritmussal. Probléma: nem alkalmas pl. fényképek tömörítésére. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 230 / 239

217 Joint Photographic Experts Group (JPEG), I Veszteséges kódolás (1993). Input kép: YCbCr színtér 8 8 biten. A kép a koordináták szerint 3 képsíkra bomlik. Mindegyik sík külön kódolódik. A síkok eltérő felbontása, ha az arány racionális, megengedett. A felbontások legkisebb közös többszörösének megfelelő felbontású kép állítódik vissza. C b és C r vízszintes és függőleges felbontása vagy az Y megfelelő felbontása, vagy annak fele (4 : 4 : 4: egyforma; 4 : 2 : 2: H feleződik; 4 : 2 : 0: HV feleződik). 1. A képsíkokat 8 8-as négyzetekre bontjuk. Ha a képméret nem osztható 8-cal, a legalsó oszlop/legszélső sor ismétlésével kiegészítjük. 2. A 8 8-as négyzeteket kétdimenziós DCT transzformációval transzformáljuk. A transzformált négyzet elemei: a különböző frekvenciákhoz tartozó felharmonikusok. Bal felső sarok: alacsony frekvenciák, amikre a szem érzékenyebb. (0, 0) elem: a 0 frekvencia együtthatója (DC komponens). Négyzetenként gyakran hasonló. 3. A DC komponens különbségi kódolással tömörítődik. Meghatározzuk az előző négyzet DC komponensétől való eltérést. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 231 / 239

218 Joint Photographic Experts Group (JPEG), II 4. A különböző felharmonikusok egyenletesen, de más-más lépésközzel kvantálódnak. Amikre érzékenyebb a szem, azok finomabban. Kvantálási tábla: egy az egyes kvantálási lépésközöket megadó mátrix. Függ a tömörítés mértékétől. Nagyobb tömörítési ráta nagyobb értékek. Pl. 50 %-os tömörítésnél az ajánlott Q = Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 232 / 239

219 Példa Input mátrix : DCT mátrix : Kvantált DCT : Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 233 / 239

220 Joint Photographic Experts Group (JPEG), III 5. A különbségi DC együtthatót és a kvantált DCT értékeket cikk-cakk elrendezés szerint sorbarendezzük. 6. A kapott sorozatot részsorozatokra bontjuk. Minden részsorozat eleje 0-kból ( áll ) és egy nem 0 elem zárja. Egy részsorozat futamhossz kódja {n, s}, ν. n: a részsorozat elején lévő 0-futam hossza; s: a sorozat végi nem 0 elem kódolásának bithossza; ν: a sorozat végi nem 0 elem előjeles bináris alakja. 7. Az {n, s} párokat statikus Huffman kóddal, vagy aritmetikai kódolóval kódoljuk és a kódjaik után felsoroljuk a ν értékek bináris kódjait. Példa. 81, 0, 0, 0, 0, 0, 6, 0, 0, 0, 12, 0, 0,... ( ) ( ) A kód: {0, 8}, ; {5, 4}, 1001 ; ( ) {3, 5}, A Huffman-kód után: Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 234 / 239

221 Tulajdonságok Szabványok: ISO/IEC 10918, ITU-T T.81, T.83, T.84, T.86 Hatékony, ha nincsenek éles határok. Túl nagy tömörítésnél a kvantálás miatt erős képzaj az éleknél. Forrás: Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 235 / 239

222 Veszteségmentes JPEG Kiegészítés a JPEG formátumhoz. Joint Photographic Experts Group, Kétdimenziós prediktív kódolás (DPCM). Sorfolytonos letapogatás. Az (i, j) képpont X i,j értékének X i,j predikciója X i 1,j, X i,j 1 és X i 1,j 1 alapján. Nyolcféle predikciós séma. 0 : Xi,j = 0; 4 : Xi,j = X i 1,j + X i,j 1 X i 1,j 1 ; 1 : Xi,j = X i 1,j ; 5 : Xi,j = X i,j 1 + X i 1,j X i 1,j 1 ; 2 2 : Xi,j = X i,j 1 ; 6 : Xi,j = X i 1,j + X i,j 1 X i 1,j 1 ; 2 3 : Xi,j = X i 1,j 1 ; 7 : Xi,j = X i 1,j + X i,j 1. 2 Bármelyik séma használható, de egy adott képhez csak egyféle. Adaptív aritmetikai, vagy Huffman kódolás. Kompressziós arány prediktív esetben (nem 0 séma): kb. 2 : 1. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 236 / 239

223 Moving Picture Experts Group (MPEG) International Organization for Standardization (ISO) és International Electrotechnical Commission (IEC) munkacsoport. Szabványok: MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21. Veszteséges videotömörítés (1993). MPEG-1 részei: videoszekvencia képcsoportok képek (frame) makroblokkok blokkok Képcsoport (GOP: group of pictures): függetlenül kódolt egység. Háromféle képtípus: I-típus (intra frame): önálló kép, JPEG tömörítés; P-típus (predictive coded frame): az előző I- vagy P-típusú kép segítségével tömörítődik; B-típus (bidirectionally predictive coded frame): az előző és/vagy következő I- vagy P-típusú kép segítségével tömörítődik. Makroblokk: egy kép képpont méretű része. 6 darab 8 8 elemű blokkból áll: 4 luminancia (Y ) és 1 1 krominancia (C r, C b ). P- és B-típusú képeket makroblokkonként tömörítünk. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 237 / 239

224 Sorrendek A B-típusú képek kódolásnál előre mozognak, hogy a szomszédos I- és P-típusok után legyenek. Egyszerűsíti a pufferelést. Lejátszási sorrend: Képtípus: I B B P B B P B B I Sorrend az adatfolyamban: Szokásos sorrend: egy I-típusú képre két P-típusú épül, köztük két B-típusú. I-típusú képek: önmagukban kódolódnak. Referenciaként szolgálnak a kereséshez. A P- és B-típusú képek tömörítése a makroblokkonkénti mozgásbecslésen alapszik. Baran Sándor Matematika és információelmélet előadás 2018/19 tanév, 2. félév 238 / 239