VIDEOTECHNIKA A videotömörítés alapjai

Hasonló dokumentumok
VIDEOTECHNIKA. Előadásvázlat. Mócsai Tamás BME Hálózati Rendszerek és Szolgáltatások Tanszék szeptember

A MULTIMÉDIA TECHNOLÓGIÁK ALAPJAI Előadásvázlat. BME Hálózati Rendszerek és Szolgáltatások Tanszék 2015.

A MULTIMÉDIA TECHNOLÓGIÁK

VIDEOTECHNIKA. Előadásvázlat. Mócsai Tamás BME Hálózati Rendszerek és Szolgáltatások Tanszék szeptember

Híradástechikai jelfeldolgozás

12. Képtömörítés. Kató Zoltán. Képfeldolgozás és Számítógépes Grafika tanszék SZTE (

Wavelet transzformáció

Új kódolási eljárás, a szabvány július óta elérhető

2. gyakorlat Mintavételezés, kvantálás

Vektorok, mátrixok, lineáris egyenletrendszerek

Miért fontos számunkra az előző gyakorlaton tárgyalt lineáris algebrai ismeretek

Principal Component Analysis

Matematika (mesterképzés)

Szinguláris érték felbontás Singular Value Decomposition

Kvadratikus alakok és euklideszi terek (előadásvázlat, október 5.) Maróti Miklós, Kátai-Urbán Kamilla

Digitális jelfeldolgozás

H=0 H=1. Legyen m pozitív egészre {a 1, a 2,, a m } különböző üzenetek halmaza. Ha az a i üzenetet k i -szer fordul elő az adásban,

Multimédia technológiák alapjai gyakorlat I-II.

Ortogonalizáció. Wettl Ferenc Wettl Ferenc Ortogonalizáció / 41

LINEÁRIS ALGEBRA. matematika alapszak. Euklideszi terek. SZTE Bolyai Intézet, őszi félév. Euklideszi terek LINEÁRIS ALGEBRA 1 / 40

Bevezetés az állapottér elméletbe: Állapottér reprezentációk

1.1. Vektorok és operátorok mátrix formában

Fourier transzformáció

Lin.Alg.Zh.1 feladatok

Saj at ert ek-probl em ak febru ar 26.

Numerikus módszerek I. zárthelyi dolgozat (2017/18. I., A. csoport) Megoldások

Mérés és adatgyűjtés

Mer legesség. Wettl Ferenc Wettl Ferenc Mer legesség / 40

Vektorterek. =a gyakorlatokon megoldásra ajánlott

A videojel bitsebesség csökkentési eljárásai

Fourier térbeli analízis, inverz probléma. Orvosi képdiagnosztika 5-7. ea ősz

Elektronika Előadás. Digitális-analóg és analóg-digitális átalakítók

Regresszió. Csorba János. Nagyméretű adathalmazok kezelése március 31.

Informatikai Rendszerek Alapjai

Numerikus matematika vizsga

A szimplex algoritmus

Shor kvantum-algoritmusa diszkrét logaritmusra

Numerikus módszerek II. zárthelyi dolgozat, megoldások, 2014/15. I. félév, A. csoport. x 2. c = 3 5, s = 4

Infobionika ROBOTIKA. X. Előadás. Robot manipulátorok II. Direkt és inverz kinematika. Készült a HEFOP P /1.0 projekt keretében

Vektorterek. Wettl Ferenc február 17. Wettl Ferenc Vektorterek február / 27

Keresztmetszet másodrendű nyomatékainak meghatározása

Jelek és rendszerek 1. 10/9/2011 Dr. Buchman Attila Informatikai Rendszerek és Hálózatok Tanszék

Gazdasági matematika II. tanmenet

LNM folytonos Az interpoláció Lagrange interpoláció. Lineáris algebra numerikus módszerei

VIDEOTECHNIKA Az MPEG szabványcsalád

Gauss-eliminációval, Cholesky felbontás, QR felbontás

Sajátértékek és sajátvektorok. mf1n1a06- mf1n2a06 Csabai István

Numerikus módszerek 1.

Bevezetés az állapottér-elméletbe Dinamikus rendszerek állapottér reprezentációi

Szinguláris értékek. Wettl Ferenc április 3. Wettl Ferenc Szinguláris értékek április 3. 1 / 28

Diszkrét matematika I., 12. előadás Dr. Takách Géza NyME FMK Informatikai Intézet takach november 30.

Az Informatika Elméleti Alapjai

Mátrixok 2017 Mátrixok

MISKOLCI EGYETEM GÉPÉSZMÉRNÖKI ÉS INFORMATIKAI KAR

Digitális jelfeldolgozás

Fraktál alapú képtömörítés p. 1/26

Lineáris algebra 2. Filip Ferdinánd december 7. siva.banki.hu/jegyzetek

Diszkrét idej rendszerek analízise szinuszos/periodikus állandósult állapotban

π π A vivőhullám jelalakja (2. ábra) A vivőhullám periódusideje T amplitudója A az impulzus szélessége szögfokban 2p. 2p [ ]

Gauss-Seidel iteráció

Gauss-Jordan módszer Legkisebb négyzetek módszere, egyenes LNM, polinom LNM, függvény. Lineáris algebra numerikus módszerei

KÓDOLÁSTECHNIKA PZH december 18.

A KLT (Kanade Lucas Tomasi) Feature Tracker Működése (jellegzetes pontok választása és követése)

Pontműveletek. Sergyán Szabolcs Óbudai Egyetem Neumann János Informatikai Kar február 20.

Jelfeldolgozás - ANTAL Margit. impulzusválasz. tulajdonságai. Rendszerek. ANTAL Margit. Sapientia - Erdélyi Magyar Tudományegyetem

Mintavétel: szorzás az idő tartományban

Rang, sajátérték. Dr. Takách Géza NyME FMK Informatikai Intézet takach/ február 15

Totális Unimodularitás és LP dualitás. Tapolcai János

ANTAL Margit. Sapientia - Erdélyi Magyar Tudományegyetem. Jelfeldolgozás. ANTAL Margit. Adminisztratív. Bevezetés. Matematikai alapismeretek.

Szinkronizmusból való kiesés elleni védelmi funkció

Ha ismert (A,b,c T ), akkor

12. előadás. Egyenletrendszerek, mátrixok. Dr. Szörényi Miklós, Dr. Kallós Gábor

Alkalmazott algebra - SVD

Lin.Alg.Zh.1 feladatok

Állókép és videó kódolások

3. el adás: Determinánsok

ÉRZÉKELŐK ÉS BEAVATKOZÓK I. 5. A JELFELDOLGOZÁS ALAPJAI: JELEK

Kettőnél több csoport vizsgálata. Makara B. Gábor

Zárthelyi dolgozat feladatainak megoldása õsz

Mintavételezés és AD átalakítók

rank(a) == rank([a b])

15. LINEÁRIS EGYENLETRENDSZEREK

illetve, mivel előjelét a elnyeli, a szinuszból pedig kiemelhető: = " 3. = + " 2 = " 2 % &' + +

Problémás regressziók

1. feladatsor Komplex számok

Statisztika - bevezetés Méréselmélet PE MIK MI_BSc VI_BSc 1

Szinguláris értékek. Wettl Ferenc április 12. Wettl Ferenc Szinguláris értékek április / 35

VIK A2 Matematika - BOSCH, Hatvan, 3. Gyakorlati anyag. Mátrix rangja

Többváltozós lineáris regresszió 3.

Intelligens Rendszerek Elmélete. Versengéses és önszervező tanulás neurális hálózatokban

KOVÁCS BÉLA, MATEMATIKA I.

Számítási feladatok a Számítógépi geometria órához

BAGME11NNF Munkavédelmi mérnökasszisztens Galla Jánosné, 2011.

Az Informatika Elméleti Alapjai

Matematika A2 vizsga mgeoldása június 4.

ÉRZÉKELŐK ÉS BEAVATKOZÓK I. 6. A MINTAVÉTELI TÖRVÉNY

Robotok inverz geometriája

Regressziós vizsgálatok

4. Lokalizáció Magyar Attila

Saj at ert ek-probl em ak febru ar 22.

Átírás:

VIDEOTECHNIKA A videotömörítés alapjai Firtha Gergely BME Hálózati Rendszerek és Szolgáltatások Tanszék 2016. szeptember

Videotechnika 2 Aktív képtartalom tömörítetlen video bitsebesség igénye 1080i50/4:2:2 (1080 x 1920 + 2 x 1080 x 960 ) x 8 x 25 = 829 Mbit/s 1080i50/4:2:0 (1080 x 1920 + 2 x 540 x 960 ) x 8 x 25 = 622 Mbit/s 720p50/4:2:2 (720 x 1280 + 2 x 720 x 640) x 8 x 50 = 737 Mbit/s 720p50/4:2:0 (720 x 1280 + 2 x 360 x 640) x 8 x 50 = 552 Mbit/s ITU-601/4:2:2 (SD) (576i50) (576 x 720 + 2 x 576 x 360) x 8 x 25 = 166 Mbit/s ITU-601/4:2:0 (SD) (576i50) (576 x 720 + 2 x 288 x 360) x 8 x 25 = 124 Mbit/s CIF (288 x 360 + 2 x 144 x 180) x 8 x 30 = 37,3 Mbit/s QCIF (144 x 180 + 2 x 72 x 90) x 8 x 30 = 9,3 Mbit/s SIF (288 x 352 + 2 x 144 x 176) x 8 x 25 = 30,4 Mbit/s

Videotechnika 3 1 órányi műsoranyag tárolási igénye közelítőleg 1080i50/4:2:2 829 Mbit/s : 364 Gbyte 1080i50/4:2:0 622 Mbit/s : 279 Gbyte 720p50/4:2:2 737 Mbit/s : 323 Gbyte 720p50/4:2:0 552 Mbit/s : 242 Gbyte ITU-601/4:2:2 (SD) (576i50) 166 Mbit/s : 73 Gbyte ITU-601/4:2:0 (SD) (576i50) 124 Mbit/s : 55 Gbyte CIF 37,3 Mbit/s :16 Gbyte QCIF 9,3 Mbit/s : 4 Gbyte

Videotechnika 4 Videó bitsebesség csökkentés alapjai (ismétlés) Redundancia típusai A természetes mozgókép redundáns (statisztikus redundancia): térben (intra-frame): egy képen belül a szomszédos pixelek hasonlók, időben (inter-frame): a szomszédos képkockák hasonlók Észlelési redundancia: a videojel a HVS számára kevésbé, vagy nem észlelhető komponenseket is tartalmaz A HVS tömörítés szempontjából lényeges tulajdonságai A világosságjelre a látásunk térbeli felbontóképessége 3-5-ször nagyobb mint a színekre Álló és lassan változó képtartalomra a felbontásigényünk nagyobb Hirtelen képváltás vagy gyors mozgás esetén kevésbé zavaró a gyengébb képminőség

Digitális csatorna modell Videotechnika 5

Digitális csatorna modell elemei Csatornakódolás A csatorna átviteli tulajdonságait véve választunk hibavédelmi algoritmust és modulációs eljárást Forráskódolás Figyelembe vesszük a forrás és a nyelő tulajdonságait: csökkentjük a forrás redundanciáját, úgy hogy a nyelő (HVS) "ne vegyen észre semmit" Reprezentáció váltás: Az új reprezentációs térben kevesebb redundancia: pl. predikció, transzformációs kódolás, mozgás kompenzáció Irreverzibilis kódolás: Az ábrázolás pontosságának csökkentése, a "lényegtelen" részek eltávolítása: pl: kvantálás, térbeli/időbeli alul-mintavételezés Reverzibilis kódolás: Hatékonyabb kód-hozzárendelés, a statisztikai redundanciát csökkenti: pl: változó szóhosszúságú kódolás (VLC), futamhossz kódolás (RLC) Videotechnika 6

Video forráskódolás modell Videotechnika 7

Videotechnika 8 Differenciális kvantálás ξ n : kvantálandó forrás ξ n: kvantált jel ˆξ n : forrásminta becslése δ n : differenciális jel δ n = δ n + ɛ n : kvantált differenciális jel ξ n = ξ n + ɛ n : kvantálás hatása additív zaj Eredő SNR : SNR p = E[ξ2 n ] E[ɛ 2 n] SNR p = E[ξ2 n ] E[ɛ 2 n] = E[ξ2 n ] E[δ 2 E[δn] 2 n ] E[ɛ 2 n] Predikciós nyereség: G p = E[ξ2 n] E[δ 2 n] Optimális kvantáló SNR: SNR q = E[δ2 n ] E[ɛ 2 n] SNR p = G p SNR q

Videotechnika 9 Lineáris predikció (1D jelre) Cél a differenciális jel δ n teljesítményének minimalizálása várható érték négyzet (LMS) értelemben: min : E[ ξ n ˆξ n 2 ], Legyen ˆξ n = a T ξ n 1, ahol a = [a 1,..., a N ] és ξ n 1 = [ξ n 1,..., ξ N 1 ], így E[ ξ n ˆξ n 2 ] = E[ξ 2 n 2ξ n a T ξ n 1 + a T ξ n 1 ξ n 1 a] Használjuk fel, hogy a forrás autokorrelációja: r ξ (m) = E[ξ n ξ n m ]

Videotechnika 10 Lineáris predikció E[ ξ n ˆξ n 2 ] = = E[ξn 2 2ξ n a T ξ n 1 + a T ξ n 1 ξ n 1 a] = r ξ (1) r ξ (0) r ξ (1)... r ξ (N 1) = r ξ (0) 2a T r ξ (2) r ξ (1) r ξ (0)... r ξ (N 2). +at...... r ξ (N) r ξ (N 1) r ξ (N 2)... r ξ (0) a

Videotechnika 11 Lineáris predikció R = r = r ξ (1) r ξ (2). r ξ (N) r ξ (0) r ξ (1)... r ξ (N 1) r ξ (1) r ξ (0)... r ξ (N 2)...... r ξ (N 1) r ξ (N 2)... r ξ (0) min : E[ ξ n ˆξ n 2 ] = r ξ (0) 2a T r + a T Ra E[ ξ n ˆξ n 2 ] a = 2r + 2Ra = 0 a = R 1 r

Videotechnika 12 Maximálisan elérhető predikciós nyereség Adott N esetén ha N : max(g p ) = r ξ (0) r ξ (0) r T Rr lim N G p = 1 γ ξ Spektrális laposság: γ ξ = N N 1 1 N k=0 S(k) N 1 <= 1, k=0 S(k) ahol S(k) a ξ jel teljesítménysűrűség spektruma.

Videotechnika 13 Lineáris prediktor A lineáris prediktor egy FIR szűrő

Videotechnika 14 Differencia képzés és kvantálás Előrecsatolt differencia képzés Kvantálás hatása, mint additív zaj

Videotechnika 15 Hátracsatolt differencia képzés Kvantáló a hurkon belül

Hátracsatolt differencia képzés Kvantálás hatása, mint additív zaj Magyarázat: a jel a kódoló kimenetén 1 1 + R(z) X(z) + 1 E(z) = [1 P(z)][X(z) + E(z)] 1 + R(z) a dekódoló átviteli függvénye pedig: 1 1 P(z) Videotechnika 16

Prediktív kódolás képtartalomra Alkalmazható egy adott kép pixeljei között (térbeli predikció), illetve az egymást követő képek között (időbeli predikció) Az x m,n minta közvetlen kódolása helyett egy szomszédos (általában szintén becsült) mintához képesti különbséget kódoljuk A becsült mintát az x m,n minta környezetében lévő minták lineáris kombinációjaként állítjuk elő A vevő oldalon csak a különbségi minták (és a lin. komb. együtthatók) állnak rendelkezésre A kvantálási hiba terjedése akkumulálódásának elkerülése érdekében a kódoló tartalmazza az idealizált vevő oldali dekódert is A becslést az inverz kvantált (dekódolt) minták alapján végezzük Videotechnika 17

Prediktív kódoló blokkvázlata Videotechnika 18

Videotechnika 19 Prediktív kódoló folytatás Optimális együtthatók Az optimális együtthatók kiszámítása jellemzően a hiba négyzetes várhatóérékének (Mean Square Error - MSE) minimalizálásával történik A leggyakoribb térbeli (2D) predikciós típusok

Videotechnika 20 Transzformációs kódolás I. A természetes képek pixelei közötti korreláció jelentős A transzformációs kódolás általában blokkalapú: egy N N-es blokkon hajtjuk végre Célunk a jel reprezentálása egy alkalmasan megválasztott koordináta rendszerben, melyben a redundancia kisebb, így hatékonyabban ábrázolható A transzformáció lineáris algebrai művelet: A minták nem átlapolódó N N-es blokkjait a transzformáció mátrixával szorozzuk A transzformáció után kapott együtthatók közötti korreláció általában kisebb mint az eredeti minták között A kódolás további lépései a transzformált tartományban történnek

Videotechnika 21 Transzformációs kódolás II. 1D transzformáció Bemenő jelvektor: x = [x(0) x(1)... x(n 1)] T Kimenő jelvektor (koefficiens vektor): y = [y(0) y(1)... y(n 1)] T A jelvektor és koefficiens vektor kapcsolata: y = Ax, ahol A a transzformáció mátrixa, és x = By, ahol B az inverz transzformáció mátrixa Ha a transzformáció mátrixa unitér (A H A = AA H = E), akkor B = A 1 = A H Ha a transzformáció mátrixa ortogonális (ekkor elemei valósak), akkor A T A = AA T = E), akkor B = A 1 = A T : az A mátrix sorvektorai ortonormált bázisrendszert feszítenek ki, ez a transzformáció bázisa A képtömörítésben alkalmazott transzformációs kódolások unitér, illetve ortogonális transzformációkat alkalmaznak

Videotechnika 22 Transzformációs kódolás III. 1D transzformáció Unitér transzformáció esetén az inverz transzformáció felírható a N 1 x = y(k)a k k=0 alakban, ahol a k az AH mátrix oszlopai, és ezek a transzformáció bázisvektorai. Ortogonális transzformáció esetében, hasonlóan, N 1 x = y(k)a k k=0 alakban, ahol a k az A T mátrix oszlopai. Az inverz transzformáció tehát nem más, mint x jelvektor a k (vagy a k ) bázisvektorok szerinti sorfejtése, y(k) együtthatókkal.

Videotechnika 23 Transzformációs kódolás IV. 2D transzformáció A bemenő 2D mintasorozat N N-es blokkjait egy hipermátrix-al transzformáljuk: Y = Y [k, l] = N 1 N 1 m=0 n=0 a transzformáció kifejezése, és X = x[m, n] = N 1 N 1 k=0 l=0 x[m, n]a(k, m; l, n) Y [k, l]a T (k, m; l, n) az inverz transzformáció kifejezése ortogonális transzformáció esetén

Videotechnika 24 Transzformációs kódolás VI. 2D szeparábilis transzformáció Ha a transzformáció hipermátrixa A(k, m; l, n) felírható A(k, m; l, n) = A 1 (k, m) A 2 (l, n) alakban, akkor a 2D transzformáció szeparábilis - a kép oszlopain elvégzett 1D transzformáció, majd a transzformált kép sorain elvégzett 1D transzformáció egymásutánjaként elvégezhető Ha A(k, m; l, n) unitér/ortogonális, akkor A 1 (k, m) és A 2 (l, n) is unitér/ortogonális, és a gyakorlatban alkalmazott transzformációk esetében A 2 = A T 1 Ekkor Y = AXA T, illetve X = A T YA, ha a transzformáció ortogonális.

Videotechnika 25 Transzformációs tulajdonságok Tulajdonságok Unitér/ortogonális transzformációk esetén teljesül a Parseval (energiamegmaradás) tétele: N 1 N 1 m=0 n=0 x[m, n] 2 = N 1 N 1 k=0 l=0 y[k, l] 2 Jelöljük E y = Y Ŷ-nal a transzformációs tartományban elkövetett (pl. kvantálási) hibákat Jelöljük E x = X ˆX-nal a visszaállítás utáni hibákat az eredeti képhez képest A Parseval-tétel, és a transzformáció linearitása miatt (E y = AE x A T ), E x 2 = E y 2, vagyis ha a transzformációs tartományban minimalizáljuk a reprezentációs hiba-energiát (MSE), akkor az eredeti jeltartományban is minimális hibaenergiát (MSE) kapunk

Videotechnika 26 Az unitér/ortogonális transzformációs kódolásokról általában A transzformáció önmagában véve veszteségmentes Az oda- és vissza-transzformáció elméletben az eredeti jelet adja vissza (a numerikus hibáktól eltekintve) A transzformált tartományban a jelenergia nagy részéhez csak néhány koefficiens járul hozzá A transzformáció hatékonyságát az jellemzi, hogy a koefficiensek közül hány jelentős Ha az inverz transzformációt csak a jelentős együtthatókkal végezzük el, a kapott blokk általában eltér az eredetitől, de az eltérés nem számottevő

Videotechnika 27 Transzformációs típusok Ha az együtthatók közötti korreláció a transzformált tartományban nulla, akkor a transzformáció optimális Ez akkor teljesül, ha a jelet az autokorrelációs mátrixának sajátvektorai által kifeszített térbe transzformáljuk Ebben az esetben a transzformáció bázisa jelfüggő A gyakorlatban a fix bázisú transzformációkat alkalmazzuk Ezek szuboptimálisak, de a valós idejű jelfeldolgozáshoz alkalmasabbak Az optimális transzformáció a KLT (Karhunen-Love)

Videotechnika 28 KLT (1D) I. Optimális transzformáció Legyen az x véletlen vektor, és x transzformáltja y = T H x x kovariancia márixa C x = E[(x E[x])(x E[x]) H ] = E[xx H ] E[x]E[x H ] C x = C H x, vagyis hermitikus mátrix (valós elemek esetén szimmetrikus) C x diagonális, akkor és csak akkor, ha x elemei korrelálatlanok Célunk egy olyan transzformáció keresése, mely C x -t diagonális mátrixba viszi át (Legyen C y = D)

Videotechnika 29 KLT (1D) II. Optimális transzformáció Vagyis C y = T H C x T, ahol C y diagonális. Mivel C x hermitikus/szimmetrikus, létezik spektrálfelbontása, mely C x = UDV H, és U = V, tehát C x = UDU H Ha a transzformáció T mátrixának U-t választjuk, C y = T H C x T = U H UDU H U = D A sajátvektorok, illetve sajátértékek rendezését a sajátértékek csökkenő sorrendje szerint véve (legszignifikánsabb-legkevésbé szignifikáns): σ1 2 > σ2 2 >... > σ2 N, ahol σ2 i sajátérték az y i varianciája.

Videotechnika 30 KLT (1D) II. Rekonstrukció hibája Legyen x = ˆx + e = M i=1 y iu i + N j=m+1 y ju j Vagyis x-nek az ˆx-el jelölt közelítésében csak az első M sajátvektort vesszük figyelembe. Ekkor E [ e 2] = E [ x ˆx 2] = E [ y ŷ 2] = N j=m+1 σ2 j Vagyis a rekonstrukció hibája (MSE értelemben) pont azon sajátértékek összege, melyekhez tartozó sajátvektorokat nem vettük figyelembe az inverz transzformációnál (sorfejtés)

Videotechnika 31 2D KLT Elméleti 2D KLT: X = x[m, n] egy 2D véletlen mátrix. Célunk X felírása unitér/ortogonális bázismátrixok segítségével X = M 1 N 1 k=0 l=0 Y (k, l)u k,l, vagy másik jelöléssel x[m, n] = M 1 N 1 k=0 l=0 Y (k, l)u k,l[m, n]. Az U k,l mátrixok, hasonlóan az 1D esethez, sajátmátrixai a C x (m 1, n 1, m 2, n 2 ) 4 dimenziós kovariancia hipermátrixnak.

Videotechnika 32 2D KLT gyakorlati megvalósítása II. 1D-2D Ha X = x[m, n] egy M N-es mátrix, akkor X soraiból sor-folytonosan képzett (vagy X oszlopaiból oszlop-folytonosan képzett) M N-es 1D vektoron az 1D KLT végrehajtható Szeparábilis 2D Ha feltételezzük, hogy X egyes sorainak kovariancia mátrixa azonos, valamint X egyes oszlopainak kovariancia mátrixa azonos, akkor ezekre a K r illetve K c jelölést bevezetve K r = U r D r U H r, illetve K c = U c D c U H c felhasználásával a 2D transzformáció szeparálható Y = U H c XU r, illetve az inverz transzformáció X = U c XU H r

Videotechnika 33 2D KLT gyakorlati megvalósítása II. K r és K c közelítése ˆK r = 1 M 1 (X X) T (X X) ˆK c = 1 N 1 (X X)(X X) T, ahol X = x[m, n] = 1 M átlagértéke 1 N M 1 i=0 N 1 j=0 x[m, n], a X mátrix Megjegyzés: belátható, hogy a fenti közelítések felhasználásával elvégzett szeparábilis 2D KLT (inverz)transzformáció ekvivalens a X X mátrix SVD felbontásával.

Videotechnika 34 Transzformációs típusok II. Nem-harmonikus bázisfüggvényű DWHT DHT DST... Harmonikus bázisfüggvényű DFT DCT DST

Videotechnika 35 Diszkrét Hadamard Transzformáció Nem-harmonikus bázisfüggvényű Valós, ortogonális transzformáció 2 2-es transzformációs mátrixa: H 2 2 = 1 2 [ 1 1 1 1 Nagyobb blokkméretre H rekurzívan számolható: H 2N 2N = 1 [ ] HN N H N N 2 Az 2D transzformáció kifejezése y = HxH T és x = H T yh H N N ] H N N

8x8-as 2D transzformációs bázisképek ahol a: DCT, b: DST, c: Hartley, d: Hadamard, e: Haar, és f: Slant transzformációk bázisképei Videotechnika 36

Videotechnika 37 MSE a transzformáció típusának függvényében Cameraman ábra

Videotechnika 38 DCT transzformáció Előnyei A természetes képeket majdnem teljesen dekorrelálja Közel optimális A jelenergia nagy részét néhány kisfrekvenciás koefficiens hordozza Valós együtthatókat eredményez Számítástechnikailag hatékony algoritmusokkal számolható

Videotechnika 39 DCT transzformáció 1D DCT és IDCT X(k) = 2 N α(k) N 1 n=0 x(n) cos [ π N ( ) ] n + 1 2 k k = 0,..., N 1 x(n) = 2 N N 1 k=0 α(k) X(k) cos [ π N ( ) ] n + 1 2 k n = 0,..., N 1 ahol α(k) = { 1 2 ha k 0 1 ha k 0.

Videotechnika 40 1D DCT és IDCT Elnevezések DC koefficiens: X(0) AC koefficiensek X(1),... X(N 1) 2 A k. bázisvektor: N α(k) cos [ ( ) ] π N n + 1 2 k n = 0,..., N 1

Videotechnika 41 N = 8 esetén a DCT bázisvektorok A bemenő jelvektort különböző harmonikus frekvenciájú elemi komponensek súlyozott összegeként (lin. komb.) állítjuk elő A súlytényezők a DCT együtthatók Ha a bemeneti vektoron belül a jel "lassan" változik, akkor a DC, illetve a kisfrekvenciás AC komponensek dominálnak

Videotechnika 42 1D DCT számítása DFT-ből 1D DCT és DFT 1D DCT számítható az N hosszúságú x = x[n] n = 0... N 1 mintavektor szimmetrikus 2N hosszú kiterjesztésének DFT-jéből, ahol a szimmetrikus kiterjesztés x[p] = x[p], ha p < N, és x[q] = x[2n 1 q], ha q > N Ha Y (k) jelöli az x = x[n] DCT együtthatóit, akkor Y (k) = R {W F(k)}, ahol F(k) k = 0... N 1 a 2N hosszúságú kiterjesztett mintavektor első N DFT együtthatója, és W egy jelfüggetlen skálatényező.

Videotechnika 43 2D DCT és IDCT X(k, l) = 2 α(k)α(l) N 1 N 1 N n=0 m=0 x(n, m) cos [ ( ) ] [ π N m + 1 2 k cos π ( ) ] N n + 1 2 l 0,..., N 1 k = x(m, n) = 2 N N 1 k=0 0,..., N 1 N 1 l=0 α(k)α(l) X(k, l) cos [ π N ( m + 1 2 ) k ] cos [ π N ( ) ] n + 1 2 l k = ahol α(k), α(l) = { 1 2 ha k, l 0 1 ha k, l 0.

2D DCT illusztráció I. Videotechnika 44

2D DCT illusztráció II. Videotechnika 45

2D DCT illusztráció III. Videotechnika 46

Videotechnika 47 2D DCT számítása 2D 2 Ha A = A[k, m] = N α(k) cos [ ( ] π N m + 1 2) k az 1D transzformáció mátrixa, és X = x[m, n] a 2D kép mátrix, akkor Y c = AX, majd Y c,r = AY T c, akkor Y c,r = A(XA) T = AX T A T, amiből az eredeti kép DCT-je: Y k,l = Y T c,r = AXA T

Videotechnika 48 Együtthatók kvantálása Kvantáló mátrix A kvantálás blokkonként ún. kvantáló mátrixszal történik X (k, l) = X(k,l) W (k,l), ahol W (k, l) jelenti a (k,l) együtthatóhoz tartozó kvantálási lépcsőt A kvantáló mátrix elemeinek megválasztása alapvetően a HVS tulajdonságainak megfelelően történik Maradék elhagyása

Videotechnika 49 Együtthatók kvantálása Kvantálás a HVS tulajdonságai alapján A HVS az apró részletekre (nagyfrekvenciás komponensek) kevésbé érzékeny A HVS szempontjából fontos együtthatókat (DC, néhány kisfrekvenciás AC) finomabban, a kevésbé fontos AC együtthatókat durvábban kvantáljuk Egy tipikus kvantáló mátrix pl. a következő

Videotechnika 50 Együtthatók kvantálása Kvantálás a HVS tulajdonságai alapján A bitsebesség pl. a W (k, l) konstanssal való szorzásával állítható A kvantáláson túlmenően a DC komponensek a szomszédos blokkhoz képest differenciálisan kódoltak (JPEG és MPEG)

DCT együtthatók kvantálása illusztráció I. Videotechnika 51

DCT együtthatók kvantálása illusztráció II. Videotechnika 52

Videotechnika 53 Együtthatók rendezése Cikk-cakk kódolás Kvantálás után az együtthatók nagy része zérussá válik Csak a nullától különböző együtthatókat kell tárolni/továbbítani, viszont ezek pozícióját ismerni kell Cikk-cakk kódolás: növekvő frekvenciák szerinti rendezés A DC együtthatót külön, általában veszteségmentesen, differenciálisan kódoljuk az előző blokk DC együtthatójával, mivel a szomszédos blokkok DC együtthatója hasonló Az AC együtthatók cikk-cakk rendezése miatt több nulla kerül egymás után A nullákra futamhossz kódot alkalmazunk (Zérusok száma, értékes amplitúdó) párokat (run,level) képzünk a cikk-cakk sorrend alapján A blokk végét EOB szimbólum zárja

Cikk-cakk kódolás Videotechnika 54

JPEG kódoló/dekódoló vázlata Videotechnika 55

Videotechnika 56 JPEG szabvány képméret maximum 65535 x 65535, komponensek száma maximum 255, a színmérő-rendszer nem specifikált. a kóder és dekóder szimmetrikus felépítése, képminőség - bitsebesség (bpp) kompromisszum 4-féle üzemmód: DCT alapú szekvenciális kódolás, DCT alapú progresszív kódolás, veszteségmentes DPCM alapú kódolás, hierarchikus kódolás (DCT, DPCM).

Videotechnika 57 DCT alapú JPEG kódolás lépései A kép 8x8-as, egymással át nem lapolódó blokkjainak transzformációja DCT-vel. Az együtthatók kvantálása blokkonként egy felhasználó által definiált súlyozó mátrix és egy kvantálási tényező segítségével. Maximum 4 súlyozó mátrix használható egyszerre (pl. komponensenként más és más). A DC együttható: az előző blokkhoz képesti különbség kódolása. (1-D veszteségmentes DPCM hurokkal).

Videotechnika 58 DCT alapú JPEG kódolás lépései Az AC együtthatók cikk-cakk-ba rendezése, futamhossz kódolt párok 0-ák futási hossza, nem zérus amplitúdó képzése. A differenciális DC együtthatók és a futamhossz kódolt párok VLC kódolása. A blokk végét EOB jelzi. Maximum 2 DC és 2 AC Huffman tábla használható. A képkomponensek függetlenül kódoltak. A dekóder a bitfolyam fejlécéből nyeri ki azokat az információkat, amelyek a dekódolás vezérléséhez kellenek. A dekódolás számítás igénye kicsit kisebb mint a kódolásé. A rekonstruált kép minőségét a súlyozó mátrix, a kvantálási tényező és a DCT és IDCT pontossága határozza meg, A default-tól eltérő kvantálási és Huffman táblákat (8 bites 8x8 db. koefficiens) a fejlécben kell továbbítani. Nincs tényleges bitsebesség vezérlés.

Videotechnika 59 DCT alapú JPEG kódolás lépései Az alapértelmezett (fix) kvantálási és Huffman táblákat használva a kóder és dekóder szimmetrikus a műveletigényt tekintve. A DC differenciák osztályozása amplitúdó szerint, osztály, amplitúdó párok képzése. Az osztály Huffman kódolása + az amplitúdó változó hosszúságú egészként való kódolása (VLI). Az osztály megadja a VLI bitszámát. A koefficiens osztályba sorolása és azon belüli érték meghatározása. VLI képzés: pozitív számoknál a szükséges bitszámon előjel nélküli bináris ábrázolása, negatív számoknál ennek az 1-es komplemense.

JPEG VLI tábla, példa Videotechnika 60

JPEG hibák - ringing/blokkosodás Videotechnika 61