LOGO Kvatum-tömörítés Gyögyösi László BME Villamosméröki és Iformatikai Kar
Iformációelméleti alaok összefoglalása
A kódolási eljárás Az iformáció átadás hűsége és gazdaságossága a kódolástól függ Az iformáció átadási folyamat legfotosabb roblémája a kódolás és dekódolás művelete Forrás-ABC Közleméy Kód-ABC Csatora-ABC Kódközleméy A forrás által szolgáltatott iformáció az úgyevezett forrás-abc betűiek egymásutá írásával adódó sorozatok formájába jeleik meg. Ezeket közleméyekek evezzük. A csatorá a csatora-abc jeliből alkotott külöböző hosszúságú sorozatok formájába lehet iformációt átvii. Ezeket a sorozatokat evezzük kódközleméyek.
Jelkészlet Az előállítható kódféleségek számát meghatározza: A kód-abc jeleiek száma A kód hossza A kód-abc és meghatározott hosszúságú jelsorozat mellett továbbítható kód féleségek számát jelkészletek evezzük. Az m jelű kód-abc eseté milye hosszúságú jelsorozatot kell a csatorá továbbítai, hogy a redszer mide lehetséges állaotát kifejezhessük? V = m, log m V=log m m, =log m V/log m m, azaz =log m V. Általáosságba: V = m, ahol V - jelkészlet m - a kód-abc jeleiek száma - a kód hossza Ha a kód-abc biáris, akkor a jelkészlet: Bitek száma Jelkészlet = = 4 3 = 8
Jelkészlet Legye d f az adott kódredszerbe előforduló forrás- ABC jelek száma. Biáris csatora eseté: sz - a szükséges bitek száma sz = log d f [ bit ], ahol d f - a forrás-abc jeleiek száma. Egy jel átlagos iformáció tartalma így: I= sz /= log d f / = / log d f [bit/bit], ahol: - a kód téyleges hossza d f - a forrás-abc jeleiek száma
Etróia Valós redszerekbe az egyes szimbólumok előfordulási valószíűsége általába em azoos, így iformáció tartalmuk sem azoos. Az iformáció tartalom és az előfordulás valószíűsége fordított aráyba va egymással. Az egyes szimbólumok i valószíűséggel jeleek meg, ahol: i. Az átlagos iformáció tartalom az etróia d i i d i i H i log i bit / jel. Az etróia a redszerbe lévő határozatlaság redezetleség mértéke. Maimális értékét akkor veszi fel, ha mide állaot bekövetkezési valószíűsége azoos, vagyis ha i =/d f.
Etróia A d f jelű forrás-abc kódolásához szükséges kód-abc jelek száma: di di H log = log i i i idf df log log log df df df df d log log log log df. d d d f f f f Az etróia a valós redszerekbe előforduló szimbólumok átlagos iformáció tartalma. Az etróia egatív értéket em vehet fel. A kétállaotú redszer etróia változása a valószíűség függvéyébe: Ekkor mide állaot bekövetkezési valószíűsége azoos, így i =/d f.
Etróia Az a i szimbólumok megjeleéséek valószíűsége i a a a k k a K K Pr a k k Pr Példa: a b c d Pr / / 4 / 8 / 8
Meghatározása: k k k H log log a k k Pr Pr K k K k a a a a Etróia
Példa: Az egyes szimbólumok megjeleéséek valószíűségei legyeek: Pr a / b / 4 c / 8 d / 8 H k k log k log H log log log log 4 4 8 8 8 8 7 4
Etróia a a a k k a K K Pr a k k Pr H k k log k log H E[ log ] ahol E[ f ] f
Példa 3 3 log /8 / 8 4 / / Pr d c b a 4 7 3 8 3 8 4 H ] log [ H E Etróia
Etróia Az egyeletes eloszlásra : ~ Uif[ A] A Az A halmaz elemszáma Az egyes valószíűségek ekkor azoosak: H E[ log ] E[ log/ A ] log A Hogya változik az etróia, ha az eloszlás em egyeletes?,,..., ~ Egymástól függetleül,,...,... Meyire A véletleszerűség is álladó! véletleszerű?
...,...,, ] [log log,..., log H i i E i i f f f ] [ E Mivel, ] log [ H E Ie: Etróia
Etróia Így: log,..., H log,..., H H,...,, ahol H E[ log ], továbbá E[ f ] f. H,...,. ~ Uif[ A] eseté / A így,..., ~ Uif[ A] esetébe kostas, A H
Tiikus sorozatok Egy iformációforrás blokkjaiak létezik egy közel valószíűségű halmaza úgy, hogy ezekek a blokkokak a valószíűsége közel egyforma. Eze blokkokat hívjuk tiikus sorozatokak.,,...,, ahol H H,,..., : aforrásbetűkéti gyakoriság : tetszőleges ozitív szám, :üzeet hossza H : a sorozat etróiája.
Tiikus sorozatok ~ Uif[ A] eseté / A kostas, Ha elegedőe agy és e kicsi, akkor az e-tiikus sorozatok száma,..., ~ Uif[ A] egyeletes eloszlás mellett: A H Az.., hosszúságú sorozat valószíűsége edig:,..., H
Tiikus halmaz a a a k k a K K H,...,,..., ~ Uif[ A],ahol A H A tiikus halmaz megadása: A, A,
Tiikus halmaz H,...,,..., ~ Uif[ A], ahol A H A, : Olya sorozatok halmaza, amelyre:,,...,,,..., H H H H A, A,
Példa: Pézfeldobás Pézfeldobás {Fej, Írás} Dobjuk fel egy ézérmét kétszer egymás utá: {FF, FÍ, ÍF, ÍÍ} Dobjuk fel egy ézérmét alkalommal lehetséges kimeetel. Az etróiát a feldobások számával adhatjuk meg.
Példa: Pézfeldobás Példa a b c d Pr /4 /4 /4 /4 ki HH HT TH TT Az érmefeldobás lehetséges kimeetelei, illetve a kimeetek valószíűségei kétszeri feldobásra
Példa: Pézfeldobás a a a k k a K K A, H,...,,..., ~ Uif[ A],ahol A H,..., : hossza H feldobás ~ : hossza H feldobás
Kódolás Példa A a b c d Pr / 4 / 4 / 4 / 4 kód 0 0 00 hossz log4 log/ 4
Kódolás a a a k k a K K H,..., A,,..., ~ Uif[ A],ahol A H Háy bit szükséges az A halmaz elemeiek kódolásához? H bit
Tiikus sorozatok: élda Legye =0, az üzeetsorozatok: A 0 előfordulásáak valószíűsége legye P=0=3/4. Az előfordulásáak valószíűsége legye PY==/4. A feti sorozatok megjeleéséek valószíűségei:. /40. 3/44/46 3. 3/40 Legagyobb valószíűség ehhez tartozik. Azoba eze sorozat em jellemzi a 0 és statisztikai tulajdoságait. A. sorozat azoba tiikus, hisze megfelel 0 és forráselemek megjeleési valószíűségeiek.
Tiikus sorozatok: élda Hogya határozhatjuk meg a tiikus sorozatokat? Nagy számok törvéye: véletle eseméyt egymástól függetleül sokszor megismételve, egy valószíűségű elemi eseméy relatív gyakorisága agy valószíűséggel a értékhez közelít Nézzük a 0-k megjeleési statisztikáit az egyes sorozatokba:. 0/0 << ¾. 4/0 ¾ a legtiikusabb sorozat 3. 0/0 >> ¾. Az E-tiikus sorozatokra,,...,. H H
Tiikus sorozatok: élda Az előző három sorozat E-tiikusságáak vizsgálata sorá tegyük fel, hogy E=/3. Az E-tiikusságra voatkozó egyelőtleség alajá:,,...,. Legye / 3. H H H H A, 0 0 0 /33/4 0 4/33/4 = 0 0. 0: : 0 /3/4 0 4/3/4 4 6. =
Tiikus sorozatok: élda. sorozat : 0 k vizsgálata: 0 0 0. 0 0. sorozat : esek vizsgálata: 0 4 6. 0. sorozat : 0 k vizsgálata: 4 0 0 0. 0. sorozat : esek vizsgálata: 6 4 0 6. 3. sorozat : 0 k vizsgálata: 0 0 0 0. 0 3. sorozat : esek vizsgálata: 0 4 6. 0 Csak a második sorozatba teljesül az egyelőtleség! A sorozatok küzül így csak a második sorozat tiikus.
, y y y y Y Y Y, Y H H Y H,...,,..., i i i H H Lácszabály
], [log, ; Y Y y y D Y I E y y y y Y I,, log, ; ; Y H H Y I, ; Y H Y H H Y I Kölcsöös iformáció
Forráskódolás 00000000000000 A forrást a szimbólumok kimeeti valószíűségeikkel jellemezzük. Az egyes szimbólumok előfordulási valószíűsége egymástól függetle. Példa: Pézfeldobás sorozat: valószíűséggel fej, - valószíűséggel írás. A szimbólumok eloszlása ekkor 0,,,.
Kvatum-adattömörítés
Adattömörítés abcde R bit abcde bit tömörítés kitömörítés Cél: Azo legkisebb R meghatározása, amely eseté az eredeti üzeet még visszaállítható Shao: Az R értéke forrásetróiáál em lehet alacsoyabb: o H H l g.
Biáris etróia Az etróiafüggvéy értékei em-egatívak, értékeit a 0 és log d között veheti fel. A biáris etróia: H H, log 0log0 0 H H
Tiikus sorozatok A ézfeldobás eredméye valószíűséggel legye FEJ, illetve ÍRÁS - valószíűséggel. Így, feldobást követőe agy valószíűséggel FEJ, illetve - ÍRÁS kimeetet számolhatuk össze. összes üzeet A kimeetek száma hibavalószíűséggel közelíthető azok tiikus sorozataival: Tiikus sorozatok: FEJ kimeetek száma ÍRÁS kimeetek száma
Tiikus sorozatok Pr Pr log log, H A, tiikus sorozatok száma H összes üzeet A tiikus sorozatok előfordulási valószíűsége - hez tart. Tiikus sorozatok: FEJ kimeetek száma ÍRÁS kimeetek száma A kimeetek száma hibavalószíűséggel közelíthető azok tiikus sorozataival:
Tiikus sorozatok tömörítése Foglaljuk ideelt listába az összes lehetséges A forrás kimeete legye Y Ha Y em tiikus sorozat, akkor küldjük egy 0 bitet, majd a teljes Y üzeetet. Összese + bit. H, tiikus sorozatot:.. 3. 3 4. 4 Ha az üzeet Összese: tiikus, küldjük egy -est, majd az Y üzeethez tartozó sorszám értékét a táblázatból. H, bit Azaz, átlagosa csak H,- bit szükséges egy tömörített üzeet elküldéséhez.
Tiikus sorozatok tömörítése A táblázatos tömörítési módszerrel agyméretű üzeetek eseté a kimeetek változó hosszúságúak. A kimeetek átlagos mérete azoba megfelel a Shao etróiáak. Az algoritmussal az üzeetek kitömörítése hibátlaul végrehajtható. Azoba a kisebb üzeeteket milye algoritmussal tömöríthetjük? Megoldás: RögzR gzített hosszúságú tömörítés A forrás kimeete legye Y. Ha Y em tiikus, akkor H, darab 0-t küldük. Összese: H, Ha az üzeet tiikus, egy -est, valamit az Y üzeet táblázatbeli ideéek értékét küldjük. Összese: H, bit bit A rögzített hosszúság miatt leszek hibák,azoba a hibák száma elhayagolható.
Miért em érhető el az Shao-korlát alatti tömörítés? Legye R H, R Ekkor rögzített hosszúság eseté legfeljebb sorozat RH, tömöríthető hibametese, így Pr 0. Atiikus sorozatok Tiikus sorozatok Pr 0 Pr R H,, RH
Kvatum-tömörítés
A kvatum-iformációforrás A klasszikus értelmezésű ézfeldobás : A kvatum-éfeldobás kvatumállaotot állítja elő, valószíűséggel 0 kimeet, valószíűséggel kimeet. valószíűséggel 0 kimeet, valószíűséggel 0 kimeet. Általáosa: A kvatum-iformációforrás a kimeeti j valószíűséggel. j
Kvatum adattömörítés j j j3 tömörítés visszaállítás J j4 0 j5 0 J j,..., j... J j j... J j j F J F, J J J ahol F. F J J J
Mi az elérhető legjobb kvatum-tömörítés? Klasszikus ézfeldobás valószíűséggel 0 kimeet, valószíűséggel kimeet. Kvatum ézfeldobás valószíűséggel 0 kimeet, valószíűséggel 0 kimeet. A zaz: H. H? / H 0. 6. A Shao-féle H j korlátál jobb eredméy!
A kvatum etróia Legye adott az sűrűségmátri. j j j j A sajátértékeket tartalmazó diagoális mátri segítségével megadhatjuk a sűrűségmátri sektrális felbotását is: Neuma etróia: k k k k e e tr log. S k k log k. H Shumacher zajmetes csatorakódolási tétele: Az R tömörítés aráya em lehet kisebb az S Neuma-etróia értékéé. l k
Neuma etróia tulajdoságai S d 0 S log H,ahol a sajátértékei k k A B AB. S S S A B A B Szub-additivitás: S S S AB A B.
A tiikus halmaz Példa: 0 0, S H. Atiikus sorozatok Tiikus sorozato k:,..., S A tiikus részhalmaz:,...,, P. S j j j
A Schumacher-féle adattömörítés Az állaot bemérése. Az állaot j eleme a P tiikus részhalmazak? P, Q I P P Q j j 0...0 S Küldés: 0. Küldés: j. Kiegészítés 0 -val: j 0... 0. Iverz traszformáció: j 0... 0 j. Cél: F.
Klasszikus és kvatumfüggvéyek külöbsége klasszikus f f kvatum U f 0 f
Hogya állaítható meg az állaotról aak tíusa? klasszikus áramkör T 0 ha tiikus h a atiikus U T 0 T Mé rés. Az első regiszter állaotáak alakulása a mérés utá: P valószíűséggel: P P Q valószíűséggel: Q. Q
Az uitér j j 0... 0 traszformáció végrehajtása j klasszikus táblázat j j klasszikus iverz táblázat j j 0 3 kvatum táblázat j j iverz kvatum táblázat j 0 j j
Az uitér j j 0... 0 traszformáció végrehajtása Az állaot tömörítése, egyszerűsített jelölésmóddal: j U 0 j 0
A Schumacher-féle adattömörítés Az állaot bemérése. Az állaot j eleme a P tiikus részhalmazak? P, Q I P P Q j j 0...0 S Küldés: 0. Küldés: j. Kiegészítés 0 -val: j 0... 0. Iverz traszformáció: j 0... 0 j. Cél: F.
A Schumacher-féle tömörítés Tiikus/atiikus állaot? Tömörítés, továbbítás Dekódolás j U T U 0 0 U 0 mérés: 0 Ha az állaot tiikus, az első regiszter tartalma J P J J P J valószíűséggel lesz. P J J
A J visszaállíthatósága A J sűrűségmátrira: F F, J J J J J J J J P Q J J P J valószíűséggel, P valószíűséggel hibás. P J J P J J P J J Q J hibás hibás P P P P Q J J J J J J J J hibás hibás F P P J J J J J J P J. J J
Cél : F F F, P J J J J J J J J tr P J J J J Azoba.... Legye Ekkor J J J J 0 0 ; ;. 0 0 y y y y P tiikus F tr P y tr y y tiikus, y. tiikus, y y y tiikus
LOGO Köszööm a figyelmet! Gyögyösi László BME Villamosméröki és Iformatikai Kar