JPEG és fraktál alapú képtömörítő eljárások összehasonlítása és alkalmazási lehetőségei multimédia alapú anyagok fejlesztésénél (Comparison and Using Possibilities of JPEG and Fractal Based Image Compressing Methods in Developing Multimedia Based Materials) Berke József Pannon Agrártudományi Egyetem, Georgikon, Mezőgazdaságtudományi Kar, Szaktanácsadási, Továbbképzési és Informatikai Központ, Keszthely E-mail: berke@georgikon.pate.hu A teszt Internet címe: http://www.georgikon.pate.hu/visual.htm Kivonat A digitalizált vizuális információ (mozgó, álló) meghatározó szerepet tölt be a legtöbb multimédia alapú anyagban. A CD- ROM-ot, mint adathordozót napjainkra szinte kinőtték az igényesebb alkalmazások. Ugyan az elmúlt évben bevezetésre került egy új technológia /DVD/, azonban az erre optimalizált vizuális adatstruktúra is erőteljesen épít a redundáns vizuális információ veszteséges tömörítésére. Jól kidolgozott eljárások terjedtek el, melyeknek az adaptív DCT képezi az alapját. A fejlesztők és felhasználók számára kevésbé ismert, de rendkívül hatékony eljárás a képek belső szerkezeti szabályainak felismerésén alapuló, fraktál alapú tömörítő eljárás alkalmazása. Multimédia végfelhasználói szempontokat is alapul véve, pszichovizuális összehasonlító vizsgálatot végeztünk két veszteséges /JPEG és FIF/ tömörítő eljárás egymás közötti és tömörítetlen képekkel történő összehasonlítására laboratóriumi körülmények és Internet-en elérhető kérdések alapján. A cikk ismerteti a mérések eredményét és a multimédia alapú fejlesztéseknél való felhasználás gyakorlati lehetőségeit. Abstract Digitized information plays a great role in most multimedia-based materia. Even CD-ROMs are being outgrown by higher-level applications. Although a new technology (DVD) was introduced last year, the data structure optimized for this is likely to condense visual information in a losing way. There are several good methods based on adaptive DCT. A less well-known but extremely effective method is the (fractal compression) method based on the identification of the inner structure of images. In our study we made a psychovisual comparison between two losing image condensing methods ( JPEG and FIF) and uncompressed images in laboratory conditions and Internet based questionnaire. First we would like to introduce you the JPEG standard, then the fractal based compressing method, and lastly the materia itself (the original pictures and the compresssing programs). Our study overview the results and the practical possibilities of the developed multimedia based materials. 1. Bevezetés A digitalizált vizuális információ (mozgó, álló) meghatározó szerepet tölt be a legtöbb multimédia alapú anyagban. A CD-ROM-ot, mint adathordozót napjainkra szinte kinőtték az igényesebb alkalmazások. Ugyan az elmúlt évben bevezetésre került egy új technológia /DVD/, azonban az erre optimalizált vizuális adatstruktúra is erőteljesen épít a redundáns vizuális információ veszteséges tömörítésére. Jól kidolgozott eljárások terjedtek el, melyeknek az adaptív DCT képezi az alapját. A fejlesztők és felhasználók számára kevésbé ismert, de rendkívül hatékony eljárás a képek belső szerkezeti szabályainak felismerésén alapuló, fraktál tömörítő eljárás alkalmazása. Végfelhasználói szempontokat is alapul véve, pszichovizuális összehasonlító vizsgálatot végeztünk két veszteséges /JPEG és FIF/ tömörítő eljárás egymás közötti és tömörítetlen képekkel történő összehasonlítására. A méréseket laboratóriumi körülmények között és Internet-es kérdőívek alapján végeztük.
2. A JPEG szabvány[5] A JPEG (Joint Photographic Experts Group) szabvány (adaptív) diszkrét koszinusz transzformáción (DCT) alapuló képtömörítési eljárás, melyeket az ISO (International Standards Organization) és a CCITT (Consultation Committee on International Telephon and Telegraph) szervezetek által 1986-ban felállított munkacsoport fejlesztett ki. A látvány kismértékű romlása árán kb. 1/3 arányú tömörítés érhető el. A tömörítési arány illetve az esetleges minőségromlás mértéke felhasználói paraméterrel állítható. A JPEG szabvány kialakításakor ügyeltek a fejlesztők arra, hogy hardver és szoftver úton is egyaránt hatékonyan lehessen az eljárást alkalmazni. Az eljárás az egyes színösszetevőket /RGB/ egymástól függetlenül kezeli. Ha a tömörítés veszteségmentes lenne, nem lenne túl nagy jelentősége annak, hogy a képpontértékek milyen színrendszerben vannak ábrázolva. Mivel azonban a JPEG szabvány megengedi a veszteséget, értelemszerűen célszerű azt a képpontérték-ábrázolást választani, amely az elkövetett hibával szemben a legkevésbé érzékeny, illetve amelyben az adatok belső összefüggései a legnagyobb tömörítési arány elérését teszik lehetővé. Így a szokásos RGB színrendszer helyett az YUV színrendszert használja a JPEG. Ezáltal a színösszetevők adatai a látás szempontjából fontosabb és kevésbé fontos adatokra válnak szét. Az emberi látás ugyanis az ún. krominancia összetevőkre sokkal kevésbé érzékeny, mint az ún. luminancia összetevőre. Ebből következően, célszerű a színes képet a tömörítés előtt ebbe a színrendszerbe transzformálni. A tömörítő eljárás részletes leírásával nem kívánunk foglalkozni, mivel számos irodalmi hivatkozásban megtalálható, csupán röviden foglaljuk össze a szabvány lényeges elemeit: Az adott színösszetevőt ábrázoló képsávot egymástól független, 8*8 képpontból álló blokkokra bontjuk. A transzformáció végrehajtásával blokkonként 8*8 = 64 db., 2D (kétdimenziós) diszkrét bázisfüggvényhez tartozó együtthatót kapunk. Az eljárás képlettel a következőképpen fejezhető ki: (1) N 1 N 1 1 DCT( k, k ) = xn (, n )*cos( 2π( 2n + 1) k *( 4N) )* 1 2 1 2 1 1 n1= n2= 1 cos( 2π( 2n + 1) k *( 4N) ). 2 2 ahol: N a blokk mérete (a JPEG szabványban: 8) xn ( 1, n2 ) a képpontérték n, n, k, k blokk-relatív pozíciók 1 2 1 2 Az előbbi képlet közvetlen számításokra alkalmatlan, mivel valós adatokon nagyszámú művelet elvégzését igényli. A transzformáció igen hatékonyan számítható közelítése pl. az RVFFT (Real Valued Fast Fourier Transform) eljáráson alapul. Míg a blokk 64 képpontja egymással többnyire erősen korrelál, a transzformáció után kapott 64 együttható gyakorlatilag nem mutat belső összefüggést. A pszichovizuális kísérletek igazolták, hogy e 64 együttható nem azonos mértékben fontos az eredetit közelítő látvány létrehozásához (a magasabb frekvenciájú képtartalom-változást reprezentáló bázisfüggvények a látvány létrehozásában nem játszanak túl nagy szerepet). Így az együtthatók kvantálásakor figyelembe veszik, hogy a magasabb frekvenciájú összetevőkhöz tartozó együtthatók pontatlanabbul kódolhatók, mint az alacsony frekvenciához tartozóak. A szabvány rendkívül elterjedt /WWW, Multimédia, DVD, stb/, ismert és könnyen adaptálható tetszőleges alkalmazáshoz. 3. Fraktál alapú tömörítés A DCT transzformáción alapuló eljárásoktól gyökeresen eltérő, rendkívül hatékony képtömörítési módszer Michael Barnsley fraktál transzformáción alapuló eljárása [1], [2]. A tónusos vagy színes képek fraktálokon alapuló tömörítésének lényege, hogy természetben előforduló képek zöme éles kontúrokat, folytonos átmeneteket és általában ismétlődő (önhasonló) mintákat tartalmaz. A tömörítő program először felosztja a teljes képet apró részekre, majd minden egyes részhez (domain) megkeresi a hozzá leginkább hasonlító, de eltérő méretű és helyzetű másik részletet (range). Tároláskor a domainek színét és a leképezés adatait szükséges csupán menteni. A leképezéshez szükséges matematikai transzformációs eljárások jól ismertek.
A valós világról készített digitális képeken található objektumok kontrakció révén tetszőlegesen kicsire zsugoríthatók [3], [6], [7], [8]. A mögötte lévő matematikai transzformációs eljárások ismertek [1], [2], [9]. Feladat a képen található objektumok felismerése és meghatározása fraktálok segítségével. A részletes matematikai eljárás [2] ismertetésétől eltekintve megállapítható, hogy létezik a transzformációnak hatékony implementációja. Ugyan jelentős a tömörítés irányú számításigénye az eljárásnak / 8x6x24 pixelxpixelxbit-es kép esetén, Pentium 1 processzorral kb. 1-2 perc; Pentium 2MMX processzorral kb. 1/2 perc /, azonban a jelenlegi populáris processzorok számítási teljesítménye már alkalmas a feladat elvégzésére. Mivel a kitömörítés /helyreállítás/ sokkal gyorsabban elvégezhető / 8x6x24 pixelxpixelxbit-es kép esetén, Pentium 1 processzorral is csak 1-2 másodperc / mint a betömörítés, a multimédiás alkalmazásoknál gyakran használt állóképek esetén a felhasználók szinte nem is veszik észre. A helyreállítás után a kép nagyítható, s ekkor látszatra új részletek jönnek elő a globális mintázatok lokális ismétlésével. 4. Anyag /képek, tömörítő programok/ A méréseket alapvetően kétféle kérdéssorozat alapján végeztük: Laboratóriumi körülmények / azonos háttérvilágítás, azonos csúcsminőségű 17" monitorok, azonos szem-monitor távolság /. Internet-en elérhető tesztlap, megfelelő értékelést segítő, ajánlásokkal. Az eredeti képek mindegyike professzionális Kodak színes diára készült, majd PhotoCD-re került átírásra Kodak RFS 235 scanner digitalizálásával. A JPEG képeket Photoshop 3. és 4. képfeldolgozó program segítségével készítettük elő, melyek 24 bites tömörítetlen TIFF képek alapján kerültek tömörítésre. A fraktál alapú tömörítések az Iterated Systems, Incorporation szerveréről / http://www.iterated.com / szabadon letölthető program / Fractal Imager 1.1 / segítségével készült. Minden kép mérete 64 x 48 x 24 (pixel x pixel x bit) volt. Az eredeti képpel történő összehasonlítások során a kétféle tömörítő eljárás minőségi faktorait úgy választottuk, hogy a kapott file-ok átlagos mérete közel hasonló legyen. Így is a JPEG képek mérete közel kétszerese volt a FIF képekének. Az egymással történő összehasonlítás során a maximális minőségi faktort állítottuk mindkét tömörítés esetén. Ekkor is a JPEG képek mérete kétszerese volt a FIF képekének. 5. Tesztkérdések A tesztkérdések összeállításakor az alábbi szakmai és technikai szempontokat vettük figyelembe: A kérdések minimális szakmai ismeretekkel megválaszolhatók legyenek. WWW-re könnyen adaptálhatók legyenek a kérdések. Közel azonos körülmények biztosításával történjen a válaszadás. Rövid, egyszerű kérdéseket tartalmazzon a tesztlap. Könnyű legyen a válaszadás / megfelelő válasz beikszeléssel /. Maximálisan 1 kérdést tartalmazhat egy-egy tesztlap. Az alábbi táblázat a kérdések kiértékelés szempontjából fontos elemeinek összehasonlítását szemlélteti: Kérdések lényegi szempontja(i) Kapcsolódó kérdések száma Összehasonlítás Részletgazdagság eredeti + nagyított 2+2 Tömörítetlen - JPEG Színárnyalatok 2 Tömörítetlen - JPEG Színtelítettség 2 Tömörítetlen - JPEG Részletgazdagság eredeti + nagyított 2+2 Tömörítetlen - FIF Színárnyalatok 2 Tömörítetlen - FIF Színtelítettség 2 Tömörítetlen - FIF Színárnyalatok 1 FIF-JPEG Felismerhetőség 1 FIF-JPEG 1. táblázat A kérdések kiértékelés szempontjából fontos elemeinek összehasonlítása Laborban történt mérések során, minden válaszadó két tesztlapot töltött ki. Az egyik a tömörítetlen és a JPEG tömörített képeket, míg a másik a tömörítetlen és a fraktál tömörített képeket hasonlította össze. Mindkét kérdéssorozat között elhelyeztünk két-két azonos kérdést, amely a JPEG és fraktál alapú eljárásokat hasonlította össze. Laborban történt felmérések során a tömörítetlen és a tömörített / JPEG vagy fraktál / képeket összehasonlító kérdések az alábbiak voltak:
1. Mekkora az eltérés a két kép apró részleteinek láthatósága között? 2. Mekkora az eltérés a két kép geometriai alakzatainak torzulása között? 3. Mekkora az eltérés a két kép színárnyalatai között? 4. Mekkora az eltérés a két kép színtelítettsége között? 5. Milyen mértékben változott meg a kép apró részleteinek láthatósága a 2x nagyítás hatására? 6. Milyen mértékben változott meg a kép apró részleteinek láthatósága a 4x nagyítás hatására? 7. Milyen mértékben változtak meg a kép színárnyalatai a 2x nagyítás hatására? 8. Milyen mértékben változott meg a kép színtelítettsége a 4x nagyítás hatására? Míg a kétféle tömörített / JPEG és FIF / képeket összehasonlító kérdések az alábbiak: 9. Van-e eltérés a két képen az alakzatok felismerhetősége között? 1.Van-e különbség a két képen a színárnyalatok elkülönülése között? Internet tesztlap kérdései [1]: 1. Mekkora az eltérés a két kép /JPEG-FIF/ apró részleteinek láthatósága között? 2. Mekkora az eltérés a két kép /JPEG-FIF/ geometriai alakzatainak torzulása között? 3. Milyen mértékben változott meg a képek /JPEG-FIF/ apró részleteinek láthatósága? 4. Mekkora az eltérés a két kép /JPEG-FIF/ színtelítettség változása között? 5. Milyen mértékben változott meg a kép /FIF/ színárnyalatai 2x-es nagyítás hatására / részlet gazdag képen /? 6. Milyen mértékben változott meg a kép /FIF/ színtelítettsége 4x-es nagyítás hatására / részlet gazdag képen /? 7. Milyen mértékben változott meg a kép /FIF/ színárnyalatai 2x-es nagyítás hatására / árnyalat gazdag képen /? 8. Milyen mértékben változott meg a kép /FIF/ színtelítettsége 4x-es nagyítás hatására / árnyalat gazdag képen /? 9. Szubjektív megítélése szerint, mekkora eltérést tapasztal a két képen /JPEG-FIF/ az alakzatok felismerhetősége között (mennyire határozottak a kontúrok)? 1.Szubjektív megítélése szerint, mekkora a különbség a két képen /JPEG-FIF/ a színárnyalatok elkülönülése között? 6. Eredmények 6.1. Laboratóriumi vizsgálatok eredményei [4] Az eddig elvégzett laborbeli vizsgálatok több mint 1 fővel, az Internet vizsgálatok közel 1 fő eredményeinek értékelésével történt. A laborbeli méréseknél a résztvevők közel 8 %-a tanult felsőfokú informatikát. A teljes létszám 4 %-a multimédia alapú tantárgyakat is hallgatott / multimédia eszközök, multimédia szoftverek, számítógépes grafika /. A kísérletben résztvevők 1 %-a pedig digitális képfeldolgozást gyakorlati és elméleti szinten hallgatott. Az 1. ábra a tömörítetlen és a JPEG tömörített képek laboratóriumi körülmények között történő összehasonlításának eredményéit mutatja. Megállapítható, hogy szinte minden feltett kérdés / első nyolc kérdés / esetén a felhasználók jelentősnek, azaz zavarónak ítélték a JPEG 1/3 arányban tömörített képek és a tömörítetlen képek közötti eltérést. Különösen zavaró / idegen / volt szinte mindenki számára, a képek nagyításakor jelentkező digitális hatás. Ugyanezen kérdésekre adott válaszok során a felhasználók laboratóriumi körülmények között a fraktál tömörített és a tömörítetlen képek esetén észrevehetőnek, néhány esetben zavarónak ítélték az eltérést / 2. ábra /. Az emberi agy számára idegen digitális hatás nem volt érezhető a felhasználók között. A két tömörítő eljárás összehasonlításakor egyértelmű (szignifikáns) különbség mutatkozott a fraktál tömörített képek javára / 3. ábra /. Ez elsősorban a színárnyalatok visszaadása során volt feltűnően érezhető.
5 4 3 2 1 Nincs különbség Alig JPEG Alig FIF Láthatóan JPEG Láthatóan FIF Jelentősen JPEG Jelentősen FIF Nagy JPEG Nagy FIF Színárnyalat Felismerhetőség 1. Ábra Tömörítetlen - JPEG tömörített képek laboratóriumi körülmények között történő összehasonlításának eredményei 7 6 5 4 3 Színtelítettség 4x Színárnyalat 2x Részletek 4x Részletek 2x Színtelítettség 2 Színárnyalat 1 Nincs Alig Minimális Jelentős Nagy Alakzattorzulás Részletek 2. Ábra Tömörítetlen - FIF tömörített képek összehasonlításának eredményei, laboratóriumi körülmények között
45 4 35 3 25 2 15 1 5 Színárnyalat Nincs különbség Alig JPEG Alig FIF Láthatóan JPEG Láthatóan FIF Jelentősen JPEG Jelentősen FIF Nagy JPEG Nagy FIF Felismerhetőség 3. Ábra JPEG - Fraktál tömörített képek összehasonlításának eredményei, laboratóriumi körülmények között 6.2. Internet tesztlap eredményei Az Internet-en válaszadók: Nők : Férfiak aránya: 1 : 4 Legfiatalabb életkora: 1 év Legidősebb életkora: 44 év Átlagéletkor: 27 év A teszt WWW változata az alábbi címen érhető el [1]: http://www.georgikon.pate.hu/visual.htm. A tesztlap 1 kérdése közül 6 kérdés (első négy és utolsó kettő) a JPEG és a fraktál tömörítéssel készült képek összehasonlítására, míg a fennmaradó négy további kérdés a fraktál tömörített, árnyalatokban és részletekben gazdag képeken kinagyított részletekre vonatkoztak. Az Internet-en elérhető teszt eredményének értékelésekor megállapítható volt, hogy az eredeti méretű JPEG és FIF képek között szignifikáns minőségi különbség mutatkozik a fraktál tömörített képek javára /lásd 2. Táblázat és 4. Ábra /. Az eredeti JPEG vagy fraktál képről kinagyított (kétszeres nagyítás) részleten mind árnyalatokban, mind részletekben gazdag képek esetén jelentős-nagy (9. Kép - 4,8, 1. Kép - 3,92) minőségi különbség mutatkozott a FIF képek javára. Egy színárnyalatokban gazdag (7., 8. kérdések) és egy geometriai részletekben gazdag (5., 6. kérdések) fraktál tömörített képen a tömörítő eljárás nagyítását használva, megvizsgáltuk, hogy az egyes felhasználók milyennek találják a nagyítás látványbeli romlását. Bár a részletekben észrevehető, négyszeres nagyítás esetén néhol zavaró hatást találtunk FIF képeknél (JPEG nagyítás esetén a négyszeres nagyítás kimondottan zavaró), színárnyalatokban gazdag képen a kétszeres fraktál nagyítás hatása szinte alig volt észrevehető (2,25 ± 1,12). Igazán meglepőnek találtuk, hogy színárnyalatokban gazdag képen a négyszeres fraktál nagyítás hatása is szinte alig észrevehető (2,56 ± 1,2). Mindez egyértelműen alátámasztja azon tényt, hogy színárnyalatokban gazdag felvételek fraktál alapú tömörítése rendkívül jó és a nagyítás hatására történő látványbeli romlás minimális - alig észrevehető (nagyságrenddel jobb a JPEG-nél).
2 15 Eltérés árnyalatos képen Eltérés részletes képen 1 Színtelítettség Á 5 Nincs Alig Minimális Jelentős Nagy Részletek eltérése Á Alakzattorzulás R Részletek eltérése R 4. Ábra JPEG - Fraktál tömörített képek összehasonlításának eredményei, Internet alapján / A "R" jelölés a részletekben gazdag képet, míg az "Á" jelölés az árnyalatokban gazdag képeket jelzi. / 2 15 1 Árnyalatok változása 4x Á Árnyalatok változása 2x Á 5 Részletek változása 4x R Nincs Alig Minimális Jelentős Nagy Részletek változása 2x R 5. Ábra Fraktál tömörített képen a nagyítás vizsgálatának eredményei, Internet kérdőív alapján
Kérdés sorszáma Átlagérték Szórás 1. 2,9,93 2. 2,5 1,16 3. 2,73 1,1 4. 2,63 1,1 5. 3,13 1,19 6. 3,88,98 7. 2,25 1,12 8. 2,56 1,2 9. 4,8,93 1. 3,92 1,4 2. táblázat Az Internet-en feltett kérdésekre adott válaszok összefoglaló adatai 7. Felhasználási lehetőségek multimédia alapú fejlesztéseknél Multimédia alapú anyagok fejlesztésénél gyakran vetődik fel a kérdés, hogy milyen formátumban mellékeljük képanyagunkat. Kritikussá válik a probléma, amennyiben anyagunkat kereskedelmi forgalomban is szeretnénk megjeleníteni, ugyanis a CD-k előállítási költségei / mesterlemezé és a kópiáké is / jelentősen eltérőek a CD-re írott adatok mennyiségének függvényében. Ugyanazon minőség jelentősebb hely - ezáltal előállítási költség - megtakarítását teszi lehetővé, amennyiben fraktál alapú tömörítést alkalmazunk. Az általunk elvégzett mérések egyértelműen igazolták, hogy multimédia alapú fejlesztéseknél gyakran használt raszteres képméretekre (64x48, 8x6, 124x768) a fraktál alapú tömörítés a helymegtakarításon túl, jelentős látványbeli javulást is jelent a JPEG eljárással szemben. Különösen érezhető ez színárnyalatokban gazdag képek esetén, valamint a tömörített képek részleteinek kinagyításakor. Irodalom [1] BARNSLEY, M. F. (1988): Fractals everywhere, Academic Press, Inc., London. [2] BARNSLEY, M. F. - HURD, P. L. (1993): Fractal image compression, AK Peters, Ltd., Wellesley. [3] BATTY, M. LONGLEY, P. (1994): Fractal cities, Academic Press, Inc., London. [4] BERKE, J. - KOCSIS, P. - KOVÁCS, J. (1997): DCT és fraktál alapú képtömörítő eljárások pszichovizuális összehasonlítása (Psychovisual Comparison of DCT and Fractal Based Image Compressing Methods), Magyar Képfeldolgozók és Alakfelismerők Országos konferenciája (KEPAF Conference on Image Analysis and Pattern Recognition), Keszthely, 131-136. [5] BERKE, J. - HEGEDŰS, GY. CS. - KELEMEN, D. - SZABÓ, J. (1996): Digitális képfeldolgozás és alkalmazásai. Keszthelyi Akadémia Alapítvány, Keszthely, ISBN 963 4 7466 2. [6] ENCARNACAO, J.L. PEITGEN, H.-O. SAKAS, G. ENGLERT, G. editors (1992): Fractal Geometry and Computer Graphics, Springer-Verlag, Berlin Heidelberg. [7] MANDELBROT, B.B. (1982): The Fractal Geometry of Nature, W. H. Freeman, New York. [8] PEITGEN, H.-O. RICHTER, P.H. editors (1986): The Beauty of Fractals, Springer-Verlag, Berlin Heidelberg. [9] PEITGEN, H.-O. SAUPE, D. editors (1988): The Science of Fractal Images, Springer-Verlag, Berlin Heidelberg. [1] A teszt WWW változata: http://www.georgikon.pate.hu/visual.htm.