MÓDOSÍTOTT MÓDSZEREK MULTIMEDIA TARTALMAK HATÉKONY MEGJELENÍTÉSÉRE

Átírás

1 BUDAPESTI MŰSZAKI ÉS GAZDAGDÁGTUDOMÁNYI EGYETEM VILLAMOSMÉRNÖKI ÉS INFORMATIKAI KAR SZÉLESSÁVÚ HÍRKÖZLÉS ÉS VILLAMOSÁGTAN TANSZÉK MÓDOSÍTOTT MÓDSZEREK MULTIMEDIA TARTALMAK HATÉKONY MEGJELENÍTÉSÉRE Tran Minh Son Téz isfüzet Konzulens: Dr. Gschwindt András Szélessávú Hírközlés és Villamosságtan Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem Budapest, 2004.

2 1 Bevezetés A multimédia a szövegek, grafikák, hangok, animációk és videók összességét illetve kombinációját jelenti, amelyeket biztosítanak a végfelhasználóknak számítógépeken vagy más elektronikai berendezéseken keresztül. A multimédia komponensei beható hatást gyakorolnak az emberi érzékszerveire. Amikor olyan multimédiás anyagot / dokumentációt összeállítanak, amely elkápráztató képeket, animációkat, vonzó hangokat, lenyűgöző videókat, stb. tartalmaz, a szerkesztő egyszerre az ember több különböző érzékszerveit ingereli, például a szemet, a fület és ezeken keresztül az agyat. Következményképpen, a végfelhasználók (olvasók, hallgatók, nézők, játékosok) könnyen feldolgozzák a multimédiás anyagot, gyorsan és mélyen fogják fel a multimédia által hordozott információkat. A multimédia említett nagy előnye, nevezetesen az információ hatékony bemutatása, egyre több kutatót von be az új, de nagyon esélyes területre: a multimédia technológiába. A kutatások és fejlesztések ezen a területen két nagy csoportba oszlanak szét. Az első csoport kiemeli az önálló multimédiás berendezéseket és ezekhez kapcsolódó szoftveres alkalmazásokat, például zene szerkesztő eszközt, elektronikus tananyagot és interaktív videót. A kutatások a második csoportban kiszélesítik a multimédia lehetőségeit. Elosztott multimédiás rendszerek, több multimédiás állomány együttműködése és összehangolása játszanak fő szerepet ebben a csoportban. Videó konferencia és távoktatás képviselik a második csoport alkalmazásait. Természetesen mind a két csoport alkalmazza ugyanazt az elemi összetételt: digitális okat, amely több fajta médiából képekből, grafikákból, hangokból, zenéből és videóból tevődik össze. Ezért többek között, a multimédia számítás implicit módon egy fontos felot foglal magában. Ez a média digitális ának a hatékony tömörítése és kezelése. A disszertáció egy törekvést jelent az említett felnak megoldására. A széles média fajták közül, a kutatás a háromdimenziós (3D) objektumok és a videó tömörítését emeli ki. Ezek a komponensek jelentik a legköltségesebb okat, egyidejűleg fontos szerepet játszanak az információ élethű és dinamikus megjelenítésében. Emellett, a disszertáció a rendszer információ tömörítésével foglalkozik. Ez egy új fajta információ a multimédia technológiában, magasabb szinten helyezkedik a médiás okhoz képest, és ezeket vezéreli, összeköti a végtartalom kialakításának érdekében. Az új nemzetközi MPEG-4 szabvány mind a három komponenst tűzi ki célul, amely hangsúlyt és irányt ad a mostani kutatásokban. Ez a kiválasztott téma fontosságát illetve korszerűségét emeli ki. Mérési útmutató [L1] S. M. Tran, G. Marosi, sztereoszkópikus képmegjelenítés, SIRDS alapú autosztereogramok, BUTE-TTT, A kutatás céljai A disszertáció néhány új eredményt ismertet a következő három területen: 3D megjelenítésben, objektum alapú videó tömörítésében és interaktív tartalom 2 23

3 [C5] L. Konyha, S. M. Tran, K. Fazekas, A Gschwindt, Deployment of wavelet transform to VOP codec scheme, Conference on Video Processing and Multimedia Communications, Zadar, Croatia, June [C6] S. M. Tran, K. Fazekas, J. B. Pineau, A. Gschwindt, Full scheme of MPEG4-like codec based on wavelet transform, International Conference on Acoustics Speed and Signal Processing, Florida, USA, May [C7] S. M. Tran, K. Fazekas, J. B. Pineau, Alternative methods for encoding residual error in video codec scheme, Conference on Digital Signal Processing and Multimedia Communications, Kosice, Slovakia, November [C8] L. Konyha, S. M. Tran, B. Enyedi, K. Fazekas, A. Gschwindt, Multiresolution Image Decomposition Using Wavelet Transformation, Conference on Using Technology in Open and Distance Learning, Maribor, Slovenia, September [C9] S. M. Tran, K. Fazekas, J. B. Pineau, intensively MESH-based scheme of MPEG4-like codec for low bit-rate multimedia communications, 6 th International Conference on GeoComputation, Brisbane, Australia, September [C10] S. M. Tran, J. B. Pineau, K. Fazekas, MPEG4-like codec scheme for low bit-rate multimedia communications, Conference on Digital Signal Processing for Multimedia Communications and Services, Budapest, Hungary, September [C11] S. M. Tran, K. Fazekas, A. Gschwindt, Generalized Single Image Random Dot Stereograms algorithm applied to still- and moving 3-D scene, Conference on Video Processing and Multimedia Communications, Zadar, Croatia, June [C12] S. M. Tran, K. Fazekas, A. Gschwindt, 3-D image presentation: Single Image Random Dots Stereogram algorithm applied to moving objects, IEEE International Workshop on Intelligent Signal Processing, Budapest, Hungary, May [C13] S. M. Tran, K. Fazekas, A. Gschwindt, 3-D image presentation: new technique for hidden-surface removal in SIRDS algorithm, IEEE Instrumentation and Measurement Technology Conference, Budapest, Hungary, May Technikai beszámolók [R1] M. Preda, F. Preteux, S. M. Tran, MPEG-4 for fun: demonstration of multimedia gaming, ISO/IEC JTC1/SC29/WG11, MPEG02/M9301 Awaji, Japan, December [R2] S. M. Tran, J. B. Pineau, K. Fazekas, D. Barba, Content-based image coding for multimedia services (COBIC), French Hungarian Balaton 2000 program, report for the 2 nd year, Nantes, France, December kialakításában. A célokat és ennek a kibontott felait röviden foglalom össze az alábbiakban. Az egy-képes véletlenszerűen kiválasztott pontokra alapozott sztereó kép (SIRDS) egy híres technikát takar, amely hagyományos kétdimenziós (2D) képpel képes megjeleníteni 3D objektumokat élethű mélység információval. A kutatás célja, hogy tanulmányozza és kifinomítsa az algoritmust, hogy jobban emelje ki a jó tulajdonságát. Az ún. pixel-megkötöttség kiszámításához, levezettem egy általánosított képletet, amely biztosítja a geometriai hibától mentes számítást bonyolult 3D jelenet esetén. Takart felület eltávolítása az önálló sztereó kép (a SIRDS alapján generált sztereó kép) láthatóságában fontos szerepet játszik. Ismertettem egy új algoritmust a takart felület felismerésében. Az új algoritmus nemcsak a meglevők egyesített formáját testesíti meg, hanem a skálázhatósággal is rendelkezik. A SIRDS algoritmust bővítettem a mozgó szférára. Meghatároztam a problémát a mozgó önálló sztereó kép jelen generálásában, nevezetesen színmegkötöttséget. A probléma megoldására javaslatokat is tettem. A nemrég született MPEG-4 szabvány új korszakot nyit a multimédia tömörítés előtt. Az MPEG-4 kódoló elsőként kezeli az objektum alapú videókat a jobb tömörítésnek, illetve a végső multimédiás jelenet rugalmas összeállításának érdekében. A disszertáció második célja, hogy videó objektumokon (VO) alapuló kódeket továbbfejlessze, biztosítsa a hagyományos frame alapú kódekhez való illesztését és javítsa a hatékonyságát vegyes kommunikációs csatornában. Új kódek sémát dolgoztam ki az ún. integrált háló alapú videó objektumok (IMVO) számára. A sémában levő új IMVO-k bevezetése két célt szolgál. Elsőként, MPEG-4 szabványtól eltérően, az IMVO detektálását is meghatároztam, hogy simítsam az átmenetet a frame alapú rögzítő berendezéstől az objektum alapú kódekig. Másodikként, IMVO kódolási folyamata több hatékony metódus javított változatát foglalja magában egy teljes önálló sémában. Ezek a metódusok a következők: a kényszerített Delaunay-féle háló alkalmazása a tetszőleges alakkal rendelkező VO reprezentációjára, a háló alapú mozgás-becslés felhasználása a VO időbeli rekonstruálására, a wavelet transzformáció és hatványsorok kibontásának alkalmazása a mozgás-becslésből keletkező különbségi hiba kódolására. Az MPEG-4 szabvány szintén elsőként gondoskodik a multimédiás jelenet szerkesztéséről és interaktivitásáról. Ez újdonság feltárása is a kutatás egyik célja. A jelenet bináris leírását (BIFS) az új szolgáltatás fő hajtó eleme tanulmányoztam. Egy törekvést mutattam be, hogy a BIFS információ legyen könnyebben kezelhető egy ember-barát, szoftver-kódolástól mentes eszköz segítségével. BIFS lehetőségeket kiértékeltem az által, hogy egyrészt különböző bonyolult szintű multimédiás jeleneteket generáltam, másrészt a Flash technológiával amely egy érett eszköz az Internetes multimédiás jelenetek fejlesztésére hasonlítottam össze BIFS képességeit. BIFS struktúrában levő kiegészítést is javasoltam, hogy javítsam a BIFS kapacitását a nagyon bonyolult multimédiás jelenet kialakításában (például multimédiás játék generálásában). 3

4 A disszertációban levő analízisre és kiértékelésre szolgált szoftveres implementáció mind a saját fejlesztésem. A cél az, hogy ezek az eszközök kézzel foghatóak és újra használhatóak legyenek a kapcsolodó területeken folyó további kutatások számára. 3 A kutatás módszertana A SIRDS-re vonatkozó algoritmusok és képletek többsége a geometriai matematikán alapulnak. A hatékonyság kimutatásának érdekében, szoftveres implementációt alkalmaztam. Az önálló sztereó kép láthatóság kiértékelése mind a matematikai modellben mind a szubjektív emberi észlelésben gyökerezik. Az IMVO séma kidolgozása mindenekelőtt az MPEG-4 videó kódolásban definiált eszközök intenzív tanulmányozásának köszönhető. A felülről lefelé tervezéssel kialakítottam az új kódek sémát: a sémában szerepelt minden elemi funkcionális egységeket megneveztem és összekötöttem egy teljes zárt láncban; ezután az egyéni beállításra kerül sor, hogy minden egyes egység, főleg a kulcsfontosságú elemek lehetőleg legjobban működjön. Matematikai eszközöket, például matematikai felbontást, wavelet transzformációt, interpolációt illetve gráf elméletet alkalmaztam ezekben az egyéni beállításokban. A disszertáció keretében, még foglalkoztam a BIFS okkal. Ezek a legújabb fajta ok, amelyek gyökeres fordulatot nyitnak meg a videó kódolásában. Az elért eredmények a fokozatos tanulmányozási módszernek köszönhetőek. Először a BIFS által nyújtott szolgáltatásokat ismertettem. Majd ezek felhasználásának a megkönnyebbítését mutattam be. Az eredő alkalmazások teljes körét illusztráltam egy másik érett technológia összehasonlításával. Végül a BIFS növekvő teljesítményének érdekében, a BIFS struktúra kiegészítését javasoltam. 4 A disszertáció struktúrája A disszertáció struktúrája a következő: Az első fejezetben a kutatás jelen körülményeit illetve a motivációkat mutatom be. Ez a fejezet bevezetésként a kutatás eredményeit és ezek levezetésének struktúráját ismerteti meg. A második fejezetben, a SIRDS algoritmust és a kapcsolódó eredményeket mutatom be. Az algoritmus áttekintéséről, a pixel-megkötöttségnek illetve takart felület eltávolításának új számítási képleteiről és a mozgó önálló sztereó kép generálásának a kutatásairól tárgyalok ebben a fejezetben. A harmadik fejezetben, a videó kódolási, a nemzetközi MPEG családból származott eljárásokat foglalom össze, az objektum alapú tömörítést kiemelve. Az IMVO kódek sémát részletesen mutatom be ebben a fejezetben. [53] C. Tryfonas. MPEG-2 transport over ATM networks, MSc. Thesis, University of California Santa Cruz, USA, [54] ISO/IEC JTC 1/SC 29/WG11 N4668, MPEG-4 Overview, March [55] ISO/IEC JTC 1/SC 29/WG11 N4674, MPEG-7 Overview, March [56] ISO/IEC JTC 1/SC 29/WG11 N5231, MPEG-21 Overview, October Publikációk Folyóirat cikkek [J1] S. M. Tran, K Fazekas, A. Gschwindt, The Presentation of Threedimensional Objects With Single-Image Stereogram, IEEE Transactions on Instrumentation and Measurement, Vol. 51, No. 5, October [J2] S. M. Tran, G. Marosi, A. Gschwindt, Case study of autostereoscopic mage based on SIRDS algorithm, Periodica Polytechnica, 2001/45/2. [J3] S. M. Tran, J. B. Pineau, K. Fazekas, MPEG4-like codec scheme for advanced multimedia communications, Journal of the Communications and IT Sciences Association, Volume LVI 2001/4. [J4] S. M. Tran, G. Marosi, A. Gschwindt, SIRDS algoritmus és 3D képmegjelenítés vizsgálata, Magyar Távközlés journal, March [J5] S. M. Tran, I. Kovács, A. Gschwindt, Digitális televízió jelenlegi helyzete a világon, Magyar Távközlés journal, September [J6] S. M. Tran, N. Bokor, A. Gschwindt, A hologram és a számítógépes szintézise, Magyar Távközlés journal, March Konferencia cikkek [C1] S. M. Tran, M. Preda, F. J. Preteux, K. Fazekas, Exploring MPEG-4 BIFS features for creating multimedia games, IEEE International Conference on Multimedia and Expo, Baltimore, USA, July [C2] S. M. Tran, M. Preda, F. J. Preteux, A. Gschwindt, An MPEG-4 BIFS based authoring tool for multimedia content, International Conference on Image and Signal Processing, Agadir, Marocco, June [C3] S. M. Tran, M. Preda, F. J. Preteux, K. Fazekas, Case study: a simple composing tool for editing MPEG-4 system information, 4 th European Workshop on Image Analysis for Multimedia Interactive, Queen Maryland, United Kingdom, April 2003 [C4] S. M. Tran, J. B. Pineau, K Fazekas, A. Gschwindt, Mesh-based errorscalable Video Object Codec for Variable Bandwidth Multimedia Communications, the International Conference on Image Processing, Rochester, Newyork, USA, September

5 [32] A. Said, W. A. Pearlman. A New Fast and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees, IEEE Transaction on Circuits and Systems for Video Technology, Vol. 6, June [33] M. A. Weiss. Data Structures and Algorithm Analysis, the Benjamin/Cummings Publishing Company, Inc, [34] ISO/IEC : Information technology coding of audio - visual objects: system part, 2002 March. [35] ISO/IEC JTC1 / SC29 / WG11 MPEG99 / M5950, BIFS/OD Encoder version 4.0, November [36] ISO/IEC JTC 1/SC 29/WG11 N5546, Information technology Coding of audio-visual objects Part 2: Visual, March [37] ISO/IEC JTC 1/SC 29/WG11 N3995, Text of MPEG-4 Audio 2001 Edition, March [38] ISO/IEC JTC 1/SC 29/WG11 N4699, Information technology Coding of audio-visual objects Part 1: Systems Amendment 2: Textual Format. [39] ISO/IEC : 1998, Information technology Computer graphics and image processing The Virtual Reality Modeling Language Part 1: Functional specification and UTF-8 encoding. [40] ISO/IEC : 1998 / Amd.1, Information technology Computer graphics and image processing The Virtual Reality Modeling Language Part 1: Functional specification and UTF-8 encoding, Amendment 1: Enhanced interoperability. [41] F. Pereira, T Ebrahimi. The MPEG-4 book, IMSC Press Multimedia Series/Andrew Tescher, [42] S. Boughoufalah, J. Cl. Dufourd, F. Bouilhaguet. MPEG-Pro: An Authoring System for MPEG-4 with Temporal Constraints and Template Guided Editing, ICME2000 Technical Program. [43] Synchronized Multimedia Integration Language (SMIL) 1.0 Specification, [44] ISO/IEC DIS Information technology - ECMAScript: A general purpose, cross-platform programming language [45] Website of ENST, 4/index.html. [46] C. Concolato, J. C. Dufourd. Comparison of MPEG-4 BIFS and some other multimedia description languages, Workshop and Exhibition on MPEG-4, WEPM 2002, San Jose, California, USA. [47] Website of Envivio, [48] Website of Philips, [49] Website of DivX, [50] Gallery of Flash-based games, [51] Macromedia, Inc., [52] UML homepage, 20 A négyedik fejezetben, MPEG-4 BIFS struktúráját ismertetem. A fejezet fő témái az új lehetőségek feltárása, hatékony kezelésük és a kiegészítési javaslatok az új szolgáltatás kihasználásának érdekében. Az utolsó fejezetben, konklúzióval, az elért eredmények lehetséges alkalmazásaival illetve további kutatási perspektívával zárom le a disszertációt. 5 Új eredmények összefoglalása A disszertációban elért eredmények három csoportba sorolhatók a következőképpen: a módosított SIRDS algoritmus, az új IMVO kódek séma és az MPEG-4 BIFS feldolgozása. 5.1 Az általánosított SIRDS algoritmus SIRDS algoritmus a ritka technikáknak az egyike, amely a 3D jelenet mélységi információját rekonstruálja anélkül, hogy bonyolult és drága berendezéseket igényelne a szolgáltatók, illetve a felhasználók oldalán. Az algoritmus által generált képek önálló sztereó képek, vagyis autosztereógram tulajdonképpen hagyományos 2D képek. Ezek mégis mások, hiszen a megfelelő megtekintéssel, egy igazi 3D jelenet észlelhető. Az 5-1 ábra egy autosztereógramot mutat be. (a) Véletlen pontokból álló autosztereógram. (b) 3D objektum látható az 5-1a ábrában. A világosabb felület közelebb, mint a sötétebb. 5-1 ábra: Konvencionális autosztereógram és rejtett 3D objektuma. Tézis 1: A SIRDS algoritmus konvencionális számítását kiterjesztettem néhány új szférába. Levezettem egy teljes mértékben paraméterezhető képleteket. A megkötöttségek feloldásával, általánosítottam a képleteket úgy, hogy azok használhatóak legyenek, még ahol az ún. lebegő szem 5

6 feltételezése sem érvényes. Bevezettem a takart felület eltávolítás egy új módszerét, amely rendelkezik a skálázhatósággal. Az új módszer örököli a meglevők tulajdonságait, méghozzá az ember korlátozott érzékelését is figyelembe veszi. Meghatároztam a problémát, amelyet szem előtt kell tartani a mozgó autosztereógram generálásában a SIRDS kezdeti területén. Három módszert javasoltam a probléma fokozatos megoldására. A statisztikai teszt alapján, kimutattam néhány fontos következtetést a kevés hamis illúzióval rendelkező autosztereógram generálásában. A SIRDS algoritmus konvencionális implementációja [3], [5], [9], [12] szerint, a rejtett 3D objektumot két képzeletbeli párhuzamos sík közé helyezik, mint az 5-2 ábrában. Az ábrában a két sík a Közel sík-kal illetve a Távol sík-kal van jelölve. A 3D objektum felületén levő minden egyes A pontját az IP-vel jelölt síkre (az eredő autosztereógram síkjára) vetítik a S 1 A és S 2 A fénysugárral, amelyek egy virtuális néző két S 1 és S 2 szemeitől indulnak. A SIRDS algoritmus titkája a Bal kép / Jobb kép pozíciójának illetve a közöttük levő ISS távolságnak a meghatározása (lásd. 5-2 ábrát). A Bal kép, a Jobb kép és az ISS távolság számításának érdekében, két feltételezést kell megtartani a konvencionális implementáció alapján a következőképpen: 1. A távol síkot az IP sík mögé helyezik ugyanazon a távolságon, ahogy a virtuális néző szemei vannak előtte. IP Közel sík Távol sík y 1 z 0 E 6,35cm S 1 S 2 Lebegő szemek együtt mozognak az A ponttal. ISS Bal kép Jobb kép A(x,y) µ.d D D 5-2 ábra: Geometriai elvek, amelyeken a konvencionális SIRDS algoritmus alapszik. x [13] E. Trucco, A. Verri. Introductory techniques for 3-D computer vision, Prentice Hall [14] DISTIMA Digital Stereoscopic Imaging & Applications, Euroupean Project for Advanced telecommunication on Image Processing, [15] ISO/IEC JTC1/SC29/WG11 N3908 MPEG-4 Video Verification Model version 18, January 2001/Pisa. [16] ISO/IEC JTC1/SC29/WG11 N2303 Description of Core Experiments on 3D Model Coding, July 1998/Dublin. [17] L. Wu, J. B. Pineau, D. Barba. Spatio-temporal segmentation of image sequences for object oriented low bit-rate image coding, Signal Processing: Image Communication, a EURASIP journal, vol 8 sept [18] J. B. Pineau, P. Verbert, D. Barba. Joint tracking of region-based and mesh models of 2D VOPs in video sequences, Proc. of VCIP 2000, Perth, Australia, June [19] J. B. Pineau, H. Hornegger, D. Barba. Representation of hierarchical VOPs in video sequences by semi-delaunay adapted meshes. VLBV 98, Oct , Urbana, IL. [20] A. Mahboubi, J. B. Pineau, D. Barba. Tracking of objects in video scenes with time varying content, WIAMIS 2001, May, Tampere, Finland. [21] M. Dudon, O. Avaro, C. Roux. Triangular active mesh for motion estimation, Image Communication 10 (1997). [22] G. Wolberg. Digital Image Warping, IEEE Computer Society Press, [23] ISO/IEC JTC1/SC29/WG11 MPEG98/W2301, SNHC Verification Model 9.0 [3D Mesh Encoding] July 1998/Dublin. [24] J.R. Shevchuk. Triangle program, [25] J. R. Shevchuk. Delaunay Refinement Algorithm for Triangular Mesh Generation, Ph.D. thesis, University of California at Berkeley, [26] P. Rozsa. Linear algebra and its applications, Tankonyvkiado, Budapest [27] H. J. Barnard. Image and Video Coding Using a Wavelet Decomposition, Ph.D. thesis Technische Universiteit Delft, [28] M. Antonini, M. Barlaud, P. Mathieu, I. Daubechies. Image Coding Using Wavelet Transform, IEEE transactions on Image Processing, Vol. 1, No. 2 April [29] J. D. Villasenor, B. Belzer, J. Liao. Wavelet Filter Evaluation for Image Compression, IEEE Transactions on Image Processing, Vol. 4, No. 8, August [30] G. Davis. Baseline Wavelet Transform Coder Construction Kit, [31] K. R. Rao, P. C. Yip. The Transform and Data Compression Handbook, CRC Press

7 A szüleim és a nővérem határtalan támogatásának és bátorításának. A disszertáció befejezésével, kifejezem a hálámat nekik az értem tett erőfeszítésekért. A feleségemnek Tran Phuong Quynhnak a szerelemért és a boldogságért, aki állandóan jelent egy másik fontos értéket, egy másik jellegű célt az életemben. A konzulensemnek, Professzor Gschwindt András számára, hogy bevezetett engem erre az érdekes kutatási irányba. Az ötletei és segítségei mindig az iránytűt jelentik számomra. Professzor Fazekas Kálmán részére. A vele való eredményes vitának és a szakmai véleményezésének közvetlen gyümölcsei fontos szerepet játszanak a disszertációban. A Média Technológia Laboratórium és a tanszék munkatársaimnak. Az a tényező, hogy a tudományos körülményt, a szakmai jártas és barátságos hangulatot teremtik körülöttem, kipótolhatatlan eleme a kutatásom sikerének. Professzor Benois-Pineau Jenny, Professzor Preteux Francois és Dr. Preda Marius számára. Az általuk biztosított ösztöndíjas áthallgatások, a hasznos tapasztalatok / implementációk csere és a jó barátság fontos fordulatot jelentettek a kutatásomban. Utoljára de nem utolsóként, a Magyar Ösztöndíj Bizottságnak, főleg Dr. Striker Juditnek az anyagi támogatásért és az adminisztrátív segítségért. Felhasznált irodalmak [1] T. Vaughan. Multimedia making it work. Osborne McGraw-Hill, [2] B. Furht, S. W. Smoliar, H. Zhang, Video And Image Processing in Multimedia Systems. Kluwer Academic Publishers, [3] H. W. Thimbleby, S. Inglis, I. H. Witten. Display 3D Images: Algorithms for Single Image Random Dot Stereograms, IEEE Computer, 10/1994. [4] I. Sexton, P. Surman. Stereoscopic and autostereoscopic display systems, IEEE Signal Processing Magazine, May [5] A. A. Kinsman. Random Dot Stereograms, Kinsman Physics [6] T. Tonnhofer, E. Groller. Autostereogram Classification and Experimental Investigation TU Vienna, Technical report, TR , [7] B. Julesz. Experiment in perception, Psychology Today, 1968, Vol. 2 No. 2. [8] B. Julesz. Foundation of Cyclopean Perception, the University of Chicago Press, [9] P. Chang, G. Richards. Welcome to the Gareth and Peter's SIRDS pages, [10] 3D movie, [11] D.H.Evans. 4D computer output, [12] W.A.Steer. Stereograms: technical details, Azt tételezik fel, hogy a virtuális néző S 1 és S 2 szemei lebegnek az IP sík fölött úgy, hogy a 3D objektumon levő A pontjának minden lehetséges pozíciójánál, a S 1 AS 2 háromszög mindig egyenlő szárú legyen. Emellett, e háromszög síkja mindig vízszintes legyen. A Bal kép és a Jobb kép pozíciója egy megkötöttséget jelent az autosztereógram tényleges mintázatának megállapításában: ebben a két pozícióban, pixel-eknek azonos világossággal / színnel kell rendelkezniük. A megkülönböztetés érdekében, ezt a megkötöttség típusát pixel-megkötöttségnek ezután PC-vel jelölöm nevezem. A rejtett 3D objektumon levő minden A pontból eredő PC-eket kell betartani. Néhány speciális esetben, bizonyos PC-eket figyelmen kívül hagyják amiatt, hogy a rejtett 3D objektum elhelyezkedési felületei részben takarják saját magukat. Ilyen helyzet kimutatható az 5-3 ábrán. Annak ellenére, hogy a x 1 és x 2 pixel-pár részt vesznek az A pont által létrehozott PC-ben, a pixelek mégsem azonos világossággal / színnel rendelkeznek a végleges autosztereógramban. Az oka az, hogy az A pont nem látható a virtuális néző számára: létezik a 3D felület olyan része, amely a S 1 szem felé irányuló AS 1 fénysugarat megakadályozza. E jelenség indokolja a SIRDS algoritmus egy másik fontos felát, nevezetesen takart felület eltávolítását (rövidesen HSR-t). A felnak a célja, hogy detektálja a takarás által hatástalanná vált PC-eket. S 2 z 1 z C1 z B z A 0 y E/2 S 1 Szemek t IP Közel sík Távol sík D ad 5-3 ábra: Takart felület eltávolításának geometriája. Tézis 1.1: Az eredeti algoritmusban levő megkötéseket fokozatosan feloldva, általánosítottam az ISS és HSR képleteit. x 2 x 1 D 2 D 1 B 1 C 1 B 2 C 2 µ.d A x Rejtett 3D objektum felülete 7

8 A lebegő szemek feltételét fenntartva [J1], [J2], [J4], levezettem az ISS és HSR képleteket, amelyek alkalmazhatóak az IP mögötti, tetszőlegesen elhelyezett Távol sík esetén. A képletek következőképpen írható le: 8 ( 1 µ z) E ISS = 1+ a µ z ( 1+ a µ z ) ( 5.1) 2 t A Látható ha i { 1,2} z < z + C A Az A pont = i µ E ( 5.2) Nem látható egyébként A pozitív valós a paraméter az IP-tól a mögötte elhelyezkedett Távol sík-ig illetve az előtte elhelyezkedett S 1, S 2 szemekig terjedő távolságok aránya. E mennyiség a Távol sík-nak az IP mögött levő tetszőleges pozícióját foglalja magában. Mind a két feltételt feloldva [J1], [C11], [C13], bevezettem az ISS és HSR képleteket az autosztereógram szokásos nézése esetén (NVA). Ha a rejtett 3D objektum tetszőleges A pontja x és y koordinátákkal rendelkezik, a képletek a következőképpen írhatóak: x y bal bal = X = y szem jobb ISS E = Y szem + 1 ISS E ISS E + 1 x ; ISS E x y jobb = ( X + E) eye ISS E + 1 ( 1+ a µ z ) ISS E x ( 5.3) K i A Látható ha i { 1,2} z < z + C A Pont A = i µ ( 5.4) Nem láható egyébként ahol az ISS mennyiség újrahasználható az (5.1) képletből és 2 2 ( x ) ( ) B xa + yb y i A 2 2 ( X x ) + ( Y y ) K = i i eye A eye A { 1, 2} i. Az 5-4 ábra az (5.3) és (5.4) képletekben használt jelölések értelmezését tünteti fel. Az ábrában szerepelt SO tárgy az autosztereógramban rejtett 3D objektumot illusztrálja. tudományos lépésnek tekinthetőek a mozgó autosztereógram generálása számára. A PC szerepe felhasználható az ún. két és fél dimenziós látás kialakítására, ahol a 3D rendszerben levő objektumok csak a relatív elhelyezkedésük (ez egy extra fél dimenziót jelent) lenne érdekes, de nem áll a rendelkezésre a teljes 3D továbbítása. A multimédia gazdag elemei között, videó a legfontosabbak egyike. A 3D megjelenítéshez hasonlóképpen, a videó alkalmazása vonzóvá, információ-dússá váltja a multimédiás jelenetet, de egyszerre a legtöbb fejfájást okozza a hatalmas -mennyiség kezelése miatt. Az új IMVO kódek a problémára irányuló tömörítési eljárásokhoz járul hozzá. Egyrészt a séma önálló objektumokként kezeli a videók kódolásait. Így a kódek kimenetei könnyen szerkeszthetőkké válnak a bonyolult multimédiás jelenet kialakításában. Másrészt a séma egy komplett módszert jelent. Másképpen fogalmazva, a séma az objektum alapú videó kinyerését a frame alapú, konvenciós rögzítő berendezésekből, majd ennek a tömörítését is foglalja magában. Következményképpen, a séma közvetlenül egészben alkalmazható a jelenet alkotásában más külső segítő feldolgozás nélkül. A sémában levő funkcionális egységek közötti kapcsolatok jól vannak definiálva, ez a séma rugalmasságát jelent: az egységek, mint független entitások kicserélhetőek, továbbfejleszthetőek, hogy jobban illeszkedjenek az adott alkalmazáshoz a séma egészében újra kidolgozása nélkül. Az IMVO tömörítési eljárás még skálázható. Így, a séma vegyes alkalmazásokra való felhasználását egyaránt biztosítja. A disszertációnak másik eredmény-csoportja a multimédia legkorszerűbb kutatására irányul: a multimédiás jelenet szerkeszthetősége és interaktivitása. Az ember-barát szerkesztő eszköz koncepciója kerül a kidolgozása. A szerkesztő eszköz megkönnyíti a fejlett multimédiás jelenetnek a létrehozását. Ezen keresztül elősegíti a MPEG-4 BIFS által biztosított interaktív szolgáltatások előrehaladását, amely még mindig a kezdetleges fázisban van jelenleg. A BIFS struktúrának módosítása javítja a MPEG-4 interaktív képességét. Így az MPEG-4 segítségével, bonyolult jelenetek (de legjobban kiemeli a multimédia erőségét), nevezetesen multimédiás játékoknak a kialakítása is áll rendelkezésre. Ilyen alkalmazások nagy lehetőséget nyitnak az MPEG-4 és együttesen az MPEG család előtt. Hiszen MPEG szabvány már két legfontosabb tulajdonsággal rendelkezik: a nemzetközi nyíltság és az interaktivitás teljes támogatottsága. Az előző tényező biztosítja a széles hardveri sablonra való kiterjesztését, például személy számítógépben, televízió digitális kiegészítő egységében, személy digitális segítő eszközben (PDA), mobil készülékben, stb. Míg az utóbbi tényező megvalósíthatja a kiemelt multimédiás tartalmakat (játékokat), amelyek vonzóak mind a szolgáltatók mind a felhasználók számára. Köszönetnyilvánítás A disszertáció-munka soha nem lenne kész teljes mértékben számos támogatás nélkül. Kiemelt köszönetet nyilvánítok az alábbi személyeknek: 17

9 jelenet interaktivitását azáltal, hogy eltárolja az időbeli állapotokat a későbbi felhasználásra. 5-1 táblázat: Kompatibilitás az BIFS csomópontjai és Flash építő osztályai között. Távol sík Közel sík IP (x jobb, y bal, a.d) 16 A Swiff állomány (Flash tároló formátuma) magas szintű osztályok HFMovie MPEG-4 BIFS struktúrája SFTopNode: Group, Layer2D, HFFrame BIFS parancsok a pillanatnyi jelenetet konstruál. HFObject SFWorldNode: minden csomópontok gyökére. HFSound SFAudioNode: AudioBuffer, Sound2D, HFButton SFGeometryNode (Circle, Rectangle, ) SensorNode HFShape HFAction HFRectangle HBBitmap HFCircle HFPolygon HFOval HFFont HFText HFEditText SFGeometryNode: Circle, Rectangle, Rectangle SFTexture: ImageTexture, MovieTexture, Circle IndexedFaceSet, IndexLineSet, IndexedFaceSet, PointSet, FonStyle Text Text Script 6 Az eredmények lehetséges alkalmazásai A közelmúltban kirobbanó multimédia és kapcsolt szolgáltatások növekvő kihívásokat idéznek elő a kutatok számára. A disszertációban elért eredmények kapcsolódnak a fejlett multimédia lehetőleg legérdekesebb és figyelemre legméltóbb témaival. A multimédiás jelenet megtekintése a természetes 3D módban a leghűségesebb és egyidejűleg a legköltségesebb formában még mindig a vég nélküli küzdelem a kutatók számára. SIRDS algoritmus, a mélység információ megjelenítésének nagyon hatékony metódusa. Ennek a tovább javítása a disszertáció egyik célja. Az általánosított algoritmus és a paraméterek kölcsönhatásának kiértékelése alkalmazhatóak a jobban látható autosztereógram létrehozásában. A mozgó szférára terjesztett SIRDS algoritmus eredményei első 0 y x z S 1 µ.d C 2 C 1 SO a.d A(x,y,z) 5-4 ábra: 3D objektum leképezése az autosztereógram szokásos nézése esetén. Tézis 1.2: [J1], [C13] Módosítottam a W. A. Steer [12] HRS algoritmusát a hamis detektálás elkerülésének érdekében. Továbbá, a módosított technika rendelkezik az eltávolítás skálázhatóságával, amely emberi látás korlátait veszi figyelembe. Az új technika alapja látható az 5-5 ábrán. Az implementálása a következő lépeseket tartalmazza: S 1 S 2 AS l B A b B 1 B b B 2 B A 3D felület 5-5 ábra: Skálázható HSR technika. 1. Ha két tetszőleges 3D A és B pont az IP-re vetített képek közül azonos Bal képpel vagy Jobb képpel rendelkezik (A b/j B b/j ), és ISS D B j CP (x bal, y bal, a.d) S 1 (X szem,y szem,(1+a)d) Aj E IP S 2 9

10 2. Ha ezeknek a pontoknak nézőszöge ( AS 1 B szög) az előírt küszöb szögnél (skálázhatóságot foglalja magában) kisebb, akkor az A és B pont takarják egymást. A rövidebb ISS-sel rendelkező pont a hosszabbat fedi el. A mozgó autosztereógram generálásakor, egy újabb megkötöttséget kell figyelembe venni. Az előbbi említett PC-tól való megkülönböztetés érdekében, szín-megkötöttségnek (CC-nek) nevezem. A CC a rejtett 3D objektum időbeli konzisztenciáját biztosítja. Tézis 1.3: [J1], [C11], [C12] Kimutattam, hogy az autosztereógram generálásakor, nem lehet fenntartani teljes mértékben mind a PC-eket mind a CC-eket egyszerre. Kompromisszumként, javasoltam három megoldást, hogy más és más arányban lehet megtartani az egyik megkötöttséget a másik rovására és fordítva. A három megoldás a következő: 1. CC alapú generálás: ha CC-ek és PC-ek ütköznek össze, akkor CC-eket megtartja a PC-ek rovására. E módszer tulajdonképpen a mozgó autosztereógram meglevő technikájának komplementje. A cél, hogy meghatározzam a PC és CC közötti fontosságát. 2. Statikus háttér alapú generálás: PC-eknek előnye van a versenyben a CC- szemben. A CC-eket csak periodikusan tartja meg a PCek rovására. 3. Költség függvény alapú generálás: CC-ek a PC-eket írja felül úgy, hogy az előírt költség függvény legyen minimális. A költség függvény arányos a figyelmen kívül hagyott CC-ek számával és a tőluk a jelenleg vizsgált pixel-ig mért távolságnak a reciprokával. 5-6 ábra: A figyelmen kívül hagyott CC-ek eloszlása (fekete színű pontok) a költség függvény alapú generálásban. például egy szöveg vagy normál, vagy hivatkozási pont lehet; egy videó, hang egy kényszer kezdeti illetve egy befejezési időponttal rendelkeznek, stb. Ezután a Jeleneti csomópont réteg lefordítja minden komponenseket és a hozzátartózó beállításokat a BIFS nyelvre, amelynek nem érdemes láthatónak lenni a jelenetkonstruktőr számára. Grafikus beállítás Jeleneti csomópont Media Audio2D Intensity=0. N. hang 1. hang Bitmap Texture=0 M. videó 1. videó AudioClip StartTime=0. N. kép 1. kép Más fajta 5-11 ábra: Absztrakt szerkesztő eszköz felépítése. Megfelelő szerkesztők segítségével, az MPEG-4 BIFS átveheti a multimédia jelen zárt editáló eszközének a szerepét, például a közismert érett Flash technológiát. A disszertáció keretében [C1], [C2], kimutattam az MPEG-4 BIFS és Flash hasonlóságát a multimédia jelenet kialakításában. A kompatibilitásukat levezettem nem a szerkesztés pillanatnyi támogatottságukból, sem a megjelent alkalmazásukból, hanem az építő eleműkből, vagyis a gyökeres alapjukból. Az 5-1 táblázat összefoglalja e hasonlóságokat. Tézis 3.2: [R1], [C1] Kimutattam az időbeli megkötöttség hiányságot a BIFS struktúrában annak érdekében, hogy támogasson a multimédiás jelenetbeli interaktivitásokat a teljes mértékben, például multimédiás játékszerű jelenetben. Két különböző szintű módosítást javasoltam a probléma megoldására. Javasoltam egy új csomópontot, nevezetesen Cookies-t a BIFS meglevői közé. Az új csomópontnak filozófiája a HTML (HyperText Markup Language) technológiában levő Cookies funkciókból indul. A Web oldalon (szintén egy multimédiás jelenet) felmerül az igény, hogy eltároljuk a felhasználó bizonyos információit a későbbi hozzáféréshez. Ezt a követelményt végzi a Cookies mechanika. Hasonlóképpen a Cookies csomópont elősegíti az MPEG-4 alapú 10 15

11 5.3 Az MPEG-4 BIFS feldolgozása A nemzetközi MPEG-4 szabvány elsőként támogatja a multimédiás jelenet összeállítását és interaktivitását az új fajta jelenet bináris leírás (BIFS) bevezetésének köszönhetően. Az 5-10 ábra illusztrálja az ún. pattoggató labdajátékot (egy interaktív videót), amelynek megvalósításában az MPEG-4 BIFSet alkalmaztam, mint egy programozási eszköz, nemcsak mint egy tömörítési eszköz. Ez az újdonság elképzelhetetlen az MPEG-4 elődjeivel. Például lehetőség nyílik arra, hogy videó jelenetben, egy gomb-szerű (azaz nyomható) szöveg, egy igény szerinti mozgatható rajz (az ütő az ábrában), stb. létezhetnek. Sajnos, a BIFS potenciája még alig jelenik meg a pillanatnyilag MPEG-4 alapú alkalmazásában. Tézis 3: Megalkottam az BIFS megközelítési illetve felhasználási kézzelfoghatóbb struktúráját, amely megkönnyebbíti egy interaktív jelenet összeállítását a felhasználók és jelenet illetve jelenetbeli objektumok közötti kölcsönhatásával. Kimutattam a BIFS néhány hiányságát és javasoltam a BIFS módosítását a probléma lehetséges megoldására. 14 Gomb-szerű szöveg Beállítható szöveg Labda videó mintázattal Mozgatható ütő 5-10 ábra: MPEG-4 BIFS alapú pattoggató labda multimédiás játék. Tézis 3.1: [C2], [C3] Kimutattam, hogy a magas absztrakt szerkesztő eszköz segítségével, a BIFS struktúrája jobban kezelhető, ember-barátibb a jelenet-konstruktőr számára. Kidolgoztam a szerkesztő eszköz lehetséges felépítését, hogy csökkentsem a programozási munkát a szerkesztő és konstruktőr szempontjából. A BIFS bonyolult struktúrája a jelenet-konstruktőr elöli takarásának érdekében, az absztrakt szerkesztő modelljét két szintre bontottam: a Grafikus beállítás rétegre illetve a Jeleneti csomópont rétegre (lásd ábrát). Az előző réteg a megszokott multimédiás komponenseket szolgáltatja, például hang, videó, kép, szöveg, stb. A BIFS alapú lehetőségek ezeknek az elemeknek többlet beállításában jelennek meg, A harmadik megoldás bizonyul legjobbnak a PC-ek és CC-ek közötti kompromisszum feloldására. A költség függvénynek köszönhetően, a figyelmen kívül hagyott CC szabályok szétszóródva jelennek meg az autosztereógramban. Így a rejtett objektum textúrájának hamis változása jelentősen csökken. 5.2 Az új IMVO kódek sémája Az új MPEG-4 szabvány 1. és 2. verziója számos módszert kínál a multimédia tömörítésére. Egyebek között, az objektum alapú videó kódolás nagy előnyt jelent a videó tömörítésében és kezelésében, különösen ahol komplex multimédiás jelenetek több és eltérő komponensekből állnak össze. Tézis 2: Javasoltam egy új kódek sémát, nevezetesen integrált háló alapú videó objektum kódeket (IMVO), amely alkalmas egy tetszőleges alakkal rendelkező videó objektum kódolására. Ez egy teljes kódolási séma, a konvencionális frame alapú videó forrástól videó objektum felismerését beleértve az objektum alapú kódolásig. A séma különböző funkcióegységeket, mint fekete dobozokat, köti össze. A fekete dobozok közötti kapcsolatokat meghatároztam, hogy minden egyes egységnek továbbfejlesztései illetve testre szabásai lehetségesek legyenek. A kulcsfontosságú fekete dobozok elveit néhány hatékony, optimális kezelési módszerrel mutattam ki. Tézis 2.1: Meghatároztam az IMVO kódek teljes struktúráját, amely alkalmas objektum alapú videó kódolására. A séma kidolgozása a sablonos tervezést képviseli, azaz a séma önmaga egy teljes működő képes rendszer, mégsem zárja ki a további optimalizálást az adaptív testre szabás érdekében. Az IMVO modell [J3], [C9], [C10] következő tulajdonságokkal rendelkezik: A séma az MPEG-4 szabvány eszköz készlet közül két külön megoldásnak a kombinációja: az álló kép háló alapú animációja és a tetszőleges alakkal rendelkező videó kódolása. A séma egy teljes megoldást nyújt, amely közvetlenül alkalmazható a minden napi videó rögzítő berendezés által szolgáltatott frame alapú videó anyagokra. A séma egy félautomata rendszernek bizonyul, amelyben emberi irányítását csak egyszer kell igénybe venni a videó sorozat kezdetén. A séma funkcionális struktúrája látható az 5-7 ábrában. A legfontosabb fekete doboz a Háló alapú kódoló blokkban rejlik, amely számos általam javasolt kezelési technikát foglal magában. 11

12 Felület szegmentálás Intra kódolás Mozgás követés Háló generálás Felület válogatás Interaktivitás Geometria Mintázat Mozgási vektor Háló alapú kódoló Háló alapú dekódoló 5-7 ábra: Az IMVO séma funkcionális struktúrája. A Háló alapú kódoló egyik kódolandó a a geometria, azaz a háló struktúrája. Alkalmaztam a gráf optimális haladási, Prim implementációjú eljárását [J3], [C9], [C10] arra, hogy sorba rendezzem a kényszerített Delaunay-féle háló rácspontjait, még mielőtt kódolom a háló geometriáját. Így a háló által kifeszített videó objektum hatékonyabban kódolható a bitsebesség szempontjából. Az MPEG4 szabvány szerint, egy kényszerített Delaunay-féle hálónak a geometriáját a rácspont relatív távolságával kódolják anélkül, hogy külön venne figyelembe a rácspontok pozícióját. Ennek ellenére, az IMVO kódek sorba rendezi a rácspontokat egy költség-függvény segítségével, amely arányos a rácspontok közötti távolsággal. Az így keletkező relatív távolságok jobban tömöríthetők. Az 5-8 ábra kimutatja a néhány intra keretben levő ezt az információ-takarékosságot. A Háló alapú kódoló egy általam módosított, háló alapú mozgáskompenzációval [J3], [C9], [C10] kódolja a videó objektum textúráját. Módosított különbség-számítással kódoltam a rácspontok hátra mutató mozgási vektorait (BMV-ek). Interpolációval használtam fel ezeket a vektorokat a sűrű BMV-ek származtatására a dekódoló oldalon. Ezután a dekódoló rekonstruálhatja a videó objektum textúrájának becsült értekeit a BMV-ek és az előző textúra segítségével. A végleges mintázat ezeknek a becsült értékeknek és a különbségi hibáknak (REeknek) e mennyiségek külön vannak kódolva és továbbítva a dekódoló oldalra az összesítése. A Háló alapú kódoló-ban felhasznált mozgási vektorok kötődnek kizárólag a háló rácspontokhoz a pixel blokkjai helyett. E tulajdonság a 2D háló animációjának és az objektum alapú videó kódolásnak az egyesítését mutatja a legjobban. Tézis 2.2: [C4], [C5], [C7], [C8] Javasoltam a hatványsor kifejtést és a wavelet transzformációt a mozgás kompenzációban keletkező RE-ek kódolására. A két módszer egyfelől egy skálázható megoldást jelent az eltérő körülmények közötti kis bitsebességű alkalmazások számára, másfelől a javasolt módszerek egy tetszőleges mozgás-kompenzáció alapú kódolási sémában is alkalmazhatóak. Az IMVO sémát teszteltem néhány videó sorozattal, amelyben a 25fps sebességű videó objektum mérete kisebb, mint 256x256 pixel. Az elfogadható minőségnél (PSNR körülbelül 30dB), a szükséges bitsebesség az 5-9 ábrában van feltüntetve. Az ábrában, a RE-ek három kódolási módszerének az eredménye látható. Összehasonlítás céljából, a DCT transzformáció (amelyet használják a blokk alapú mozgási kompenzációból eredő RE-ek kódolására az MPEG-4 szabványban) alkalmazásának származó bitsebessége, mint az első megoldás, van ábrázolva. Javasoltam a RE-ek hatványsor kifejtését a kis bitsebességű alkalmazásra (5-9a ábrában), amely nem feltétlenül igényeli a majdnem tökéletes minőséget. A másik módszer a wavelet transzformáció az előző kettőnek előnyeit kombinálja. Az 5-9b ábra mutatja, hogy a wavelet transzformáció által eredményezett bitsebességek fokozatos átmenetet alakítja ki az előző két módszer bitsebességei között (az 5-9a ábrában) Prim-féle rendezés nélkül Prim-féle rendezés DC T Ko m p e nzá lá s né lkül 0. fo kú ha tvá nyso r 1. fo kú ha tvá nyso r 2. fo kú ha tvá nyso r Keret sorszáma 5-8 ábra: A Prim-féle algoritmus (a gráf optimális haladási eljárásának egy implementációja) hatása az Interview sorozat geometriai tömörítésében. 420 Mind a lsá v 1. szintú sá vo k szintú sá vo k 3. szintú sá vo k szintú sá vo k Sávszélesség (kbit/ s) Entropy Sávszélesség (kbit/ s) VOP VOP (b) RE-ek sávszélessége a wavelet (a) Az RE-ek DCT és hatványsor kifejtés néhány színtű kibontásához. alapú kódolásának bitsebességei. 5-9 ábra: Az IMVO kódek összeredményei. 13