Pannon Egyetem Informatikai Tudományok Doktori Iskola Tézisfüzet Kétdimenziós mesterséges festési eljárások. Hatások és alkalmazások Kovács Levente Képfeldolgozás és Neuroszámítógépek Tanszék Témavezet : Prof. Dr. Szirányi Tamás Veszprém, 2006.
El zmények, célok, módszertan 1 El zmények, célkit zések A nem-fotorealisztikus képalkotási módszerek az elmúlt kb. egy étvized termékei a számítógépes graka világában. Amint azt az elnevezés is jelzi, ezeknek a módszereknek a célja nem valamilyen modell-képek minél pontosabb reprodukálása grakai célokra, hanem éppen ellenkez leg, egy modellkép különféle akár m vészinek is nevezhet reprezentációinak el állítása. Ezen módszerek els célja valós festmények hatásainak mesterséges reprodukálása volt, hétköznapi felvételek pl. olajfestmény-szer vé alakítása. Azóta számos módszer látott napvilágot, de az els dleges cél megmaradt: kellemes látványt nyújtó festményszer grakák készítése, rajzlm-szer hatások létrehozása képeken és vidókon ill. grakákban. Ezen módszerek nagy halmazának egyik elemét jelentik az ú.n. ecsetvonás-alapú képalkotási algoritmusok. Ezekben a festmény-szer képi hatások létrehozása valós ecsetmintázatok valamilyen mérték utánzásával, szimulációjával történik, egy mesterséges festési folyamatban. Az ebbe a családba tartozó fontosabb módszerek mélyreható áttekintését megtalálhatjuk
El zmények, célok, módszertan 2 Gooch és Gooch. (Non-Photorealistic Rendering. AK Peters, Ltd. 2001.), ill. Strothotte és tsai. (Non-Photorealistic Computer Graphics, Morgan Kaufman Publishers, 2002.) könyveiben. A munka során a szerz célja új ecsetvonás-alapú festményszer képi hatások, eektusok kidolgozása, vizsgálata, új alternatív megoldások kidolgozása, különféle képfeldolgozási és képi struktúra-információ kinyerési módszerek alkalmazása az ecsetvonás-alapú képalkotásokban, újabb festésalapú képalkotási módszerek kidolgozására volt, és párhuzamosan az ezekkel a módszerekkel létrehozott képek hatékony leírási, tárolási, kódolási lehet ségeinek vizsgálata, amely egy új néz pont ezen a teröleten. A kutatói munka során elért eredmények kerülnek bemutatásra, amelyek kulcsszavakban a következ k: különféle többszint ecsetmintázatok használata a festés-szer képalkotási folyamatban, festési optimalizálások, a létrehozott képek ecset-sorozat alapú leírásának hatékonysága, tér-mérték módszerek alkalmazása a ecsetmintázat alapú festésben, alkalmazás képsorozatokra, módszer relatív fókusztérképek automatikus kinyerésére illetve ennek alkalmazása a festési eljárásban a részletgazdagság vezérlésére, létrehozott festett képek vektorgrakus reprezentációja, illetve néhány egyéb alkalmazási terület.
El zmények, célok, módszertan 3 A kutatás módszertana Az ecsetvonás alapú mesterséges festési eljárások célja és a gyelem középpontja általában a létrehozott képi hatások, ezek milyensége, min sége. Számos módszer látott napvilágot, amelyekkel számtalan festményszer hatást tudunk elérni, automatikusan, fél-automatikusan vagy felhasználó-vezérelten. Ebben a munkában a szerz egyik szempontja is ez volt, újabb módszerek létrehozása, de ennél volt egy fontosabb vezérfonal is: hogyan lehet a festést minél teljesebb mértékben a képi struktúrákból kinyert információkkal vezérelni, ezáltal olyan módszereket kidolgozni, amelyek automatikus eekt-készítésre alkalmasak és csak egy modell-képre van szükségük. Egy másik fontos alapgondolat az volt, hogy a festési módszerek folyamatukban távolodjanak el a sztochasztikus alapmódszerekt l. Ezekt l az elvekt l vezérelve történt az egyes módszerek kidolgozása. Egy következ szempont volt az, hogy az egyes kidolgozott módszerek által létrehozott képeket hogyan lehet hatékonyan és könnyen kezelhet, hordozható formában tárolni, amely szintén egy új szempont volt a területen.
El zmények, célok, módszertan 4 A disszertáció gerincét a festési eljárások jelentik. Ezek kidolgozása során a szerz egyaránt támaszkodott létez és új eszközökre is. A festés-transzformációk során számos, a képfeldolgozás területén használatos standard próbaképeken ill. a szerz által gy jtött képeken történtek a tesztelések. A relatív fókusztérkép kinyerési módszernél a tesztek standard textúra-mintázatokon és próbaképeken, ill. a fókuszterület alapú indexelési teszteknél a szerz által készített képi adatbázison történtek. Az egyes kiértékelések alapját a képfeldolgozás és jelfeldolgozás klasszikus hibamértékei adták. A fejlesztésekhez és a teszt-alkalmazásokhoz számos matematikai és programozási fejleszt i környezetet vett igénybe a szerz. A kutatási munkát a szerza Pannon (Veszprémi) Egyetem Képfeldolgozás és Neuroszámítógépek Tanszékének Képfeldolgozási Laboratóriumában végezte.
Lehetséges alkalmazások 5 Lehetséges alkalmazások A disszertációban bemutatott módszerek felhasználási területei els sorban a festményszer, rajzlm-szer eektusok generálása képeken és videókon. Manapság egyre több számítógépes játékban és mozilmben alkalmaznak egyre több nem-fotorealisztikus módszerekkel alkotott összetev t, így az erre a területre koncentráló kutatási irányok is folytatódnak és folyamatosan fejl dnek. A szerz eredményei els sorban a képi struktúrákra alapozott automatikus eektus-generálás területén kínálnak megoldásokat. Lehetséges alkalmazási területek, ahogy azokat a disszertációban is részleteiben tárgyaljuk, a következ k: Ecsetvonás alapú festés-transzformált képek és videók el állítása és kódolása - rajzlm-szer hatások készítése és egyúttal ezek hatékony és tömör kódolása, Festmény-képek ecsetvonás-alapú átalakítása - valós festmény-képek kükönféle stílusú reprezentációinak készítése ecset-mintázatokkal, hordozható és skálázható formátumban,
Lehetséges alkalmazások 6 Transzformált képek valós idej skálázása és megjelenítése - festett képek különféle felbontású és részlettartalmú megjelenítése ill. továbbítása, Területfüg részletgazdagságú festett képek el állítása vektor grakus reprezentációban - automatikus részletgazdagság-vezérelt festések, alkalmazásfüggetlen, skálázható, hordozható formában, Fókusztérképek használata képi tulajdonság-kinyerésre - képi adatbázisok indexelése és keresése fontos képi területek alapján a bevezetett relatív fókusz-térkép kinyer módszer segítségével, fókusz-területek követése videókon. A szerz részt vett lm-restaurálási munkákban is, név szerint az 1949-es Lúdas Matyi lm felújításának fejlesztési munkálataiban. A szerz festés alapú kép- és videó-transzformációs munkájára [15] három független forrás hivatkozik.
Téziscsoportok 7 Téziscsoportok 1. Téziscsoport: alapmódszerek Új módszereket vezettem be a 2D-s automatikusan m köd, sztochasztikus, nem-fotorealisztikus grakai festési eljárásokban, új eektusok létrehozására, a festések eredményesebb és hatékonyabb megvalósítására, megmutattam és igazoltam, hogy ezek jelent s javulást okoznak min ségben, sebességben, illetve a létrehozott képek tömörítésében. (a) Altézis: Bináris és sokszín ecset-mintázatok használatával stílusok szimulációja válik lehet vé. Ezáltal egyéni stílusú mesterségesen megalkotott képek készíthet k. (b) Altézis: Bevezettem egy interpolációs kitöltésen alapuló színi morfológiai lépést a többréteg festési folyamatba és igazoltam alkalmasságát a festési eljárások közbüls lépéseinek gyorsítására ill. a létrehozott képek kódolásának javítására. (c) Altézis: A többszint sztochasztikus festési eljárásokban a tömörítési min ség/méret/id optimumának kulcsa a felhasznált
Téziscsoportok 8 ecset-méretek optimális megválasztása, ami kísérletekkel igazoltan általában három ecsetkészletet jelent. (d) Altézis: Igazoltam, hogy a festés-alapú képalkotási eljárás eredményképeinek (festett képek) ecsetvonás-sorozat alapú reprezentációja képpont-alapú képi kódolásoknál alkalmasabb festett képek kódolására és tömörítésére. 2. Téziscsoport: scale-space és festési eljárások összekapcsolása A scale-space elmélet képi struktúra-analízissel kapcsolatos eredményeit alkalmaztam új automatikus grakai festési eljárások fejlesztésére, olyan módszerek bevezetésével, amelyek a képi struktúra és tulajdonságok alapján vezérlik a festési folyamatot, és amelyek természetesebbé teszik a festett képek felépítését és leírását. Kísérletileg igazoltam, hogy scale-space struktúra-információk kinyerésén alapuló automatikus festési eljárások hatékony alternatívái a klasszikus eljárásoknak. (a) Altézis: Megmutattam, hogy a képi struktúra-analízissel kinyert él/gerinc-vonal információkra alapozva nem-sztochasztikus festési eljárás készíthet, amely más módszerekkel kombinálva új festési módokat tesz lehet vé (b) Altézis: Megmutattam, hogy a modell-képekb l kinyert kombinált él - és gerincvonal információk olyan hatékony automatikus vezérlést biztosítanak a festési folyamatban, amely egyidej leg egy természetesebb képleírási és reprezentációs módot is jelent.
Téziscsoportok 9 3. Téziscsoport: relatív fókusztérképek használata a képrégió-függ festési részletgazdagság vezérlésére Bevezettem egy vak dekonvolúción alapuló automatikus eljárást, amely képes képek relatív fókusztérképnek kinyerésére és igazoltam ennek gyakorlati használhatóságát. Bevezettem egy automatikus nem-fotorealisztikus festési eljárást, amely a képek relatív fókusz-térképét felhasználva képes a festés részletgazdagságát a lokális relevancia függvényében vezérelni. (a) Altézis: Bevezettem és megmutattam a lokális vak dekonvolúció használhatóságát képek relatív fókusztérképének el állítására, ezáltal a releváns képi területek automatikus kinyerésére. (b) Altézis: Kisérletileg igazoltam, hogy a dekonvolúciós fókusztérkép kinyerés különféle textúrált felületeket tartalmazó képeken is jól használható az el térben található területek megkülönböztetésére. (c) Altézis: Megmutattam a vak dekonvolúciós relatív fókusztérképek gyakorlati alkalmazhatóságát fókusz-alapú képi osztályozáson keresztül. Ezáltal lehet vé tettem képi adatbázisok indexelését fókuszterületek alapján. (d) Altézis: Megmutattam, hogy a kinyert fókusztérképek segítségével olyan automatikus nem-fotorealisztikus festési eljárás készíthet, amely képes az egyes képi területek festési részletgazdagságát változtatni a területek relevanciájának függvényében.
Téziscsoportok 10 4. Téziscsoport: alkalmazások és kiterjesztés mozgóképekre Igazoltam, hogy a festett képek ecsetvonás-sorozatként történ kódolása lehet vé teszi hogy a festett képek különböz felbontású változatait valós id ben megjelenítsük újra-transzformálás nélkül. A mesterséges automatikus festés-alapú képalkotási módszereket mozgóképek festményszer átalakítására alkalmaztam és megmutattam, hogy megfelel mozgásdetektáló eljárásokkal kombinálva alkalmazható festményszer eektusok mozgóképeken történ alkalmazására. (a) Altézis: A festett képek ecsetvonás-sorozat alapú leírása nem csupán hatékony tárolási módszer, hanem arra is alkalmas, hogy festett képek különböz felbontásó változatai újra-transzformálás nélkül megjeleníthet ek legyenek. Megmutattam a festett képek alkalmazásfüggetlen SVG (vektorgrakus) szintaxissal történ leírásának lehet ségét a könnyebb kezelhet ség és a hordozhatóság céljával. Egy teszt-alkalmazással megmutattam az ecsetsorozatként kódolt festett képek valós idej megjelenítésének és skálázásának lehet ségét. (b) Altézis: Festési módszereket alkalmaztam egymást követ képkockák transzformációjára, rajzlm-szer eektusok létrehozására. Ehhez a képsorozatokból mozgásmez ket nyertem ki a képkockák közötti változó területek megtalálásához, és hasznosítottam a képkockát alkotó ecsetvonások helyzet- és irányultságadatainak kinyerésére.
Publikációk 11 Publikációk [1] Kovács, L., Szirányi, T. 2D Multilayer Painterly Rendering with Automatic Focus Extraction, WSCG 2006 Full Papers Proceedings, ISBN 80-86943- 03-8, pp. 141-145, Plzen, 2006. [2] Kovács, L., Szirányi, T. Painterly Rendering by Automatic Feature Extraction, HACIPPR 2005, pp. 287-295, Veszprem, Hungary, 2005. [3] Kovács, L., Szirányi, T. Image Indexing By Focus Map, ACIVS 2005, Lecture Notes in Computer Science, vol. 3708, pp. 300-307, Antwerp, 2005. IF:0.513 [4] Kovács, L., Szirányi, T. Relative Focus Map Estimation Using Blind Deconvolution, Optics Letters, vol. 30, pp. 3021-3023, 2005. IF: 3.882 [5] Kovács, L., and Szirányi, T. Painterly Rendering of Images and Real Paintings with SVG Support. 3. Magyar Graka és Geometria Konferencia, pp. 2-8, Budapest, 2005. [6] Kovács, L., Szirányi, T. Coding of Stroke-Based Animations, WSCG 2004, Plzen, Checz Republic, ISBN:80-903100-6-0, pp. 81-84, 2004. [7] Kovács, L., Szirányi, T. Painterly Rendering Controlled by Multiscale Image Features, SCCG 2004 (Spring Conference on Computer Graphics), Published by ACM, ISBN: 1-58113-914-4, Budmerice, Slovakia, pp.183-190, 2004. [8] Kovács, L., Szirányi, T. Ecient Coding of Stroke-Rendered Paintings, 17th ICPR, Cambridge, UK, august 23-26, vol. 2, pp. 835-839, 2004.
Publikációk 12 [9] Kovács, L., Szirányi, T. Rendering and Coding of Still and Motion Picture by Stochastic Painting, IV. KépAf konferencia, Miskolc-Tapolca, pp. 171-178, 2004. [10] Czúni, L., Hanis, A., Kovács, L., Kránicz, B., Licsár, A., Szirányi, T., Kas, I., Kovács, Gy., Manno, S. Digital Motion Picture Restoration System for Film Archives (DIMORF), SMPTE Motion Imaging Journal, May/June 2004, pp. 170-178, 2004. [11] Czúni, L., Császár, G., Hanis, A., Kovács, L., Licsár, A., Szirányi, T. Semi Automatic Digital Motion Picture Restoration System with Learning Capabilities, 17th ICPR, Workshop: Learning for Adaptable Visual Systems, CD Proceedings. 2004. [12] Kovács, L., Szirányi, T. Stroke-Based Painting and Coding of Image Sequences, 2. Magyar Graka és Geometria Konferencia, pp. 142-150, BME, Budapest, 2003. [13] Bölecz, M., Czúni, L., Gál, B., Hanis, A., Kovács, L., Kránicz, B., Licsár, A., Szirányi, T., Kas, I., Kovács, Gy., Manno, S. Digital Motion Picture Restoration System for Film Archives (DIMORF), IBC2003, Amsterdam, 2003. [14] Kovács, L., Szirányi, T. Creating Video Animations Combining Stochastic Paintbrush Transformation and Motion Detection,, III. KépAf konferencia, Domaszék, pp. 210-217, 2002. [15] Kovács, L., Szirányi, T. Creating Animations Combining Stochastic Paintbrush Transformation and Motion Detection, 16th ICPR, Quebec City, Canada pp. 1090-1093, 2002. [16] Kovács, L., Szirányi, T. Vak dekonvolúció alapú automatikus fókusz-térkép kinyerési eljárás,, Magyar Szabadalmi Hivatal, benyújtva P050164/2 alatt, november 2005. [17] Kovács, L., Szirányi, T., Focus Area Extraction by Blind Deconvolution for Dening Regions of Interest, IEEE Transactions on Pattern Analysis and Machine Intelligence, javított változat bírálat alatt, 2006. IF: 4.352 [18] Kovács, L., Szirányi, T. Painterly Eects Rendering with Focus Based Level of Detail, IEEE Computer Graphics and Applications, javított változat bírálat alatt, 2006. IF: 1.602