Realisztikus 3D modellek készítése valós tárgyakról Jankó Zsolt Doktori értekezés tézisei Témavezető: Dr. Csetverikov Dmitrij Eötvös Loránd Tudományegyetem Informatikai Doktori Iskola Vezető: Dr. Demetrovics János Számítástechnikai és Automatizálási Kutató Intézet Magyar Tudományos Akadémia Budapest 2006
1. Bevezető Realisztikus 3D modellek készítése valós tárgyakról alapvető feladat mind a számítógépes látáson, mind a számítógépes grafikán belül. A 3D modelleknek számos lehetséges alkalmazása létezik: virtuális múzeumok, műtéti tervezés orvosi képfeldolgozásban, elektronikus kereskedelem, építészet, számítógépes játékok vagy filmek. Az ilyen modelleknél fontos a precíz geometria és a részletes és pontos textúra is. A realisztikus megjelenés tovább javítható, ha a felületi érdességet is modellezni tudjuk. Számos különböző módszer létezik 3D modellek készítésére. A számítógépes látásban a képalapú 3D rekonstrukciónak komoly irodalma van. A rekonstrukciós módszerek sztereó látás, shape from structure, shape from shading, stb. közös jellemzője, hogy a 3D modelleket képekből vagy képsorozatokból állítják elő. Ugyanakkor, ha pontos geometriára van szükség, 3D lézerszkennereket érdemes használni. A lézerszkennerek hátránya, hogy csak a felület geometriáját mérik, a színekről nem adnak információt. Néhány lézerszkenner képes a színt is mérni, de ezek egyrészt nem elég pontosak, másrészt nagyon drágák. A mi célunk egy olyan egyszerű rendszer felépítése, amivel jó minőségű, realisztikus 3D modelleket készíthetünk viszonylag kicsi (max. 50 cm) valós tárgyakról. Egy kézi vezérlésű, nem túl drága lézerszkennert használunk a geometria mérésére, amit azután kiegészítünk fényképekből nyert színekkel és textúrával. A fényképeket egy hétköznapi digitális fényképezővel készítjük, ami független a 3D szkennertől. A rendszerhez tartozik még egy egyszerű mozgatható 1
asztali lámpa és egy számítógép, amivel az adatokat feldolgozzuk. A legnagyobb nehézséget az jelenti, hogy hogyan kapcsoljuk össze a különböző jellegű, különböző forrásból származó adatokat. A rendszer bemenetként egy 3D modellt és különböző nézőpontból, vagy különböző megvilágítás mellett készült képeket kap az adott tárgyról. A 3D modellről és a képek halmazáról is feltételezzük, hogy teljesen fedi az alakzatot. Emellett a különböző nézőpontból felvett képeknek úgy kell készülniük, hogy legyenek közös részeik, átfedések, ahol össze tudjuk őket illeszteni. A doktori értekezésben bemutatjuk, hogyan lehet a rendelkezésünkre álló adatokat felhasználva realisztikus 3D modellt készíteni. A rendszerünk működését az alábbi ábrával szemléltetjük. Kamera Képfeldolgozás 3D s szkenner Geom. modellezés Regisztráció Multitextúrázás Felületi érdesség 2
2. A doktori értekezés felépítése A doktori értekezés hat részből áll, leszámítva két fejezetet, a dolgozat elején a bevezetést és a végén az összefoglalást. A 2. fejezet egy áttekintést tartalmaz azokról a kamera- ill. fényvisszaverődési modellekről, amelyek ismerete szükséges a dolgozat megértéséhez. A 3. fejezet négy projektet mutat be, amik a legközelebb állnak a mi munkánkhoz. A dolgozat új tudományos eredményeit a 4 7. fejezet tartalmazza. A 4. fejezetben bemutatunk egy, az ún. fotokonzisztencián alapuló regisztrációs algoritmust. A módszer újdonsága, hogy a korábbról ismert regisztrációs eljárást kiterjeszti kalibrálatlan képekre is, valamint hogy egy genetikai algoritmust használ az optimalizációs feladat megoldására. Regisztráció után a képeket a modellre vetítve megkapjuk a textúrázott 3D modellt. A modellt teljesen befedő textúra több képből áll össze. Fontos, hogy a részleges textúraképeket úgy illesszük egymáshoz, hogy ne látszódjon az illesztés helye. Az 5. fejezetben szereplő módszerünk a 3D felületet kiteríti a síkba, ezáltal a textúraképek összeillesztésének nehéz feladatát visszavezetjük a 3D térből a 2D térbe. A 2D térben hagyományos eljárásokat alkalmazva a textúrák egyszerűbben összefűzhetőek. Néhány esetben a 3D lézerszkenner által mért geometria nem elég precíz. A felületen jelentkező apró érdességet nagyon nehéz pontosan megmérni. A fotometrikus sztereó módszerei alkalmasak arra, hogy változó fényviszonyok mellett készült fényképekből pontos és részletes 3
információt nyerjünk a felület apró egyenetlenségeiről. A 6. fejezetben egy ilyen módszert mutatunk be. Módszerünk újdonságát az adja, hogy a képek mellett egy kezdeti, durva 3D modellt is felhasználunk a fényforrások kalibrálásához és a felületi normálisok meghatározásához. A 7. fejezet lényegében független az előzőektől. Ebben a fejezetben azt vizsgáljuk, hogy hogyan lehet kihasználni az ún. Helmholtzféle reciprocitást a felületek rekonstrukciójánál. Ha ismeretlen egy felület fényvisszaverő képessége, a rekonstrukciós feladat nagyon bonyolulttá válik. A Helmholtz sztereó módszer kihasználja az ismert törvényszerűséget, ami szerint a fényvisszaverődést leíró függvény, a BRDF, szimmetrikus. A fejezetben bemutatunk egy módszert egy Helmholtz sztereó rendszer radiometrikus kalibrálására, ami a pontos mérésekhez alapvető fontosságú. 4
3. Új tudományos eredmények A doktori értekezés új tudományos eredményeit a következő négy tézis foglalja össze. 1. tézis Egy új, fotokonzisztencián alapuló algoritmus kalibrálatlan képeknek egy 3D felületi modellhez történő regisztrációjára. 1.1 Kidolgoztunk egy új módszert egy adott tárgyról készült képpárnak a tárgy 3D modelljéhez történő regisztrációjára. A módszer megoldást ad a fotokonzisztencián alapuló pozícióbecslési feladat kiterjesztésére, ahol a kamerák sem belső, sem külső paraméterek szempontjából nincsenek kalibrálva. Definiáltunk egy alkalmas célfüggvényt, és kipróbáltunk különböző optimalizációs módszereket, végül egy genetikai algoritmus alkalmazása mellett döntöttünk. Az algoritmust két input képre fogalmaztuk meg, de egyszerűen kiterjeszthető több képre is. 1.2 A takarási problémából adódó outlierek kiküszöbölésére a módszert módosítottuk. Felhasználtuk a 3D mérésből adódó felületi normálisokat a látható felületi pontok detektálására, és sikeresen alkalmaztunk két, egymáshoz hasonló technikát, nevezetesen a Trimmed Squares és az α-trimmed mean eljárásokat a módszer robusztussá tételére. A kameramodellre tett ésszerű megszorításokkal a módszer hatékonyságát tovább növeltük. 1.3 A módszer teljesítményét valódi és félig szintetikus adatokon végrehajtott szisztematikus tesztekkel értékeltük. A félig 5
szintetikus adatok segítségével az eredményeket számokkal is jellemeztük. Számos futtatást végeztünk, amivel sikerült letesztelni a módszer érzékenységét a színmodellek és a genetikai paraméterek változtatására. Valódi adatokon végrehajtott további kísérletek is a módszer hatékonyságát mutatják. 2. tézis Multitextúrázás Egy új módszer teljesen textúrázott 3D modellek készítésére valós tárgyakról a felület síkba terítésének segítségével. 2.1 Kidolgoztunk egy új módszert, ami a felület síkba terítésének technikáját alkalmazza részleges textúraképek összefűzésére. Ezáltal teljesen textúrázott 3D modelleket kapunk. A módszer lényege, hogy a felület kiterítésével a textúraképek 3D térben történő összeillesztésének bonyolult feladatát áthelyezzük a 2D térbe, ahol alkalmas módszerekkel a képek törésmentes összefűzése egyszerűbben megoldható. 2.2 Négy különböző módszert próbáltunk ki a képek törésmentes összefűzésére. A szintetikus adatokon végrehajtott tesztek eredményeit számokkal jellemeztük, értékeltük és összehasonlítottuk. A valódi adatokon végrehajtott tesztek és az eredményül kapott, teljesen textúrázott, törésmentes 3D modellek a módszer hatékonyságát mutatják. 6
3. tézis Felületi érdesség kinyerése Egy új, fotometrikus sztereón alapuló módszer felületi érdesség kinyerésére. 3.1 Kidolgoztunk egy új módszert valós tárgyak felületi érdességének kinyerésére. A módszer a jól ismert fotometrikus sztereón alapszik. Újszerűsége abban rejlik, hogy felhasználja az inputként adott kezdeti 3D modellt is, ami a valódi modell egy durva közelítése. A részletes normálvektormező becslése két lépésben történik: először a fényforrásokat kalibráljuk a kezdeti 3D modell felhasználásával, majd a kalibrált fényforrások segítségével kiszámoljuk a normálvektorokat. 3.2 A módszert leteszteltük valós és szintetikus adatokon is. A módszer pontosságát a szintetikus adatokon végzett tesztek kiértékelésével szemléltettük. 4. tézis Helmholtz sztereó Egy Helmholtz sztereoszkopikus rendszer radiometrikus kalibrálása. 4.1 Kidolgoztuk az elméletét egy új eljárásnak egy Helmholtz sztereoszkopikus rendszer radiometrikus kalibrálására. Az eljárás során pontos becslést adunk a szenzor effektív érzékenységére a képpontokban. A radiometrikus kalibrálás módszerének szükségességét és pontosságát tesztek mutatják. 7
4. A szerző publikációi a dolgozat témakörében [1] Zsolt Jankó: Helmholtz reciprocity in surface reconstruction: an overview. In Proc. II. Magyar Számítógépes Grafika és Geometria Konferencia, pp. 103 108, 2003. [2] Zsolt Jankó, Dmitry Chetverikov: Precise registration based on photo-consistency. In Proc. Képfeldolgozók és Alakfelismerők IV. Konferenciája, pp. 137 143, 2004. [3] Zsolt Jankó, Ondřej Drbohlav, Radim Šara: Radiometric calibration of a Helmholtz stereo rig. In Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 166 171, 2004. [4] Zsolt Jankó, Dmitry Chetverikov: Registration of an uncalibrated image pair to a 3D surface model. In Proc. 17 th International Conference on Pattern Recognition, pp. 208 211, 2004. [5] Zsolt Jankó, Dmitry Chetverikov: Photo-consistency based registration of an uncalibrated image pair to a 3D surface model using genetic algorithm. In Proc. 2 nd International Symposium on 3D Data Processing, Visualization & Transmission, pp. 616 622, 2004. [6] Zsolt Jankó: Combining multiple texture mappings using surface flattening. In Proc. Joint Hungarian Austrian Conference on Image Processing and Pattern Recognition, pp. 155 162, 2005. [7] Zsolt Jankó, Dmitry Chetverikov: Data fusion for photorealistic 3D models. In Proc. 11 th International Conference on Compu- 8
ter Analysis of Images and Patterns, Lecture Notes in Computer Science, 3691:240 247, 2005. [8] Zsolt Jankó, Evgeny Lomonosov, Dmitry Chetverikov: Building photorealistic models using data fusion. In Proc. III. Magyar Számítógépes Grafika és Geometria Konferencia, pp. 37 42, 2005. [9] Zsolt Jankó, Géza Kós, Dmitry Chetverikov: Creating entirely textured 3D models of real objects using surface flattening. International Journal of Machine Graphics & Vision, Vol. 14, pp. 379 398, 2005. [10] Zsolt Jankó, Dmitry Chetverikov, Anikó Ekárt: Using a genetic algorithm to register an uncalibrated image pair to a 3D surface model. International Journal of Engineering Applications of Artificial Intelligence, 19:269 276, 2006. [11] Dmitry Chetverikov, Zsolt Jankó, Evgeny Lomonosov, Anikó Ekárt: Creating photorealistic models by data fusion with genetic algorithms. Fejezet a Soft Computing in Image Processing: Recent Advances című kötetben, megjelenés előtt, Studies in Fuzziness and Soft Computing, Springer, pp. 239 266, 2006. [12] Zsolt Jankó, Evgeny Lomonosov, Dmitry Chetverikov: Fusing spatial, pictorial and photometric data to build photorealistic models. In Proc. 16 th International Conference on Computer Graphics and Applications (GraphiCon), pp. 32 39, 2006. [13] Zsolt Jankó, Dmitry Chetverikov: Adding Surface Bumpiness to a 3D Model Using Photometric Stereo. In Proc. Virtual Environment on a PC Cluster Workshop, közlésre elfogadva, 2006. 9