Skálázottan merőleges kamera

Skálázottan merőleges kamera optmáls kalbrácója Hajder Levente MTA SZTAKI Geometra Modellezés és Számítógépes Látás Laboratórum hajder@sztak.hu Absztrakt. A kamera kalbrácó a háromdmenzós számítógépes látás egyk fontos alapproblémája, hszen pontosan kalbrált kamerák nélkül pontos háromdmenzós becsléseket sem lehet végezn. Kamerakalbrácóra számtalan jól működő algortmus létezk, ezek többsége perspektív kamerákkal foglalkozk, és kezdet becslés után numerkus optmalzálással javítják a kalbrácó mnőségét. Sajnos nem bzonyítható, hogy ezek az algortmusok megtalálják az optmumot. Ebben a tanulmányban azt mutatjuk meg, hogy korábban kfejlesztett, gyengén perspektív kamerakalbrácós algortmusunk segítségével az optmáls megoldás elérhető. 1. Bevezetés Optmáls algortmusok kfejlesztése soknézőpontos rekonstrukcókhoz [5] khívásokkal tel feladat. Ez a ckk a számítógépes látás egyk alapproblémájával, a kamerakalbrálással foglalkozk. A téma nem új, a 80-as évektől számos kváló kutató publkált kalbráló módszereket. Perspektív kamerára számtalan jól működő algortmust [4, 16] javasoltak. Ezek a módszerek először egy közelítő megoldást becsülnek, majd numerkus optmalzálással [9, 10] javítják a kapott közelítést. Sajnos az algortmusok nem garantálják, hogy megtalálják a globáls optmumot. Abban az esetben, ha a kamera belső paramétere már smertek, konvex optmalzálás segítségével a külső paramétereket meg lehet optmálsan találn, ahogyan azt Olsson és mtsa. [12] megmutatták. Sokkal egyszerűbb a helyzet, ha affn kamerákat alkalmazunk, hszen ebben az esetben a probléma lneárs [14]. Gyengén perspektív [2] és paraperspektív [6] kamerák kalbrácójával s foglalkoztak, azonban ezek a módszerek sem optmálsak, mert arra fókuszálnak, hogyan lehet a valód perspektív és az egyszerűsített kameramodellek között átjárást megvalósítan. Ezek a tanulmányok az optmaltással nem foglalkoznak. Jelen ckk szerzője szntén foglalkozott kamerakalbrácóval. 2010-ben skerült megmutatn, hogy a gyengén perspektív kamera optmáls kalbrácója [3] egy tzedfokú polnom segítségével megoldható. Korábban javasoltunk rekonstrukcós módszert skálázottan ortonormált kamerára [13] s. Ebben a tanulmányban azt mutatjuk be, hogy a rekonstrukcó során alkalmazott ötlet segítségével a kamera kalbrácóját el lehet végezn, és az így kapott teratív kalbráló algortmus legksebb négyzetes értelemben optmáls megoldást ad.

Optmáls kamerakalbrácó 343 2. A feladat megfogalmazása Amennyben adott egy térbel pont, és a 2D-s vetülete a képen, a kalbrácós algortmusok célja a 3D 2D vetítés paraméterenek megtalálása. A kalbráló tárgyunk -edk pontjának koordnátát X, Y és Z jelöl, a vetítés után koordnátákat pedg u és v. Perspektív kamera esetén a vetítést a jól smert összefüggés segítségével kapjuk meg: u v C[R T] 1 X Y Z 1, (1) ahol R az ortonormált forgatás mátrx, T az eltolás vektor a kamera fókuszpontja és a vlág koordnátarendszerének középpontja között. (R-et és T- t a kamera külső paraméterenek szokás hívn.) A jel azt jelent, hogy az egyenlőség teljesüléséhez az egyk oldalt egy skalárral meg kell szorozn. A kamera belső paramétere a C-vel jelölt felső háromszög mátrxban találhatóak. [4]. A gyengén perspektív kamera akkor alkalmazható, ha a tárgy mélysége jóval ksebb, mnt a fókuszpont és a tárgy pontjanak a távolsága. Ebben az esetben a perspektív vetítést az alább összefüggéssel közelíthetjük: ] = [M t] v [ u X Y Z 1, (2) ahol M-et mozgás mátrxnak hívják, t a kétdmenzós eltolás vektor. Az eltolás vektor a vlág koordnátarendszerének vetületét adja meg a képen. M mozgásmátrx két soraháromdmenzóssorvektorokattartalmaz, melyeket m T 1 - tal és m T 2-tal jelölünk. Gyengén perspektív kamera esetén ez a két sor merőleges egymásra: m T 1 m 2 = 0. Ebben a ckkben skálázottan ortonormált kamerával foglalkozunk. Ez a gyengén perspektív kamerának egy specáls esete: nemcsak merőleges a két sorvektor, hanem a hosszuk s megegyezk: m T 1 m 1 = m T 2 m 2. A kamerakalbrácó során a célunk az összes pontra a következőképpen felírható vsszavetítés hbát mnmalzáln: W MS 2, (3) ahol 2 az ún. Frobenus-norma négyzetét (mátrx elemenek négyzetösszegét) jelöl, S mátrx tartalmazza a háromdmezós pontokat, W mátrx pedg a megfelelő vetületek kétdmenzós koordnátát: S = X 1 X 2... X P Y 1 Y 2... Y P, (4) Z 1 Z 2... Z P [ ] u1 u W = 2... u P. (5) v 1 v 2... v P (P-vel jelöljük a pontok számát.)

344 Hajder Levente 3. Skálázottan ortonormált kamera kalbrácója Ahogyan azt megmutattuk [3], a gyengén perspektív kalbrácó Lagrangemultplkátoros optmalzálással egy tzedfokú polnom zérushelyenek keresésére vezethető vssza. Skálázottan ortonormált kalbrácó esetén ez a megoldás sajnos nem vezet eredményre, hszen két megkötésünk s van, szemben a gyenge perspektíva egy megkötésével. A mátrxnverzók matt a behelyettesítés így lehetetlenné válk. Ezért alkalmazzuk a következő trükköt, ahogyan azt már korábban s javasoltuk[13]: egészítsük k a kétdmenzós koordnátákat és az M mozgás mátrxot egy harmadk sorral: M = mt 1 m T 2. (6) m T 3 Ez a harmadk sorvektor legyen az első két vektorra merőleges, hossza pedg azonos az első kettőével. Ebben az esetben az M mozgásmátrxot fel tudjuk írn egy ortonormált R mátrx és egy q valós szám szorzataként: M = qr. Ha az M mozgásmátrx már k lett egészítve a harmadk sorral, a W mérés mátrxot s k lehet egészíten: W = wt 1 w2 T, (7) w3 T ahol w T 1 = [u 1 u 2...u F ] T és w T w = [u 1 u 2...u F ] T. A harmadk sort, ha már kegészítettük M-et, könnyen k lehet számoln: w T 3 = mt 3 S. A kalbráló algortmusunk során a cél kszámoln R ortonormált mátrxot és q valós számmal ábrázolt skálázást, ha smerjük S és W mátrxot, más szóval van egy refererncaobjektumunk pontokkal, és smerjük annak vetületet s. Az optmáls kalbráló algortmus egy terácó, amnek a vázát az 1. algortmuson láthatjuk. Az terácó mndössze két lépést tartalmaz, az első kegészít az M és W mátrxokat, a másk lépés pedg egy 3D 3D regsztrácót alkalmaz. Azért nevezzük regsztácónak, mert kegészített W mérés mátrx esetén az S struktúra mátrxban és W-ben ugyanannak a pontnak a háromdmenzós koordnátá vannak, egymáshoz képest skálázva és elforgatva. Ha a skálázást nem vesszük fgyelembe, a probléma a 3D-s elforgatás megtalálása. Ezt hívják a geometrában ponthalmazok regsztácójának. A regsztácós probléma optmálsan megoldható, a tökéletes megoldást több eltérő módszerrel meg lehet találn [1, 7, 8]. Ahogyan azt megmutattuk korábban [13], az elforgatás független a skálázástól. Ha pedg az elforgatás már smert, a skálázás maga lneárs becsléssel meghatározható [13]. Ha pontosítottuk a regsztácós lépéssel a q skálázást és az R ortonormált mátrxot, a W mérés mátrx kegészítését újra és újra el kell végezn. A vsszavetítés hbát mnd a regsztrácós, mnd a kegészítő lépés csökkent, vagy legalábbs nem növel. Mvel a vsszavetítés hba nemnegatív, és csak csökkenn tud, ezért bztosak lehetünk abban, hogy az eljárás konvergál.

Optmáls kamerakalbrácó 345 Algorthm 1 A skálázottan ortonormált kamera kalbrácójának váza. repeat w 3 Kegészítés(R,t,S,q) R,t,q Regsztrácó(S,w 1,w 2,w 3) untl konvergenca. 4. A lokáls optmum problémája Ahogyan azt már korábban említettük, az előző fejezetben smertetett kalbrácós algortmus a globáls optmumot megtalálja. Ebben a fejezetben azt mutatjuk meg, hogy a módszer törvényszerűen a globáls optmumhoz konvergál, hszen lokáls mnmum nem létezk. A bzonyítást először egyszerűsítéssel végezzük el: ha a 3D 2D vetítés helyett 2D 1D vetítéssel képzeljük el a problémát, mnden gaz marad, azt leszámítva, hogy a mozgásmátrx csak egy sort tartalmaz, kegészítve kettőt. A bzonyítás ebben az esetben könnyebben megérthető, mvel kétdmenzóban a forgatás mátrx leírható egy paraméter (például a forgatás szög) segítségével. 4.1. 2D 1D vetítés Ez egyszerűsített esetben a vsszavetítés hba így néz k: N [ ] u X 2 m 2D, (8) Y =1 ahol m 2D = qr1 T egy sorvektor, amelyket k lehet egészíten az r 2 vektorral. r 2 merőleges r 1 -re, mndkettő egységvektor. A mért u koordnátát szntén k lehet egészíten a másodk koordnátával: v = qr 2 [X,Y ] T. Az optmáls regsztácó például Arun és mtsa. módszerével [1] kétdmenzóban s meghatározható optmálsan. Mnt ahogyan azt már láthattuk, két önmagában optmáls lépésből áll a kalbráló algortmus. A csalás ott lép be, hogy a W mérés mátrxot kegészítjük új (másodk) koordnátákkal, amt a regsztácó során pontosan ugyanúgy veszünk fgyelembe, mnt a mért u koordnátákat. Attól tartunk, hogy ez a kegészítés eltérít a jó megoldástól az algortmust. Ez abban az esetben lehetséges, ha a forgatás/skálázás esetén az első sor négyzetes hbájának a derváltja abszolutértékben ksebb, mnt a másodk soré, azaz azt a javulást, amt az első sor okoz, a másodk sor képes vsszahúzn. Könnyű belátn, hogy a skálázás ezt nem befolyásolja, hszen mndkét sor ugyanúgy meg van szorozva q-val. Az elforgatás kérdése már bonyolultabb. Szerencsére tudjuk, hogy a módszerünk konvergál valahova. Amkor már nagyon-nagyon közel jár a mnmumhoz, tudjuk, hogy nagyon pc szöggel s felírhatjuk a forgatást. A forgatás mátrx így írható fel alapesetben: R = [ cos α sn α sn α cos α ]. (9)

346 Hajder Levente r2 Térbel pont Rég kegészített érték α Új kegészített érték ε(τ) δ(τ 1) Rég becslés r1 α δ(τ) Új becslés Mérés 1. ábra: A regsztrácó és a kegészítés hbájának változása szomszédos terácók között Ez nagyon kcs α esetén a jól smert szögfüggvényes közelítésekkel átírható: R [ ] 1 α. (10) α 1 A kegészítés akkor állítja meg a konvergencát lokáls mnmumban, ha a regsztácó javulásának a derváltja abszolutértékben ksebb, mnt a kegészítés romlása. (A kegészítés mndenképpen romlk, hszen mnden egyes kegészítő lépés nullára csökkent a hbát a kegészített (harmadk) koordnátákban.) Az 1. ábrán láthatjuk az terácó két lépése között változást, ha α-val változk meg a szög. Az R mátrx két sora adja meg a koordnátatenglyeket, ezek forognak a regsztrácós lépés során Az aktuáls terácó számát τ-val jelültük az ábrán. Jelöljük ǫ -vel a regsztácó javulását, δ -vel a kegészítés hbájának növekedését a regsztrácó után.

Optmáls kamerakalbrácó 347 A regsztráló lépésben a kapott forgatásból jövő koordnátaváltozás könnyen kfejezhető: [ ][ ] [ ] 1 α X X (11) α 1 Y Y [ ][ ] 0 α X = (12) α 0 Y [ ] Y = α. (13) X A regsztrácó hbája az elforgatott koordnáta és a mért érték különbsége: ǫ = u [ 1 α ][ ] X = u Y X αy, (14) a kegészítésből származó hba pedg a 13. összefüggés másodk koordnátája: δ = αx. Az algortmus akkor ragad benne a rossz pozícóban, ha a szögváltozás szernt dervált abszulutértéke nagyobb a kegészítés hbájára, mnt a regsztrácó javulására nézve: N =1 e2 α < N =1 δ2 α. (15) Tudjuk, hogy N =1 δ2 α 0 ha α 0, hszen δ2 α = αx2. Másrészről az s gaz, hogy N =1 e2 α > 0 mnden esetben, kvéve, amkor u X = 0, mvel ǫ 2 α = 2(u X αy )Y. Ez azt jelent, hogy a regsztácó javító hatása mnden esetben erősebb, mnt a kegészítés koordnátájában okozott hba, kvéve, ha u X = 0. Ez utóbb eset azonban azt jelent, hogy a regsztácó tökéletes, már korábban elértük a mnmumot. (Ráadásul ez csak abban a kvételes esetben lehetséges, ha az [u,v ] T koordnátákban semm zaj nncsen, nulla hbával regsztáln kalbráln lehet a kamerát, Ilyen gyakorlatlag sosem fordul elő.) Tehát nem tud az algortmus lokáls mnmumba futn, akárhonnan ndítjuk, ugyanazt a megoldást kapjuk. 4.2. 3D 2D vetítés Ebben az esetben s feltételezhetjük, hogy már közel vagyunk a megoldáshoz. Ks változás esetén a forgatás mátrx háromdmenzóban s leírható ks szög és egy tengely segítségével. (A forgatás mátrxnak három szabadság foka van, a tengely kettőt, a szög egyet ad.) Tegyük fel, hogy a forgatás a Z tengely körül történk. Ebben az esetben a ks α szöggel forgatás így írható le: R 1 α 0 α 1 0. (16) 0 0 1

348 Hajder Levente Általános esetben nem gaz, hogy a Z tengely körül forgatunk, ezért az eredet koordnátarendszerből el kell úgy forgatnunk a pontokat, hogy ez gaz legyen. Ehhez egy Q = [q 1,q 2,q 3 ] T háromdmenzós transzformácót vezetünk be úgy, hogy gaz legyen: R = QR. A regsztácós lépésre a 2D 1D esethez hasonlóan gaznak kell lenne, hogy a regsztácó javulását nem képes elrontan a kegészített koordnátákból származó hba. Az. pontra jutó kegészítés hbát jelöljük továbbra s δ -vel. Így tudjuk meghatározn: δ = q3 T 1 α 0 α 1 0 I 3x3 X Y (17) 0 0 1 Z = αq3 T Y X. (18) A regsztácós hba két koordnáta javulásából adódk. Az első koordnátáé így néz k: Z ǫ = u q1 T 1 α 0 α 1 0 X Y (19) 0 0 1 Z = u q1 T X Y αq T Y 1 X. (20) Z Z A másodk koordnáta értelemszerűen hasonló: γ = v q2 T X Y αq T Y 2 X. (21) Z Z A lokáls mnmum abba az esetben kerülhető el, ha mndg gaz, hogy N =1 e2 α + N =1 γ2 α Ez pedg gaz, kvéve ha u = q T 1 X Y Z < N =1 δ2 α, és v = q T 2. (22) X Y Z mnden -re. Ez pedg csak akkor gaz, ha már tökéletesen egymáshoz vannak regsztrálva a ponthalmazok, azaz már a globáls mnmumban vagyunk. Tehát kjelenthetjük, hogy a kalbrácós algortmus mndg ugyanoda, a globáls mnmumhoz konvergál.

Optmáls kamerakalbrácó 349 5. Eredmények Gyengén perspektív kamerakalbrácót önmagában rtkán szoktak alkalmazn, mvel rögzített kamerák esetén célszerűbb a valóságot jobban közelítő perspektív kalbrácót használn. Mozgó tárgyak rekonstrukcójánál azonban nagyon hasznos a gyengén perspektív kamera. M s azért fejlesztettük k a jelen tanulmányban smertetett optmáls kalbrácós algortmust, hogy mozgó tárgyak követett pontjanak háromdmenzós rekonstrukcóját végezzük. Ez akkor lehetséges, ha közben magának a kamerának a paraméteret s kszámítjuk. (Ezt a folyamatot nevezk a kamera autokalbrácónak). Ezért ebben a ckkben tesztelés eredménynek rekonstrukcós eredményeket mutatunk, noha a kalbráló módszerünk optmalzását szntetkus adatokon kpróbáltuk: ugyanarra a mesterségesen generált 3D-s és 2D-s megfeleltetett ponthalmazra különböző nduló paraméterekkel lefuttattuk az algortmust. Kvétel nélkül ugyanahhoz az eredményhez konvergált a módszer. Ha zajmentes adatokkal futtattuk, szntén kvétel nélkül a helyes megoldáshoz konvergált a módszer, akárhonnan s ndítottuk. Mvel a javasolt rekonstrukcós módszer megegyezk a korábban publkált algortmusunkkal [13], tt csak valós képsorozatokon futtatott rekonstrukcós eredményeket mutatunk meg. Szntetkus eredményeket és konkurrens módszerekkel való összehasonlításokat a korább publkácónkban [13] találhatja meg a kedves Olvasó. Arc tesztsorozat. Első valós tesztünk egy mereven tartott arc rekonstrukcója. A kndulás képeket a 2. ábrán láthatjuk. A képeken automatkusan követtük a pontokat az AAM [11] (Actve Appearance Model) segítségével. Számszerűen 44 pontot követtünk 331 képkockán keresztül. A rekonstrukcó eredménye a 3. ábrán látható. A rekonstrukcós eredményt 1 másodperc alatt számította k a Core4Quad processzoros (2.33GHz, 4GByte RAM) gépünk. 2. ábra: 4 tesztkép az Arc sorozatból Dínó tesztsorozat A forgó műanyag dnoszaurusz követet pontja az Oxford Egyetem honlapjáról 1 töltöttük le. A rekustrálandó tárgyról képek az 5. ábrán láthatóak. Összesen 319 pontot és 36 képet tartalmaz a követett pontok lstája. Öntakarás matt nem mndegyk pont látszk, de ez nem okoz problémát a rekonstrukcós 1 http://www.robots.ox.ac.uk/ amb/

350 Hajder Levente 3. ábra: Az arc rekonstrált modellje 4. ábra: A Macska tesztsorozat néhány képe, és a hozzájuk tartozó maszkok. algortmusnak, amely 36 másodperces futás után adta a 6. ábrán látható eredményt. 5. ábra: 4 tesztkép a Dínó sorozatból Macska tesztsorozat Az utolsó tesztsorozatot magunk készítettük. Egy macskát ábrázoló szobrot megforgattuk az asztalon, összesen 92 fényképet készítve. A hátteret és a macskát saját módszerünk segítségével elválasztottuk, ahogyan az a 4. ábrán látszk. Ezek után KLT algortmus [15] segítségével pontokat választottunk k, és követtük őket. Amennyben egy pont közel került a háttérhez, eldobtuk. Összesen 2290 pontot követtünk. A rekonstrukcó, amely 199 másodperces futás eredményeképpen keletkezett, a 7. ábrán teknthető meg.

Optmáls kamerakalbrácó 351 6. ábra: A Dínó sorozat rekonstruált háromdmenzós pontja 7. ábra: A Macska sorozat rekonstruált háromdmenzós pontja

352 Hajder Levente 6. Összefoglalás Ebben a ckkben megmutattuk, hogy a skálázottan ortonormált kamerát hogyan kell teratív algortmus segítségével kalbráln. Bebzonyítottuk, hogy a kdolgozott algortmus a kalbrácó vsszavetítés hbáját legksebb négyzetes értelemben mnmalzálja, és a mnmum mnden esetben globáls. Rekonstrukcós példán keresztül gazoltuk, hogy az tt smertetett algortmus gyakorlat alkalmazásokba s beépíthető. Köszönetnylvánítás A szerző ezúton szeretne köszönetet mondan Kazó Csabának, Csetverkov Dmtrjnek és Takács Dánelnek, hogy segítettek az eredmények elkészítéséhez nélkülözhetetlen pontkövetések és előtér-háttér szétválasztó módszerek elkészítésében. A munka az NKTH-OTKA CK 78409 pályázat keretében készült. Irodalom 1. K. S. Arun, T. S. Huang, and S. D. Blosten. Least-squares fttng of two 3-D pont sets. IEEE Trans. on PAMI, 9(5):698 700, 1987. 2. Danel F. DeMenthon and Larry S. Davs. Model-based object pose n 25 lnes of code. Internatonal Journal of Computer Vson, 15:123 141, 1995. 3. L. Hajder. L 2-Optmal Weak-Perspectve Camera Calbraton. In Ffth Hungaran Conference on Computer Graphcs and Geometrcs, pages 89 96, 2010. 4. R. I. Hartley and A. Zsserman. Multple Vew Geometry n Computer Vson. Cambrdge Unversty Press, 2000. 5. Rchard Hartley and Fredrk Kahl. Optmal algorthms n multvew geometry. In Proceedngs of the Asan Conf. Computer Vson, pages 13 34, 2007. 6. Radu Horaud, Fad Dornaka, Bart Lamroy, and Stéphane Chrsty. Object pose: The lnk between weak perspectve, paraperspectve and full perspectve. Internatonal Journal of Computer Vson, 22(2):173 189, 1997. 7. B.K.P. Horn. Closed-form Soluton of Absolute Orentaton usng Unt Quaternons. Journal of the Optcal Socety of Amerca, 4:629 642, 1987. 8. B.K.P. Horn, H.M. Hlden, and S. Negahdarpourt. Closed-form Soluton of Absolute Orentaton Usng Orthonormal Matrces. Journal of the Optcal Socety of Amerca, 5(7):1127 1135, 1988. 9. K. Levenberg. A method for the soluton of certan problems n least squares. Quart. Appl. Math., 2:164 168, 1944. 10. D. Marquardt. An algorthm for least-squares estmaton of nonlnear parameters. SIAM J. Appl. Math., 11:431 441, 1963. 11. Ian Matthews and Smon Baker. Actve appearance models revsted. Internatonal Journal of Computer Vson, 60:135 164, 2003. 12. Carl Olsson, Fredrk Kahl, and Magnus Oskarsson. Optmal estmaton of perspectve camera pose. In ICPR 06: Proceedngs of the 18th Internatonal Conference on Pattern Recognton, pages 5 8, 2006.

Optmáls kamerakalbrácó 353 13. Á. Pernek, L. Hajder, and Cs. Kazó. Metrc Reconstructon wth Mssng Data under Weak-Perspectve. In Brtsh Machne Vson Conference, pages 109 116, 2008. 14. Heung-Yeung Shum, Katsush Ikeuch, and Raj Reddy. Prncpal component analyss wth mssng data and ts applcaton to polyhedral object modelng. IEEE Trans. Pattern Anal. Mach. Intell., 17(9):854 867, 1995. 15. Tomas, C. and Sh, J. Good Features to Track. In IEEE Conf. Computer Vson and Pattern Recognton, pages 593 600, 1994. 16. Z. Zhang. A flexble new technque for camera calbraton. IEEE Trans. on PAMI, 22(11):1330 1334, 2000.