7. Regisztráció. Kató Zoltán. Képfeldolgozás és Számítógépes Grafika tanszék SZTE (

Átírás

1 Kató Zoltán: Ipar Képfeldolgozás 7. Regsztrácó Kató Zoltán Képfeldolgozás és Számítógépes Grafka tanszék SZE (

2 Kató Zoltán: Ipar Képfeldolgozás Kép mozak agyobb látószög érhető el agylátószögű optka fokozott torzítás öbb kamera képének összellesztésével kép mozak Általában akkor állítható elő geometralag helyes mozak, ha a kamera középpontok egybeesnek.

3 Kató Zoltán: Ipar Képfeldolgozás 3 SÍK ALAKZA MOZAIKOZÁSA EGY SÍKBA ESŐ KÉSÍKOKKAL

4 Kató Zoltán: Ipar Képfeldolgozás 4 Síkmozak. kép. kép Mozak Síkról készült képek, képsík párhuzamos az objektummal nncs torzítás képsíkok egy síkba esnek Képek között részleges átfedés van Merev test transzformácóval összelleszthetők a képek Forgatás R Eltolás

5 Kató Zoltán: Ipar Képfeldolgozás 5. lépés: pontmegfeleltetés... A megfeleltetett pontok ugyanazon 3D pont képe az. és a. képen... : R

6 Kató Zoltán: Ipar Képfeldolgozás 6. lépés: R, meghatározása R cos( sn( x y sn( cos( cos( I sn( J, J DOF: θ, x, y 3 lneársan független egyenlet pontpár A pont megfeleltetések nem tökéletesek Hba a pont koordnátában LSE Hbás megfeleltetések (klógó adatok RASAC A drekt megoldás nem alkalmas ezeknek a hbáknak a kezelésére.. : R

7 Kató Zoltán: Ipar Képfeldolgozás 7 LSE megoldás Az eredet egyenlet helyett mnmalzáljuk a négyzetes hbát (SSE A geometra hbát az eredet és transzformált pont eukldesz távolságával mérjük (ha pontos a R és, akkor ez 0 SSE R R + R SSE R és függvénye SSE mnmuma adja az optmáls R és értékét: [ R, ] arg mn LSE R, SSE Ez általában nemlneárs probléma Ebben a specáls esetben azonban a megoldást zárt alakban kapjuk!

8 Kató Zoltán: Ipar Képfeldolgozás SSE mnmalzálása Fejtsük k, majd egyszerűsítsük az alábbak alapján: Forgató mátrx ortonormált: R R=I Mvel R skalár R = ( R = R Mnmum ott lesz, ahol: SSE =0 és SSE >0 8 SSE ] [ ] [ ] [ ] [ ] ][ [ ] [ ] [ R R R R R R R R R SSE R R

9 Kató Zoltán: Ipar Képfeldolgozás Eltolás szernt dervált: Legyen -re kapjuk: Geometra értelemben ez nem más mnt és az elforgatott súlypontja között eltérés 9 ( 0 ( R R, R

10 Kató Zoltán: Ipar Képfeldolgozás Forgatás 0 θ szernt dervált: 0 ( cos sn SSE d d d d RJ RJ J I R R 0 ] [ 0 ( J J RJ RJ R J J J B A B A (, ( 0 ] ([ sn ] ([ cos (snθ,cosθ-ra két megoldása van: (A,B / sqrt(a +B (-A,-B / sqrt(a +B A helyes az, amelykre SSE >0: Expand R 0 sn cos 0 ] [ RJ A B cos sn B A B B A A

11 Kató Zoltán: Ipar Képfeldolgozás Megoldás zárt alakban R cos sn B A B B A A J J B A ( (, Forgatás: Eltolás: ahol: 0 0 J

12 Kató Zoltán: Ipar Képfeldolgozás SÍKMOZAIK KÉSZÍÉSE ÁLALÁOS ESEBE

13 Kató Zoltán: Ipar Képfeldolgozás A kamera középpont jelentősége ekntsünk két kamerát azonos vetítés középponttal: KR[I C ~ ],' K'R'[I C ~ ] A közös középpont matt Egy 3D X pont képe között tehát az alább összefüggés van: x' 'X K'R' Azaz egy H síkhomográfa: x' Hx ahol ' K'R' - KR X K'R' KR- x H K'R' KR - - KR

14 Kató Zoltán: Ipar Képfeldolgozás Mozakozás síkhomográfával. Válasszunk egy referenca képet (célszerűen a középsőt. Számítsuk k a H síkhomográfát am egy képet a referenca képhez lleszt. 8 DOF legalább 4 pont megfeleltetés 3. ranszformáljuk a képet H- val 4. Ismételjük a -3 lépéseket mnden képre.

15 Kató Zoltán: Ipar Képfeldolgozás 5 IC: IERAIVE CLOSES OI

16 Kató Zoltán: Ipar Képfeldolgozás 6 IC ont megfeleltetéseket nem mndg lehet megbízhatóan előállítan (pl. bárs képek, alapzatok Vegyük a legközelebb pontot mnt megfeleltetést 3D ponthalmazok eukldesz llesztésére szolgál A legjobb merevtest transzformácót keressük M az ún. model ponthalmaz. S az ún. kép ponthalmaz. Feltételezések:. M = S.. Mnden S pont megfelel egy M pontnak.

17 Kató Zoltán: Ipar Képfeldolgozás 7 IC algortmus. árosítsunk mnden S pontot a legközelebb M ponttal. Határozzuk meg azt a merev test transzformácót, am mnmalzálja az átlag négyzetes hbát (MSE 3. Alkalmazzuk a transzformácót S-re, és frssítsük az MSE hbát 4. Iteráljuk -3 lépéseket, amíg nem konvergál Az algortmus tulajdonsága: Közel dentkus transzformácóra működk (előllesztés ont párosítás számításgényes (mnden pont legközelebb párját kell megtaláln em robosztus (klógó adatokat nem kezel Vszont a transzformácót zárt formulával kapjuk Lassú, de garantált konvergenca egy lokáls mnmumba

18 Kató Zoltán: Ipar Képfeldolgozás MSE hbafüggvény Az llesztő transzformácó és hba: 8 S S R S S q s q R m q f rans s Rot m R f ( ( (, (, (,, ( S M d rans Rot mse

19 Kató Zoltán: Ipar Képfeldolgozás 9 ont párosítás A legközelebb pont nem mndg ad valód megfeleltetést: Ha elég közel van a két alakzat, akkor jól működk:

20 Kató Zoltán: Ipar Képfeldolgozás A legközelebb pontok Két pont, r és r eukldesz távolsága: ont távolsága egy A ponthalmaztól: Vagys a megfeleltetéseket megkapjuk: C legközelebb pont operátor Y az S-hez legközelebb pontok halmaza 0 ( ( (, ( z z y y x x r r r r d, ( mn, (.. n a r d A r d M Y M S C Y M y y s d s m d M s d M m, (, ( mn, (

21 Kató Zoltán: Ipar Képfeldolgozás Megfeleltetések Egy párosítás előállításának komplextása O( M (legrosszabb eset Ha smert Y, akkor az llesztő transzformácó meghatározható: ( Rot, rans, d ( S, Y Majd S-re alkalmazzuk a tarnszformácót és így kapjuk az új ponthalmazt: S new Rot ( S rans

22 Kató Zoltán: Ipar Képfeldolgozás IC algortmus Y = C(M,S,e (rot,trans,d Int the error to Calculate correspondence Calculate algnment S`= rot(s+trans d` = d Apply algnment Update error If error > threshold

23 Kató Zoltán: Ipar Képfeldolgozás 3 ALAKZAILLESZÉS O MEGFELELEÉSEK ÉLKÜL

24 Kató Zoltán: Ipar Képfeldolgozás 4 Geometra kapcsolat alakzat képe között Sablon Megfgyelés (deformált A geometra kapcsolat az alakzat pontja között: ahol

25 Kató Zoltán: Ipar Képfeldolgozás 5 Megoldás pont megfeleltetések nélkül Integráljuk k az egyes pont megfeleltetéseket az és előtér régók felett. Ahol az alkalmaztuk és ntegrál transzformácót a Jacob determnáns Et egy két nemlneárs egyenletből álló egyenletrendszer am nem elegendő kettőnél több paraméter meghatározására

26 Kató Zoltán: Ipar Képfeldolgozás 6 ovább egyenletek előállítása Alapötlet: Generáljunk lneársan független egyenleteket nemlneárs ω függvények segítségével: Legyen egy nemlneárs függvényhalmaz. Az alább egyenletrendszert kapjuk:

27 Kató Zoltán: Ipar Képfeldolgozás 7 ω értelmezése Mnden ω az alakzat egy konzsztens színezését adja Az egyenletek az ω függvény által meghatározott térfogatok egyenlőségét fejezk k (megfelelő koordnátarendszerben polnomáls Az llesztő transzformácó paraméteret egyszerűen az egyenletrendszer megoldásaként kapjuk. rgonometrkus

28 Kató Zoltán: Ipar Képfeldolgozás 8 Hogyan válasszuk meg az ω függvényeket? Elmélet szempontból csak trváls feltételek: Integrálható, kellően karaktersztkus Az egyenletek hozzájárulása az algebra hbához kegyensúlyozott: ormalzált képkoordnáták Az ω függvények értékkészlete normalzált Gyakorlat szempontból fontos, hogy általános esetben egy nemlneárs ntegrál egyenletrendszert kell megoldan a közbülső deformácókat s k kell értékeln komplextás nagy mértékben függ a képmérettől

29 Kató Zoltán: Ipar Képfeldolgozás 9 Hogyan válasszuk meg az ω függvényeket? Vajon redukálható-e az egyenletrendszerünk egy egyszerű polnm egyenletrendszerre? Ha nem kell ntegráln, akkor elegendő egyszer véggmenn a képpontokon, tehát jelentős gyorsulás érhető el (futásdő csaknem független lesz a képmérettől A válasz gen, HA A transzformácó bázsfüggvények lneárs kombnácójaként írható fel olnom vagy S transzformácó Egyébként aylor sorfejtéssel mndg lyen alakra hozható olnomáls ω függvényeket alkalmazunk

30 Kató Zoltán: Ipar Képfeldolgozás 30. példa: Affn transzformácó Homogén koordnátákkal felírva: A tarnszformácós mátrx: ω függvényt alkalmazva:

31 Kató Zoltán: Ipar Képfeldolgozás 3 olnom egyenletrendszer olnomáls esetén Szeparálható (x és y szernt polnom egyenletrendszert kapunk: n =,,3; k =, Affn deformácó polnomáls esetén standard.,. és 3. alakzatmomentumra vezet:

32 Kató Zoltán: Ipar Képfeldolgozás 3 Algortmus Közelítsük az ntegrált: Jacob: Algortmus:. Számoljuk k a Jacobt. Az ntegrálok (momentumok kszámolásával megkapjuk az egyenletek együtthatót 3. Oldjuk meg az egyenletrendszert Komplextás:, ahol s az alakzatokat alkotó pxelek száma

33 Kató Zoltán: Ipar Képfeldolgozás 33. példa: emlneárs transzformácó Szerelés jelek épségének ellenőrzése autópar gumtömlőkön

34 Kató Zoltán: Ipar Képfeldolgozás 34 Az ellenőrzés menete Az ellenőrzést a tömlőn lévő jel sablonképével történő összehasonlítással oldhatjuk meg Ehhez szükséges a síkbel sablon és a hengeres tömlöfelületre nzomtatott jel képénel llesztése A nehézséget a szegmentálás hbák és a komplex torzulások adják

35 Kató Zoltán: Ipar Képfeldolgozás 35 Az összetett transzformácó A kontakt nyomtatás folyamata: A sík alakzatot (lényegében a nyomtató domot a cső felületén a megfelelő helyre pozconáljuk, Majd a cső felületére nyomjuk Ezt az alább transzformácókkal írhatjuk le:. egy D forgatás és skálázás (3 paraméter. D3D leképezés r sugarú hengerfelületre ( paraméter 3. Ezután a csőről egy képet készítunk egy projektív kamerával (6 külső paraméter + fókusztávolság A sík alakzat és a csőnyomat között γ S transzformácónak tehát paramétere van.

36 Kató Zoltán: Ipar Képfeldolgozás 36 Felhasznált anyagok, szoftver Ronen Gvl: IC Letölthető szoftver at oldalról:. onlnear Shape Regstraton wthout Correspondences. JAVA code. Implements planar homography, extenson to other nonlnear deformatons s relatvely easy.. Affne Regstraton of 3D Objects. JAVA code wth mult-threadng (~0. sec. CU tme for megavoxel volumes. 3. Affne Regstraton of lanar Shapes. JAVA code wth a drect solver (only runs under Wndows.