Szegedi Tudományegyetem Informatikai Tanszékcsoport An deformációk paramétereinek becslése megfeletetések nélkül PhD-értekezés tézisei Domokos Csaba Témavezet : Dr. Kató Zoltán Szeged 2010
Bevezetés A képregisztráció majdnem minden képfeldolgozási alkalmazás fontos lépése, ahol az objektumok eltér néz pontból vagy különböz szenzorral készített képeit kell összehasonlítani esetleg kombinálni. Tipikus felhasználási területei közé tartozik az alakfelismerés, objektumok követése videószekvenciákon, m holdképek változásaink detektálása, szuperfelbontású képek, képmozaikozás, illetve az orvosi képfeldolgozás. Általánosan a feladat egy olyan transzformáció megkeresése, mely az egyik képet (meggyelés) a második képhez illeszti (sablon). A lehetséges transzformációk nagy száma miatt a probléma rosszul deniált, hacsak nem vesszük gyelembe ezt a nagy változatosságot. Sok esetben a képjellemz k változása annyira összetett, hogy az egyetlen járható út a képek regisztrálására, hogy a bináris reprezentációjuk alapján oldjuk meg a problémát. A röntgen képek (lásd 1. ábra) esete jó példa arra, hogy egy er sen nemlineáris színtorzulás megnehezíti a regisztrációt. Ha a képek tökéletes szürkeárnyalatos változata adott lenne, akkor az illeszt transzformáció paramétereinek becslése visszavezethet lenne egy lineáris egyenletrendszer megoldására [1; 2]. Mindazonáltal valós alkalmazások során ilyen er s feltétel ritkán teljesül. Itt egy olyan regisztrációs eljárást mutatunk be, amely a kép intenzitásértékeinek felhasználása nélkül oldja meg a feladatot. A képek között valós esetben projektív transzformáció van (melyet síkhomográának is hívnak). Bár a projektív transzformációk nemlineárisak, gyakran an transzformációkkal jól modellezhet k, melyek viszont már lineárisak. Emiatt az an transzformációk fontos szerepet játszanak a képregisztrációban. Ez a tézis a Szerz azon eredményeit foglalja össze, melyek a bináris képregisztráció pontmegfeleltetések nélküli megoldásával kapcsolatosak, és ahol an transzformációkat feltételezünk a regisztráció során. Alapmegoldás El ször bevezetünk néhány szükséges jelölést, majd formalizáljuk a megoldás alapötletét. Jelölje az n-dimenziós sablon és meggyelés képek homogén pontkoordinátáit x = [x 1, x 2,..., x n, 1] T és y = [y 1, y 2,..., y n, 1] T P n. Az alakzatok között fennálló reláció a következ [3; 4] y = Ax x = A 1 y, (1) 1
ahol A egy ismeretlen an transzformáció, melyet meg szeretnénk határozni: a 11... a 1n a 1(n+1) q 11... q 1n q 1(n+1)...... A =, és A 1...... = a n1... a nn a n(n+1) q n1... q nn q n(n+1) 0... 0 1 0... 0 1. Egy olyan direkt megoldást szeretnénk találni, mely során nem kell pontmegfeleltetéseket keresni. Ha olyan képi jellemz k is rendelkezésre állnak, melyek invariánsak a transzformációra nézve (például a pixelek intenzitásértékei [2]), akkor további relációkat deniálhatunk: f(x) = g(ax) = g(y), (2) ahol f, g : P n R kovariánsak az A transzformációra nézve. A fenti összefüggések továbbra is érvényben maradnak, ha egy függvény hat az (1) [2; 3; 4] vagy a (2) egyenlet [5; 6; 7] mindkét oldalán. Valóban, tetsz legesen megválasztott ω p : P n R és ω c : R R függvények esetén kapjuk, hogy ω p (y) = ω p (Ax), és (3) ω c (g(y)) = ω c (g(ax)) = ω c (f(x)). (4) Így ezen nemlineáris ω p és ω c függvények felhasználásával annyi lineárisan független egyenletet generálhatunk, amennyire szükségünk van. A nemlineáris ω p függvény közvetlenül a pontkoordinátákon hat, így az ismeretelen A transzformáció paraméterein, és egy nemlineáris egyenletrendszerhez vezet [3; 4]. Ezzel szemben ω c az f és g kovariáns függvényeken hat, és alkalmazásával egy lineáris egyenletrendszert kapunk [2; 5; 6]. Az alakzatokat az 1 : P n {0, 1} karakterisztikus függvénnyel reprezentáljuk, ahol 0 és 1 a háttérhez, illetve az el térhez tartozó pixeleket jelöli. Ha a sablon képet 1 t -vel, a meggyelést pedig 1 o -val jelöljük, akkor az (1) egyenletb l a következ összefüggéshez jutunk [3; 4] 1 t (x) = 1 o (Ax) = 1 o (y). (5) 2
Bináris képek an torzulásinak paramétereinek becslése: Polinomiális megoldás Most egy olyan újfajta megközelítést mutatunk be, ahol a pontos transzformáció, mely egy ismert 2D alakzat és annak egy deformált meggyelése között van, egy polinom egyenletrendszer megoldásával megkapható. A klasszikus képjellemz kön alapló megközelítések el ször pontpárokat azonosítanak a képeken, majd az (1) egyenletben megadott lineáris egyenletrendszert oldják meg. Ellenben mi egy direkt megoldást szeretnék találni a pontmegfeleltetés problémájának megoldása nélkül. Az (1) egyenletben megadott relációból kiindulva, majd véve mindkét oldal Lebesgue integrálját kapjuk, hogy [3; 4] P n x dx = 1 A P n A 1 y dy, (6) ahol az x = A 1 y, dx = A 1 dy integrál transzformációt alkalmaztuk. Az A az ún. Jacobi-féle determináns, melyr l feltesszük, hogy mindig pozitív. Továbbá kiszámolható az alábbi integrálokkal [3; 4] P n 1 t (x) dx = 1 A P n 1 o (y) dy A = Pn 1 o (y) dy P n 1 t (x) dx, melyek közvetlenül számolhatók az input képek alapján. Mivel a karketrisztikus függvények csak 0 és 1 értéket vesznek fel, a fenti integrált tovább egyszer síthetjük [3; 4]: 1 t (x) dx dx, P n F t ahol F t = {x P n 1 t (x) = 1} az integrálási tartományt, a sablon kép (véges) el tér régióját jelöli ki. A meggyelés esetén hasonlóan, 1 o (y) integrálásakor is megszoríthatjuk a tartományt az F o el tér régióra. Összeszorozva egymással a (6) és az (5) egyenletet, az alábbi, véges tartományon vett integrál egyenletet kapjuk [3; 4]: F t x dx = 1 A F o A 1 y dy. (7) Ebb l az következik, hogy F t és F o között is fenáll az F o = AF t reláció. Tulajdonképpen az egész alakzatot illesztjük, ahelyett hogy az egyes pontok közötti megfeleltetéseket vennénk. A (3) egyenlet felhasználásával (7)-b l az alábbi integrál egynelethez jutunk [3; 4] F t ω(x) dx = 1 A 3 F o ω(a 1 y) dy. (8)
Az alapötlet ezen megközelítés mögött az, hogy lineárisan független ω függvények felhasználásával elegend számú lineáris egyenletet generálunk. Megjegyzezzük, hogy az így kapott egyenletek nem tartalmaznak új információt, csupán újabb lineárisan független megszorításokat eredményeznek. Állítás 1.1 Legyen ω : P n P n és x P n, ahol n N. Ha ω (k) (x) = p k jelöli az ω(x) k-adik koordinátáját, mely egy n-vátozós valós együtthatós polinom 1 k n-re, akkor ω-t a (8) egyenletre alkalmazva egy legfeljebb deg(p k ) fokú polinom egyenletrendszert kapunk. Mostantól a 2-dimenziós esettel foglalkozunk. Az ω-ra nézve az x l (l N 0 ) függvényosztály ideális választás. Ekkor a következ polinom egyneleteket kapjuk k = 1, 2-re [3; 4]: A x l k dx = l ( l i ) i j=0 ( ) i q l i j k1 qi j k2 qj k3 y l i 1 y i j 2 dy l = 1, 2, 3. (9) Habár az egyenleteket folytonos tartományon deniáltuk, az integrálokat a gyakorlatban csak közelít en, diszkrét összegek segítségével kapjuk. A képeken elegend egyszer végigmenni és ezalatt az integrálok, illetve a Jacobi-féle determináns is kiszámítható. Jól látszik, hogy a megoldás egyetlen lépésben, iterációs lépés vagy optimalizálás nélkül megkapható. Tekintsük most azt az esetet, mikor a meggyelt pontok koordinátái nem pontosan az eredeti helyükön, hanem csak azok környékén vannak. Ekkor normális eloszlású, additív zajmodellt tekinthetünk a meggyelés pontjainak koordinátáin. Ekkor az (1) egyenlet az alábbi formában írható [4] y = y + ε(y) = Ax + ε (y ) x = A 1 (y ε (y )), ahol ε(y) ε (y ) = [ ε 1 (y ), ε 2 (y ), 0 ]T a zajfüggvény, mely minden y = [y 1, y 2, 1]T pontban egy véletlen eltolást eredményez. Összefoglalva az alábbi táblázat mutatja, hogy mekkora a hiba, amit a σ 1, σ 2 szórási paraméterekkel rendelkez normális eloszlású, additív zaj a meggyelés pontkoordinátáin eredményez [4]: Egyenet A : 0 ω(x) = x: 0 Hibatag ω(x) = [x 2 1, x2 2, 1]T : qk1 2 σ2 1 + q2 k2 σ2 2 ω(x) = [x 3 1, x3 2, 1]T : 3q k3 (qk1 2 σ2 1 + q2 k2 σ2 2 ) A javasolt algoritmust nagy adatbázison teszteltük, mely átlagosan 1000 1000-es méret bináris képeket tartalmaz. Az adatbázis összesen 50 000 képb l áll, ahol a képek 56 különböz 4
alakzat és azok transzformált változataiból állnak el. A regisztráció eredményének kiértékelése céljából, a következp két hibamértéket deniáltuk: ɛ = 1 F t p F t (A Â)p, and δ = F r F o F r + F o 100%, (10) ahol a szimmetrikus különbséget, F t, F o és F r pedig a sablon, a meggyelés és a regisztrált képek el térpixeleinek halmazát jelöli. Azt is megvizsgáltuk, hogy a javasolt módszer hiányos objektumok esetén mennyire robusztus. Az eredmények mutatják, hogy a módszerünk meglehet sen robusztus, illetve a regisztráció hibája kisebb mértékben n, mint hasonló módszerek esetében. δ = 3.69% δ = 7.62% δ = 5.94% δ = 4.13% δ = 1.45% 1. ábra. Csíp protézises röntgen képek regisztrációja. Az els sorban lév képek kontúrjának illesztett változata van rávetítve a második sorban lév képekre. Alapvet különbség a klasszikus regisztrációs módszerekhez képest, hogy a mi modellünk jellemz pontok vagy képjellemz k detektálása, illetve optimalizálás nélkül m ködik, és egy új ötletet felhasználva, a transzformációt egy polinom egyenletrendszer megoldásával határozza meg. A módszer az input képeken elérhet összes információt felhasználja és a transzformáció nagyságától függetlenül megadja a pontos megoldást. A futási eredmények mutatják, hogy a javasolt módszer jó illesztést szolgáltat mind valós, mind pedig szintetikus képek esetén (lásd 1. táblázat). Ezenfelül a módszer zajos meggyelések esetén is robusztus. A módszert sikeresen alkalmaztuk csíp protézises röntgen képek regisztrációjára (lásd 1. ábra). 5
1. táblázat. Regisztrációs eredmények 56 alakzat 49 282 meggyelése esetén. Az esetek 5.47%- ban nem kaptunk megoldást. ɛ (pixel) δ (%) CPU id (mp.) Medián 0.51 0.15 0.98 Középérték 36.98 3.36 0.94 Szórásnégyzet 154.18 12.55 0.2 Alakzatok an illesztése kovariáns Gauss s r ségfüggvényekkel Most egy olyan újfajta megközelítést mutatunk be 2D an transzformációk becslésére, ahol a transzformációt egy lineáris egyenletrendszer legkisebb négyzetes értelemeben vett megoldásával kapjuk meg. Ezt úgy érjük el, hogy Gauss s r ségfüggvényeket illesztünk az alakzatokra, melyek meg rzik az ismeretlen transzformáció hatását. A javasolt módszer kritikus lépése olyan kovariáns függvénypárok megkonstruálása, melyek kielégítik a (2) egyenletet. Bináris képeken ilyen függvények meghatározása nagy kihvás, mivel a képek nem tartalmaznak színinformációt. Most inhomogén koordinátákat használunk, azaz x = [x 1, x 2,..., x n ] T R n és y = [y 1, y 2,..., y n ] T R n. Így az (1)-ben megadott összefüggés az alábbi formában írható [5; 6; 7] y = Ax + t x = A 1 (y t) = A 1 y A 1 t, (11) ahol (A, t) (R n n R n 1 ) az ismeretlen an transzformáció, amit meg szeretnék határozni. A sablon kép pontjait tekinthetjük úgy, mint egy X N(µ, Σ) kétdimenziós normális eloszlású véletlen valószín ség változó mintavételezését, a következ s r ségfüggvénnyel [5; 6; 7]: p(x) = ( 1 2π Σ exp 1 ) 2 (x µ)t Σ 1 (x µ) A továbbiakban a normális eloszlás s r ségfüggvényeit használjuk, melyek kovariáns függvénypárokat határoznak meg az alakzatok felett. Megjegyezzük, hogy a Gauss s r ségfüggvényekkel nem reprezentáljuk vagy modellezzük az alakzatot, itt csupán a pontkoordináták középértékét és kovarianciáját számoljuk ki. Tetsz leges lineáris transzformációt alkalmazva X-re egy Y = AX + t olyan véletlen valószín ségi változót kapunk, mely szintén normális eloszlású, és X (A,t) Y N(µ, Σ ) = N(Aµ + t, AΣA T ). A s r ségfüggvények N(µ, Σ) és N(µ, Σ ) paraméterei az input képekr l egyszer en számolhatók. A p és s között az alábbi. 6
kapcsolat áll fent [5; 6; 7] s(y) = ( 1 2π Σ exp 1 ) 2 (y µ ) T Σ 1 (y µ ) = 1 A p(x), ahol A könnyedén adódik az A = Σ / Σ összefüggésb l, mivel AΣA T = Σ. Néhány szükséges ekvivalens átalakítás után a Mahalanobis távolságot kapjuk meg [5; 6; 7]. Ezután a következ képpen deniálhatjuk a P, S : R n R kovariáns függvényeinket [5; 6; 7] P (x) = (x µ) T Σ 1 (x µ) és S(y) = (y µ ) T Σ 1 (y µ ). Ekkor P (x) = S(Ax + t) = S(y). (12) Összeszorozva egymással a (11) és (12) egyenleteket, az összes pontmegfeleltetést összeintegrálva kapjuk, hogy [5; 6; 7] xp (x) dx = A 1 F t F o A 1 (y t)s(y) dy, ahol az x = A 1 (y t), dx = A 1 dy integrál transzformációt alkalmaztuk. További lineárisan független egyenletek generálásához nemlineáris ω : R R függvényeket használunk, melyek a (4) egyenlet alapján új egyenleteket generálnak [5; 6; 7] xω ( P (x) ) dx = A 1 F t F o A 1 (y t)ω ( S(y) ) dy. (13) Egy lineárisan független {ω i } m halmazt felhasználva a fenti integrálokat az alábbi lineáris egyenletrendszerek segítségével is kifejthetjük bármely k = 1,..., n-re [5; 6; 7] ( ) A x k ω j P (x) dx = F t n ( ) ( ) q ki y i ω j S(y) dy + qk(n+1) ω j S(y) dy, F o F o ahol j = 1,..., m. Ezen lineáris egyenletrendszer megoldása határozza meg a transzformáció paramétereit. Ha m > 3, akkor az egyenletrendszer túlhatározottá válik, és az eredményt legkisebb négyzetes értelemben vett megoldással kapjuk. Kovariáns függvénypárjainkat deniálhatjuk úgy, hogy P, S : R n R [6; 7] P(x) = 2π Σ p(x) és S(y) = 2π Σ s(y). (14) Tegyük fel, hogy a sablon képen lév objektum l 2 diszjunkt részt tartalmaz. Ekkor mindegyik résznek pontosan egy alakzat felel meg a meggyelésen. Következésképpen kovariáns 7
(a) (b) (c) 2. ábra. Gauss s r ségfüggvények illesztése összetett alakzatok felett konzisztens kiszínezést ad. (a) Eredeti alakzat. (b) Gauss s rségfüggvény 3D-s ábrája az r = 2 által meghatározott ellipszis felett. (c) A Gauss s r ségfüggvények szürkeárnyalatos képként reprezentálva. A fehér vonal az egyes komponensek határát jelöli. függvénypárjainkat az összes alakzatra külön-külön is deniálhatjuk úgy, hogy P i (x), S i (y) kielégíti a (12) egyenletet. Továbbá az egész objektum saját maga is meghatároz egy kovariáns függvénypárt. Mivel az objektumok közötti megfeleltetés általában nem ismert, összegezzük ezeket az összefüggéseket, mely az alábbi kovariáns függvényekhez vezet [6; 7]: P (x) m P i (x) = i=0 m S i (y) S(y). (15) i=0 Megjegyezzük, hogy ezen normalizálatlan Gauss s r ségfüggvények keveréke tekinthet úgy, mint a sablon és a meggyelés képek konzisztens kiszínezése (lásd 2. ábra), mely meg rzi a transzformáció hatását. A (13) egyenlethez hasonlóan az alábbi összefüggést is használhatjuk [6; 7]: l xω ( P i (x) ) dx = A 1 F t F o A 1 (y t) l ω ( S i (y) ) dy. A (13) egyenleteben lév integrálási tartományok megválasztására az F t és F o el térpixelek halmaza egy elég nyilvánvaló lehet ség [5]. Egyértelm, hogy ennek az a hátránya, hogy bármilyen szegmentálási hiba rossz, hibás integrálokat okoz, mely rossz illesztéshez vezet. Az itt alkalmazott alapötlet, hogy a teljes sablon és meggyelés kép statisztikáját használjuk fel. Mivel a megadott s r ségfüggvények szintvonalai ellipszisek, természetes, hogy ezeket az ellipsziseket válasszuk az egymásnak megfelel integrálási tartományoknak. Két különböz megközelítést is javaslunk a lineáris egyenletrendszer felírásához. El ször, mikor az objektum egy részb l áll, csak az el térpontok halmazát tudjuk felhasználni integrálási tartományként. Ebben az esetben a kovariáns függvénypárunkat a Mahalanobis távolság 8
segítségével adjuk meg, melyet az alakzatok deniálnak, és ekkor az alakzat felett kell vennünk az integrálokat (Egys r ségfüggvényes módszer). A második esetben, mikor összetett alakzatunk van, integrálási tartománynak ellipsziseket is választhatunk, illetve a kovariáns függvényeinket Gauss s r ségfüggvények keveréke adja. Az egyenleteinket folytonos esetre vezettük le, a gyakorlatban viszont csak véges pontosságú digitális képek állnak rendelkezésre. Emiatt az integrálok véges összegek segítségével közelíthet k, melyet tetsz leges nomságú beosztás esetén számolhatunk (Többs r ségfüggvényes módszer véges összegekkel). Mindazonáltal, mikor több részb l álló alakzatok állnak rendelkezésre, egy numerikusan hatékony módszert mutatunk az integrálok kiszámítására, mely zárt képlettel kiszámolható (Többs r - ségfüggvényes módszer numerikusan hatékony számítással). Bár az ω i megválasztására más leht ség is adódik, hatványfüggvények segítségével zárt képletet adhatunk az integrálok kiszámítására az F t és F o alapján számolt ellipszis tartományok felett. Ezen numerikus számításnak legnagyobb el nye a közel valós idej hatékonyság. Tapasztalati úton azt találtuk, hogy a páratlan kitev j hatvány és gyökfüggvények azaz a {x, x 3, x 5, 3 x, 5 x} halmaz megfelel eredményt ad az összes tesztünk során. (a) Hiányzó pixelek (b) Kontúr menti hiba (c) Modellezési hiba 3. ábra. Példák a robusztusság tesztelése során használt meggyelésekre. c)-ben az eredeti alakzat kontúrja látható piros színnel megjelenítve. Az algoritmus hatékonyságának elemzésére egy olyan képadatbázist hoztunk létre, mely szintetikusan transzformált meggyeléseket tartalmaz, továbbá az alkalmazott transzformációk véletlenszer en lettek kiválasztva. A módszert mind szintetikus, mind valós képeken teszteltük. Majd a (10) egyenletben deniált hibamértékeket értékeltük ki. A javasolt algoritmus robusztusságát hiányzó pixelek, kontúr menti hiba és modellezési hiba (lásd 3. ábra) esetén is elemeztük. Valós képek mellett, melyek önmagukban tartalmaznak ilyen hibákat, mesterségesen generált adatokon is teszteltünk. A 2. táblázat mutatja teszteredményekhez tartozó hibamértékek mediánjait. A javasolt módszer sem pontmegfeleltetéseket, sem pedig bonyolult optimalizálási lépé- 9
Módszer ɛ (pixel) δ % CPU id (mp.) Egys r ségfüggvényes módszer [5] 0.64 0.31 0.48 Többs r ségfüggvényes módszer véges összegekkel 0.58 0.25 4.65 [6] Többs r ségfüggvényes módszer numerikusan hatékony számítással [7] 0.54 0.19 0.33 2. táblázat. Az algoritmus futtatása során kapott hibamértékek és a futási id k mediánjai 1500 véletlenszer en kiválasztott meggyelés esetén. sek megoldását nem igényli. Lineáris id bonyolultságú és a deformáció mértékét l függetlenül megadja a pontos transzformációt. Összetett alakzatok esetén egy robusztus és numerikusan hatékony megoldást adtunk, mely közel valós idej megoldás ad. A javasolt algoritmus lineáris id bonyolultságából adódóan nagy képeken is elég gyorsan fut, így nem kell kompromisszumot kötni a min ség rovására, ha a futási id kritikus tényez. A teszteredmények mutatják, hogy a módszer jó illesztést biztosít mind valós, mind pedig szintetikus képek esetén. Továbbá a módszer robusztusságát is szemlétettük. Általánosságban azt mondhatjuk, hogy a módszerünk jó eredményt ad, amíg az alakzat els és másodrend statisztikája nem változik meg drasztikusan, így minden olyan alkalmazás során jól használható, ahol a takarás minimális. Széttört objektumok deformációjának helyreállítása Most azt a problémát tekintjük, ahol egyszerre több különböz lineáris transzformációt illesztünk pontmegfeleltetések felhasználása nélkül, melyek egy globális nemlineáris deformációt eredményeznek egy eredeti objektum és annak széttört változata között. Célunk a meggyelés 2 l N alakzatának helyreállítása az eredeti, a sablon képen lév pocizójukba. A transzformáció nemlineáris, és l darab lineáris transzformáció kompoziciójaként áll el, ahol az i. transzformációt A i -vel jelöljük. Ez a feladat puzzle néven is ismert, mely nemcsak elméleti szempontból fontos, hanem számos alkalmazási területe is van, mint például az archeológia és az orvosi képfeldolgozás (pl. törött csontok helyreállítása). Feltételezzük, hogy a sablon teljes szegmentálása nem ismert, azaz particionálása rejtett. Az input képeken az alakzatok címkézését a L t, L o : P n {0, 1,..., l} függvények adják, melyek a 0 értéket a háttérhez rendelik. Pontosabban, mivel L t rejtett, a sablon kép particionálása is ismeretlen. Jelölje D i = {x P n L t (x) = i} az i. alakzatot a sablon képet és D i = {y Pn L o (y) = i} annak transzformált változatát a meggyelés képen. Ha az alakzatok közötti megfeleltetés ismert lenne, akkor bármely standard bináris regisztrációs módszert felhasználva, páronkénti illesztéssel a probléma megoldható lenne. Sajnos ezen megfeleltetések megtalálása nem könny feladat, emiatt direkt megoldás iránt érdekl dünk az objektumok 10
közötti megfeleltetések meghatározása nélkül. Tekintsük most csak az i. alakzatot, ahol az (1) egyenlet úgy írható, hogy [4; 8]: x = A i y. Megjegyezzük, hogy ez akkor is fennáll, ha mindkét oldalra egy nemlineáris ω : P n R függvényt alkalmazunk [4; 8]: ω(x) = ω(a i y). (16) D i feletti integrálással kapjuk, hogy [4; 8] ω(x) dx = A i D i D i ω(a i y) dy, (17) ahol az x = A i y, dx = A i dy integrál transzformációt alkalmaztuk, és A i az i. transzformáció Jacobi-féle determinánsa. A nemlineáris ω függvény közvetlenül a pontkoordinátákon hat, ezáltal közvetlenül az ismeretlen A i transzformáció paraméterein, és nemlineáris egyenletrendszerhez vezet [4; 8]. A (17) egyenlet alapján lineárisan független függvények alkalmazásával annyi egyenletet generálhatunk, amennyire szükség van. Így a (17) egyenlet segítségével úgy sikerült összefüggéseket megadni az i. alakzatpárok között, hogy sem a sablon particionálása (L t rejtett címkézés) sem pedig az alakzatok közötti megfeleltetés nem ismert. Szokásos módszer összeadni az egyenleteket az összes D i tartományra vonatkozóan, majd úgy megoldani a problémát, hogy egyszerre, az összes paramétert keressük egyetlen egyenletrendszerben felírva. {ω j } m j=1 függvények egy halmazának felhasználásával és a (17) egyenlet alapján kapjuk, hogy [8]: l D i ω j (x) dx = l A i ω j (A i y)dy. D i Legyen F t := l D i a teljes sablonnak megfelel tartomány, ahol F t = {x P n L t (x) 0}. Így a fenti egyenlet bal és jobb oldala, az alábbi formában írható [8] l ω j (x) dx = ω j (x) dx = ω j (x)dx, D l i Di F t amely közvetlenül számolható az input képek alapján a D i particionálás ismerete nélkül. Így olyan egyenletrendszert kapunk, mely ln(n + 1) ismeretlent tartalmaz [8]: F t ω j (x) dx = l A i ω j (A i y) dy j = 1,..., m. (18) D i 11
Az egyenletrendszer megoldása a deformáció összes paraméterét megadja. Mivel bármely ω j egy-egy egyenletet ad, így legalább m ln(n + 1) lineárisan független függvény kell l lineáris transzformációhoz. A gyakorlatban m > ln(n + 1), ami túlhatározott egyenletrendszerhez vezet, ahol az egyenletrendszert legkisebb négyzetes értelemben oldjuk meg. Elméletileg bármely olyan függvény felhasználható a (18) egyenletrendszer el állításához, mely kielégíti a (16) egyenletet. A megoldást egy iteratív, legkisebb négyzetes minimalizáláson alapuló algoritmussal kapjuk (ilyen például a Levenberg-Marquardt algoritmus), mely jól megválasztott numerikus szerkezetet igényel. A egyenlet megoldónak minden iterációs lépésben ki kell értékelni az egyenleteket, emiatt olyan ω függvények alkalmazása a cél, melyek tisztán nemlineáris egyenletrendszerhez vezetnek, ahelyett, hogy integrál egyenleteket kapnánk (azaz az ismeretlenek nem szerepelnek az integrálokban). Korábban megmutattuk [4], hogy hatványfüggvények alkalmazásával polinom egyenletrendszert kapunk, ahol az integrálok el re kiszámolható konstansokká válnak. Ezt gyelembe véve, polinomok következ halmazát használjuk [8] {ω j } m j=1 = {x x u1 1... xun n u 1,..., u n N 0, n u i d}, (19) ahol ω j : P n R, illetve d a maximális fokszámot jelöli, és m = n! 1 n (d + i) pedig a polinomok számát adja meg. Mindkét kép koordinátáit a [ 0.5, 0.5] n hiperkockába normalizáljuk ezzel elkerülve a lehetséges numerikus hibákat, melyeket a magas kitev k okoznak. Legyen N t és N o a sablon és a meggyelés képekhez tartozó normalizáló transzformáció. Mivel legkisebb négyzetes értelemben oldjuk meg a feladatot, így a (18) egyenlet algebrai hibájára vonatkozóan azt várjuk el, hogy minden egyenlet azonos hozzájárulással bírjon, ezzel garantálva a hiba kiegyensúlyozottságát. A gyakorlatban csupán véges pontosságú digitális képek állnak rendelkezésre, így az integrálokat csak az el térpixelek halmazán vett véges összegek segítségével, közelít leg tudjuk megadni. Ezek viszont elhanyagolható hibát jelentenek a számítások során [8] 1 c j x F t ω j (N t x) = 1 c j l A i y D i ω j (N o A i y), (20) ahol c j egy megfelel en választott konstans, melyet az origó középpontú és n/2 sugarú hipergömbön vett ω j (x) dx integrál határoz meg. A javasolt keretrendszert jól ismert lineáris transzformációkra, azaz 2D és 3D, an és merev test transzformációkra alkalmaztuk. 2D an transzformációkat gyakran használnak projektív torzulások lineáris közelítéseként. Ha egy objektum több részre törik, akkor az egyes 12
részek általában külön-külön, egy-egy merev test transzformációval torzulnak. A 3D merev test transzformáció pedig számos orvosi alkalmazás során játszik fontos szerepet. A javasolt algoritmust egy nagyméret szintetikus adatbázison teszteltük, mely 2D és 3D képeket tartalmaz, ahol lineáris (an és merev test) transzformációkat alkalmaztunk. Ezután részletesen elemeztük a javasolt algoritmus numerikus stabilitását. Az eredmények mutatják, hogy a módszer szegmentálási hibákkal szemben robusztus. Az eredményeket 2D valós képeken és 3D-s m téti tervezéssel kapcsolatos orvosi képeken mutattuk be. A gyakorlatban a szegmentálás nem eredményez tökéletes alakzatokat, ezért a javasolt megközelítés robusztusságát különböz típusú szegmentálási hibák esetén, illetve valós képeken (melyek önmagukban tartalmaznak ilyen hibákat) is bemutattuk. az ép csont tükrözésével keletkezett sablon meggyelés 4. ábra. Törött csontok helyreállítása. illesztett csontok Egy olyan újfajta keretrendszert mutattunk be, mely alakzatok összeillesztésére alkalmas, ahol a módszert 2D és 3D an, illetve merev test transzformációkra alalmaztuk (lásd 4. ábra). A klasszikus megoldásokkal szemben, melyek tulajdonságpontok kinyerésén és megfeleltetéseken alapulnak, az itt javasolt megoldás minden további információ felhasználása nélkül keresi meg az illesztés paramétereit. Lényegében a módszer egy polinom egyenletrendszer felírása után, annak megoldásával közvetlenül megadja az ismeretlen transzformáció paramétereit. A 2D és 3D képeket tartalmazó adatbázisokon futtatott eredmények jól mutatják a módszer hatékonyságát és robusztusságát, továbbá a valós képeken kapott eredmények alapján azt mondhatjuk, hogy a módszernek több különböz alkalmazási területe is van. Legnagyobb el nye, hogy nincs szükség pontmegfeleltetésre, gyors és könnyen implementálható. Az eredmények tézisszer összefoglalása A következ kben összefoglaljuk a disszertáció legfontosabb eredményeit. Az itt bemutatott eredmények több publikációban jelentek meg. A 3. táblázat mutatja, hogy az egyes tézispontokhoz, mely publikációk kapcsolódnak. 13
I. ) A Szerz egy olyan módszert mutat be, mely egy ismert alakzat és annak deformált változatai között lév an transzformációk paramétereinek becslésére alkalmas. Egy olyan újfajta megközelítést javasol, ahol a pontos transzformáció egy polinom egyenletrendszer megoldásával megkapható. A módszert szintetikus és valós képeken is tesztelte. A Szerz bemutatta a módszer robusztusságát szegmentálási hiba és additív geometriai zaj esetén, majd pedig azt, hogy a módszer sikeresen alkalmazható csíp protézisr l készült röntgen képek regisztrációjára. II.) III. ) A Szerz egy olyan újfajta megközelítést mutat be, mely egy ismert alakzat és annak deformált változatai között lév an transzformációk paramétereinek becslésére alkalmas. A Szerz megmutatja, hogyan kapható meg a pontos transzformáció az alakzatok felett megkonstruált Gauss s r ségfüggvények (melyek meg rzik az ismeretlen transzformáció hatását) alapján felírt lineáris egyenletrendszer legkisebb négyzetes értelemben vett megoldásával. Több részb l álló alakzatok esetén a Szerz egy robusztus és numerikusan hatékony megoldást mutat be, mellyel közel valós idej hatékonyság érhet el. A módszert mind szintetikus, mind valós képeken tesztelte. A robusztusság mellett hiányzó pixelek, kontúr menti hiba és modellezési hiba esetén is szemléltette a módszer m ködését. A Szerz széttört objektumok összeillesztésének problémáját vizsgálja pontmegfeleltetések felhasználása nélkül, ahol csak a teljes sablon kép szegmentálása ismert, az egyes alakzatoké nem. A Szerz a széttört objektumok között lineáris transzformációkat feltételez, és a módszert 2D és 3D an transzformációk esetén mutatja be. Megmutatja, hogyan lehet megkonstruálni egy olyan polinom egyenletrendszert, melynek megoldása megadja az ismeretlen illesztési transzformáció paramétereit. A javasolt algoritmust nagyméret szintetikus adatbázison tesztelte, mely 2D és 3D képeket is tartalmaz. A robusztusság és a módszer szegmentálási hibákra való érzékenysége mellett a módszer numerikus stabilitását is elemzi. Az eredményeket 2D valós képeken és egy 3D orvosi alkalmazás esetében (m téti tervezés) is bemutatta. [3] [4] [5] [6] [7] [8] I. II. III. 3. táblázat. A tézispontokhoz kapcsolódó publikációk. 14
Hivatkozások [1] Rami Hagege and Joseph M. Francos. Parametric estimation of two dimensional ane transformations. In Proceedings of International Conference on Acoustics, Speech, and Signal Processing, volume 3, pages 305308, Montreal, May 2004. IEEE. [2] Rami Hagege and Joseph M. Francos. Linear estimation of sequences of multi-dimensional ane transformations. In Proceedings of International Conference on Acoustics, Speech, and Signal Processing, volume 2, pages 785788, Toulouse, France, May 2006. IEEE. [3] Csaba Domokos, Zoltan Kato, and Joseph M. Francos. Parametric estimation of ane deformations of binary images. In Proceedings of International Conference on Acoustics, Speech, and Signal Processing, pages 889892, Las Vegas, NV, USA, April 2008. IEEE. [4] Csaba Domokos and Zoltan Kato. Parametric estimation of ane deformations of planar shapes. Pattern Recognition, 43(3):569578, March 2010. [5] Csaba Domokos and Zoltan Kato. Binary image registration using covariant Gaussian densities. In Aurélio Campilho and Mohamed Kamel, editors, Proceedings of International Conference on Image Analysis and Recognition, volume 5112 of Lecture Notes in Computer Science, pages 455464, Póvoa de Varzim, Portugal, June 2008. Springer. [6] Csaba Domokos and Zoltan Kato. Ane alignment of compound objects: A direct approach. In Proceedings of International Conference on Image Processing, pages 169172, Cairo, Egypt, November 2009. IEEE. [7] Csaba Domokos and Zoltan Kato. Ane shape alignment using covariant Gaussian densities: A direct solution. IEEE Transactions on Image Processing, 2010. Submitted. [8] Csaba Domokos and Zoltan Kato. Ane puzzle: Realigning deformed object fragments without correspondences. In Kostas Daniilidis, Petros Maragos, and Nikos Paragios, editors, Proceedings of European Conference on Computer Vision, volume 6312 of Lecture Notes in Computer Science, pages 777790, Heraklion, Crete, Greece, September 2010. Springer. 15