Varácós módszerek a gép látásban MOLNÁR JÓZSEF Doktor értekezés Témavezetı: Prof. Csetverkov Dmtrj Eötvös Loránd Tudományegyetem Informatka Doktor Iskola Az nformatka alapja és módszertana A doktor program vezetıje: Prof. Demetrovcs János Budapest 0
Tartalomjegyzék Köszönetnylvánítás... 4 Jelölések... 5 I. Bevezetés... 8 II. Varácós elvek, megjelenésük a gép látásban... 0 II.. Varácós elvek és a gép látás... 0 II.. Adat- és smaság tagok... II... Horn-Schunck optka áramlás nem lnearzált adattaggal... II... Kass-Wtkn-Terzopoulos paraméteres aktív kontúr... II..3. Mumford-Shah szegmentácó... 3 II.3. A Level Set formalzmus... 3 II.4. Varácószámítás: egyszerő bevezetı... 5 II.4.. Kétváltozós függvények... 7 II.4.. Tovább alapesetek... 8 II.4.3. Alkalmazás példa: a Horn-Schunck egyenletek... 9 III. Optka áramlás... III.. Bevezetés... III... Kapcsolódó kutatások... 4 III.. Keresztkorrelácós optka áramlás... 5 III... A normalzált keresztkorrelácó... 5 III... Energa funkconál keresztkorrelácós adattaggal... 5 III..3. Euler-Lagrange függvény, numerkus formula... 6 III.3. A keresztkorrelácós optka áramlás tesztje... 8 III.3.. Szntetkus szürkeárnyalatos szekvencák... 9 III.3.. Kültér felvételek... 30 III.3.3. Szntetkus színes szekvencák... 3 III.4. Keresztkorrelácós optka áramlás összefoglaló... 33 III.4.. Továbbfejlesztés lehetıségek... 33 IV. Aktív kontúr... 35 IV.. Bevezetés... 36 IV.. Lokáls régó alapú szegmentácó... 37 IV.3. Az alapmodell... 38 IV.3.. A lokáls régó használata... 38 IV.3.. A Level Set egyenletek... 40 IV.3.3. Egyszerő statsztka szeparátor... 4 IV.3.4. Az alapmodell krtkája... 4 IV.4. A modell fnomítása... 43 IV.4.. Másodrendő görbeközelítés... 43 IV.4.. Optmáls alakú ntegrálás tartomány... 44 IV.5. A modell alkalmazása, eredmények... 46 IV.5.. A választott modell... 47 IV.5.. Tovább lehetıségek... 49 IV.5.3. Továbbfejlesztés lehetıségek... 50 V. 3D rekonstrukcó... 5 V.. Bevezetés... 5 V... A projektív transzformácó... 53 V... A projektív és affn homográfa... 54 V..3. A projektív (affn) homográfa korláta... 55 V..4. Defnícók, jelölések... 57
V.. Lneárs transzformácó... 57 V... Elsırendő közelítı vetítés függvény... 58 V... Inverz transzformácó, képek között transzformácó... 58 V..3. Az nvaráns alak... 59 V..4. Kegészítés... 60 V.3. Kvadratkus transzformácó... 60 V.3.. Másodrendő közelítı vetítés függvény... 6 V.3.. Inverz transzformácó, képek között transzformácó... 6 V.3.3. Az nvaráns alak... 6 V.3.4. A kvadratkus transzformácó mennységenek számítása rácson... 63 V.4. A kvadratkus transzformácó eredménye (llusztrácók)... 64 V.5. Kvadratkus transzformácó egy alkalmazása... 66 V.5.. Tesztkörülmények és teszteredmények... 68 VI. Tézsek... 70 VI.. Tézs : A varácós keresztkorrelácós optka áramlás egyenlete és alkalmazásuk... 70 VI.. Tézs : Lokáls régó alapú aktív kontúr bevezetése, javaslat Lagrange függvényre, a használhatóság tartomány kterjesztése... 70 VI.3. Tézs 3: Képrészletek között kvadratkus megfeleltetés (transzformácó) formulájának levezetése, az eredmény megadása nvaráns mennységekkel... 7 Mellékletek... 73 A. Keresztkorrelácós adattag Euler-Lagrange egyenlete... 73 B. Lokáls koordnátarendszer Euler-Lagrange egyenlete... 76 C. A kvadratkus transzformácó paraméteres egyenlete... 78 D. A kvadratkus transzformácó nvaráns egyenlete... 8 E. Kvadratkus transzformácó konstrukcóval... 87 A szerzı publkácó... 89 Bblográfa... 90 3
Köszönetnylvánítás Elsısorban köszönetemet fejezem k témavezetımnek, Csetverkov Dmtrjnek, tanácsa és támogatása nélkül ez a dsszertácó nem született volna meg. Sokat köszönhetek csoportjának, kemelten Renner Gábornak és Hajder Leventének, akk a levezetésem objektív értékelésével segítettek, Kazó Csabának, és kollégámnak, Urbán Jánosnak szoftveres támogatásukért. 4
Jelölések Az alábbakban az értekezésben leggyakrabban használt jelöléseket foglaljuk össze. Az általunk a vektor- és tenzoranalízs körébe tartozó összefüggésekben használt rendszer a kontínuumok mechankájában elterjedt jelölésrendszer [], és az egységesség matt az egész értekezésben ezt használjuk, hacsak külön nem jelöljük az ettıl való eltérést. Ω Képtér, a képfüggvény értelmezés tartománya, folytonos kétdmenzós ponthalmaz: Ω R δω dω dxdy W dw dd ξ η Az Ω R tartomány határpontjanak halmaza (a határpontok tetszılegesen kcsny nyílt környezete tartalmaz Ω -bel és azon kívül pontokat s) A képtér felületeleme kettıs ntegrálként. A kettıs ntegrált a felületeleme defnálja, ezért általában nem használunk két ntegráljelet: LdΩ LdΩ A képtér felületeleme kétszeres ntegrálként Lokáls téglalap alakú ntegrálás tartomány, W Ω A lokáls ntegrálás felületeleme kettıs ntegrálként A lokáls ntegrálás felületeleme kétszeres ntegrálként Ω Ω I Képfüggvény, ntenztásfüggvény. A képtér pontjan értelmezett: I I( xy, ) ( xy, ) Ω =, I 0, I Iz, f W A számokkal kírt ndexek egy képsorozat egymást követı elemere utalnak A parcáls derváltak egyk jelölése. Az optka áramlás egyenleteben pl. (,, ), a kvadratkus transzformácó egyenleteben pl. W ( XYZ,, ) z xyt. Megjegyezzük, hogy a rövdség kedvéért az ndexhalmaz elemet nem zárójelezzük (nem használjuk a z ({ x}{, y}{, t} ) jelölést) ( n f, f, f ) Rtkán, egyváltozós, magasabb rendő derváltakat tartalmazó kfejezésekben a vesszıs dervált jelölés s elıfordul df,... ( n) d f f = f = dx n dx n 5
d,, dt x A közönséges és parcáls derválás (operátorának) másk használatos jelölése I A kétdmenzós képfüggvény-gradens jelölése, I = I I x y T u Az elmozdulás mezı u = u v T, komponense az optka áramlás egyenleteben a képkoordnáták (smeretlen) függvénye: u u( xy, ) =, v= v( xy, ) αβγ,, A súlyfaktorokat általában a görög ABC elejérıl választott betőkkel jelöljük / A drekt (dadkus, tenzor) szorzat jelölésére nem használjuk a lámpaszorzás jelét, ha vektorok között nncs mővelet jel, akkor a mőveletet drekt szorzásnak tekntjük A skalárs szorzat jelölésére a pontot használjuk, ortonormált koordnátarendszerben a koordnátaszorzatok összege, pl. I u = Iu x + Iv y. Két dád skalárs szorzata: tu vw= ( u v) tv, mvel a másodrendő tenzorok bázsát dádok alkotják, két másodrendő tenzor skalárs szorzata mátrx reprezentácóban a szokásos mátrxszorzat A vektoráls szorzat jelölésére a keresztet használjuk G, j, k Folytonos síkgörbe A standard bázs G R nem-paraméteres jelölés 3 R -ban r j, koordnátákkal: r Az egyparaméteres síkgörbe jelölése ( t) = x( t) + y( t) ( ), ( ) x t y t T. Az általános paraméterezés t -vel, az ívhossz szernt s -sel jelölt. Az általános paraméter szernt derválást rɺ -tal vagy r t -vel jelöljük T e Az egyparaméteres síkgörbe érntı egységvektora: e= ex ɶ+ ey ɶ j, koordnátákkal: ex, e ɶ yɶ. Egy vektor komponenset ndexben jelöljük, de a parcáls derváltaktól való megkülönböztetés céljából felülhullámozzuk S j k S A felület standard bázsban: ( uv, ) = X( uv, ) + Y( uv, ) + Z( uv, ) 6
S u, S v Lokáls koordnátabázs (természetes bázs, kovaráns bázs) a felületen, koordnátá a standard bázsban: Su = Xu+ Yuj+ Zuk, Sv = Xv+ Yvj+ Zvk u S, v S A lokáls bázs duáls bázsa (kontravaráns bázs, nverz bázs), amelyre gazak u a következı azonosságok: S S = S S =, és S S = S S = 0 u v v u v v u w A tetszıleges w mennység (skalár, vektor, tenzor) jobb oldal gradense u u v v w = ws + ws. A bal oldal gradens u w= Sw + Sw. A kétféle mennység skalárok esetén megegyezk, vektorok esetén pedg egymás transzponáltja du A dfferencáls elmozdítás vektora: du= dusu + dvs v. Kontrakcója egy u v skalár gradensével: ( ) ( ) f du= fs + fs dus + dvs = fdu+ fdv a du rányba esı rányment (vagy abszolút) dervált u v u v u v u v v f A parcálsok kommutácója (szmmetra) matt standard bázsban egy skalár másodk gradensére mndg ugyanaz az eredmény adódk: ( f) = ( f ) = ( f) = ( f ) ezt jelöljük a f szmbólummal N= Su S v A felület normálvektora, hossza N, a paraméterezésnek s függvénye, nvaráns mennység csak a normál egységvektor lehet n A felület normál egységvektora: n= N N n A normál-egységvektor mezı dvergencája, mvel skalár mennység: dv ( n) = n= n, megjegyzendı, hogy pontbel értéke a pontbel átlaggörbület mínusz kétszerese 7
I. Bevezetés A varácós módszerek széles körben használatosak mnden olyan problémánál, amely funkconálok szélsıérték helyének megkeresésére vezethetık vssza. Ilyenek pl. az elmélet fzka legksebb hatás elve mozgásegyenletek és téregyenletek levezetésére, vagy a görbült terek geometrájában az egyenes fogalmának általánosítása, a geodetkus, mnt a tér két pontja között legrövdebb út [,3,4]. Hasonló optmalzácós problémák megjelennek a gép látásban s. A teljesség génye nélkül néhány olyan területet említünk, ahol szerepük kemelkedı: képtartalmak szegmentácója, mozgáselemzés, képrekonstrukcó, (3D) színtér rekonstrukcó, regsztrácó. A funkconál szélsıérték helyének keresése parcáls dfferencálegyenletekre, az Euler- Lagrange egyenletekre vezet. Bzonyos esetekben, pl. szegmentácó, vagy 3D rekonstrukcó esetén, ahol változó topológához kell alkalmazkodn, specáls numerkus módszerek jelentek meg. Ezek közül általánosságával és skerességével kemelkedk a Level Set módszer. Fgyelmünket az értekezésben három területre koncentráljuk, ahol új eredményeket értünk el. Ezek a következık: Optka áramlás: keresztkorrelácós adattag bevezetése, megvlágítás-változást jól tőrı egyenletek levezetése, az eredmények alkalmazása áramlásmezı számítására Aktív kontúrok: lokáls összehasonlítás tartományok defnálása, javaslat energa funkconálra, egyenletek levezetése, az eredmények alkalmazása határozott élekkel nem rendelkezı képek szegmentálása 3D rekonstrukcó: képrészletek között kvadratkus transzformácó levezetése, az eredmények alkalmazása egy specáls varácós rekonstrukcóhoz A fent eredmények levezetése érdekes elmélet kérdéseket vet fel, lletve nagyobb összefüggésekre mutat rá. Néhányat már tt megemlítünk: A keresztkorrelácó Lagrange függvényként való alkalmazása lokáls ntegrál megjelenését (mnt ntegrandus) eredményez az energa funkconálban. A származtatható Euler-Lagrange egyenletek ennek következtében végtelen sorként állnak elı. A lokáls tartományok leírása lokáls koordnátarendszerrel lehetséges, a lokáls koordnátarendszerek s lehetnek görbe vonalúak. Egy felület két vetülete között kvadratkus transzformácó meghatározott kapcsolatban áll a gyakran alkalmazott kameramodellekkel. Így a kvadratkus transzformácó lneárs tagja 8
lyukkamera modell esetén megegyezk az affn homográfával, a felület másodrendő mennységetıl megfosztott kvadratkus tagokkal együtt vszont a projektív homográfa másodrendő közelítését kapjuk. Az értekezés tovább fejezete, tartalmuk: a. fejezet a varácós elvek megjelenése a gép látás különbözı területen. A 3. fejezet a keresztkorrelácós optka áramlást, a 4. fejezet az aktív kontúrok újszerő alkalmazását, az 5. fejezet a 3D rekonstrukcó területén végzett kutatás eredményet foglalja össze. Ezek a fejezetek alkotják az értekezés tézset. A 6. fejezet a tézsek tartalmának leírása. 9
II. Varácós elvek, megjelenésük a gép látásban A varácós elv a legkülönfélébb tudományágak matematka megalapozásának alapvetı eszköze. Alkalmazása olyan problémákra szokásos, ahol valamlyen mennység optmáls megválasztásával egy egész tartományra vonatkozó érték energantegrál, hbantegrál, költségntegrál mnmumát keressük. A keresett mennység az ntegrálás tartományon értelmezett függvény, az energantegrál ntegrandusa az ú.n. Lagrange függvény pedg az smeretlen függvénybıl, és annak derváltjaból alkotott összetett függvény. Az ntegrál Lagrange függvényhez és azon keresztül a keresett függvényekhez egy valós értéket rendel. A függvényekhez valós értéket rendelı problémákkal általában a funkconálanalízs foglalkozk. Ebben az értelemben a varácószámítás a funkconálanalízs részterülete. A mnmumkeresés eszköze a funkconálhoz rendelt Euler-Lagrange dfferencálegyenletek származtatása. Az egyenletek típusa a probléma dmenzójától, az smeretlen függvények számától és az smeretlen függvények derváltjanak rendjétıl függ: a közönséges másodrendő dfferencálegyenlettıl a magasabb fokú parcáls dfferencálegyenlet rendszerekg tart [,5]. A Lagrange függvények valamlyen jól meghatározott fogalmat fejeznek k. Ez lehet egy rendszer összes energája, amt mnmalzáln kell, de kfejezhet valamnek a megmaradását s, ekkor a megmaradó mennység változását mnmalzáljuk. II.. Varácós elvek és a gép látás A gép látás varácós módszerenek jelentıs részét teszk k az energamnmalzálásra építı módszerek. Ilyenek az aktív kontúr, aktív felület (deformálódó görbék, felületek), ezeket széles körben használják szegmentácóra: közvetlen kép nformácók [38,4,43], de 3D objektumok s [36], rekonstrukcóra: 3D objektum [46,47] és színtér rekonstrukcóra. Az aktív kontúr módszerek kalakulásakor a paraméteres objektumreprezentácó volt jellemzı, a késıbbekben a paraméterezés-független, ú.n. geometra módszerek kerültek a fgyelem középpontjába, amelyek bztosították a problémák nvaráns megközelítését, elkerülve a paraméteres módszereket kísérı olyan jelenségek felléptét, mnt a paraméterezés-függı megoldások lehetısége. Lehetıvé vált továbbá az objektumok mplct görbeként, felületként való megadása, amely megnytotta az utat szntfelület módszerek Level Set method alkalmazása elıtt. Bıvebben a IV. fejezetben lesz szó róluk. Rtkábban elıfordul maxmum, lletve staconárus (nflexós) megoldás keresése s. 0
Az energamnmalzálásra építı módszerek közé sorolhatók a varácós alapú képkorrekcós, képtartalom-rekonstrukcós módszerek s. A képkorrekcónál (restoraton) alapprobléma a zajos, elmosódott képek javítása. A klasszkus szőrık és teratív, nemlneárs hıvezetés dfferencálegyenleteken alapuló szőrés technkák [6] mellett tt s megjelent a varácós probléma megközelítés, a total varaton based képkorrekcó: Rudn, Osher és Fatem [7]. Szemben más technkákkal, a korszerő, varácós elvekre alapozott képkorrekcós módszerek alkalmasak a fnom textúra részletek megırzésére [8]. A képtartalom rekonstrukcó (npantng, nterpolácó) feladata a hányzó képrészletek helyettesítése a hány környezetébıl származó nformácó felhasználásával úgy, hogy a fontos képjellemzık: élek, textúrák megmaradjanak az nterpolált területeken. A számos lehetséges varácós megközelítés [9] közül kemelhetı az aktív kontúrok és a total varaton based technkák ötvözése [0]. A képregsztrácó alapproblémája a különbözı helyekrıl (pl. panorámakép) és/vagy dıpontokban (változáskövetés) készült képek egymáshoz llesztése. Specáls alkalmazás a különbözı szenzorok által objektumreprezentácók llesztése (multspectral, multmodal regstraton) amely alapprobléma a különbözı hullámhossztartományban készült lég felvételek és a különbözı elven mőködı orvos dagnosztka eszközök alkotta képek esetén. Varácós alapú regsztrácóra a példák a következık: [,]. A megmaradó mennységekre alapozott módszerek közül kemelendı a mozgáselemzés egyk alapvetı területe, az optka áramlás számítása []. Alapvetıen vdeósorozatok szomszédos képe között elmozdulás mezı számítására alkalmazzák, de elıfordul 3D színtér áramlás számítása s [3,7], és felhasználása a regsztrácóban. Kalakulásakor a megmaradó mennységnek a kézenfekvı képntenztást választották [3]. A késıbbekben a robusztusabb, pl. ntenztásváltozásra kevésbé érzékeny mennységek [6,8] jelentek meg Lagrange függvényként. Bıvebben a III. fejezetben lesz szó róluk. A gép látás majdnem mndegyk varácós módszerére jellemzı, hogy a mnmalzálás problémát leíró Lagrange függvénytag mellett smaság tag (tagok) s megjelenk (megjelennek). Ennek oka többféle lehet. Tpkus ok a képkészítéskor fellépı zajokkal szemben védekezés, hszen általában a kép nformácók mellett a képfüggvény zajra érzékeny parcáls derváltja s szerepelhetnek a származtatott Euler-Lagrange egyenletekben. Máskor a probléma alulhatározottsága mnt optka áramlásnál az ú.n. apertúra probléma, vagy a 3D rekonstrukcónál a takart részletek kezelése (s) megkövetel a smaság taggal megvalósított regularzácót.
II.. Adat- és smaság tagok Az alább néhány példa konkrét gép látás problémák varácós megközelítésébıl származk. Szemléltetk az adat és smaság tagok jelentését és használatuk módját. A funkconálok jelölésére a gyakran használt E energa jelölést használjuk. Paramétere az smeretlen függvények. II... Horn-Schunck optka áramlás nem lnearzált adattaggal A varácós optka áramlás funkconál egyk legegyszerőbb alakja a képsorozat egymást követı két képének (0 és ndexekkel jelöltek) ntenztásfüggvényébıl: I 0, I és az elmozdulás mezı komponensenek parcáls derváltjaból épül föl. A funkconál smeretlen mennysége az elmozdulás mezı komponense: u= u( xy, ) és v v( xy, ) =, amely a képsorozat 0 ndexő képérnek pxelere alkalmazva az ndexő képet (annak közelítését) állítja elı: (, ) ( 0) α ( x y x y) E uv = I I dω+ u + u + v + v dω Ω (, ) = ( +, +, + ) I xy I x uy vt 0 Ω (II.) Az elsı tag az adattag: D ( I I ) =, jelentése nylvánvaló: akkor vesz fel mnmumát, 0 amkor a számított elmozdulás mezı komponenset az elsı képre alkalmazva a másodk kép legjobb közelítését kapjuk. A másodk tag a smaság tag: S α( u x uy vx vy) = + + +, amely tt az elmozdulások megváltozására ró k mnmalzálás feltételt olyan helyeken, ahol az nem egyértelmő, csökkentve az elmozdulás mezı dvergencáját. Az α súlyfaktor teremt egyensúlyt a kétféle követelménynek megfelelı hatás között. II... Kass-Wtkn-Terzopoulos paraméteres aktív kontúr A paraméteres aktív kontúr egy egyszerő, élek detektálására alkalmas változata. Az smeretlen függvény az egyparaméteres r= r ( t), t 0, síkgörbe, amely mentén az I ntenztásfüggvény változása: I maxmáls, azaz a görbe két oldalán mért ntenztások különbsége maxmáls. Tartalmazza még a görbe paramétere szernt elsı- és másodrendő derváltjat s. E r I r dt t r dt t ɺɺ r dt ( ) = ( ) + ( ) ( ) 0 α ɺ + 0 β 0 ( t) = x( t) + y( t) r j (II.)
Az elsı tag az adattag, a funkconál az ntenztáskülönbség-maxmum pontokon áthaladó görbén vesz fel mnmumát, ezért negatív elıjelő. A görbe smaságáról a másodk feszesség és harmadk merevség tag gondoskodk. A harmadk tag nélkül a görbe sarkok képzésére hajlamos. Ebben a felírásban a tagok hatásának kegyensúlyozásáért felelı súlyok: ( t), = ( t) α= α β β a görbe mentén változhatnak. II..3. Mumford-Shah szegmentácó A Mumford-Shah féle szegmentácó egyszerre állítja elı egy kép ntenztásfüggvényének tartományonként smított, zajoktól mentesített közelítését, és a tartományok határat. Ennek megfelelıen az smeretlen függvények a képfüggvény részletenként smított közelítése f, és a részleteket elhatároló szegmentáló síkgörbe G. A funkconál tartalmazza még az ntenztásfüggvény gradensét s: (, ) = α ( ) Ω+ β Ω+ γ (II.3) E fg f I d f d ds Ω Ω\ G G Az egyes tagok között súlyfaktorok az α, β, γ meghatározzák, hogy melyk tag hatása mennyben érvényesüljön a végeredményben. Az elsı tagot adattagként értelmezzük, amely akkor vesz fel mnmumát, ha az elıre rögzített függvénykör (gyakran tartományonként konstans) legmegfelelıbb függvényével közelítettünk. A másodk tag a közelítı függvényre krótt smaság feltétel, azokat a megoldásokat részesít elınyben, ahol a közelítı függvény tartományokon belül teljes varácója (total varaton) mnmáls, a harmadk a részleteket elhatároló görbére krótt smaság feltétel: a lehetséges megoldások közül a legrövdebb hosszúságút preferálja. II.3. A Level Set formalzmus A kutatott területeken az optka áramlás kvételével, numerkus módszerként a Level Set módszer [4] használt. Az alább összefoglaló felületekre vonatkozk, de az egyszerőbb síkgörbékre s azonos kfejezések adódnak. Implct megadású felületnek nevezzük az S függvényt, ha egy függvény konstans szntfelületeként adott: U( ) 3 U R skalár-vektor S = állandó (az állandó értékét szokás nullának választan.). Az U neve Level Set függvény. Ekkor a felület normálvektora az U függvény adott pontbel gradense: N = U, a felület normál-egységvektora pedg: 3
U = U n. Ha egy felület-sorozatot az dı függvényeként képzelünk el, azaz = ( τ) S S, τ a mesterséges dı, akkor a zéró átmenet felületet reprezentáló pontok alkotta front egyenlete: ( S ( ), ) 0 (II.4) U τ τ = (II.4) mnden τ -ra fennáll. A front pontjahoz rögzített (Lagrange) koordnátákra tehát mozgás közben írható: du dτ = 0 (II.5) Áttérve Euler koordnátákra a (II.4)-en közvetett derválást hajtunk végre: du U U = + Sτ = 0, dτ τ S U S = U (II.6) A front evolúcójának alakításában a front pontjanak az érntısíkban való elmozdulása nem vesz részt. Elvégezve a (II.6) vektoranak felbontását: Sτ ( n)( Sτ n) + S T τ (II.7) T U = U U A tangencáls komponenst elhagyva (II.6) és (II.7) egyenletekbıl kapjuk a front pontjanak normálvektor rányú elmozdulását leíró ú.n. normáláramlás (normal flow) egyenleteket, amelyek következık: U τ = S n U = β U τ S U = 0 (II.8) Itt β= Sτ n a normálrányú sebességkomponens, és felhasználtuk, hogy a U az mplct felület normálvektorával párhuzamos, tehát n U= U. A (II.8) egyenletet elsırendő Hamlton-Jacob egyenletnek nevezk. Az átlaggörbület kétszerese κ, a Level Set függvénnyel kfejezhetı: azaz a normál-egységvektor dvergenca negatív elıjellel. κ U = U, Ha az U Level Set függvény specálsan elıjeles távolságfüggvény, amelyet u -val jelölünk, akkor u N n, és az átlaggörbület: κ u. 4
II.4. Varácószámítás: egyszerő bevezetı Funkconálnak nevezzük valamely függvényosztály leképezését a valós számokra, pl. az F : f R, f C ab funkconál az x ab, (zárt) ntervallumon folytonosan derválható, függvényeket képez le a valós számokra. A leképezést gyakran határozott ntegrállal defnáljuk. A varácószámításban a függvényosztály azon elemét keressük, amelyre a funkconál extrémáls értéket: mnmum, maxmum vagy staconárus vesz fel (általában mnmumot keresünk). A feladat csak akkor válk teljesen meghatározottá, ha az f -re krójuk a peremfeltételeket: ( ), ( ) f a = A f b = B, A, B konstansok. Az extrémum keresésének módszere: ha a keresett, pl. a mnmumot szolgáltató függvény f 0, akkor annak kcsny megváltoztatása (perturbácója, varácója) δ f, amely az ntegrálás határpontokon nulla, és elsı rendben nem változtatja meg a funkconál értékét, azaz ( f δf) ( f ) δf = F + F = (a késıbbekben az egyszerőség kedvéért a 0 ndexet 0 0 0 elhagyjuk). A legegyszerőbb esetet a következı alakban defnált funkconálként szokás megadn: b F ( f) = L( f, fx) dx (II.9) (II.9)-ben az L neve Lagrange függvény. Általános esetben közvetlenül s függhet az ntegrálás változótól: L L( f, f, x) x a =, de a gyakorlatban ez a rtkább, a levezetett eredményeket nem befolyásolja, ezért az egyszerőség kedvéért nem írjuk k. varácója: A (II.9) b F ( f) = L( f+ f, fx+ fx) L( f, fx) dx (II.0) δ δ δ a (II.0)-ben khasználtuk az ntegrálás mőveletének és a derválás operátorának lneartását. Egy függvény tetszıleges varácóját így s megadhatjuk: δf( x) εh( x), ε nem függ az x -tıl, a h( x ) tetszıleges, de a h( a) h( b) 0 függvényosztályra krótt ( ), ( ) =, és az ε = = feltételnek teljesülne kell a f a = A f b = B peremfeltételek matt. A felírás azért elınyös, mert a varácószámítás szélsıérték problémáját közönséges szélsıérték kereséssé redukálja. Függvények ntegrálja alatt a Remann ntegrált értjük. 5
, x x Taylor sorba fejtve az L( f δf f δf ) megtartva: + + Lagrange függvényt, és csak az elsırendő tagokat L L f+ hf + h L f f + h + h ( ε, ε ) (, ) L x x x x f ε= 0 fx ε= 0 (II.) Behelyettesítve (II.0)-be: δ b F ( f) = h + hx dx (II.) a L f L f ε= 0 x ε= 0 A (II.) másodk tagján parcáls ntegrálás lépést végrehajtva a szorzat derválás szabálya: d L L d L h h h dx = + f x x fx dx fx alapján kapjuk (az ε= 0 feltüntetése nélkül): δ b b F ( f) = h dx+ h dx (II.3) a L d L d L f dx f dx f A (III.3)-ban a másodk tag az ntegrálszámításnak a prmtív függvény és derváltja között kapcsolatról szóló alaptétele szernt: b b x h dx= h = h( b) ( b) h( a) ( a) = 0 (II.4) a d L L L L dx f f f f x x a x x Itt khasználjuk, hogy h( a) = h( b) = 0. A (II.3)-ból marad: δ b a F ( f) = h dx (II.5) a L d L f dx f Extrémumnál a δ F = 0. A varácószámítás alaplemmája szernt vszont tetszıleges h( x ) függvényre a (II.5) csak akkor lehet nulla, ha az ntegrandus mnden pontban nulla 3, azaz: x x L d L = 0 f dx f x (II.6) A (II.6) egyenletet Euler-Lagrange egyenletnek nevezzük. Nem elfajuló esetekben közönséges másodrendő dfferencálegyenlet, amely megoldása szolgáltatja a funkconál extrémumát. Az egyenlet kfejez, a keresett függvény és derváltja között kapcsolatot (azaz azt, hogy nem függetlenek egymástól). A (II.6) levezetéséhez felvettük az ntegrálás 3 Mert a tetszılegesen megválasztható h megegyezhet a zárójeles kfejezéssel, és akkor egy négyzetfüggvény áll az ntegráljel alatt, amely ntegrálja csak akkor nulla, ha a teljes [a,b] ntervallumon azonosan nulla. Attól zéró mértékő ponthalmaz felett elvleg eltérhetne, de ez a derválhatóságának ellentmondana. 6
határfeltételeket: ( ), ( ) f a = A f b = B. Szgorúan véve tehát peremérték feladatot kaptunk. Bzonyítható azonban, hogy formalag egyezı egyenletek adódnak változó határok (kezdet érték feladatok) megengedésével. Arról, hogy az elsı varácóval kapott egyenletek mnmalzáló vagy maxmalzáló (staconárus) függvény szolgáltatnak, a másodk varácó vzsgálatával lehet dönten. Bzonyos esetekben egyszerőbb megfontolással s élhetünk, pl. ha a Lagrange függvény egy kvadratkus alak (gyakor az optka áramlás esetében, ahol legalább a smaság tag kvadratkus, vagy abszolút érték), akkor bztosan mnmalzáló függvényt kapunk. II.4.. Kétváltozós függvények Legyen F : f( xy, ) R, f C, ( xy, ) tartomány, most a következı funkconál extrémumát keressük: Ω Ω, ahol az Ω zárt, egyszeresen összefüggı F ( f) = L( f, fx, fy) dω (II.7) A (II.7)-ben az f függvény értéke a tartomány határan rögzített, az h( xy, ) varáljuk, tehát h( xy, ) δω = 0. Az extrémum szükséges feltétele: Ω L L L ε függvénnyel F ( f) = h + hx + hy dω= 0 (II.8) δ Ω f f f Ha az ntegrálás tartomány téglalap alakú, konstans határokkal, akkor a kettıs ntegrál kétszeres ntegrállá alakítható: Ω d b L L L L L L h + h + h dω= h + h + h dxdy f f f f f f x y x y x y c a x y x (II.9) Vegyük a (II.9) jobb oldalának másodk tagját, és végezzük el az smert parcáls ntegrálás lépést: b L L L L hx dx dy h h dx dy 0 h dx = dy f = x f x x f a x x f x d b d b d b (II.0) c a c a c a Ugyanezt kapjuk az ntegrálás sorrend felcserélésével a harmadk tagra s: d L L L L hy dy dx h h dy dx 0 h dy = dx f y f = y y f c y y f y b d b d b d (II.) a c a c a c Vsszaírva az eredményeket (II,9)-be: y 7
d b L L L L L L h + hx + hy dω= h dxdy f fx f y f x f c a x y f (II.) Ω y A varácószámítás lemmája szernt zárójeles kfejezésnek a teljes tartományon nullának kell lenne, ez a problémához rendelt (parcáls) Euler-Lagrange dfferencálegyenlet: L L L = 0 f x f y f x y (II.3) Tetszıleges alakú ntegrálás tartományra ugyanezek az egyenletek adódnak a Green-tétel felhasználásával 4. II.4.. Tovább alapesetek Ha a Lagrange függvény magasabb rendő derváltakat s tartalmaz, és a derváltakra s krójuk a peremfeltételeket, akkor a rendszámnak megfelelı mennységő parcáls ntegrálás lépéssel jutunk el a tesztfüggvény kemelhetıségég. Tekntsük pl. a következı egyváltozós funkconált: b F ( f) = L( f, fx, fxx) dx (II.4) a A másodrendő dervált varálásakor a következı tag jelenk meg: meg erre a tagra kétszer a parcáls ntegrálás lépést: b a L hxx dx. Ismételjük f xx b b b a L d L L h dx= h dx+ h xx x x fxx dx f a xx fxxa b b b d L d L L = h dx h h + dx a x fxx dx fxx f a xxa (II.5) Az utolsó két tag a peremeken eltőnk, és csak az elsı tag marad. A (II.4)-hez rendelhetı Euler-Lagrange egyenlet tehát a negyedrendő: L d L d L + = 0 f dx f x dx fxx (II.6) Általában az: b ( ) ( n F ) ( f) = L f, f, f,... f dx (II.7) a 4 A Green tétel s bzonyítható a teljes ntegrálás tartomány téglalapokkal való közelítésével. 8
az smeretlen függvény elsı n derváltját s tartalmazó funkconálhoz rendelhetı dfferencálegyenlet: n k ( ) = 0 (II.8) k ( k) k= 0 k d L dx f Végül a több smeretlen függvényt tartalmazó esetben a függvényeket egymástól függetlenül varálva anny egyenletbıl álló dfferencálegyenlet-rendszert kapunk, ahány smeretlen függvényünk van, így pl. az: Euler-lagrange egyenletrendszere: b,,,..., F ( f g) = L( f fx ggx) dx (II.9) a L d L = 0 f dx fx... L d L = 0 g dx g x (II.30) Ha az egyenletek bármelyke egy másk függvényt s tartalmaz, akkor csatolt egyenletrendszerrıl beszélünk. A fent esetek kombnácóban s elıfordulhatnak. Az optka áramlás egyenletek általában két kétváltozós smeretlen függvényt, az elmozdulás mezı komponenset tartalmazzák. Ennek megfelelıen az Euler-Lagrange egyenletek parcáls dfferencálegyenlet-rendszert alkotnak. II.4.3. Alkalmazás példa: a Horn-Schunck egyenletek Vegyük példaként a (II.) funkconált. Ez a több smeretlen függvényt tartalmazó kétváltozós esetek kombnácója. Az Euler-Lagrange egyenletrendszer: L L L = 0 u x ux y uy L L L = 0 v x v y v x y (II.3) A Lagrange függvény konkrét alakjának: L ( uv, ) = ( I ) ( I 0 + α ux+ uy+ vx+ vy) behelyettesítése után kapjuk a következı parcáls dfferencálegyenlet-rendszert: ( I I0) I x = α( uxx+ uyy) ( I I ) I = α( v + v ) 0 y xx yy (II.3) 9
A (II.3)-ben felhasználtuk, hogy az I 0 független az elmozdulás mezı komponensetıl, továbbá, a I I = u x és I I = v y azonosságokat. Az egyenletrendszer nemlneárs az smeretlen függvényekben, de az I Taylor sorával: I0 I I xu Iyv It lnearzálható, és kapjuk: ( I xu+ I yv+ It) I x = α( uxx+ uyy) ( I u+ I v+ I ) I = α( v + v ) x y t y xx yy (II.33) xx yy xx yy A (II.33) az u + u 4u 4u és v + v 4v 4v elsırendő véges dfferencaközelítésekkel (a felülvonás az adott pozícó négy szomszédján vett függvényértékek átlaga) egyszerő, lneárs egyenletrendszer alakját ölt: Au= b, b= b( u ) (II.34) A (II.34) mátrxának és vektorának eleme: x a = I + 4α a = a = I I x y = y + 4α a I b = 4αu I I x t b = 4αv I I y t (II.35) A mátrxelemek konstansok, (II.35) egyszerő terácós módszerekkel megoldható. Ha a (II.) adattagjában ( ) I I0 dω az elıre lnearzált: Ω I I + I u + I v + I 0 0x 0y t (II.36) egyenletet használjuk, akkor formálsan a (II.33) egyenleteket kapjuk, de a képsorozat nulla ndexő ntenztásfüggvényével. A (II.35)-ben a különbség úgy jelenk meg, hogy a parcáls képfüggvény derváltakat: I x és I y a képsorozat elıbb, vagy az utóbb képén számítjuk. Az értekezésben az alapesetektıl és a fent egyszerő példától jelentısen eltérı esetekkel s fogunk találkozn. 0
III. Optka áramlás A fejezet felépítése a következı: A bevezetés elsı felében smertetem az optka áramlás szerepét a képfeldolgozásban, a jelentısebb területeket ahol használják, az optka áramlás alapproblémáját (az elmozdulás mezı számítása), az apertúra jelenségét és lehetséges kezelés módjan keresztül a varácós optka áramlást. A másodk felében smertetem azokat a lehetıségeket a kapcsolódó kutatásokkal amelyek nem az ntenztás megmaradására építenek. A másodk részben a normalzált keresztkorrelácó smertetése (III..) után bevezetem a normalzált keresztkorrelácós adattagot szürke árnyalatos és színes képekre (III..), majd a probléma közelítı Euler-Lagrange egyenletet (az egyenletek levezetését az A melléklet tartalmazza), végül a lnearzálással nyert numerkus formulát (III..3). A harmadk részben smertetem a keresztkorrelácós optka áramlás tesztelésének körülményet, tesztjet, a tesztek eredményét, különválasztva a szntetkus szürkeárnyalatos szekvencák (III.3.), a valós kültér felvételek (II.3.) és a szntetkus színes szekvencák tesztjét (II.3.3). Az összefoglalóban továbbfejlesztés lehetıséget tárgyalom.
III.. Bevezetés Az optka áramlás a képsorozatoknál megfgyelhetı valamlyen jellemzı, látható mennység elmozdulásával foglalkozk. Alkalmazás területe szerteágazó: objektumok követése, robotka [5], ember-gép nterakcók, gépjármővek asszsztens rendszere [6], vdeó tömörítés technológák [7], dnamkus textúra analízs [8], stb. A leírás eszköze az elmozdulás mezı, egy, a képtéren értelmezett kétdmenzós vektormezı, amely egyszerő esetekben egy sorozat szomszédos képe egykének a 0 ndexszel jelöltnek a pxelere alkalmazva a másk az ndexszel jelölt képet szolgáltatja bzonyos pontossággal. Történelmleg, a szürke árnyalatos képsorozatok feldolgozása az ntenztás állandóság feltételezésével történt. A feltételezés szernt a képtartalom kzárólag azonos ntenztású képrészletek elmozdulása matt változk. Szgorúan véve ez a feltételezés akkor gaz, ha a megfgyelt színtér objektuma Lambert felületekkel rendelkeznek, a megvlágítás pedg térben és dıben állandónak teknthetı. A késıbb kutatások egyk ránya az alapesettıl eltérı körülmények között s megfelelı eredmények szolgáltatása. Az optka áramlás problémakör tovább jellegzetessége, hogy az optka kényszer önmagában nem tesz egyértelmően meghatározottá a feladatot. Ez az ú.n. apertúra probléma [9]. Az elmozdulás mezı két komponense u és v, az optka kényszer azonban egy egyenletet szolgáltat a képtartalom gradens rányú elmozdulás-komponensére. Ez azt jelent, hogy egyértelmő megoldást csak élek metszésénél vagy sarkoknál kapunk, a legjellegzetesebb képtartalomnál, az éleknél egyszeres alulhatározottsággal, homogén 5 részleteknél teljes határozatlansággal kell számolnunk. Az optka kényszer által meghatározottság arányokra a képtartalom struktúra tenzor analízsével kaphatunk nformácót [0]. A probléma kezelésére smert módszer egy tovább, ú.n. smaság feltétel krovása (III..ábra). A smaság feltételek megadás módja az optka áramlás módszerek egyfajta osztályozását teszk lehetıvé []. Lokáls smaság feltételek képezk az alapját az egyk csoportnak, amely a Lucas-Kanade [] módszerre, a globáls smaság feltételek pedg varácós módszerek prototípusára, a Horn-Schunck módszerre [3] vezethetık vssza. 5 Pontosabban: az adott optka kényszerre vonatkozóan homogén részleteknél.
III.. ábra: Az elmozdulás mezı meghatározottsága nem kelégítı. A smaság feltétel (jobbra) hvatott az egyértelmőséget bztosítan, azáltal, hogy az egyértelmően meghatározott (rtka) pontokból kterjeszt a mezıt az alulhatározott területekre s. Az ntenztásállandóság feltételezésén alapuló alapesettıl lényegesen eltérı körülményekkel találkozunk kültér felvételeknél. A témakör kutatásának s ez a motvácója: forgalomban részt vevı jármő fedélzet eszközevel készített felvételek feldolgozásával forgalomdnamka (átlagos haladás sebességek) számítása, amelynek egyk komponense az optka áramlás számítás. A tapasztalható ntenztásváltozások legfontosabb okat és következményüket így foglalhatjuk össze: a) a kamerák belsı szabályozás mechanzmusa folyamatosan korrgál a rendelkezésre álló ntenztástartomány mnél teljesebb khasználásáért, am a teljes képtartományra ható ntenztásváltozással jellemezhetı b) az dıjárás jelenségek, pl. felhısödés, ködös dı hatása nem egyszerre jelentkeznek a teljes képtartományon és dıbel dnamzmus jellemzı rájuk, c) est, éjszaka dıszakban a forgalomszabályozás eszköze színes fényő megvlágításának hatása sem hagyhatók fgyelmen kívül. Mndezek az gyakran gyors és drasztkus hatások az ntenztásváltozásra kevésbé érzékeny, robusztus megoldásokat követelnek. Az ntenztásállandóságot kfejezı adattagot k kell egészíten, vagy k kell cseréln a Lagrange függvényben III.. ábra: III.. ábra: Az ntenztásállandóságra építı módszer hbás elmozdulás mezıt szolgáltat. A bal oldal képen mesterséges árnyékolást használtunk, amely a sorozat másodk képérıl (középen) hányzk. A jobb oldal kép a Horn-Schunck módszerrel számított elmozdulás mezı. 3
III... Kapcsolódó kutatások A (II.) egyenletben szereplı ntenztásállandóságot kfejezı adattagot szokás az elmozdulás mezı szernt Taylor sorba fejten. Ekkor kapjuk az optka áramlás (ntenztásállandóságot kfejezı) lnearzált egyenletet: I u + I t = 0 (III.) Létezk az (III.) lnearzált egyenlet olyan változata s, amely tovább tagok hozzáadásával kezeln képes a drekt megvlágításban p p( xy, ) (, ) =, és a szórt fény ntenztásában q= q xy megjelenı változásokat: Negahdarpour [4], Km és mások [5]: I u + I + pi+ q= 0 (III.) A (III.) bal oldala pl. négyzetre emelve alkalmas adattagnak, de az smeretlen p és q függvények olyan mértékben növelk az alulhatározottságot, hogy a gyakorlatban alkalmazhatatlan. Arra azonban alapvetıen megfelel, hogy referencaként használva osztályozzuk a különbözı javaslatokat. t Brox és mások [6] a megvlágítás változására kevésbé érzékeny mennységgel, a képgradenssel bıvített adattag használatával értek el jelentıs javulást: ( ) α( I I ) 0 0 ε D= I I + + (III.3) A képfüggvény és gradense között egyensúlyért arányosság tényezı felel. Az L norma használatát nagyobb zajtőrés ndokolja [7], míg a x + ε az x dfferencálható változata. A gradens képzése kejt a képtérben lassan változó szórt fény hatását, am megfelel a (III.) egyenlet p= 0 helyettesítéssel adódó változatának. Ezen a ponton egy általános észrevétel tehetı a képfüggvény derváltaknak adattagként való felhasználásával kapcsolatban. A képfüggvény parcáls derváltja hányadosának tetszıleges függvénye nvaráns a megvlágítás bármely dfferencálható transzformácójára nézve, (, ) ( (, )) I xy = f I xy : I fi I = = I fi I x I x x y I y y (III.4) Specálsan a gradens vektor ránya s a parcáls derváltak hányadosának függvénye, így ez s választható adattagként kelégítve a (III.) egyenletet s. Ugyanakkor ez az arány nagyon zajérzékeny, különösen a ks változatosságot mutató területeken. 4
Az elızıhöz hasonló megközelítéssel Mleva és mások [8] által színes képsorozatokra bevezetett adattag dkromatkus vsszaverı felületekre [9] fotometrkus nvaránsok használatát javasolja a színtér megvlágításában beálló változások kezelésére. Ilyen pl. az RGB színtér gömb koordnátákban kfejezett szögének megmaradását leíró adattag, amely a (III.) q= 0 mellett alakját elégít k. Alkalmazhatóságát korlátozza azonban, hogy csak színes képsorozatokra és fehér fénnyel megvlágított színtérre érvényes. III.. III... Keresztkorrelácós optka áramlás A normalzált keresztkorrelácó A keresztkorrelácó fontos szerephez jut a statsztka analízs olyan területen, ahol jelek összehasonlítása szükséges. A gép látásban s mnták keresésének alapvetı eszköze. A normalzált keresztkorrelácót kétféleképpen defnálhatjuk: a centráls értékkel korrgált változat folytonos képfüggvények egymásnak megfeleltetett részletere a következıképpen írható: W W ( )( ) I I I I dw 0 0 ( 0 0) ( ) I I dw I I dw W, I W = W IdW dw, ( 0,) (III.5) A (III.5) szernt felírás kelégít a (III.) egyenletet, de határozatlan 0 0 alakot ölt mnden olyan helyen, ahol a hasonlítandó részletek akárcsak egyke s homogén. Ezért választásunk a centráls értékkel nem korrgált változatra esett: D I = W W IIdW 0 0 W IdW IdW (III.6) Ez a változat a (III.) egyenletnek a q= 0 mellett változatát elégít k, és ebben az értelemben megfelel a színes képsorozatoknál a Mleva által bevezetett változatnak, de szürke árnyalatos képekre s használható. III... Energa funkconál keresztkorrelácós adattaggal Funkconálunkat úgy alkotjuk meg, hogy a keresztkorrelácós mennységeket az egymást követı képek mnden pontjának kcsny környezetére számítjuk. Ezekkel a lokáls mennységekkel képezzük a teljes képtartományra vonatkozó globáls korrelácó értéket. 5
Kegészítve mndezt a legegyszerőbb formában felírt smaság taggal funkconálunk a következı alakot ölt: Itt E uv Dd α u u v v d (, ) = I Ω+ ( x+ y+ x+ y) Ω (III.7) Ω D I a (III.6) egyenletben defnált. Az I0 és I a képsorozat szomszédos képe, formálsan a (II.)-ben defnáltak. A smaság taggal való kompatbltás matt az adattag elıjele negatív, így a funkconált a keresett sebességmezı mnmalzálja. Érdemes megjegyezn, hogy a keresztkorrelácó általában és + között változhat, de mvel az ntenztásértékek nem negatívak, a D I lehetséges értéke most a 0 és + tartományba esnek. Színes képekre többféle általánosítás s lehetséges, a legegyszerőbb az adattagot az RGB csatornák átlagával képezn: α E uv D D D d u u v v d 3 Ω (, ) = ( R+ G+ B) Ω+ ( x+ y+ x+ y) Ω (III.8) Ω Ω Itt a D, D és R G D B a csatornantenztások (III.6)-tal egyezı kfejezése. III..3. Euler-Lagrange függvény, numerkus formula A (III.8) funkconálhoz tartozó Euler-Lagrange egyenletek végtelen sorként állíthatók elı. Az eredmény levezetése az A mellékletben található. Használható numerkus formula létrehozása végett elsı lépésként a sor elsı tagjával közelített (A.3) analtkus formulából ndulunk k: W IIdW W 0 I W IdW I W 0 IdW = α IdW IdW IdW u 0 W W (III.9) Az egyenletek (az elmozdulás mezı két komponensére) bal oldala a (III.7) adattagjából, jobb oldala a (III.7) smaság tagjából származk, a a Laplace operátor. Az egyenlet nemlneárs, de tovább lépésekkel lnearzálható. Feltéve, hogy a lokáls korrelácós ablakok ksméretőek, a következı három lépéssel célt érünk: Célszerően az I 0 értéket fejtjük Taylor sorba I körül: I0 I u I It meg kell jegyezn, hogy az nduló feltételek alapján éppen az I 0 független az elmozdulás mezıtıl, míg az I nem. Azt feltételezzük tehát, hogy az I 0 az u I + I tagok levonásával nyer el ezt a függetlenséget. t. Itt 6
Feltesszük, hogy az elmozdulás mezı értéke az ntegrálás ablakban állandók azaz a sebességkomponensek khozhatók az ntegráljel elé. Ezt a lépést az elızı lépéssel kombnáljuk, így pl.: IIdW IdW u II dw v II dw IIdW (III.0) 0 x y t W W W W W A (III.9) bal oldalának IdW IdW osztóját nem lnearzáljuk, értékét egy W 0 W terácón belül állandónak tekntjük. Gauss-prams használata esetén természetesen mnden szntváltáskor újraszámoljuk. A felsorolt lépések közül az utolsó gényel bıvebb magyarázatot. A következıkkel lehet érveln: a) átszorzással látszk, hogy csak a smaság tagból származó mennység együtthatóját módosítja b) feltesszük, hogy a gyökös mennység nagyságrendje megegyezk az egyenletben szereplı több mennység nagyságrendjével, de mvel az α gyakorlat értéke 0,005 és 0,0 közöttek, ezért az α -val való szorzás után a szorzat nagyságrendleg ksebb hatással lesz a végeredményre. A fent átalakítások után végeredményünket a következı formában kapjuk: Au= b, b= b( u ) (III.) (III.) együttható mátrxa konstans, a jobb oldal vektora a Laplace operátor közelítésébıl adódó elmozdulás mezı átlagértékek függvénye (a képtartomány mnden pontjában a pont négypontos környezetében levı elmozdulás értékek átlaga). Végül a α λ= és 4 Q W 0 W = IdW IdW helyettesítéssel, az ntegrálok dszkretzálásra utaló szummákkal a mátrx-vektor komponensek: x ( x) λ y ( y) λ a = I I II + Q I a = a = I I I II II x y x y a = I I II + Q I b = λqu I + II II I I I x t x t b = λqv I + II II I I I y t y t (III.) A (II.) Horn-Schunck funkconálból származtatott egyenletek lnearzálásával a megfelelı mátrx-vektor elemek így írhatók (II.35): 7
x a = I + λ a = a = I I x y = y + λ a I b = λu I I x t b = λv I I y t (III.3) Összehasonlítva a két módszer eredményet megfgyelhetjük, hogy a (III.3) pontbel értékevel szemben a keresztkorrelácós módszernél lokáls ablakokba esı összegeket kell számoln. Ezek az összegek a szőrıknél használt eljárással azonos módon csúszó ablak technkával hatékonyan kszámolhatók 6. Mvel a számítások dıgényét alapvetıen az terácók dıgénye határozza meg, az ncalzálásokból adódó különbség hatása elhanyagolható. A (III.) alak alkalmas a szokásos terácós módszerekkel: Jacob, Gauss- Sedel, Successve Over-Relaxaton (SOR) való megoldásra. A nagy elmozdulások kezelése standard technkákkal, mnt a Gauss-prams és Image Warpng változtatás nélkül lehetséges: a nagyobb felbontású szntre áttéréskor az addg számolt elmozdulás mezı értékével az egyk képet torzítjuk, és az így módosított változat szolgál a következı terácó nputjává, azonosan zérus kezdet elmozdulás mezı mellett. III.3. A keresztkorrelácós optka áramlás tesztje A módszer tesztje különféle körülmények között készültek: A szakrodalomban gyakran elıforduló szntetkus szekvencákon és ezek mesterséges árnyékolással módosított változatan Kültér körülmények között készült vdeofelvételeken, közöttük saját készítésőeken s Gyakran használt színes képsorozatokon és ezek mesterséges árnyékolással módosított változatan Az összehasonlítás alapja az (II.) Horn-Schunck módszer szolgáltatta eredmények. Azonos smaság tagok mellett az eredmények különbségekért az adattagok különbözısége felel. A tesztek mndegykében három szntő Gauss pramst használtunk, a lokáls korrelácós ablak mérete az alsó sznteken 3x3 pxel, a legnagyobb felbontású sznten 5x5 pxel volt. A smaság tényezı súlyfaktora változott, általában a 0,005 és 0,0 között tartományban. SOR terácóval 00 ezer pxeles képekre nagyjából 5 frame/sec feldolgozás sebesség érhetı el standard egyprocesszoros (~GHz) PC-n. 6 Incalzáláskor egy egész sorra kszámítjuk az ablak magassága tartományba esı ntenztásértékek összegét. Ezután az egyes ablakokba esı értékek összegzéséhez felhasználhatjuk az elızı ablak értékét: a kesı oszlop értékét levonjuk, a bejövı új oszlopét hozzáadjuk. 8
III.3.. Szntetkus szürkeárnyalatos szekvencák Az elsı tesztek az optka áramlás tesztjére gyakran alkalmazott, kvanttatív kértékelésre alkalmas standard, szntetkus szekvencákkal készültek [3]. Ezek a YOSEMITE felhıvel 7-8 és a MARBLE 4-5. (III.3. ábra): III.3. ábra: YOSEMITE szekvenca (balra), MARBLE szekvenca (jobbra) mesterséges árnyékkal. Az alapul szolgáló kép-párok egykére mesterséges árnyékolást alkalmazva, és anélkül s elvégeztük az elmozdulás mezı számítását. A YOSEMITE szekvencára kapott eredmény vzualzálva a III.4. ábrán látható. III.4. ábra: számított: mesterséges árnyékkal (balra) árnyék nélkül (középen) és ground truth (jobbra) vektormezık a YOSEMITE szekvencára. A numerkus összehasonlítás jellemzı értéke a szokásosan használt [30] átlagos szögeltérés hba (Average Angular Error, AAE) a pxelenként szöghbák átlaga: AAE uuˆ + vvˆ + = arccos N ( u v )( uˆ vˆ (III.4) + + + + ) A képletben a jelöletlen elmozdulás mezı a számított, a jelölt a ground truth értéket reprezentálja, N a fgyelembe vett pxelek száma. Az eredményeket a III.. táblázat tartalmazza. 9
III.. Táblázat Egyéb módszerek (mesterséges árnyékolás nélkül) eredményevel elvégzett összehasonlítás található a III.4 pontban. Effektus YOSEMITE MARBLE Nncs 5,47º 5,07º Van 7,65º 5,9º III.3.. Kültér felvételek A szntetkus képsorozatokon szerzett mennység nformácók mellett valós, kültér felvételeken mnıség vzsgálatok végezhetık. Az elsı lyen tesztet a Karlsruhe vdeó adatbázs [3] ködös dıben készült felvételén végeztük. A felvétel rossz látás körülmények között készült, és a köd belsı dnamkájának megfelelıen a teljes színtérre kterjedı folyamatos változással jellemezhetı (III.5. ábra). A becsült optka áramlás mezık a képek alatt láthatók, a becslések mnısége között különbség nylvánvaló: a Horn-Schunck algortmust jelentısen befolyásolja a köd, a keresztkorrelácós eljárás a valós mozgásokat mutatja meg: III.5. ábra: Két kocka a FOGGY szekvencából (felül) és a számított elmozdulás mezık a Horn-Schunck és keresztkorrelácós módszerekkel. A másodk sorozat (III.6. ábra) saját készítéső vdeó felvételbıl származk. A kamera automatkus erısítésszabályozásából adódó globáls ntenztásváltozás hatását szemléltet. A szemléltetés módszere a rekonstrukcó: a sorozat elsı képének pxelere alkalmazva a számított elmozdulás mezıt, a másodk kép közelítését kapjuk. A kemelt részletek az 30
ntenztásállandóságot feltételezı és a keresztkorrelácós módszerekkel kapott eredmények mnısége között jelentıs eltérést érzékeltetk. III.6. ábra: Saját sorozat két képe (felül). A globáls ntenztásváltozásért a kamerák belsı erısítésszabályozása felel. Rekonstruált képrészletek Horn-Schunck és keresztkorrelácós módszerekkel. A harmadk sorozat az elızı vdeó felvétel késıbb kockából való (III.7. ábra). Az elsı képen egy mesterségesen sötétített részlettel lokáls árnyékolódást szmuláltunk. Az elsı kemelt részlet jól mutatja, hogy az árnyékolt részen kétféle módszeren alapuló rekonstrukcó jelentısen eltérı, míg azon kívül közel azonos eredményt hoz. A másodk kemelt részlet arra példa, hogy olyan helyeken s, ahol az ntenztásállandóság feltételezhetı esetenként jobb mnıségő rekonstrukcóra számíthatunk. Ennek nylvánvaló oka, hogy a pont kterjedtebb környezetébıl származó nformácó nagyobb megbízhatóságot s jelent. III.7. ábra: : Saját sorozat két képe (felül) mesterséges árnyékolt részlettel. Rekonstruált képrészletek Horn- Schunck és keresztkorrelácós módszerekkel az árnyékolással módosított területrıl (balra) és egy komplexebb területrıl (jobbra). 3
III.3.3. Szntetkus színes szekvencák A keresztkorrelácós optka áramlás fontos eredménye (színes képszekvencákra) a nem fehér fény komponensenek változásával szemben robusztussága. Tesztekhez a standard Mddlebury adatbázs [3] STREET (90-9 kocka) és OFFICE (0- kocka) sorozatokat használtuk (III.8. ábra). A STREET képpár egykén az RGB tér B komponensét mesterségesen megváltoztattuk, az OFFICE esetében a G komponenst (III.7. ábra). Az eredményeket a III.. táblázat mutatja be. Effektus STREET OFFICE Nncs 5,94º 4,7º Van 6,º 4,77º III.. Táblázat Az értékek ntenztásváltozás következtében fellépı romlása ugyanúgy, mnt a szürke árnyalatos képeknél jelentéktelennek teknthetı. III.8. ábra: Mesterségesen színesen árnyékolt részlet a STREET és OFFICE szekvencákból. 3
III.4. Keresztkorrelácós optka áramlás összefoglaló Az optka áramlás másk kemelt kutatás területe a számított elmozdulás mezı pontosságának növelése. Ebben a tekntetben nem volt célunk, hogy meghaladjuk a ma legjobb technkák nyújtotta precztást: Alvarez és mások [33], Mémn-Pérez [34], Bruhn és mások [35], de nem érdektelen a módszer ezen szempontok szernt értékelése. A szakrodalomban rendelkezésre állnak a megfelelı adatok. Az ott smertetett módszerek matt a keresztkorrelácós adattag megtartásával érdemes volt a legegyszerőbb kvadratkus smaság tag mellett teszteket végezn annak L norma változatával: α S = ux+ uy+ vx+ vy+ ε, ε (III.5) Ez ksmértékben javított a pontosságon (nagymértékben rontott vszont az algortmus sebességén), az eredményeket a III.3. és III.4. táblázat foglalja össze. Kemelhetı a keresztkorrelácónak kedvezı MARBLE szekvencára kapott legjobb eredmény. Horn-Schunck Alvarez Mémn Bruhn Weckert Keresztkorr. Keresztkorr. módosított 000 00 005 006 kvadratkus L 9,78º 5,53º 4,69º 4,7º 3,50º 5,47º 4,36º III.3. Táblázat YOSEMITE effektus mentes AAE eredmények Weckert Weckert Keresztkorr. Keresztkorr. 005 005 kvadratkus L 5,30º 5,4º 5,07º 4,99º III.4. Táblázat MARBLE effektus mentes AAE eredmények III.4.. Továbbfejlesztés lehetıségek Továbbfejlesztés lehetıségként meg kell említen a magasabb fokú Euler-Lagrange egyenletek használatának lehetıségét. Az elsı kísérleteket elvégeztük az eggyel magasabb fokú egyenleteket használva az adekvát (magasabb fokú) numerkus sémával. A tapasztalat szernt a képek nagy változásanál erısen kontrasztos élek, sarkok numerkus nstabltás lépett fel, am (III.) mátrx adott helyeken való rosszul kondconáltságára utal. Ezeket a részleteket specálsan kellet kezeln, pl. vsszatérve az alacsonyabb fokú közelítésre. Az eredmények nem meggyızıek, megfelelıbb numerkus módszerek kdolgozása/keresése szükséges. 33
Alternatív lehetıség a lneárs sémával párhuzamosan kfejlesztett, drekt funkconál mnmalzáláson alapuló mplct séma (Fazekas [S3,S6]) továbbfejlesztése, amely GPU programozással sebességben s megfelelı lehet. 34
IV. Aktív kontúr A fejezet tartalma: A bevezetésben smertetem az aktív kontúrok alkalmazásának fıbb területet, az aktív kontúrok fejlıdésének fıbb állomásat és a különbözı modellek jellemzıt. A másodk rész (IV.) a problémafelvetés, tt tárgyalom a probléma megoldására javasolt lokáls régók fogalmát, tulajdonságat. A harmadk részben kerül kdolgozásra a lokáls régó alapú alapmodell (IV.3.), az alapmodell Level Set egyenletenek megadásával (IV.3.), majd javaslattétel egy konkrét statsztka szeparátorra (IV.3.3). A fejezetet az alapmodell továbbfejlesztése szükségességének ndoklásával zárul. A negyedk részben a modell kétrányú fnomítását javaslom: magasabb rendő görbeközelítéssel (IV.4.) és a réteghatárokhoz lleszkedı optmálsan választott ntegrálás határokkal (IV.4.). A módosított statsztka szeparátor megadására s tt kerül sor. Az ötödk fejezet a modell alkalmazásának körülményet, az elért eredményeket és a továbbfejlesztés lehetıséget foglalja össze. 35
IV.. Bevezetés Az aktív kontúrok (D) és aktív felületek [36] (3D) elsıdleges alkalmazás területe a képlletve színtér szegmentácó, helyreállítás, rekonstrukcó. A szegmentácó alapja tetszılegesen választható mennység. D kép szegmentácónál ez lehet valamlyen drekt pontbel jellemzı, pl. az élek és vonalak ment szegmentácóhoz a képfüggvény gradense, nem trváls pontbel jellemzı, pl. a struktúra tenzor, képtartomány jellemzık, pl. a képntenztás átlagos értéke, vagy textúrák rányultságára jellemzı mennység [37]. A szegmentáláshoz használt jellemzık ezen csoportosítása alapján lokáls és globáls módszereket különböztethetünk meg. A globáls módszerek lehetıvé teszk a szegmentálás szempontot szolgáltató mennységek statsztka értelmezését. Jelentıségük éppen ebben rejlk: lehetıvé teszk rossz mnıségő, pl. orvos dagnosztka képalkotó eszközökkel készült felvételek szegmentácóját vagy pl. a textúra analízsben használt skála-orentácó szétválasztással textúra alapú szegmentácót. Hátrányuk vszont a várható nagy feldolgozás dı. Az aktív kontúrok kalakulása történelmleg Kass, Wtkn és Terzopoulos [38] munkájára vezethetı vssza. Az általuk bevezetett aktív kontúr vagy snake élek és vonalak detektálására készült, bztosítva a kontúr folytonosságot olyan helyeken, ahol a valód élek megszakadnak, elmosódnak. A problémát varácós keretekbe helyezve egy energamnmalzáló deformálódó görbét, egyparaméteres splne -t defnáltak (II.), amelyben az adattag felel a görbe élek felé rányuló elmozdításáért, a smaság tagok a görbe elsı és másodk derváltjara krótt feltételek bztosítják, hogy a defnálatlan helyeken (pl. ahol az élek elmosódnak, vagy megszakadnak) smán, törések és sarkok kalakítása nélkül haladjon. A (II.) funkconállal szemben legfıbb krtka, hogy a görbére nézve a felírás nem mérték nvaráns, változó transzformácóval máshol vesz fel a szélsıértékét. Erre megoldás az ívhossz szernt paraméterezés. Tovább problémák: a) a görbét a megoldás közelébıl kell ndítan, vagy valamképpen bztosítan kell a megoldás közelébe juttatást b) nem képes a topológa változásat követn. A problémák megoldására több megoldás született. Az a) probléma kezelhetı kényszerített mozgatással, pl. zárt görbék felfújása ú.n. ballon erıkkel [39], a gradens hatókörének kterjesztése a kép kétdmenzós Gauss kernellel szőrésével vagy a kép elızetes feldolgozásával: gradens áramlás (GVF) számítással 7 [40]. A b) problémára a 7 Ez globáls módszer a paraméteres aktív kontúrokra. A kép elızetes feldolgozása, a gradens áramlás mezı számítása önálló mnmalzálás probléma. A görbe evolúcót már nem az nput kép, hanem a számított gradens áramlás mezı rányítja. 36
geometra aktív kontúr Caselles és mások [4] által bevezetése hozott megoldást. Az általuk bevezetett mplct görbeleírás lehetıvé tesz a Level Set eljárás használatát [4], amely automatkusan kezel a topológa változásat. A Level Set módszer megnytja a lehetıséget a globáls (aktív régó) módszerek [43,44] elıtt: a (zárt) görbék reprezentácója természetes módon, elıjellel különít el görbék belsı és külsı tartományat. A globáls (D és 3D) módszerek gyakran a Mumford-Shah féle szegmentácón (II.3) alapulnak, ahol a képfüggvény részenként sma közelítése és a folytonosság határokat reprezentáló görbe egyszerre állítandó elı [45]. A funkconál mnmalzálására nem smert drekt eljárás, de az összetevı három tag bármelykét elhagyva szokásos Euler-Lagrange formalzmussal kezelhetı. A lehetséges megoldások egyke, hogy elsı lépésben rögzített görbére a belsı és külsı tartományokra sma függvény közelítést számítunk, majd a másodk lépésben az elsı lépés eredményeként elıállt függvényeket változatlannak tekntve Euler-Lagrange egyenleteket vezetünk le a redukált problémára. Az elsı lépés parcáls dfferencál-egyenletre (Posson) vezet, a másodk görbe-evolúcós a Mumford-Shah flow egyenlet, amely a Level Set módszerrel topológa-helyesen megoldható. A két lépés teratívan smétlendı, a feldolgozás dı jelentıs. IV.. Lokáls régó alapú szegmentácó A lokáls régó alapú szegmentácós eljárás kfejlesztését egy retna rétegekrıl n-vvo felvételeket szolgáltató képalkotás technológa, az optka koherenca tomográfa (Optcal Coherence Tomography) nsprálta. Az új technológa ígéretes kutatás és dagnosztka eszköze az orvostudománynak: lehetıvé tesz a retna rétegenek mérését, a változások követését, betegségek megelızését. A képalkotó eszköz nagy felbontású, gyors, rövd dı alatt nagymennységő felvétel készítésére alkalmas. Ugyanakkor a felvételek alacsony kontrasztúak és zajosak. Egy tpkus (rágcsáló) retnakép látható a IV.. ábrán. IV.. ábra: Retna rétegek OCT felvételen (ILM: Internal Lmtng Menbrane, RPE: Retnal Pgment Epthelun) 37
Célul tőzzük k olyan varácós, képek szegmentácójára alkalmas modell kfejlesztését, amely ötvöz a lokáls modellektıl elvárható gyorsaságot, de lehetıvé tesz a görbe evolúcót rányító mennységek statsztkus értelmezhetıségét, mnt a globáls modellekben. Megközelítésünk alapjaban eltér az smertetett eljárásoktól, legnkább a Feugeras és Kerven által a 3D rekonstrukcóban bevezetett modellre [46] hasonlít. Néhány hasznos tulajdonságát a következıképpen foglalhatjuk össze: Az alapmodell tartalmazza a smaság krtérumot, nncs szükség addtív smaság tag felvételére, és az ahhoz tartozó optmáls súlyfaktor meghatározására. Nytott és zárt görbékkel egyaránt mőködk. Ez a tulajdonság nem trváls a globáls módszereknél. Az élek fogalmát flexblsen értelmezhetjük. Az képjellemzıket a régó alapú modellekhez hasonlóan statsztka mennységekként értelmezhetjük, anélkül, hogy a teljes képtartományra elızetes feldolgozást kellene végeznünk. Az utolsó tulajdonság azt jelent, hogy mndg csak a görbe ment lokáls régókat használjuk fel a statsztka mennységek képzéséhez. Ebben az értelemben a modell lokáls régóalapú, félg lokáls, félg globáls módszernek teknthetı. Természetesen hátrányokkal s számolnunk kell, amelyeket az alapmodell javításával nagy részben kküszöbölhetünk. A következı pontokban az alapmodell smertetésén túl annak lehetséges fnomításat s bemutatjuk. IV.3. IV.3.. Az alapmodell A lokáls régó használata IV.. ábra: Lokáls descartes koordnáták a G görbe mentén. Az r helyvektorral kjelölt pontban a lokáls koordnátarendszert az e érntı- és n normál-egységvektorok defnálják. A szeparácót a lokáls normálrányú koordnáták alapján végezzük, az egymásnak megfeleltetett régók az n + és az n. 38
Felfogásunk szernt a szegmentácós probléma egy vonalntegrál mnmalzálás probléma egy nytott (zárt) deformálódó görbe mentén (IV.. ábra). A görbe ment régókat a következıképpen defnáljuk: n ± = ξe± ηn (IV.) A ξ pp, és η 0,q a lokáls koordnáták, a határok állandók. Mvel síkgörbe esetén egyértelmő megfeleltetés létezk az adott pontbel érntıvektor és normálvektor között: n= k e, ahol k a standard,j,k bázs síkra merıleges bázsvektora, a legegyszerőbb vonal ment ntegrál, amely a lokáls bázst tartalmazza, így írható fel (n elhagyásával): E ( r,e) = Φ( r( s), e ( s) ) ds (IV.) Itt r ( s) az smeretlen görbe ívhossz szernt paraméterezett alakja. Az ntegrálást a teljes G görbére végezzük. A vonal ment ntegrált energa funkconálként használva Euler-Lagrange egyenleteket, azokból normál áramlás (normal flow) egyenleteket vezethetünk le. Egy egyszerő levezetését a B melléklet tartalmazza. A normálvektor rányú sebességkomponens: G ( ) ( ) dv( ) β= h Φ Φ + Φ Φ + Φ r er e n e e n ee n n (IV.3) A (IV.3)-ban a Φ konkrét alakja nem szerepel, tetszılegesen választható, plugn. Általában azzal az esettel találkozunk, amkor a keresett görbe maxmalzálja a két oldal között különbséget. Ilyenkor egy maxmalzáló Ψ és a Φ között kapcsolat lehet a ( re, ) ( re, ), vagy a ( re, ) Φ = Ψ derváltak között összefüggés: A másodk derváltak között összefüggés: u ( re, ), (, ) komponensekkel 8 : Φ = Ψ, + ε Φ = ( re) Φ =, ε. Ez utóbb esetben az elsı Ψ ( ε) (IV.4) u Ψ+ u Ψ Ψ Ψ Ψ+ ε uv v u uv (IV.5) ( Ψ+ ε) v re, az elsı tag dadkus szorzat. A (IV.5) Ψ mennysége descartes 8 A (IV.5) dadkus szorzat sorrendjét, a (IV.6) vegyes parcáls derváltak mátrxát, és általában a nem skalár mennységek vektorok szernt dervált (gradens) képzését komponensekkel kírt alakban ellenırzn kell. 39
Ψ Ψ Ψ Ψ Ψ Ψ x e e x x ex y e x ex y e x, ɶ, ɶ ɶ, ɶ ɶ ɶ Ψ r= Ψ = Ψ = Ψ = Ψ e Ψ er ee Ψ Ψ Ψ Ψ y e y x ey y e y ex e ɶ ɶ ɶ ɶ yɶ ey ɶ (IV.6) Az érntı- és normál-egységvektor között összefüggés alapján: e x e y e e ɶ ɶ xɶ e= = dv( ) = e n y e n ɶ xɶ y x yɶ (IV.7) A (IV.3)-(IV.7) egyenletek közvetlenül s használhatók 9 lennének, de az így kapott Lagrange koordnátás leírás bonyolult problémákkal szembesít. Ilyenkor a görbét ponthalmazzal reprezentálják. A görbe evolúcóját ezen pontok mozgása reprezentálja. A pontok relatív távolsága azonban terácóról terácóra változk, a szükséges pontosság fenntartása a pontok folyamatos újrancalzálását (mnd pozícó, mnd mennység) gényl a görbe mentén. Tovább gondot jelent a topológa változásának (szétválások, összeolvadások) kezelése. A Level Set módszert éppen ezen problémák elkerülésére fejlesztették k. IV.3.. A Level Set egyenletek A gyakorlatban (lásd pl. [47]) a (IV.3) egyszerősített csak az elsırendő derváltakat tartalmazó változatát használják 0 : n ( e) dv( n ) (IV.8) β= h Φr + Φ Φe Bevezetve a τ mesterséges dıt, a görbe evolúcós egyenlete a gradent descent, azaz a negatív normálvektor rányában: dr dτ = β n (IV.9) A (IV.9) közvetlenül s használható Lagrange koordnátás terácóhoz. Ebben az esetben a topológa változása külön megfontolás tárgyát képezı algortmussal bztosítható. A görbére mplct megadást feltételezve, bevezethetı az U( ( τ), τ) r evolúcós Level Set függvény, ahol a görbe az U konstans általában zéró szntfelületével adott: r U= 0. A Level Set függvény használatának elsıdleges elınye: a) automatkusan kezel a topológa változását, b) Euler koordnátákat (térben fx rácsot) használhatunk. A Level Set formalzmusban: 9 Sıt (IV.9) helyett akár a közvetlen (B.) Euler-Lagrange egyenletek s, ahogyan azt a paraméteres aktív kontúrok esetében alkalmazzák s. 0 A magasabb rendő tagok nem befolyásolják az evolúcó rányát, csak a jellegét/dnamkáját. 40
U n =, h= U. A dvergencát s nábla szmbolkával szokás jelöln: U dv ( n ) U =. Ezekkel a (IV.9)-nek megfeleltetett (II.8) Level Set egyenletek: U U U U U = β U = U Φ r + τ U Φ+Φe k U U U, = 0 ( rτ) (IV.0) A (IV.0) egyenletek jelentısen leegyszerősödnek, ha a Level Set függvénynek az u( r, τ) elıjeles távolságfüggvényt választjuk. Ekkor u, és (IV.0) átmegy a következı egyenletekbe: u τ ( rτ) ( ) = β=φ u u r + Φ+ k Φe u u, = 0 (IV.) A (IV.) egyenletekben a a Laplace operátor, és a vegyes szorzatot cklkusan permutáltuk. Az elıjeles távolságfüggvény az terácó folyamán megváltozk. Egyszerőbb esetekben újrancalzálással, vagy kfejezetten erre a problémára kdolgozott eljárásokkal pl. [48] bztosítható a u tulajdonság megırzése. IV.3.3. Egyszerő statsztka szeparátor Az egyk legegyszerőbb választás a görbe ment régók átlagntenztásanak különbsége lehet. Kétféleképpen s meghatározhatjuk: a) elıjelesen, és akkor a elválasztó görbe egyk oldalán mndg nagyobb átlagos ntenztású részleteket találunk, b) abszolút érték szernt, és akkor a görbe egyk oldalán s felváltva jelentkezhetnek a nagyobb és ksebb átlagntenztású régók. Ha a b) típust választjuk, akkor egy különbségeket maxmalzáló Ψ függvénynek választhatjuk a következı a lokáls ntegrácós tartomány méretével normált lokáls ntegrált: ( ) ( ) I + I Ψ= pq + + dw W r n r n (IV.) Tekntsük a (IV.) régót a képtér koordnátával, felhasználva az érntıvektor és a normálvektor komponense között fennálló (IV.7) kapcsolatot: Szemléletes példa erre a sakktábla, amely felfogható különbözı ntenztású négyzetek kompozícójának, de függıleges és vízszntes vonalakkal határolt régók kompozícójának s. 4
+ ( x ξex ɶ ηey ɶ) ( y ξey ɶ ηex ɶ) ( x ξe ηe ) ( y ξe ηe ) r+ n = + + + + j r+ n = + xɶ + yɶ + + yɶ xɶ j (IV.3) W Ω : ξ pp,, η 0, q Fontos észrevenn, hogy az ntegrálás határokat konstansnak választva, a (IV.) paraméteres ntegrál a (IV.) funkconált mnmalzáló görbét defnáló mennységekre nézve, mvel a ξ és η ntegrálás változók és az ntegrálás határok függetlenek x, y, eɶ, eɶ mennységektıl. A Ψ derváltjanak képzésekor tehát felcserélhetjük a derválás és az ntegrálás mőveletét. Így a (IV.0)-ben és a (IV.)-ban, a (IV.4) közbektatásával fellépı elsı dervált (IV.6) x y komponensek a következık, bevezetve a ( I) = I( r+ n + ) I( + ) tényezıkre: r n jelölést a közös Ψ + = ( I) Ix( + ) Ix( + ) dw x pq W r n r n Ψ + + = ( I) ξix( + ) + ηiy( + ) ξix( + ) + ηiy( + ) dw e W x pq r n r n r n r n ɶ (IV.4) Ψ + = ( I) Iy( + ) Iy( + ) dw y pq W r n r n Ψ + + = ( I) ηix( + ) + ξiy( + ) ηix( + ) ξiy( + ) dw e pq W r n r n r n r n yɶ IV.3.4. Az alapmodell krtkája A IV. pontban összefoglaltuk a lokáls régó alapú módszer elınyös tulajdonságat. Most a fenn smertetett alapmodellel szemben fogalmazunk meg krtka észrevételeket, amelyek bzonyos rányú továbbfejlesztéseket ndokolnak. Az alább két pontban összegezzük a lehetséges problémákat és kapcsolatokat: Nagy görbülető részleteknél a görbe és érntıje gyorsan távolodnak, ez a lokáls ntegrálás ésszerő határat érntırányban jelentısen korlátozhatja (ez a probléma nem jelentkezk a globáls módszereknél). A statsztkalag értelmezett adatok jósága vszont a lokáls tartomány méretével arányos. IV.3. ábra Váltakozó ntenztású rétegek szegmentácójakor az ntegrálás normálrányú határát a réteg szélég kterjesztve kapunk maxmáls különbséget. Ez ks ntenztáskülönbség esetén maxmalzálja különbséget növelve a szétválasztás hatékonyságát. IV.4. ábra 4
IV.4. IV.4.. A modell fnomítása Másodrendő görbeközelítés IV.3. ábra: Lokáls koordnátarendszerek a görbe mentén: zometrkus parabolkus koordnátarendszer és descartes koordnátarendszer. A nylakkal kjelölt pontok az azonos abszolút értékő η értékkel egymásnak megfeleltetett pontok. A descartes rendszerben kpontozott tartomány helytelen adatot szolgáltat, amely parabolkus koordnáták használatával erıteljesen csökken. Észrevehetı, hogy (IV.) funkconál egy általánosabb forma közelítése (valójában, hasonlóan az optka áramláshoz, legáltalánosabb esetben egy végtelen sor): Itt az e nvaráns alak az ( ) E ( ree,,, ) = Φ( r( s), e( s), e ( s), ) ds (IV.5) G e s = e e egyenlettel defnált. A szeparáló görbét mnden pontjában Taylor sorával jól közelíthetınek tételezzük fel. A másodrendő közelítés: dr ds dr r( s+ ds) = r( s) + ( s) ds+ ( s) ds = r( s) + e( s) ds+ e ( s) ds (IV.6) s ds Bevezetünk a lokáls ntegrálás felületelemére nézve zometrkus koordnátákat. A B melléklet 7. dfferencálgeometra összefüggése alapján: dv( n) = et s h n = e n (tt khasználtuk még: ds= hdt ), és e s n az e s egyetlen, nem zérus komponense (mert es e ), amely normál rányú, a (IV.6) alapján defnálhatunk egy parabolkus rendszert a következı koordnáta transzformácóval: ξ = ξ ( n ) (IV.7) dv η = ξ + η Ez a dstnkcó az ívhossz szernt dervált és az érntıvektor gradense között nem feltétlenül szükséges, de magasabb dmenzókban így korrekt. 43
A (IV.7) változó transzformácó Jacob determnánsa, tehát az ntegrálás felületelemét nem kell változtatnunk. Az így bevezetett koordnáta transzformácónak praktkus oka van: bevezethettünk volna ortogonáls parabolkus koordnátákat s, de akkor (IV.)-t két részre (alsó-felsı) kellet volna bontan. A (IV.7)-ben megjelenı dv( n ) csak síkgörbe esetében alkalmazható, magasabb dmenzókban nem, de tt érdemes ezt használn, mert a (IV.3) és (IV.8) egyenletekben szerepel, így értékét mndenképpen k kell számítanunk. Ezzel a (IV.) régók egyenlete: dv( ) ± ξ n ξ n e η n (IV.8) = ± + A (IV.3)-ban defnált standard bázsbel ntegrálás tartomány kfejezések s változnak a transzformácó hatására: dv( ) dv( ) + x ξe n x ξ η e y y ξe n r+ n = + + + + y+ η ξ e x ɶ ɶ ɶ ɶ j dv( ) dv( ) x ξe n x ξ η e y y ξe n r+ n = + + + + + y ξ + η e x ɶ ɶ ɶ ɶ j W Ω : ξ pp,, η 0,q (IV.9) Végül a (IV.4) egyenletek s megváltoznak formálsan az η helyére a kerül. ( n) dv ξ + η IV.4.. Optmáls alakú ntegrálás tartomány Másodszor azt az esetet fontoljuk meg, amkor különbözı ntenztású rétegek váltják egymást a feldolgozandó képen. Ha a konstans határok átnyúlnak a következı rétegbe, akkor ezzel csökkennek a különbségek. A IV.4. ábra lyen eseteket mutat be. A görbe alatt vlágos tartományt a görbe fölött sötétebb tartomány követ, majd újra egy vlágosabb. Feltőntettük a lehetséges lokáls koordnátarendszereket s. A pontozott tartomány fgyelembe vétele, lletve a csíkozott tartomány fgyelembe nem vétele csökkent a számolt különbségeket. Hasonlóan az aktív régó alapú módszereknél megsmert technkához (a bevezetésben smertetett módon, lásd még: [45]), mnden rögzített görbére számolható egy maxmáls különbséget 3 bztosító alakú lokáls ntegrálás tartomány. Ennek lehetıségét részletezzük az alábbakban. 3 A szakrodalomban az adattagot szokás külsı erınek external force s nevezn. Ennek a maxmalzálására törekszünk. 44
q=q(ξ) q=áll. ξ = 0 G ξ = 0 η = 0 η = 0 IV.4. ábra: Optmáls ntegrálás határok. Szaggatottal a konstans határokat jelöltük. A (IV.) általános alakja a lokáls koordnáták szernt kettıs ntegrál Ψ= (, ) pq F ξη dw. A kettıs ntegrált kétszeres ntegrálként felírva kapjuk: W p p q q F( ξη, ) dη dξ (IV.0) ξ= p η= 0 A zárójelben az η egyváltozós (ξ paraméterrel) ntegrált találunk, amely mennységet felfoghatjuk, mnt a q függvényét: q ( ) = F( η) dη (IV.) f q ξ A ξ -tıl való közvetett függést azaz, hogy a ξ nem vesz részt a szélsıérték feladatban q η= 0 ndexbe foglalt paraméterrel jelöltük: F( ) F( ξη, ) ξ η ξ =. A (IV.) függvények (mnden rögzített ξ mellett) egy egyszerő egyváltozós szélsıérték problémát defnálnak az optmáls ntegrálás határ ξ helyen vett értékére. A szélsıérték szükséges feltétele: q df ξ = Fξ q = dq q q 0 ( ) Fξ( η) dη 0 (IV.) Most érthetı meg az ntegrálás tartomány méretével való normálás fontossága s. Ha ugyans egy (IV.) típusú kettıs ntegrálból ndulunk k, akkor normálás nélkül a (IV.) monoton növekedı hszen ntegrandusa négyzetes kfejezés így maxmumát a q= -ben venné fel. A (IV.) egyenletek mnden ξ helyen egy optmáls q= q( ξ) ntegrálás határt defnálnak. Ezért az optmáls ntegrálás határ keresés probléma helyesen egy funkconál 45
maxmalzálás problémaként nterpretálható, maga s egy varácós feladat, és a következı funkconállal és Lagrange függvénnyel formalzálható: p q( ξ) p max F( ξη, ) dη max (, ) q( ) d L q d ξ ξ= ξ ξ q( ξ) q p 0 p q( ξ) L( q, ξ) = F( ξη, ) dη q ξ ( ) 0 (IV.3) Mvel csak a q függvényt varáljuk, a varácós probléma megoldása a (IV.). A szélsıérték meghatározásához végezzünk dszkusszót. A (IV.) jelentése ( q 0 -nál) az a pont, ahol a függvény helyettesítés értéke megegyezk az átlagos értékével. Konstans függvényre ez a feltétel mndenhol kelégül. Nem konstans függvény esetén maxmumot kapunk, ahol a másodk dervált negatív, mvel q> 0, ezért (IV.) derválásából a maxmum feltétele: df dq ξ < 0 (IV.4) Ez szemléletünknek megfelelıen a (IV.) esetében ott következk be, ahol réteghatár átlépése matt az egymásnak megfeleltetett pontok között (abszolút) különbségek csökkenn kezdenek. Statsztkalag értelmezhetı adatokon azonban ez bármkor véletlenül s teljesülhet. Ezért egy lyen mplementácóban célszerő a (IV.) értéket konkrét q mn> 0 és q > q határok között elvégezn, és azt a q értéket elfogadn amelynél nagyobb q max mn értékek mellett (40) kfejezés már ksebb, mnt a korábban elért maxmumok 80-90 százaléka. IV.5. A modell alkalmazása, eredmények IV.5. ábra: Egy tpkus OCT kép (bal oldal), ugyanez fuzzy szőrés [68] után (jobb oldal) A fenn smertetett modellt OCT képek vszonylagosan jól elkülönülı rétegenek a legfelsı és az alsó két réteg szegmentácójára alkalmaztuk. Az lyen képek jellemzı (IV.5. ábra): 46
Rossz mnıségő, alacsony kontrasztú képek Nncsenek határozott élek vagy vonalak, a rétegek statsztka mennységgel jellemezhetık Folytonosság hányok és elkülöníthetetlen részletek jelenhetnek meg A képek szőrése nem sokat segít IV.5.. A választott modell Az evolúcóhoz a (IV.) egyszerősített elıjeles távolságfüggvényt feltételezı egyenleteket használtuk, mnden lépésben újrancalzált függvénnyel. A különbségeket maxmalzáló függvénynek (IV.) a másodrendő görbeközelítéssel javított modellt választottuk, ahol a tartományokat a (IV.8) egyenlet defnálja. Itt meg kell jegyezn, hogy a másodrendő görbeközelítéshez nem a (IV.8) normáláramlás egyenletek tartoznak (hanem negyedrendő egyenletek), de az egyszerőség kedvéért feltételeztük az eredet egyenletek, lletve az eredet egyszerősítésével kapott elsırendő egyenletek közelítı érvényben maradását. Végül két változatot, az állandó ntegrálás határt feltételezı, és az optmáls ntegrálás határokat meghatározó változatot s mplementáltuk (azaz a IV.4.-ben smertetettet, lletve a IV.4. és IV.4. smertetetteket együttesen). A varácós módszerekre jellemzı módon a görbe-evolúcót a megoldás perturbácós tartományából kell ndítan. Automatkus feldolgozást megcélozva valamlyen módon a megfelelı helyre kell juttatn a görbét. Ennek egyk módja a görbe pontjanak normál rányú kényszerített mozgatása, valamlyen feltétel teljesüléség. Ez a feltétel a régók között különbségre krótt küszöbérték: β= β0 β0 = const, ha Ψ< Ψthresh β= h ( ) dv( ) Φr n+ Φ Φe e n (IV.8) szernt, ha Ψ Ψ thresh (IV.5) A Ψ thresh küszöbérték különbözı értéke különbözı réteghatárokon állítják le a kényszermozgást, ahonnan az evolúcó vezérlését a normal flow egyenletek veszk át. Egy valós OCT technológával készült rágcsáló retna felvétel szegmentácós folyamatának néhány fázsát a IV.6. ábra mutatja: 47
Az Internal Lmtng Membrane (ILM) szegmentácója A Retnal Pgment Epthelun (RPE) szegmentácója IV.6. ábra: A kdolgozott szegmentácó folyamatának néhány fázsa OCT technológával készült rágcsáló retna képek szegmentácójára A kétféle módszerrel kapott eredményeket a IV.7. ábra mutatja be: IV.7. ábra: A kétféle módszer eredménye Az eredmények összehasonlítása azt mutatja, hogy a konstans ntegrálás határokkal végzett szegmentácó kssé szőkebb rétegeket eredményez, mnt az optmáls határokkal végrehajtott változat. Ez a különbség a legelmosódottabb alsó rétegnél a legfeltőnıbb. 48
IV.5.. Tovább lehetıségek IV.8. ábra: A Conb (féső) eljárás elve:a mozgó ablakba esı képrészlet soranak vetülete szolgál az átmenetek közelítı meghatározására A fent eljárás, amellyel a megoldás közel perturbácós tartományba juttattuk a görbét feltételez a görbe ment adatok vszonylagos homogentását. Erıs (a példa képeben vízszntes) nhomogentás mellett elképzelhetı, hogy a görbe különbözı szakasza más-más rétegeknél kezdenek az evolúcós egyenleteknek megfelelıen változn. Ez ellen hat a smaság kényszer, de hatása nem bztos, hogy mnden esetben elegendı lesz. Adhatunk extra smaság tagot a (IV.8) alapegyenlethez 4, de helyes mértékének megállapításához nncs megfelelı módszerünk, és ez a mérték nyílván adattartalom függı s. Tovább probléma, hogy burkoltan feltételeztük a rétegek folytonosságát, és a teljes hosszon felncalzált kezdıgörbével ezt k s kényszerítettük. Ez a tévedés a késıbbekben már nem korrgálható. Ha tehát célunk a szegmentácó mellett a folytonosság vzsgálat s, akkor bajba kerülhetünk, és esetleg a megoldás-görbe alakjának, a lokáls régók tartalmának utófeldolgozásával kaphatunk nformácókat az lyen helyekrıl. Ezeken a problémákon segít az OCT retna projekt kapcsán kfejlesztett elıfeldolgozó eljárás (Csetverkov [S7,S0]), amely nagyon gyorsan (~30 frame/sec, 300 ezer pxeles képeknél) ncáls kontúrokat bztosít a Comb (féső) módszer felhasználásával (IV.8. ábra). A módszer folytonosság hányok esetén s használható. A másodk körben elvégzett aktív kontúr számítások rétegenként dıtartama standard egyprocesszoros (~GHz) PC-n 5x5 pxeles rácsméret mellett -3 másodperc. Kétlépcsıs feldolgozásra másoknál s találhatunk példát [49]. 4 A görbehossz mnmalzáló funkconálból a dv(n)-el arányos addtív tag jelenk meg. 49