Képregisztrációs eljárások Orvosi képdiagnosztika 06 ősz
Két kép egymáshoz igazítása, illesztése Példák: Időbeli követés Regisztráció célja Eltérő modalitások (PET-CT, Röntgen-MRI, UH-MRI,...) fúzió Műtét (menet közbeni felvétel előzetes felvétellel való összevetése) Kép alapú egyéb beavatkozás (besugárzás beállítás... ) Mozgás hatásának kompenzációja I és I : referencia kép, új kép A regisztrációs eljárások elemei: Transzformáció, interpoláció, hasonlósági metrika, optimalizálási algoritmus
Regisztráció célja Korábbi felvétel Időbeli követés Későbbi, ellenőrző felvétel
Korábbi felvétel Regisztráció célja Időbeli követés Egyszerű kivonás
Regisztráció célja Időbeli követés Korábbi felvétel merev regisztráció Merev regisztráció utáni kivonás
Regisztráció célja Időbeli követés Korábbi merev regisztráció Későbbi rugalmas regisztrációval elastic B-spline registration
Regisztráció célja Időbeli követés Korábbi merev regisztrációval Végső összehasonlítás
Fúzióra: MRI-CT, PET-CT Regisztráció célja CT csontok, MRI lágy részek, PET anyagcsere aktivitás (tumor, gyulladás
Regisztráció célja I (x,y)=g (I (f (x,y)) f () D képbeli transzformáció g() D intenzitás transzformáció Feltételezve, hogy a megfeleltetés ismert keressük azt az f () és g() függvényt, hogy a két kép a lehető legjobban illeszkedjen (valamilyen kritérium értelmében)
Regisztráció csoportosítása Dimenzió: D-D, D-3D, 3D-3D A regisztráció bázisa pontok vonalak, felületek,... Geometriai transzformáció merev, nem merev Az interaktivitás mértéke teljesen automatikus, emberi közreműködés Optimalizáló eljárás hasonlóságmérték, hibafüggvény zárt forma, analitikus megoldás, iteratív megoldás Modalitás azonos különböző (multimodalitás) A regisztáció objektuma azonos, különböző (fúzió)
Képbeli (sík) transzformációk Merev Nem merev Affin: egyenestartó párhuzamosság megtartó Projektív: egyenestartó Perspektívikus Görbült, általános nemlineáris: globális polinom Görbült, általános nemlineáris: lokális polinom Általános nemlineáris: Spline, RBF, neuronháló...
Merev Transzformáció Forgatás (R) Eltolás (t) Skálázás (s) p x y Skálázás sorrendje nem közömbös. Általában: Rs sr Izotróp skálázás: hasonlósági transzformáció p x y p t srp s s s p t Rsp t t t cos( ) sin( ) R sin( ) cos( )
Affin transzformáció Forgatás Eltolás Skálázás Nyírás x y a a 3 3 a a a a x y A hosszak és a szögek megtartása nem teljesül A párhuzamosok párhuzamosak maradnak, síkok síkok maradnak p t Rp R elemeire (a ij ) nincs semmi megkötés azon kívül, hogy nem szinguláris
Affin transzformáció Kiindulás: vegyünk egy euklideszi síkot. A síkon vett affin transzformáción egy olyan : bijektív leképezést értünk, amely tetszőleges -beli egyenest -beli egyenesbe képez le. Affin transzformáció: a sík egy kölcsönösen egyértelmű, egyenestartó leképezése. a) párhuzamos egyeneseket párhuzamos egyenesekbe képez b) parallelogrammát parallelogrammába képez A sík minden egybevágósági és hasonlósági transzformációja is affin transzformáció.
Projektív transzformáció Megtartja az egyeneseket és a síkokat (x,y ) eredeti koordináták (x,y ) transzformált koordináták x a x a y a 3 a x a y a 3 3 33 y a x a y a 3 a x a y a 3 3 33 p Rp T vp t R a a a a t a a 3 3 a a 3 v 33 3 a a ij együtthatók a kép és a síkok egyenleteiből számíthatók
Összetett transzformációk görbült (nemlineáris) transzformációk Globális polinomiális transzformáció Lehet többváltozós polinom is: p I, J i j cij xy i, j ( x) ( y) T P x P y ( ) ( ) Túl nagy fokszám veszélyei: oszcilláció, túlilleszkedés általában I, J
Összetett transzformációk görbült (nemlineáris) transzformációk Oszcilláció elkerülése: szakaszonként polinomiális traszformáció: a tér particionálása négyszögletes tartományokra Minden i,j tartományra T transzformációt hajtunk végre, ahol P egy egyváltozás m-ed fokú polinom x y T P ( x) P ( y) i, j i, j A négyszögletes tartományok határán a folytonosság, ill. a folytonos differenciálhatóság biztosítható: spline (gyakori: köbös spline, B-spline). Egyenletes csomopont elhelyezés mellett Egyváltozós B-splineok 0.8 0.6 0.8 0.6 0.8 0.6 0.8 0.6 0.4 0.4 0.4 0.4 0. 0. 0. 0. B B j k j ( x) ( x) 0 x j- j-k ha j-k B j k x I egyébként j 0 0 3 x j ( x) B Többváltozós: tenzorszorzatttal: j j-k 0 0 0.5.5 j k g ( x) 0 0 3 N x g i x i i 0 0 3 4 I j =( j- j ] a j-edik bemeneti intervallum
Összetett transzformációk ) görbült (nemlineáris) transzformációk Általános folytonos nemlineáris transzformációk Tetszölegesen elhelyezett kontrolpontoknál is működik Radiális bázisfüggvényes leképezés Szakaszonként lineáris Köbös Multikvadratikus, ha =/ Inverz multikvadratikus, ha = Thin plate spline Gauss g r r 3 r g r g r c r g r c r g r r ln r
Regisztrációs eljárások elemei Jellemzők meghatározása Hasonlósági mértékek definiálása Keresési stratégiák / optimalizálás végrehajtása
Jellemzők: Jellemző alapú regisztráció Kiugró (kitüntetett) struktúra elemek. Sarokpontok, görbület lokális maximuma, maximális varianciájú ablak középpontja, egy zárt régió súlypontja, egyenesek metszéspontjai, stb. Élek kontúrok, felületek (képi struktúrák, zajra kevésbé érzékeny) Intenzitás (a teljes képet felhasználja) Statisztikai jellemzők. Momentumok, főtengelyek, információelméleti jellemzők, mennyiségek Magasabbszintű jellemzők: szintaktikai jellemzők: a mintákból származtatott nyelvtan,...
Regisztrációs módszerek Pont alapú Intenzitás alapú (Korreláció, stb) Fourier
Pont leképezés alapú regisztráció Referenciapontok meghatározása Referenciapontok: anatómiai jelentéssel rendelkező pontok egyéb markerpontok: jól megkülönböztethető, azonosítható pontok Fontos a pontok minél pontosabb meghatározása (lokalizációs hiba) Interaktív bejelölés Automatikus kiválasztás Megfelelő transzformáció keresése a pontok megfeleltetéséhez
Pont leképezés alapú regisztráció Regisztráció minősítése, kritériumfüggvény - egybevágósági: Ortogonális Procrustes Véletlen nulla várható értékű, izotróp eloszlású hiba
Regisztrációs algoritmusok. Pont alapú merev regisztráció (egybevágósági transzf): Kritériumfüggvény: súlyozott négyzetes eltérés (minimumkeresés R és t szerint) N C(, ) R t w súlyok ahol i Rxi t y w i i FLE N FLE i lokalizációs hiba. Súlyozott centroidok: x. Középpont eltolás 3. Súlyozott kovarianciamátrix számítás H 4. 5. 6. i N N wi xi / wi N i i y x x x; y y y i i i i N N wi yi / wi N i i i N w i x y T i i i T T T H UΛV U U V V I Λ diag(, ) 0 R V diag(,det( VU)) U t y Rx T
Regisztrációs algoritmusok. Hasonlósági transzformáció Keressük R, t és s értékeit, melyek mellett minimális: s C( R, t, s) w srx t y N i N i w T i i i w t y srx Rx y xy N i T i i i i i i Legyen s= Határozzuk meg R-et az előző alg..-5. lépései szerint Számítsunk új s-et és végezzük el a transzformációt
3. Nemizotróp skálázás Regisztrációs algoritmusok Keressük R, t és S értékeit, melyek mellett minimális: N C( R, t, S) wi RSxi t yi N i Határozzuk meg az x és y középértékeket és az eltolt értékeket: x y Legyen n= Válasszunk kezdeti skálázási mátrixot S (0) iteráció: ( n) ( n) - Legyen xi S xi - Hajtsuk végre az. algoritmus 3.-5. lépéseit R meghatározására - n=n+ - Határozzuk meg S (n) -t - Álljunk le, ha n> max iterációs szám, vagy ha a hiba küszöb alá ment
Intenzitás alapú eljárás Korreláció A két kép D normalizált korrelációs függvénye Cuv (, ) x y x y I ( x, y) I( x u, y v) I ( x u, y v) Hasonlóságot mér különböző eltolások esetén A normalizálás a lokális intenzitás hatásának kiküszöbölésére
Korreláció tétel A két kép korrelációjának Fourier transzformáltja az egyik kép Fourier transzformáltjának a szorzata a másik Fourier transzformáltjának komplex konjugáltjával. Egydimenziós esetre a korreláció tétel exp z x t y t dt x t Y j t ddt z Y x t exp j t dt exp j d Z Y X
Fourier transzformáción alapuló módszerek Fázis-korreláció Kereszt teljesítmény spektrum Teljesítmény cepstrum A Fourier transzformáción alapuló módszerek hatékonyak, de csak merev transzformációknál működnek (lineáris transzformációk) Ez is intenzitás alapú eljárás lokális intenzitásváltozásokat képtelen követni.
Fázis korreláció alapú regisztráció eltolás transzformáció identifikálására Egymáshoz képest eltolt képek transzformációjának identifikációja Eltolás modellezhető egy megfelelő helyen lévő diracdeltával történő konvolúcióval. F x x0 exp j x0 Tehát Fyx x0 Y exp j x0 Vizsgáljuk meg a két jel kereszt teljesítmény spektrumát: exp j x0 Y Y Y Y Innen az eltolás már könnyen kiszámítható F exp j x F Y Y Y Y x x 0 0 Lokális intenzitásváltozásokat nem képes figyelembe venni
Fázis korreláció alapú regisztráció elforgatás transzformáció identifikálására Egy kép fokkal középpontja körüli elforgatása a kép spektrumát is ilyen mértékben forgatja el: Egyszerűen belátható a Fourier vetítősík tétel alkalmazásával Ampl. spektrum eltolás invariáns: Tehát ha az ampl. spektrum elfordulását meg tudnánk határozni, akkor kész lenne a regisztráció Az elforgatás az ampl. spektrum polár koordinátás felírása esetén megegyezik a vízszintes tengellyel bezárt szög szerinti cirkuláris eltolással Tehát visszavezettük a problémát az eltolás meghatározására
Fourier vetítősík tétel
Példa Fourier regisztráció 00 00 00 00 300 300 400 400 500 500 600 600 700 00 00 300 400 500 600 700 700 00 00 300 400 500 600 700
frekvencia frekvencia Példa Fourier regisztráció A két kép ampl. spektruma polárkoordinátás ábrázolásban 00 4 00 4 00 3 00 3 300 300 400 400 500 500 600 600 700 800 0 700 800 0 900-900 - 50 00 50 00 50 300 350 theta theta 50 00 50 00 50 300 350
Merev transzformáció Fourier regisztráció Teljesítmény cepstrum alkalmazásával egyszerűbb: Eltolás: Eltolás + elforgatás:
Fourier regisztráció példa
Hasonlóság mértékek Intenzitás alapú eljárásokhoz Kép különbségképzés: SSD sum of squares of intensity differences N SSD I( i) I ( i) N Korrelációs együttható Cuv (, ) i x y x y I ( x, y) I( x u, y v) I ( x u, y v) Együttes sűrűségfüggvény PDF( j, k) Hist( j, k) jk, Hist( j, k) ahol Hist(j,k) a két kép együttes hisztogramja
Együttes hisztogram MR-MR MR-CT MR-PET illeszkedő kis elmozdulás nagyobb elmozdulás
Együttes hisztogram - fúziós regisztrációs
Együttes hisztogram - fúziós regisztrációs tökéletesen illeszkedő mm elmozdulás 5mm elmozdulás képek az egyik képnél Megfigyelés: a két kép tökéletes illesztésénél az együttes hisztogram a legélesebb
PET - CT
H p( s)log p( s) s Hasonlóság mértékek Intenzitás alapú eljárásokhoz Entrópia Az együttes entrópia (minimalizálás) H PDF ( j, k)log PDF ( j, k) jk, Kölcsönös információ (maximalizálás) MI(I, I ) = H(I )+H(I )-H(I,I ) ij pij i, j pp i j p, i KL( I, I ') p, i log i p, i MI ( I, I ') log Kullback-Leibler divergencia p
Hasonlósági metrikák Normalizált keresztkorrelációs függvény Fehér zajnál hatékony, lokális torzításokra érzékeny. Nehéz a korrelációtérben nagy csúcsot találni Korrelációs együttható Fázis korreláció Frekvenciafüggő zajra nem érzékeny Az intenzitáskülönbségek abszolút értékeinek összege Hatékonyan számítható, ha nincsenek lokális torzítások, jó egyezést lehet találni Kontúr/felszín különbségek Strukturális regisztráció esetén jó Előjelváltások száma a pontonkénti intenzitáskülönbségeknél Nem hasonló képeknél működik jól