Fourier térbeli analízis, inverz probléma Orvosi képdiagnosztika 7-8. ea. 2015 ősz
7. előadás tartalma Fourier transzformációk és kapcsolataik: FS, FT, DTFT, DFT, DFS Mintavételezés, interpoláció Frekvenciaszivárgás Képek analízise frekvenciatartományban: Spektrumképek értelmezése Frekvenciatérben egyszerűbb műveletek Ideális szűrések problémái
Folytonos Fourier Transzformáció Lineáris transzformáció a véges energiájú, folytonos függvények tere felett: F FT f f xexp j x dx Legfontosabb tulajdonságai: Konvolúció tétel: Fordított konvolúció: Parseval tétel: 1 1 exp f x FT F 2 F j x d f g FT F G 1 1 f g x FT 1 F G 2 1 x 2 2 E f x dx F d 2
Folytonos Fourier Transzformáció Valós jel spektruma: Páros jel spektruma: Páratlan jel spektruma: F Re Re Periodikus jel spektruma diszkrét: F 0, ha k2 f kz Ekvivalens egy unitér transzformációval: Ez pl. maga után vonja a bijektivitást F F F F F Im Im F F j F j F
Folytonos Fourier Sorfejtés Lineáris transzformáció a periodikus folytonos függvények tere felett: T 2 1 cn f xexp j x 2 n T dx T ; T 2 f x cn exp j x 2 n T n Kapcsolat a folytonos FT-val: Mintavételezi a spektrumot: Periodikus jel diszkrét spektrum c 1T F 2 n T Egyéb tulajdonságokat örökli a folytonos FT-től n n Z
Diszkrét idejű Fourier Transzformáció (DTFT) Adott egy mintavételezéssel előállt végtelen hosszú, abszolút összegezhető jel: f n Definíció: exp n 1 2 exp X f n j n x n X j n d Alapvető tulajdonságok: n Z, de R X 2 n nz X Egyéb tulajdonságait örökli a folytonos FT-től
Matematikai mintavételezés Folytonos FT és DTFT kapcsolata Végtelen impulzus fésű: Mintavett jel: folytonos jel elemenkénti szorzata az impulzus fésűvel. Időtartománybeli szorzás Spektrumok konvolúciója Impulzusfésű az időtartományban frekvenciatartományban
Mintavett jel spektruma Formálisan a mintavett jel spektruma: 1 2 1 2 X s X k X k x k x x k x x : mintavételezések távolsága : folytonos idejű jel spektruma X X : mintavételezett jel spektruma s Nyquist mintavételi törvény: bwx 1 2 f ; f 1 x s s Ha nem tartjuk be alul mintavételezés: K X s X
Helyesen mintavételezés interpretációja
Alul mintavételezés interpretációja spektrum átlapolódása
Spektrum átlapolódása - moire Spektrum átlapolódása által generált jeltorzulás
Spektrum átlapolódása - aliasing Aliasing formálisan: 2 X s X k X j x Anti-aliasing filter mintavételezés előtti aluláteresztő szűrés: Pl. Bayer szűrős fényképezőgépeknél optikai szűrő Radiológiában az elkent PSF-ek miatt elhagyható
Mintavett jel rekonstrukciója Rekonstrukció (interpoláció): Cél: a mintavételezett jel értékének előállítása két mintavételezési pont között Ha sérült a mintavételezési törvény, akkor lehetetlen LTI rendszerrel: Ideális interpolációs kernel: H R x x h R S R K L 2 L 0 egyébként L fs 2 h R sinc x L
Interpoláció hibái Megfigyelt tartomány széle: Súlyfüggvény kilóg a megfigyelt tartományból H 2 esete: R 0 Lényegesen jelentősebb hibaforrás Mintavett jel rekonstrukciója: f s 2 X R H R X S H R X k k x X X, ha 2 R Példa rá a Nearest Neighbour interpoláció (ZOH) f s
Interpolációk összehasonlítása Átviteli/súlyfüggvényük analízisével: Nearest Neighbour Lineáris Köbös Spline Köbös B-Spline
(Hibás) interpoláció vizualizációja
Integráló mintavételezés Fotodiódák integrálják a fotonok fluxusát: PSF érzékelőelemek súlyfüggvénye: p x Mintavett jel spektruma: 2 X s X k P k x X s k X P j Tehát ekvivalens a torzított jel matematikai mintavételezésével. 2 x
Integráló mintavételezés - példa Ideális, integráló mintavételezés esete: p x 1 x x 2 0 x 2 sinc 2 P x x x x 10 8 6 4 2 P 0-4 -3-2 -1 0 1 2 3 4 1 0.8 X 10 8 X S 0.6 6 0.4 4 0.2 2 0-4 -3-2 -1 0 1 2 3 4 0-4 -3-2 -1 0 1 2 3 4
Diszkrét Fourier Transzformáció (DFT) Diszkretizált jelet N pontban ismerjük: N1 N1 k exp 2 exp X x n j n k N x n j n k n0 N 1 n0 k n0 1 exp 2 x n N X j kn N Kapcsolat a DTFT-vel: yn n 0,1,..., N 1 xn megfigyelési ekvivalens 0 egyébként Mintavételezi a megfigyelési ekvivalens spektrumát: k Y X k C N feletti ortogonális transzformáció, mi a mátrixa?
DFT pontszáma Megfigyelési ekvivalens DTFT spektrumát tetszőleges felbontással mintavételezhetjük: Ha M minta érdekel, akkor M-N db 0-val paddelünk A fizikai (folytonos) jel spektrumáról ezáltal nem tudunk meg többet! 2-Radix FFT 5 4 3 2 1 0-1 -0.5 0 0.5 1
DFT és a DFS kapcsolata A DFT által meghatározott spektrum diszkrét: N 1 1 xn X k exp j 2 kn N N n0 n0 N 1 1 X k exp j 2 kn N 2 k x n N N Lényegében Diszkrét Fourier Sorfejtés (DFS) DFT kapcsolata a Diszkrét Fourier Sorfejtéssel: DFT időtartományban véges idejű diszkrét jelet vár DFS periodikus, végtelen idejű diszkrét jelet vár Ezt leszámítva identikusak.
DFT és FFS kapcsolata Vizsgáljuk a mintavételezett jelet folytonos időben: xs t xt t n t xst N t xst és n Nx0 1 2 ck x texp j t k dt N s x N 00 x N1 N1 1 k 2 x n j n x n j n k N N n0 N n0 x Mintavételezés hatásai: DFT felbontása: Aliasing (már volt) exp exp 2 f f N = 1 N x 2 k f s k
8. Előadás tartalma Frekvenciaszivárgás (ismétlés) Képfeldolgozás frekvencia tartományban: 2D Spektrum gépi ábrázolása Szűrések frekvenciatartományban Spektrumképek értelmezése Inverz probléma dekonvolúció: Inverz probléma formális felírása Dekonvolúció nehézsége Közismert algoritmusok: Wiener inverz szűrés, RLA/ ML-EM, MAP becslés, és ezek kapcsolataik
Frekvenciaszivárgás - ablakozás DFT kapcsolata a DTFT-vel és a DFS-el: Impliciten cirkuláris jelet feltételez (DFS) Tegyük fel, hogy az eredeti jelünk (végtelen terjedelmű) véges részét tudtuk mintavételezni: hn rect n, yn y nhn Ismeretes, hogy T továbbá: X 12 Y H Cél lenne a DTFT spektrumot szivárgás nélkül mintavételezni: Y Y k Y Y k k k
Frekvenciaszivárgás - ablakozás Tehát a megfigyelt jel spektruma: k 12 Y X k Y H k hn az úgynevezett ablak függvény Ha expliciten nem ablakozunk, akkor: hn rect n T Pl.: T 50 T 75 Kék görbe: DTFT spektrum amplitúdója Piros pontsor: DFT spektrum amplitúdója 0 50 40 30 20 10 0-1.5-1 -0.5 0 0.5 1 1.5
Frekvenciaszivárgás - ablakozás DFT előtti ablakozás: Képtérben az általunk definiált hn-el szorzunk Ablakfüggvények tulajdonságai:
Koherens mintavételezés Periodikus jelből egész számú periódusnyit mintavételezünk ( y N ) : N f, s k f k Z f : periodikus jelünk frekvenciája, N: minták száma N pontos négyzetes ablak DTFT spektruma: H f f rect ha rect, ha sin H k f Y s k,0 0 k Z k f Tehát a DFT által mintavételezett frekvenciákon nem torzul az ablakozás miatt a DTFT spektruma Különben frekvenciaszivárgás. kz
Frekvenciaszivárgás nem koherens mintavételezés Adott folytonos jel: y t sin(2 t 15) 0.5 spektrum amplitudoja 0.4 0.3 0.2 0.1 0-500 -400-300 -200-100 0 100 200 300 400 500 Frekvencia [Hz]
Frekvenciaszivárgás nem koherens mintavételezés Adott folytonos jel: 0.5 y t t Mintavételezzük ( ): f 1kHz, y sin(2 15) Mivel a mintavételi törvényt nem sértjük meg: s N spektrum amplitudoja 0.4 0.3 0.2 0.1 0-500 -400-300 -200-100 0 100 200 300 400 500 Frekvencia [Hz]
Frekvenciaszivárgás nem koherens mintavételezés Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) f N 100 Megfigyelési ekvivalens: y rect 100 Implicit ablak DTFT spektrumának részlete: 20 s amplitudo [db] -2-3 -4-200 -100 0 100 200 Frekvencia [Hz]
Frekvenciaszivárgás nem koherens mintavételezés Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, DFT által látott jel: 1 y 100 sin(2 15) fs N 100 y n y h mod ( n) 100 Rect 100 0-1 0 0.05 0.1 0.15 0.2 idõ [sec]
20 0 amplitudo [db] Frekvenciaszivárgás nem koherens Adott folytonos jel: -1-2 -3 mintavételezés y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) Megfigyelési ekvivalens spektruma: Y100 0 Y 1 2 H rect 0-100 -50 0 50 100 Frekvencia [Hz] fs N 100 Y Y H d 100 rect Piros: ablak normált spektruma Kék: folytonos jel spektruma Fekete: N=100 mintavétellel előálló jel spektrumának DC komponense
Frekvenciaszivárgás nem koherens mintavételezés Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) Megfigyelési ekvivalens spektruma: fs N 100 Y Y H 100 rect 20 0 amplitudo [db] -0.5-1 -1.5-2 -2.5-150 -100-50 0 50 100 150 Frekvencia [Hz] Piros: folytonos jel spektruma Kék: N=100 mintavétellel előálló jel spektruma
Frekvenciaszivárgás nem koherens mintavételezés, Hamming ablak Adott folytonos jel: y t Mintavételezzük ( ): 1kHz, DFT által látott jel: 0.5 y 100 sin(2 t 15) fs N 100 y n y h mod ( n) 100 Ham 100 0-0.5-1 0 0.05 0.1 0.15 0.2 idõ [sec]
Frekvenciaszivárgás nem koherens mintavételezés, Hamming ablak Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) Megfigyelési ekvivalens spektruma: fs N 100 Y Y H 100 Ham 20 amplitudo [db] -1-2 -3-4 Piros: folytonos jel spektruma Kék: N=100, Hamming ablakos, mintavételezett jel -150-100 -50 0 50 100 150 200spektruma Frekvencia [Hz]
Koherens mintavételezés Adott folytonos jel: y t sin(2 t 15) Koherensen mintavételezzük ( ): 1kHz, DFT által látott jel: 1 0.5 y 200 fs N 200 y200 n y mod200 n y n 0-0.5-1 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 idõ [sec]
Spektrum koherens mintavételezés esetén Adott folytonos jel: y t sin(2 t 15) Mintavételezzük ( y 200 ): fs 1kHz, N 200 Megfigyelési ekvivalens spektruma: Y Y H Y 200 0 Y 1 2 H rect 0 d 200 rect Piros: ablak normált spektruma 20 amplitudo [db] 0-2 -4-50 0 50 Frekvencia [Hz] Kék: folytonos jel spektruma Fekete: N=200 mintavétellel előálló jel spektrumának DC komponense (log(0))
Spektrum koherens mintavételezés esetén Adott folytonos jel: y t sin(2 t 15) Koherensen mintavételezzük ( ): 1kHz, y 200 Megfigyelési ekvivalens spektruma: fs N 200 Y Y H 200 rect 20 amplitudo [db] -2-4 -6 Piros: folytonos jel spektruma Kék: N=200 mintavétellel előálló jel spektruma -100-50 0 50 100 150 Frekvencia [Hz]
Koherensen mintavett / ablakozott, nem koherensen mintavett jelek spektruma 20-1 amplitudo [db] -2-3 -4-100 -50 0 50 100 Frekvencia [Hz] Zöld: koherensen mintavételezett jel spektruma, kék: Hamming ablakos, piros: téglalap ablakos spektrum
2D DFT Analízis irány: uv, M1N1 m0 n0 Tulajdonságok:, exp 2 Periodikus: [M,N] szerint Valós jel esetén: F Ha M, N páros: F F F F F f m n j u m M v n N M1 N1 f m, nexp 2 j v n N exp 2 j u m M m0 n0 u, v u, v M u,nv M 2 u, N 2v M 2 u, N 2v Spektrum hullámfrontos interpretációja
Spektrum blokkjai: 2D DFT spektrum
2D DFT spektrum gépi ábrázolása Konjugált szimmetria valós jelek esetén: M=N=8 Nyquist frekvenciához tartozó komponens M=N=9
2D DFT spektrum Általában a DC komponenst csavarjuk középre: Ampl. moduláció:,, 1 m g m n f m n n
2D DFT Számolási tulajdonságok 1D DFT komplexitása: Direkt módszer: O(N^2) FFT: O(N log(n)), hatékonyan számítható, ha N 2 hatvány (radix-2 Cooley-Tukey) 2D DFT komplexitása (N N-es képre): Direkt számítás: O(N^4) Szeparálással: O(N^3) Szeparálás + FFT: O(N^2 log(n)) Half Complex ábrázolással helyben tárolható!
2D DFT Vizuális értelmezés Lényegében egy bázis transzformáció ortogonális bázisokra (szinuszos hullámok) Spektrum amplitudója:
Képek spektrumának jellemzői Alacsony frekvenciákon nagy energia: 5 50 100 150 200 250 300 350 400 450 500 100 200 300 400 500 Spektrum amplitúdója logaritmikus skálán 4 3 2 1 0-1
2D DFT konvolúciós tétele: DFS- es analógia cirkularitás: N f g n f m g mod n m f ' g ' n m0 f ' n f mod N n, míg g ' m g mod N m Mit tegyünk, ha f g-t akarjuk DFT-vel számolni? Terjesszük ki f és g méretét [N+M] hosszúra: Ezt időtartomány / síktartományban is meg kell tenni Általános módszerek: 0-val paddelés, kép széleire tükrözés, alul-áteresztő szűréseknél súlyozás, kiterjesztés a kép szélső pixelének intenzitásával, stb. 5 5-ös kernel esetén már gyorsabb N
Konvolúció tétel fontossága Lineáris szűrések frekvenciatérben: :cirkuláris konvolúció
2D DFT Példa periodikus textúra Periodikus mintázat csúcsok a spektrumban:
2D DFT példa rekonstrukció spektrum amplitúdóból és fázisból
2D DFT példa spektrum amplitúdójából rekonstruált kép
2D DFT példa spektrum fázisából rekonstruált kép
Frekvenciatartomány és emberi látás Campbell-Robson kontraszt érzékenységi görbe:
Szűrők idő és frekvencia tartományban
Ideális szűrők Amplitúdó éles vágásánál Gibbs jelenség:
Gibbs gyűrű effektus Gibbs jelenség elkerülhető sima átmenetű szűrőkkel: Butterworth szűrő: adott sávkorlát mellett a legsimább ampl. spektrumú lineáris szűrő Gauss szűrő: alkalmazásával nincs Gibbs artefekt
Gibbs gyűrű effektus
Inverz probléma Megfigyelési modell (zajos LTI): h -t (avagy a PSF-t) mi befolyásolja? Páciens bemozdulása a felvételek készítése alatt Out-of-focus elrendezés Szóródó fotonok képek rögzítése során 2 2 Jelen előadás során f, g és R : f a vizsgált 3D objektum projekciója Alapötlet direkt módszer: Dekonvolúció frekvenciatérben: R F g h f G / H u u
Direkt dekonvolúció zajérzékenysége Problémák a direkt módszerrel: PSF-et nem ismerjük pontosan F G / H F H / H N / H F a PSF általában alul-áteresztő jellegű magas frekvenciákon N./ H H H dominál (~0-val osztás) a: elmosott kép b: direkt dekonvolúció eredménye, ha nincs additív zaj c: eredmény ha van additív zaj
Direkt dekonvolúció eredménye Csonkolt dekonvolúció eredménye Csonkolt dekonvolúció Azon frekvenciákon, melyeken az MTF alacsony 0 legyen az eredmény F u G./ H u u Hu 0 egyébként
Wiener inverz-szűrés Várható értékben legpontosabb szűrő: Wiener Wiener F H G u u u arg min E Wiener Wiener valódi f f f A matematikai levezetést hanyagolva: H Winer u Interpretáció: H Winer u H 2 u E 2 2 2 E H N F u u u 1/ H SNR 1 u u 0 SNR 1 u SNR u H u E 2 2 E F u N u 2
Wiener inverz szűrés Az eredmény ( Wiener ) gyakran nem realisztikus: Negatív intenzitások is előfordulnak (negatív fluxus?) Nagyfrekvencián a hirtelen romló SNR Gibbs artefektet generál SNR gyakran nem mérhető ki f Wiener szűrés eredménye: jobb részletgazdagság, de a gyűrűk egy része megmaradt
Eljárások illusztrálása -0-
Eljárások illusztrálása -1- Csonkolt dekonvolúció Wiener inverz szűrés
Kényszermentes ML becslés 1 Additív Gauss zaj esete ( 0,W ): H a konvolúció mátrixa, tehát: h f H f ; Minimalizáljuk a negatív log likelihood függvényt: T L f g H f W 2g H f Mivel pozitív szemidefinit, ezért L konvex. Tehát L f kényszer definiálja az optimum helyet ML T T f H W H H W g ún. súlyozott LMS T f arg max K exp g H f W 2 g H f ML ML f H ' T W H 0 1
Kényszermentes ML becslés példa Stacionárius, 0 várható értékű Gauss megfigyelési zaj esete : 2 2 Cov g I, tehát W I ML Vizsgáljuk meg T 1 T T 1 T f H W H H W g H H H g f ML spektrumát: H Y H Y Y u u u u u FML Y H u 2 u H H u u H Hu u Konzekvencia: ML eljárással nem lehet a rosszul kondícionált inverz problémát megoldani.
ML becslés pozitivitási kényszerrel Nem negativitási kényszer: Jó esetben konvex optimalizálási probléma: max. s.t. P g f f 0 - log min. s.t. Konvex a probléma, ha Pr g f log-konkáv. Nem adható rá analitikus megoldás Már volt róla szó, hogy a fotonok eloszlását véletlen Poisson folyamatként modellezhetjük f R Lg f f 0
Richardson Lucy algoritmus (+) Interpretáljuk a képpontok intenzitását fotonok becsapódási valószínűségeivel: P fi : P( egy fotonon a detektor i-edik érzékelőelemébe csapódik, ha nincs zaj és torzítás ) P gk : P( egy fotonon a detektor k-adik érzékelőelemébe csapódott a megfigyelt kép rögzítése során ) P g f k i : P( ideális esetben az i-edik érzékelőelembe csapódó foton a k-adik érzékelőelembe csapódik bele a képalkotó LTI rendszer torzítása miatt )
Richardson Lucy algoritmus Lényegében egy Bayes-i becslés: Bayes szabály: P f i g k j P g f P f k i i Pg f P f k j j Dekomponálás: Tehát: P f i P f P f g P g i i k k k P k g f P f g i Pg f P f k j j j P k i k
Richardson Lucy algoritmus Bevett gyakorlat: iteráljunk a célváltozó felett: P f 1 P g f P g k i k g f P k j r f j P Oldjuk fel a valószínűségi értelmezést: T T P f f f 1 ; P g i i g g 1 i i P g f k i h i k T T T T.f.h h 11; h 0 ezekből következik: g 1 f 1 P r i r i k j f
Richardson Lucy algoritmus (+) T P f f f 1 i i : dekonvolvált kép i-edik pixelének normált intenzitása T P g g g 1 i i : képalkotó rendszer (LTI + zaj) által torzított kép i-edik pixelének relatív intenzitása P g f h : csak az LTI rendszerrel leírható torzítást k modellezzük i i k T h 11: minden olyan foton, mely a torzítatlan rendszer esetén a detektorba csapódna be a torzított rendszer esetén is a detektorba csapódik be (maximum más érzékelőelembe) Végig monokróm spektrumú fotonokat feltételezve a detektált intenzitás (fluxus) egyenesen arányos a becsapódó fotonok számával
Richardson Lucy algoritmus Végezzük el a behelyettesítést: h g h g f f f 1 ik k ik k r 1 r 1 k h j k f j k h f r r r i i i j 0 Érdemes észrevenni, hogy ha f 0, akkor r minden iterációban f 0, tehát teljesül a nemnegativitási kényszer Eljárás konvergenciája bizonyítható. Ekvivalens a pozitivitási kényszeres ML becsléssel, Poisson zaj modell esetén. k
Eljárások illusztrálása -2-
ML becslések összegzése (*) Jelentősen felerősítik a zajt: A probléma rosszul kondícionált jellegét nem képesek megfelelően kezelni. Kivétel az iteratív algoritmusok köre, ha f elegendően sima, és konvergencia előtt leállunk! Explicit regularizáció szükséges: f 0 Definiáljuk a-priori eloszlását, és azt rögzítsük a minimalizálandó célfüggvényünkben Megj.: RLA-nál szerepelt prior, de annak más a szerepe, értelmezése 0
MAP becslések (*) Bayes-i becsléselmélet: max. f g g f f P P P Másképpen : min. log P f g ML f prior f K ML f log P g f : bünteti a mérések és a zaj nélkül becsült, torzított kép eltérését: g g g h f : meghatározza, hogy milyen prior f log P f dekonvolvált képet preferálunk (pl. zajmentesség, pozitivitás, simaság, stb.). Analitikai értelmezés: regularizált becslés
MAP becslés példa stacionárius Gauss zaj, frekvenciatérbeli prior (*) Prior frekvenciatartományban: Gauss, stacionárius zaj: Parseval tétel szerint: Összegezve: 2 N u opt Mivel konvex, ezért, tehát: F W F prior u u u 2 f 1 2 g H f 1 F G H F 2 N 1 ML j j j 2 ML u u u u 2 2 F G H F u u u W u F u F 0 F opt u u H u 2 2 H N W u u 2
MAP becslés példa stacionárius Gauss zaj, simasági prior (*) 2 W E N E F N esetén: F opt u Tehát a Wiener dekonvolúció is egy MAP becslés 2 2 becslése sok esetben lehetetlen E Gyakran fehér zaj, és 2 2 u u u N E F u u H u E 2 2 2 E H N F u u u u értéke szabályozza, hogy mennyire legyen sima az eredmény (magas frekvenciás komponensekért mennyire büntetünk). u 2 W 1 E F 1 u
MAP becslés gyakorlat (*) Általában közvetlenül, ML f g h f, prior f D f -et definiáljuk: D tetszőleges, konvexitást nem elrontó (pl. affin) függvény, pl. deriválás, Laplace, felül-áteresztő szűrést. Célfüggvény ( f ) minimalizálása: Analitikus megoldás, ha affin Egyéb esetben konvex optimalizálás: Jelentős megkötés, pl. gyűrűs artefaktot egy nem konvex prior (L1-L2) hatékonyan elnyomja f 1,2, ; 1 1,2, ; 1 2 ; 2 ; D
Eljárások illusztrálása -3- (*)