Fourier térbeli analízis, inverz probléma. Orvosi képdiagnosztika 5-7. ea ősz

Átírás

1 Fourier térbeli analízis, inverz probléma Orvosi képdiagnosztika 5-7. ea ősz

2 6. Előadás tartalma Spektrumszivárgás Képfeldolgozás frekvencia tartományban: 2D Spektrum gépi ábrázolása Szűrések frekvenciatartományban Spektrumképek értelmezése

3 Spektrumszivárgás - ablakozás DFT kapcsolata a DTFT-vel és a DFS-el: Impliciten cirkuláris jelet feltételez (DFS) Tegyük fel, hogy az eredeti jelünk (végtelen terjedelmű) véges részét tudtuk mintavételezni: hn rect n, yn y nhn Ideális esetben: A valóságban: T Cél lenne a DTFT spektrumot szivárgás nélkül mintavételezni: Y : Y k Y Y k k 12 k Y Y H k k

4 Spektrumszivárgás - ablakozás DFT kapcsolata a DTFT-vel és a DFS-el: Impliciten cirkuláris jelet feltételez (DFS) Tegyük T fel, hogy az Végtelen eredeti kiterjedésű jelünk mintavételezett (végtelen terjedelmű) n k véges részét jel (megfigyelési tudtuk mintavételezni: ekvivalens) k 1 hn rect n, yn y nhn Ideális esetben: A valóságban: T Cél lenne a DTFT spektrumot szivárgás nélkül mintavételezni: Y : Y k Y Y k k 12 k Y Y H k k

5 Spektrumszivárgás - ablakozás Tehát a megfigyelt jel DFT spektruma: Y 12 Y H k k hn az úgynevezett ablak függvény Ha expliciten nem ablakozunk, akkor: hn rect n T Pl.: T 50 Kék görbe: rect ablak DTFT spektrum amplitúdója Piros pontsor: rect ablak DFT spektrum amplitúdója Mikor nincs spektrumszivárgás?

6 Spektrumszivárgás - ablakozás DFT előtti ablakozás: Képtérben az általunk definiált hn-el szorzunk Ablakfüggvények tulajdonságai:

7 Koherens mintavételezés Periodikus jelből egész számú periódusnyit mintavételezünk ( y N ) : N f, s k f k Z f : periodikus jelünk frekvenciája, N: minták száma N pontos négyzetes ablak DTFT spektruma: H f f rect ha rect, ha sin H k f Y s k,0 0 k Z k f Tehát a DFT által mintavételezett frekvenciákon nem torzul az ablakozás miatt a DTFT spektruma Különben Spektrumszivárgás. kz

8 Spektrumszivárgás nem koherens mintavételezés Adott folytonos jel: y t sin(2 t 15) 0.5 spektrum amplitudoja Frekvencia [Hz]

9 Spektrumszivárgás nem koherens mintavételezés Adott folytonos jel: 0.5 y t t Mintavételezzük ( ): f 1kHz, y sin(2 15) Mivel a mintavételi törvényt nem sértjük meg: s N spektrum amplitudoja Frekvencia [Hz]

10 Spektrumszivárgás nem koherens mintavételezés Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) f N 100 Megfigyelési ekvivalens: y rect 100 Implicit ablak DTFT spektrumának részlete: 20 s amplitudo [db] Frekvencia [Hz]

11 20 0 amplitudo [db] Spektrumszivárgás nem koherens Adott folytonos jel: mintavételezés y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) Megfigyelési ekvivalens spektruma: Y100 0 Y 1 2 H rect Frekvencia [Hz] f N 100 s d Y Y H 100 rect Piros: ablak normált spektruma Kék: folytonos jel spektruma Fekete: N=100 mintavétellel előálló jel spektrumának DC komponense

12 Spektrumszivárgás nem koherens mintavételezés Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) Megfigyelési ekvivalens spektruma: f N 100 s Y Y H 100 rect 20 0 amplitudo [db] Frekvencia [Hz] Piros: folytonos jel spektruma Kék: N=100 mintavétellel előálló jel spektruma

13 Spektrumszivárgás nem koherens mintavételezés Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, DFT által látott jel: 1 y 100 sin(2 15) fs N 100 y n y h mod ( n) 100 Rect idõ [sec]

14 Spektrumszivárgás nem koherens mintavételezés, Hamming ablak Adott folytonos jel: y t Mintavételezzük ( ): 1kHz, DFT által látott jel: 0.5 y 100 sin(2 t 15) fs N 100 y n y h mod ( n) 100 Ham idõ [sec]

15 Spektrumszivárgás nem koherens mintavételezés, Hamming ablak Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) Megfigyelési ekvivalens spektruma: fs N 100 Y Y H 100 Ham 20 amplitudo [db] Piros: folytonos jel spektruma Kék: N=100, Hamming ablakos, mintavételezett jel spektruma Frekvencia [Hz]

16 Koherens mintavételezés Adott folytonos jel: y t sin(2 t 15) Koherensen mintavételezzük ( ): 1kHz, DFT által látott jel: y 200 fs N 200 y200 n y mod200 n y n idõ [sec]

17 Spektrum koherens mintavételezés esetén Adott folytonos jel: y t sin(2 t 15) Mintavételezzük ( y 200 ): fs 1kHz, N 200 Megfigyelési ekvivalens spektruma: Y Y H Y Y 1 2 H rect 0 d 200 rect Piros: ablak normált spektruma 20 amplitudo [db] Frekvencia [Hz] Kék: folytonos jel spektruma Fekete: N=200 mintavétellel előálló jel spektrumának DC komponense (log(0))

18 Spektrum koherens mintavételezés esetén Adott folytonos jel: y t sin(2 t 15) Koherensen mintavételezzük ( ): 1kHz, y 200 Megfigyelési ekvivalens spektruma: fs N 200 Y Y H 200 rect 20 amplitudo [db] Piros: folytonos jel spektruma Kék: N=200 mintavétellel előálló jel spektruma Frekvencia [Hz]

19 Koherensen mintavett / ablakozott, nem koherensen mintavett jelek spektruma 20-1 amplitudo [db] Frekvencia [Hz] Zöld: koherensen mintavételezett jel spektruma, kék: Hamming ablakos, piros: téglalap ablakos spektrum

20 Analízis irány: uv, M1N1 m0 n0 Tulajdonságok: 2D DFT, exp 2 Periodikus: [M,N] szerint Valós jel esetén: F Ha M, N páros: F F F F Többi transzformáció esetén is hasonló a többdimenziós eset F f m n j u m M v n N M1 N1 f m, nexp 2 j v n N exp 2 j u m M m0 n0 u, v u, v M u,nv M 2 u, N 2v M 2 u, N 2v Spektrum hullámfrontos interpretációja

21 Spektrum blokkjai: 2D DFT spektrum

22 2D DFT spektrum gépi ábrázolása Konjugált szimmetria valós jelek esetén: M=N=8 Nyquist frekvenciához tartozó komponens M=N=9

23 2D DFT spektrum Általában a DC komponenst csavarjuk középre: Ampl. moduláció:,, 1 m g m n f m n n

24 2D DFT Számolási tulajdonságok 1D DFT komplexitása: Direkt módszer: O(N^2) FFT: O(N log(n)), hatékonyan számítható, ha N 2 hatvány (radix-2 Cooley-Tukey) 2D DFT komplexitása (N N-es képre): Direkt számítás: O(N^4) Szeparálással: O(N^3) Szeparálás + FFT: O(N^2 log(n)) Half Complex ábrázolással helyben tárolható!

25 2D DFT Vizuális értelmezés Lényegében egy bázis transzformáció ortogonális bázisokra (szinuszos hullámok) Spektrum amplitudója:

26 Képek spektrumának jellemzői Alacsony frekvenciákon nagy energia: Spektrum amplitúdója logaritmikus skálán

27 2D DFT konvolúciós tétele: DFS- es analógia cirkularitás: N f g n f m g mod n m f ' g ' n m0 f ' n f mod N n, míg g ' m g mod N m Mit tegyünk, ha f g-t akarjuk DFT-vel számolni? Terjesszük ki f és g méretét [N+M] hosszúra: Ezt időtartomány / síktartományban is meg kell tenni Általános módszerek: 0-val paddelés, kép széleire tükrözés, alul-áteresztő szűréseknél súlyozás, kiterjesztés a kép szélső pixelének intenzitásával, stb. 5 5-ös kernel esetén már gyorsabb N

28 Konvolúció tétel fontossága Lineáris szűrések frekvenciatérben: :cirkuláris konvolúció

29 2D DFT Példa periodikus textúra ampl. moduláció Periodikus mintázat csúcsok a spektrumban:

30 2D DFT példa rekonstrukció spektrum amplitúdóból és fázisból

31 2D DFT példa spektrum amplitúdójából rekonstruált kép

32 2D DFT példa spektrum fázisából rekonstruált kép

33 Polár koordinátás DFT Motiváció: Radon transzformáció és annak invertálása Regisztráció: elforgatás és eltolás könnyen számolhatóvá válik Számítása folytonos eset:,, exp 2 cos sin xy, Nem szeparábilis Fourier vetítősík tétel F f x y j x y dydx Spektrum vonal profiljai Radon transzformáció 1D Fourier transzformáltjai Majd a rekonstrukcióknál bizonyítjuk is!

34 Digitális képek átlagos energiaspektruma

35 Frekvenciatartomány és emberi látás Campbell-Robson kontraszt érzékenységi görbe:

36 8. Előadás tartalma Lineáris szűrők: Klasszikus szűrők súly és átviteli függvénye Gibbs jelenség Inverz probléma dekonvolúció: Inverz probléma formális felírása Dekonvolúció nehézsége Közismert algoritmusok: Wiener inverz szűrés, RLA/ ML-EM, MAP becslés, és ezek kapcsolataik

37 Szűrők idő és frekvencia tartományban Ampl. spektrum Időbeli jel

38 Ideális szűrők Amplitúdó éles vágásánál Gibbs jelenség:

39 Gibbs gyűrű effektus Gibbs jelenség elkerülhető sima átmenetű szűrőkkel: Butterworth szűrő: adott sávkorlát mellett a legsimább ampl. spektrumú lineáris szűrő Gauss szűrő: alkalmazásával nincs Gibbs artefekt

40 Gibbs gyűrű effektus

41 Inverz probléma Megfigyelési modell (zajos LTI): h-t (avagy a PSF-t) mi befolyásolhatja? Páciens bemozdulása a felvételek készítése alatt Out-of-focus elrendezés Szóródó fotonok képek rögzítése során 2 2 Jelen előadás során f, g és R : f a vizsgált 3D objektum projekciója Alapötlet direkt módszer: Dekonvolúció frekvenciatérben: R F g h f G / H u u

42 Inverz probléma statisztikai Cél megbecsülni interpretációja -et: Maximum likelihood módszer: fml P f arg maxpg f f Gyakorlatban majdnem mindig P g f P g h f és az f arg min log P g f -t szoktuk keresni ML f Maximum a posterior (MAP) becslés: f arg max arg max ML P f g P g f P f f Gyakorlatban ezeket a szélsőérték keresési problémákat is negatív logaritmálás után oldjuk meg. f

43 Direkt dekonvolúció zajérzékenysége Problémák a direkt módszerrel: PSF-et nem ismerjük pontosan F G / H F H / H N / H F a PSF általában alul-áteresztő jellegű magas frekvenciákon N./ H H H dominál (~0-val osztás) a: elmosott kép b: direkt dekonvolúció eredménye, ha nincs additív zaj c: eredmény ha van additív zaj

44 Direkt dekonvolúció eredménye Csonkolt dekonvolúció eredménye Csonkolt dekonvolúció Azon frekvenciákon, melyeken az MTF alacsony 0 legyen az eredmény F u G./ H u u Hu 0 egyébként

45 Wiener inverz-szűrés Várható értékben legpontosabb szűrő: Wiener Wiener F H G u u u arg min E Wiener Wiener valódi f f f A matematikai levezetést hanyagolva: H Winer u Interpretáció: H Winer u H 2 2 u E E H N F u u u 1/ H SNR 1 u u 0 SNR 1 u SNR u H u E 2 2 E F u N u 2

46 Wiener inverz szűrés Az eredmény ( Wiener ) gyakran nem realisztikus: Negatív intenzitások is előfordulnak (negatív fluxus?) Nagyfrekvencián a hirtelen romló SNR Gibbs artefektet generál SNR gyakran nem mérhető ki f Wiener szűrés eredménye: jobb részletgazdagság, de a gyűrűk egy része megmaradt

47 Eljárások illusztrálása -0-

48 Eljárások illusztrálása -1- Csonkolt dekonvolúció Wiener inverz szűrés

49 Kényszermentes ML becslés 1 Additív Gauss zaj esete ( 0,W ): H a rendszer torzításának mátrixa, tehát: h f H f Minimalizáljuk a negatív log likelihood függvényt: T L f g H f W 2 g H f Mivel pozitív szemidefinit, ezért L konvex. Tehát L f ML 0 kényszer definiálja az optimum helyet T T f H W H H W g ún. súlyozott LS becslés T f arg max K exp g H f W 2 g H f ML ML f H ' T W H 1

50 Kényszermentes ML becslés példa Stacionárius, 0 várható értékű Gauss megfigyelési zaj esete : 2 2 Cov g I, tehát W I ML Vizsgáljuk meg T 1 T T 1 T f H W H H W g H H H g f ML spektrumát: H G H G G u u u u u FML G H u 2 u H H u u H Hu u Konzekvencia: ML eljárással nem lehet a rosszul kondícionált inverz problémát megoldani.

51 ML becslés pozitivitási kényszerrel Nem negativitási kényszer: f R Jó esetben konvex optimalizálási probléma: P g f - log f max. s.t. f 0 min. s.t. Konvex a probléma, ha log-konkáv. Nem adható rá analitikus megoldás Milyen eloszlású lehet valójában az additív zaj: Poisson: fotonok inherens zaja Gauss: termikus zaj Uniform: kvantálási zaj (A/D átalakítás) Pr g f Lg f 0

52 Richardson Lucy algoritmus (+) Interpretáljuk a képpontok intenzitását fotonok becsapódási valószínűségeivel: P fi : P( egy fotonon a detektor i-edik érzékelőelemébe csapódik, ha nincs zaj és torzítás ) P gk : P( egy fotonon a detektor k-adik érzékelőelemébe csapódott a megfigyelt kép rögzítése során ) P g f k i : P( ideális esetben az i-edik érzékelőelembe csapódó foton a k-adik érzékelőelembe csapódik bele a képalkotó LTI rendszer torzítása miatt )

53 Richardson Lucy algoritmus Lényegében egy Bayes-i becslés: Bayes szabály: P f i g k j P g f P f k i i Pg f P f k j j Dekomponálás: Tehát: P f i P f P f g P g i i k k k P k g f P f g i Pg f P f k j j j P k i k

54 Richardson Lucy algoritmus Bevett gyakorlat: iteráljunk a célváltozó felett: P f 1 P g f P g k i k g f P k j r f j P Oldjuk fel a valószínűségi értelmezést: P T T f f f 1 ; P g i i g g 1 i i P g f k i h i k T T T T.f.h h 11; h 0 ezekből következik: g 1 f 1 P r i r i k j f

55 Richardson Lucy algoritmus (+) T P f f f 1 i i : dekonvolvált kép i-edik pixelének normált intenzitása T P g g g 1 i i : képalkotó rendszer (LTI + zaj) által torzított kép i-edik pixelének relatív intenzitása P g f h : csak az LTI rendszerrel leírható torzítást k modellezzük i i k T h 11: minden olyan foton, mely a torzítatlan rendszer esetén a detektorba csapódna be a torzított rendszer esetén is a detektorba csapódik be (maximum más érzékelőelembe) Végig monokróm spektrumú fotonokat feltételezve a detektált intenzitás (fluxus) egyenesen arányos a becsapódó fotonok számával

56 Richardson Lucy algoritmus Végezzük el a behelyettesítést: h g h g f f f r k j k j r r 1 i k k r i k k r i i i h f k h f j k 0 Érdemes észrevenni, hogy ha f 0, akkor r minden iterációban f 0, tehát teljesül a nemnegativitási kényszer Eljárás konvergenciája bizonyítható. Ekvivalens a pozitivitási kényszeres ML becsléssel, Poisson zaj modell esetén.

57 Eljárások illusztrálása -2-

58 ML becslések összegzése Jelentősen felerősítik a zajt: A probléma rosszul kondícionált jellegét nem képesek megfelelően kezelni. Kivétel az iteratív algoritmusok köre, ha f elegendően sima, és konvergencia előtt leállunk! Explicit regularizáció szükséges: 0 Definiáljuk f a-priori eloszlását, és azt rögzítsük a minimalizálandó célfüggvényünkben Megj.: RLA-nál szerepelt prior, de annak más a szerepe, értelmezése 0

59 MAP becslések Bayes becsléselmélet: max. f g g f f P P P Másképpen : min. log P f g ML f prior f K ML f log P g f : bünteti a mérések és a zaj nélkül becsült, torzított kép eltérését: g g g h f : meghatározza, hogy milyen prior f log P f dekonvolvált képet preferálunk (pl. zajmentesség, pozitivitás, simaság, stb.). Analitikai értelmezés: regularizált becslés

60 MAP becslés példa stacionárius Gauss zaj, frekvenciatérbeli prior Prior frekvenciatartományban: Gauss, stacionárius zaj: Parseval tétel szerint: Összegezve: 2 N u opt Mivel konvex, ezért, tehát: F W F prior u u u 2 f 2 g H f 1 2 j 1 ML F G 2 u Hu F u 2N u 12 F G H F W F ML j j 2 2 u u u u u F 0 F opt u u H u G u 2 2 H 2 N W u u 2 2

61 MAP becslés példa stacionárius Gauss zaj, simasági prior 2 W E N E F 2 N esetén: F opt u Tehát a Wiener dekonvolúció is egy MAP becslés 2 2 gyakorlatban nem határozható meg E Gyakran fehér zaj, és 2 2 u u u N E F u u H G u u E E H N F u u u u értéke szabályozza, hogy mennyire domináljon a prior (magas frekvenciás komponensekért mennyire büntetünk). u 2 W 1E F u

62 Eljárások illusztrálása -3-

63 Ismertetett módszerek csoportosítása ML becslés : - Csak a megfigyelési zaj osztályát ismerjük - Zajérzékenység jelentős probléma, csak a konzisztenciára figyel Példák: - Direkt dekonvolúció (additív Gauss zajos ML becslés) - Richardson Lucy (additív Poisson zajos, pozitivitási kényszeres ML becslés) MAP becslés: - Explicit módon definiáljuk, hogy milyen jellegű képet akarunk - Ha jól regularizálunk, akkor a zajérzékenység redukálódik, de az eredmény kevésbé konzisztens Példák: - Csonkolt dekonvolúció - Wiener dekonvolúció (additív Gaussz zaj + frekvencia függő energia minimalizáció) - Egyéb, regularizált dekonvolúciók

64 MAP és ML becslés összehasonlítása Stabilitás: MAP-nál a regularizáció célja ennek kikényszerítése (pl. sima, kevésbé zajos, stb. dekonvolvált kép előállítása) ML becslésnél ez legfeljebb impliciten kényszeríthető ki (pl. iteratív becsléseknél konvergencia előtti leállás). Becslés inkonzisztenciája ( g h f ): Likelihood tag minimalizálásával redukálható ML becsléseknél ennek az értéke kisebb ez viszont a zajos input képhez ( g) a becsült torzítatlan kép túlilleszkedést vonja maga után (rosszabb képminőség)