Képszegmentáló eljárások. Orvosi képdiagnosztika 2018 ősz

Átírás

1 Képszegmentáló eljárások Orvosi képdiagnosztika 2018 ősz

2 Képszegmentálás Anatómiai részek elkülönítés: pl. csontok, szív, erek, szürkefehér állomány, stb Vizsgálandó terület körbehatárolása: pl. tüdőterület Elváltozások minél pontosabb körülhatárolása... Nehézségek: elmosott határok, nem megfelelő felbontás Intenzitás egyenetlenség...

3 Képszegmentálás Anatómiai részek körülhatárolása

4 Képszegmentálás Elváltozás pontos körülhatárolása

5 Képszegmentálás Régió alapú A régión belüli hasonlóságot, ill. a régiók közötti különbségeket használja Intenzitás alapján (küszöbözés) Klaszterezés Textura alapon Régió növesztés, régió hasítás, összeolvasztás Watershed Él alapú, Gradiens alapon Prewitt, Sobel, Kirsch, Canny Él alapú Kontúr alapján, élkeresés, derivált, második derivált, Dinamikus programozás Hough traszformáció: egyenes, kör, általános körvonal Pixel (voxel) (és környezete) alapú (osztályozás) Tanuló rendszerek, neuronhálók, deep hálók...statikus, dinamikus, temporális

6 Képszegmentálás (élek alapján) Kontúr, élek, alapján Kezdeti kontúrpontok meghatározása (pl. élkiemelő szűrők), majd ezekből összefüggő kontúrvonal

7 Képszegmentálás (élek alapján) Élkiemelő szűrők Lineáris szűrők: Sobel, Prewitt, Canny, LoG,... Lokális pixel-intenzitás gradiensek alapján f(x,y)-nál a gradiens abszolút értéke és a gradiens iránya Sobel operátor G x és G y számításához

8 Éldetektálás példa

9 Éldetektálás + határvonal követés Határvonal követés Az éldetektáló eljárás intenzitás és irány értékeket produkál, de nem feltétlenül összefüggő kontúrt Egy egyszerű határvonal követő eljárás él intenzitása két szomszédos pixel él iránya az alábbi feltételek szerint

10 Hough transzformáció Különálló pontokból (éldetektálás eredménye) a pontokra illeszkedő Egyenes (kör, vagy általánosabb alakzat) meghatározása A Hough transzformáció alapelve

11 Hough transzformáció Transzformációs módszerek Egy (binarizált) ponthoz egy sinusoid tartozik Többhöz meg több sinusoid összege: cos H, r x, y r x, yo sin

12 Hough transzformáció

13 Hough transzformáció pl.

14 Hough transzformáció pl.

15 Általánosított Hough transzformáció

16 Általánosított Hough transzformáció

17 Régió alapú szegmentálás Matematikai definíció: Ri I Minden R i topológiailag összefüggő Ri R j i j Minden régió homogén (az adott célfaladat értelmében) Nincs két olyan (topológiailag szomszédos) régió, melyek uniója homogén lenne Leggyakrabban alkalmazott eljárások: Régió növesztés Régiók darabolása és egyesítése

18 Régió növesztés Algoritmus: 1. Kiválasztunk N db magpontot, ezek a kezdeti régiók 0 ( Ri si ) 2. Iteratívan (k felett), amíg van változás: Minden i-re megnézzük R k i szomszédos, még régiókban nem osztott pixeleit, hogy azokat hozzávonva homogén marad-e 2.2. Amelyekre igen, azokat összevonjuk Tulajdonságok: Közel sem optimális mohó eljárás Magpontokon, régiók, illetve pixelek sorrendezésén - heurisztikákon sok múlik

19 Régió darabolás és egyesítés Algoritmus: 0 1. R1 I 2. Ciklus amíg i: P R k e i 2.1. Adott régiót két részre bontjuk a leginkább problémás pixel mentén egy vágással 3. Ciklus amíg k k i j:pgy Ri R j és k k N R i,r j k 1 k k k 1 R : R R és R : Problémák: i i j Sorrend és heurisztika függő, de már kevésbé Nehezebben számolható j

20 Régió darabolás és egyesítés Algoritmus: 0 1. R1 I 2. Ciklus amíg i: P R k e i 2.1. Adott régiót két részre bontjuk a leginkább problémás pixel kritérium mentén egy vágással 3. Ciklus amíg k k i j:pgy Ri R j és k k N R i,r j k 1 k k k 1 R : R R és R : Problémák: i i j Sorrend és heurisztika függő, de már kevésbé Nehezebben számolható Erősebb homogenitási kritérium Megengedőbb homogenitási Szomszédosság j logikai fgv-e

21 Textúra alapú analízis Textúra definíciója két megközelítés: Strukturális: egyszerű texelek halmaza, melyek szabályszerűen ismétlődnek Statisztikai: intenzitások (térbeli) eloszlásának kvantitatív mértéke Generálásnál a strukturális, míg felismerésnél a statisztikai megközelítés dominál Emberi értelmezésnél fontos szerepük van Gépi látás eszközeivel viszont nehéz feladat a kezelésük Nehéz jó textúra leírókat definiálni

22 Textúra alapú analízis példa

23 Textúra statisztikai leírása Élek sűrűsége és iránya: Korrelált egy-egy homogén textúrájú régión belül Együttes hisztogramjuk pár kiemelkedően nagy értékkel bír Fourier spektrum alapú módszerek: Periodikusan ismétlődő finom mintázat impulzusokat generál a spektrumképen Autokorrelációs eljárások: mn, j k,, I j k I j m k n j k I 2 j, k

24 Textúra - autokorreláció

25 Függőségi mátrix alapú megközelítés Ko-okkurencia mátrix:,,,,,, Cd a,b = x, y I x y a I v w b, v, w M M x y v w d M d M : adott térbeli elhelyezkedésű pontpárok koordinátáinak halmaza, pl. x, y v, w=t M : vizsgált régió képpontjainak a halmaza N ab, = d C ab, d C a,b d a,b a b a b a b S, =C, C, d d d

26 Haralick jellemzők Ko-okkurencia mátrixból származtatott statisztikák Energia: Entrópia: Kontraszt: ab, N ab, ab, Homogenitás: 2 d Korreláció, statisztikai teszt, stb. a,b d d log N a, b N a, b 2 ab N a,b ab, 2 d, 1 Nd a b a b

27 Textúra alapú szegmentálás Általában regió növesztés / darabolás alapján Régiók hasonlóságát textúra alapú jellemzőkkel definiálja

28 Küszöbözés (egyszerű eljárások) Globális küszöbözés Nagy homogén területek, egyenletes intenzitásértékek Zajos, kis intenzitáskülönbség Erősen változó háttérintenzitás

29 Intenzitás alapú képszegmentálás Intenzitás alapján, hisztogramban küszöbözéssel

30 Lokalis, adaptív küszöbözés A kép hisztogram módosítása szűréssel (mediánszűrés), majd küszöbözés

31 Képszegmentálás Küszöbözéssel Hisztogram nevezetes pontjai alapján: szélsőértéknél Zaj hatása, simító előfeldolgozás Optimális küszöbözés Paraméteres ( Gauss függvények összegeként modellezzük) Feladat: hány Gauss, és milyen paraméterekkel Nemparaméteres (valamilyen mérőszámok definiálása, ennek megfelelő küszöbérték(ek)) Paraméteres: pl. Gauss függvények összegeként modellezzük

32 P 2 p 2 (g) Küszöb meghatározása P 1 p 1 (g) Ha 1 = 2 Két Gauss metszéspontjának meghatározása elemi műveletekkel

33 EM algoritmus Alapötlet: Adott egy ML becslési probléma: i arg max l log p x i Könnyebb lenne ha ismernénk bizonyos látens változók értékeit: i i arg max l log p x, z i

34 EM algoritmus Jensen egyenlőtlenség: Legyen f egy konvex függvény, pedig egy v.v. Tétel: E Pl. p(x=a)=0,5 p(x=b)=0,5 f X f EX X

35 EM algoritmus Végezzük el a bővítést: i i i log log, z l p x p x i i i z i i p x, z i log Q z i i i i z Qi z Qi egy eloszlás i i z i Q z log p x,z Q z i i i i i Mivel log konkáv, a zárójelen belüli rész meg egy várható érték: i i z i Q z p x, z Q z E p x, z Q z i i i i i i i i i z ~ Q i i

36 EM algoritmus Mi legyen Q i z i definíciója: Válasszuk meg úgy, hogy a Jensen egyenlőtlenség éles legyen adott esetén:,z z i z,z i i i Tehát Q a z v.v.-k posteriorja p x Q c Q p x z i i i i i Q z p x,z p x,z i i i i i i i Q z p x,z p x p z x,

37 EM algoritmus A likelihood alsó becslését kell maximalizálni (iteratívan): Expectation lépés: i z z, Q p x t i i i t HF: belátni, hogy konvergens Maximization lépés: t 1 t i i i t i arg max z log, z z Qi p x Qi i i z

38 EM algoritmus értelmezése Interpretálható egy block coordinate ascentként is: i z Expectation lépés: Maximization lépés: i J Q, Q z log p x, z Q z Q i t1 t arg max J Q, Q i t i i i t i t t1 J Q arg max,

39 EM algoritmus mintapélda Feladat a Gauss eloszlások paramétereinek becslése Itt csak 1 és 2 becslése x i megfigyelhető z ij nem megfigyelhető De: z ij =1, ha x i -t a j-edik Gauss generálta Kiinduló értékek Két egymást követő lépés: - Várható érték képzés - Maximum keresés

40

41

42

43 Illusztratív példa EM alapú Gauss paraméterbecslésre

44 Tüdőszegmentálás eredeti kép szegmentálás 7 különböző eljárással összehasonlítás valódi negatív: fehér, valódi pozitív:világos szürke, false pozitív: sötét szürke, fals negatív: fekete

45 Tüdőszegmentálás Snake

46 Orvosi képek szegmentálása

47 Orvosi képek szegmentálása

48 Tüdő-és szív-szegmentálás Deformálható modell (ASM)