Képszegmentáló eljárások Orvosi képdiagnosztika 2018 ősz
Képszegmentálás Anatómiai részek elkülönítés: pl. csontok, szív, erek, szürkefehér állomány, stb Vizsgálandó terület körbehatárolása: pl. tüdőterület Elváltozások minél pontosabb körülhatárolása... Nehézségek: elmosott határok, nem megfelelő felbontás Intenzitás egyenetlenség...
Képszegmentálás Anatómiai részek körülhatárolása
Képszegmentálás Elváltozás pontos körülhatárolása
Képszegmentálás Régió alapú A régión belüli hasonlóságot, ill. a régiók közötti különbségeket használja Intenzitás alapján (küszöbözés) Klaszterezés Textura alapon Régió növesztés, régió hasítás, összeolvasztás Watershed Él alapú, Gradiens alapon Prewitt, Sobel, Kirsch, Canny Él alapú Kontúr alapján, élkeresés, derivált, második derivált, Dinamikus programozás Hough traszformáció: egyenes, kör, általános körvonal Pixel (voxel) (és környezete) alapú (osztályozás) Tanuló rendszerek, neuronhálók, deep hálók...statikus, dinamikus, temporális
Képszegmentálás (élek alapján) Kontúr, élek, alapján Kezdeti kontúrpontok meghatározása (pl. élkiemelő szűrők), majd ezekből összefüggő kontúrvonal
Képszegmentálás (élek alapján) Élkiemelő szűrők Lineáris szűrők: Sobel, Prewitt, Canny, LoG,... Lokális pixel-intenzitás gradiensek alapján f(x,y)-nál a gradiens abszolút értéke és a gradiens iránya Sobel operátor G x és G y számításához
Éldetektálás példa
Éldetektálás + határvonal követés Határvonal követés Az éldetektáló eljárás intenzitás és irány értékeket produkál, de nem feltétlenül összefüggő kontúrt Egy egyszerű határvonal követő eljárás él intenzitása két szomszédos pixel él iránya az alábbi feltételek szerint
Hough transzformáció Különálló pontokból (éldetektálás eredménye) a pontokra illeszkedő Egyenes (kör, vagy általánosabb alakzat) meghatározása A Hough transzformáció alapelve
Hough transzformáció Transzformációs módszerek Egy (binarizált) ponthoz egy sinusoid tartozik Többhöz meg több sinusoid összege: cos H, r x, y r x, yo sin
Hough transzformáció
Hough transzformáció pl.
Hough transzformáció pl.
Általánosított Hough transzformáció
Általánosított Hough transzformáció
Régió alapú szegmentálás Matematikai definíció: Ri I Minden R i topológiailag összefüggő Ri R j i j Minden régió homogén (az adott célfaladat értelmében) Nincs két olyan (topológiailag szomszédos) régió, melyek uniója homogén lenne Leggyakrabban alkalmazott eljárások: Régió növesztés Régiók darabolása és egyesítése
Régió növesztés Algoritmus: 1. Kiválasztunk N db magpontot, ezek a kezdeti régiók 0 ( Ri si ) 2. Iteratívan (k felett), amíg van változás: 1 2.1. Minden i-re megnézzük R k i szomszédos, még régiókban nem osztott pixeleit, hogy azokat hozzávonva homogén marad-e 2.2. Amelyekre igen, azokat összevonjuk Tulajdonságok: Közel sem optimális mohó eljárás Magpontokon, régiók, illetve pixelek sorrendezésén - heurisztikákon sok múlik
Régió darabolás és egyesítés Algoritmus: 0 1. R1 I 2. Ciklus amíg i: P R k e i 2.1. Adott régiót két részre bontjuk a leginkább problémás pixel mentén egy vágással 3. Ciklus amíg k k i j:pgy Ri R j és k k N R i,r j k 1 k k k 1 R : R R és R : Problémák: i i j Sorrend és heurisztika függő, de már kevésbé Nehezebben számolható j
Régió darabolás és egyesítés Algoritmus: 0 1. R1 I 2. Ciklus amíg i: P R k e i 2.1. Adott régiót két részre bontjuk a leginkább problémás pixel kritérium mentén egy vágással 3. Ciklus amíg k k i j:pgy Ri R j és k k N R i,r j k 1 k k k 1 R : R R és R : Problémák: i i j Sorrend és heurisztika függő, de már kevésbé Nehezebben számolható Erősebb homogenitási kritérium Megengedőbb homogenitási Szomszédosság j logikai fgv-e
Textúra alapú analízis Textúra definíciója két megközelítés: Strukturális: egyszerű texelek halmaza, melyek szabályszerűen ismétlődnek Statisztikai: intenzitások (térbeli) eloszlásának kvantitatív mértéke Generálásnál a strukturális, míg felismerésnél a statisztikai megközelítés dominál Emberi értelmezésnél fontos szerepük van Gépi látás eszközeivel viszont nehéz feladat a kezelésük Nehéz jó textúra leírókat definiálni
Textúra alapú analízis példa
Textúra statisztikai leírása Élek sűrűsége és iránya: Korrelált egy-egy homogén textúrájú régión belül Együttes hisztogramjuk pár kiemelkedően nagy értékkel bír Fourier spektrum alapú módszerek: Periodikusan ismétlődő finom mintázat impulzusokat generál a spektrumképen Autokorrelációs eljárások: mn, j k,, I j k I j m k n j k I 2 j, k
Textúra - autokorreláció
Függőségi mátrix alapú megközelítés Ko-okkurencia mátrix:,,,,,, Cd a,b = x, y I x y a I v w b, v, w M M x y v w d M d M : adott térbeli elhelyezkedésű pontpárok koordinátáinak halmaza, pl. x, y v, w=t M : vizsgált régió képpontjainak a halmaza N ab, = d C ab, d C a,b d a,b a b a b a b S, =C, C, d d d
Haralick jellemzők Ko-okkurencia mátrixból származtatott statisztikák Energia: Entrópia: Kontraszt: ab, N ab, ab, Homogenitás: 2 d Korreláció, statisztikai teszt, stb. a,b d d log N a, b N a, b 2 ab N a,b ab, 2 d, 1 Nd a b a b
Textúra alapú szegmentálás Általában regió növesztés / darabolás alapján Régiók hasonlóságát textúra alapú jellemzőkkel definiálja
Küszöbözés (egyszerű eljárások) Globális küszöbözés Nagy homogén területek, egyenletes intenzitásértékek Zajos, kis intenzitáskülönbség Erősen változó háttérintenzitás
Intenzitás alapú képszegmentálás Intenzitás alapján, hisztogramban küszöbözéssel
Lokalis, adaptív küszöbözés A kép hisztogram módosítása szűréssel (mediánszűrés), majd küszöbözés
Képszegmentálás Küszöbözéssel Hisztogram nevezetes pontjai alapján: szélsőértéknél Zaj hatása, simító előfeldolgozás Optimális küszöbözés Paraméteres ( Gauss függvények összegeként modellezzük) Feladat: hány Gauss, és milyen paraméterekkel Nemparaméteres (valamilyen mérőszámok definiálása, ennek megfelelő küszöbérték(ek)) Paraméteres: pl. Gauss függvények összegeként modellezzük
P 2 p 2 (g) Küszöb meghatározása P 1 p 1 (g) Ha 1 = 2 Két Gauss metszéspontjának meghatározása elemi műveletekkel
EM algoritmus Alapötlet: Adott egy ML becslési probléma: i arg max l log p x i Könnyebb lenne ha ismernénk bizonyos látens változók értékeit: i i arg max l log p x, z i
EM algoritmus Jensen egyenlőtlenség: Legyen f egy konvex függvény, pedig egy v.v. Tétel: E Pl. p(x=a)=0,5 p(x=b)=0,5 f X f EX X
EM algoritmus Végezzük el a bővítést: i i i log log, z l p x p x i i i z i i p x, z i log Q z i i i i z Qi z Qi egy eloszlás i i z i Q z log p x,z Q z i i i i i Mivel log konkáv, a zárójelen belüli rész meg egy várható érték: i i z i Q z p x, z Q z E p x, z Q z i i i i i i i i i z ~ Q i i
EM algoritmus Mi legyen Q i z i definíciója: Válasszuk meg úgy, hogy a Jensen egyenlőtlenség éles legyen adott esetén:,z z i z,z i i i Tehát Q a z v.v.-k posteriorja p x Q c Q p x z i i i i i Q z p x,z p x,z i i i i i i i Q z p x,z p x p z x,
EM algoritmus A likelihood alsó becslését kell maximalizálni (iteratívan): Expectation lépés: i z z, Q p x t i i i t HF: belátni, hogy konvergens Maximization lépés: t 1 t i i i t i arg max z log, z z Qi p x Qi i i z
EM algoritmus értelmezése Interpretálható egy block coordinate ascentként is: i z Expectation lépés: Maximization lépés: i J Q, Q z log p x, z Q z Q i t1 t arg max J Q, Q i t i i i t i t t1 J Q arg max,
EM algoritmus mintapélda Feladat a Gauss eloszlások paramétereinek becslése Itt csak 1 és 2 becslése x i megfigyelhető z ij nem megfigyelhető De: z ij =1, ha x i -t a j-edik Gauss generálta Kiinduló értékek Két egymást követő lépés: - Várható érték képzés - Maximum keresés
Illusztratív példa EM alapú Gauss paraméterbecslésre
Tüdőszegmentálás eredeti kép szegmentálás 7 különböző eljárással összehasonlítás valódi negatív: fehér, valódi pozitív:világos szürke, false pozitív: sötét szürke, fals negatív: fekete
Tüdőszegmentálás Snake
Orvosi képek szegmentálása
Orvosi képek szegmentálása
Tüdő-és szív-szegmentálás Deformálható modell (ASM)