Digitális képek szegmentálása 5. Textúra Kató Zoltán http://www.cab.u-szeged.hu/~kato/segmentation/
Textúra fogalma Sklansky: Egy képen egy területnek állandó textúrája van ha a lokális statisztikák vagy egyéb lokális tulajdonságok állandóak lassan változnak vagy Megközelítőleg periódikusak Texel: az ismétlődő minta-elem Értelmezésük szorosan kapcsolódik az emberi látáshoz: Az ismétlődő mintázatot nem egyenként érzékeljük hanem mint egy felület tulajdonságát ~szín szürkeárnyalat Egy textúrált felületet homogénnek érzékelünk Textúra fajtái: Determinisztikus: jól meghatározott geometriai alakzat ismétlődése Véletlen: változó mintázat rögzített statisztikai tulajdonságokkal pl. eloszlás
Determinisztikus textúrák 3
Véletlen textúrák 4
Textúra-élek 5 Élek ott keletkeznek ahol a textúra paraméterek megváltoznak: méret irány sűrűség kontraszt hosszúság szélesség Fontos jellemző a szegmentáláshoz
Gestalt pszihológia 6 Textúra-érzékelés leírása a Gestalt pszihológiára épül amely az emberi látás csoportosítási preferenciáival foglalkozik. A csoportosítás lényegében értelmes részekre bontja a látott képet. A csoportosítás alapja: szomszédság hasonlóság folytonosság szimmetria stabilitás bezárás zárt alakzat Textúra-érzékelés egyfajta perceptuális csoportosítás
Gestalt szabályok 7
Az egészet látjuk nem a részeket 8
Textúrák megkülönböztetése 9 Bela Julesz1966: Bizonyos textúrákat könnyedén első ránézésre meg tudunk különböztetni. különböző első- és másodrendű statisztikák esetén azonos másodrendű statisztikák esetén nehéz megkülönböztetni
Első- és másodrendű statisztika 10 Első rendű statisztika: az egyes elemek statisztikája például: méret árnyalat Másodrendű statisztika: páronkénti előfordulási gyakoriság
Jellemzők kapcsolat 11 Irány pozíció Szín vagy görbület de nem szín és görbület
Textúra leírás 1 A textúrák statisztikai leírása olyan textúrajellemzőket állít elő melyek egy régión belül homogének szegmentálás viszonylag könnyen elvégezhető Három fő típus: hisztogram elsőrendű statisztika együttes előfordulási co-occurence mátrix másodrendű statisztika textúra elemek eloszlása egy ablakon belül
Hisztogram momentumok 13 Egy x valószínűségi változó itt pixel-érték n. centrális-momentuma M n : Jól jellemzik a kép vagy egyes régiók textúráltságát. Második momentum jól jellemzi a kontrasztot ami fontos a textúrák jellemzésében is: Relatív simaság R: konstans intenzitás: R 0 nagy intenzitás-változás: R 1 M x 3. momentum a hisztogram alakjára szimmetria i 1 4. mometum a hisztogram laposságára jellemző Nem írja le a pixelek egymáshoz viszonyított elhelyezkedését. n R N i m n p x 1 1 1+σ x i
Együttes előfordulási mátrix 14 A co-occurence mátrix az egymástól adott távolságban és irányban elhelyezkedő azonos szürkeárnyalatú pixel-párok számát adja meg. Ebből a mátrixból azután sokféle textúra-jellemzőt vezethetünk le. Clm i j megadja a valószínűségét annak hogy egy tetszőleges pixelérték l amíg a pixel megfelelő írányban és távolságban levő szomszédjának pixelértéke m. A co-occurence mátrix szimmetrikus. C l m i j occurence { Ii j l & Ii + i j+ j m} + + occurence { Ii j l & Ii i j j m} Írható más alakban is ~polárkoordináta: Clm dθ
Együttes előfordulási mátrix - példa 15 Tekintsük az alábbi 6-színű képet és Clm 01: Horizontálisan szomszéd pixelek együttes előfordulása Clm 01 6X6 mátrix 56 árnyalat esetén 56X56
16 Co-occurence textúra jellemzők + N l N m N l N m N l N m y x y x N l N m N l N m m l d m l C d L d m l C m l d I d m l C m l d S d m l C d m l C d H d m l C d E 0 0 0 0 0 0 0 0 0 0 1 Lokális homogenitás Inercia Korreláció log Entrópia Energia θ θ θ θ σ σ θ µ µ θ θ θ θ θ θ Ezen jellemzőknek nincs közvetlen psziho-fizikai értelme de jól használhatók textúrák megkülönböztetésére.
Gabor textúra jellemzők 17 Multi-channel szűrőzés: Az emberi vizuális rendszer ihlette Campbell & Robson. Az elmélet szerint a vizuális rendszer felbontja a retinai képet több szűrt képre melyek mindegyike egy keskeny frekvencia méret- és irány-tartomány intenzitás-változásait tartalmazza. Az él-irányra merőleges. Gabor szűrők
Gabor szűrő -példa 18
Gabor szűrő-sorozat 19 Különböző irányra és frekvenciára érzékeny Gabor szűrők együttese.
Többcsatornás szűrőzés 0 Textúra-jellemzők kinyerése szűrősorozat segítségével. Minden egyes szűrő egy bizonyos irányra és egy bizonyos méretre érzékeny A szűrőzés lépései: A szűrők definiálása számuk matematikai formula szűrt képek A szűrt képekről a megfelelő textúra-jellemzők kinyerése feature képek A megfelelő feature képek kiválasztása amelyek segítségével el tudjuk különíteni a képen található textúrákat szegmentálás
Gabor szűrő 1 Gabor szűrő impulzus-függvénye: 1 x y h x y exp + cosπµ 0 σ σ x y x µ 0 - a szinuszos sík frekvenciája az X tengely mentén σ x és σ y - a Gauss burkoló szórása az X és Y tengely mentén.
Gabor szűrő a Fourier tartományban Fourier tartományban használjuk: Ez a reprezentáció megadja azt hogy a filter mennyire módosítja az input kép egyes frekvenciakomponenseit. + + + + 0 0 1 exp 1 exp v u v u v u u v u u A v u H σ σ σ σ u πσ x σ 1 v πσ y σ 1 y x A σ πσ
3 Diszkrét D Fourier traszformáció Egy M x N függvény kép diszkrét Fourier transzformáltja: Az inverz transzformáció: Szűrőzés: a kép Fourier transzformáltját szorozzuk a szűrő-függvény Fourier transzformáltjával Huv + 1 0 1 0 / / 1 M x N y N vy M ux j e y x f MN v u F π + 1 0 1 0 / / M u N v N vy M ux j e v u F y x f π
4 Diszkrét D Fourier traszformáció A transzformáció értéke -ban: Ha valós akkor Fourier transzformáltja szimmetrikus Ebből következik hogy a Fourier transzformált spektruma szimmetrikus: 00 v u átlaga 1 00 1 0 1 0 y x f y x f MN F M x N y y x f * v u F v u F v u F v u F
Fourier transzformáció 5
Szűrőzés a frekvencia-tartományban 6 A Fourier frekvenciatartomány tulajdonságai: Alacsony frekvenciák: A kép lassan változó komponensei Magas frekvenciák : A gyorsabb szürkeárnyalatváltozások élek zaj A képen erős ±45 -os élek láthatók.
Gabor jellemzők: 1. szűrődefiníció 7 Farrokhnia-Jain 1991: 4 irány: θ 0 0 45 90 135 Radiális frekvencia µ 0 értékei a képmérettől N kép szélessége függenek: µ 0 1 4... N / 4 ciklus N A szükséges Gabor szűrők száma: 4log N c /.
Gabor szűrősorozat 8 Például 56 széles kép esetén 8 szűrőt használunk: 4 irány és 7 radiális frekvencia. Egy adott szűrő az általa lefedett ellipszis alakú tartományba eső frekvenciákat emeli ki.
Gabor szűrő példák 9
. Szűrők kiválasztása 30 A szűrt képek közül ki kell valasztani azokat amelyek már jól elkülönítik a textúrákat. LSE Least Square Error kritérium: s x y sˆ x y a szűrt képek összege jól közelíti az input képet a szűrt képek egy részének összege COD Coefficient of Determination: A teljes intenzitás-változásból mennyit tartalmaz sˆ x y SSE [ sˆ x y x y s x R y] 1 x y SSE [ s x y]
. Szűrők kiválasztása 31 Mivel az egyes Gabor szűrők között alig van átfedés sxy energiája E jól közelíthető: E n Ei Ei [ ri x y] r i xy - i. szűrt kép R i xy - i. szűrt kép diszkrét Fourier transzformáltja. E Így R i közelíthető: i 1 x y u v i s R E Az ideális szűrőket úgy választjuk ki hogy Kiszámoljuk E i t minden i1 n Rendezzük a szűrőket E i alapján Kiválasztjuk az első k szűrőt melyekre R elegendően nagy pl. >0.99 R i u v
3. Feature képek 3 A megfelelő szűrt képekből olyan feature képeket kell előállítanunk amelyek megközelítően homogén szürkeértékeket rendelnek a homogén textúrájú részekhez. Ezt a következő eljárással állítjuk elő Farrokhnia- Jain 1991: Nem-lineáris transzformációt alkalmazunk a szűrt képekre α konstans: αt 1 1+ ψ t tanh αt αt Az így kapott képet simítjuk egy Gauss szűrővel melynek szórása arányos a gabor szűrő frekvenciájával: σ k / u 0 e e
Feature kép példák 33
Szegmentálás 34 A helyesen kiválasztott feature képek alapján viszonylag könnyen elvégezhetjük a szegmentálást Küszöbölés klaszterezés régiónövelés MRF stb MRF szegmentálás