Jelfeldolgozás bevezető. Témalaboratórium

Átírás

1 Jelfeldolgozás bevezető Témalaboratórium

2 Tartalom Jelfeldolgozás alapjai Lineáris rendszerelmélet Fourier transzformációk és kapcsolataik Spektrális képek értelmezése Képfeldolgozás alapjai Néhány nevezetesebb szűrés

3 Lineáris időinvariáns (LTI) rendszerek Linearitás: Időinvariancia (shift invariancia): Dirac impulzus: S a f b g a S f b S g a, b f, g S f x x y x S f y 00 x 1, illetve N x lim exp x 2a a 2 a0 x 0x \ 0 00

4 LTI rendszerek válasza Lineáris rendszer válasza (konvolúciós integrál) gerjesztésre: ˆ : S f x y x f j x S j x x x j Mikor helyes a közelítés ( x 0 esetén) : f (a gerjesztés) egy folytonos jel Az impulzusválasz folytonos függvénye h z, x S z x Mi változik ha S eltolás invariáns: Mivel h y, x h x y, ezért x0 x ' f z -nek S f x lim yˆ x f x ' hx x ' dx '

5 LTI rendszerek válasza Lineáris rendszer válasza (konvolúciós integrál) gerjesztésre: ˆ : S f x y x f j x S j x x x j Mikor helyes a közelítés ( x 0 esetén) : f (a gerjesztés) egy folytonos jel Az impulzusválasz folytonos függvénye h z, x S z x Mi változik ha S eltolás invariáns: Mivel h y, x h x y, ezért x0 x ' f z -nek S f x lim yˆ x f x ' hx x ' dx '

6 LTI rendszerek válasza Lineáris rendszer válasza (konvolúciós integrál) gerjesztésre: ˆ : S f x y x f j x S j x x x j Mikor helyes a közelítés ( x 0 esetén) : f (a gerjesztés) egy folytonos jel Az impulzusválasz folytonos függvénye h z, x S z x Mi változik ha S eltolás invariáns: Mivel h y, x h x y, ezért x0 x ' f z -nek S f x f h x Tehát S f x lim yˆ x f x ' hx x ' dx '

7 LTI rendszerek válasza (konvolúciós integrál) + + :

8 LTI rendszerek válasza (konvolúciós integrál)

9 Rendszerelmélet miért? 1. Rekonstruálunk: A kép egy rendszernek egy kimenete Bemenete egy 3d térrészlet, benne minket érdeklő objektumokkal (állapotváltozók) Cél a rendszer állapotának a visszaállítása (az objektumok tulajdonságainak rekonstrukciója) 2. Kondícionálunk: Bemenete a megfigyelési rendszernek egy számunkra kívánatos (pl. torzításmentes) kép, melyet a képalkotás során használt eszköz, mint rendszer torzít Cél a kívánatos kép előállítása (pl. szűréssel, becsléssel)

10 Képalkotó rendszerek leírása lineáris rendszerekkel 1. 3D térből 2D mérés: g x, y h x, y;, f, d dd x, y,, 0 f,, : rendszer bemenete, a 3D tér egy pontja xy, : additív megfigyelési zaj ( kevés a modell ) h x, y;,, : lineáris rendszerünk súlyfüggvénye 2. 2D képből torzított 2D kép: g x, y h x, y;, f, dd x, y h x, y;, h x, y ha akkor LTI / LSI rendszer, jelentősen egyszerűsödik sokminden

11 3D információ előállítása kép(ek)ből példák Felismerési feladatok: Pl. gyalogosok felismerése

12 3D információ előállítása kép(ek)ből példák Felismerési feladatok: Pl. kerekárnyékok felismerése

13 3D információ előállítása kép(ek)ből példák Rekonstrukciós feladatok: Pl. Röntgenes rekonstrukciók

14 3D információ előállítása kép(ek)ből példák Rekonstrukciós feladatok: Pl. kameraképek alapján 3d objektum rekonstrukció

15 2D kép kondícionálása Dekonvolúciós feladatok: Ismerjük h-t, cél f -et megbecsülni

16 2D kép kondícionálása Szűrésekkel minket érdeklő részek kiemelése Pl. szummációs röntgen projekcióról bordaárnyék leradírozása

17 Hogyan lesz digitális képünk? 1. Detektor felületét fotonok érik: Folytonos intenzitásfüggvény Analízisére Folytonos Fourier Transzformácó 2. Érzékelőelemek töltéssé alakítják a fotonokat: Véges frekvenciácal végtelen db mintát veszünk Analízise Diszkrét Idejű Fourier Transzformációval (DTFT) Véges számú mintát veszünk Analízise Diszkrét Fourier Transzformációval (DFT) 3. Van még erősítés, meg kvantálás is: Ezek hatása általában marginális csak ritkán vizsgáljuk

18 Folytonos Fourier transzformáció (Unitér) lineáris transzformáció folytonos függvények tere felett 2 F f x e j x dx 2 ; e j Különféle paraméterezése létezik itt fizikai frekvencia A spektrum lényegében az eredeti jel koordinátázása a komplex exponenciálisok bázisa felett 2 komplex exponenciális: e j x j2 x e cos 2 x j sin 2 x f x F x d LTI / LSI rendszerek sajátfüggvényei a komplex exponenciálisok (konvolúció elemenkénti szorzás duális)

19 Folytonos Fourier transzformáció LTI rendszerek átviteli függvénye: H FT h, H exp H H j H - rendszer átvitele frekvencián: ~ a jel változásának a sebessége Minden fizikai rendszer sávkorlátozott H 1 ha sávszélesség H Interpretáció 1 H : rendszer tehetetlensége H - rendszer fázistolása frekvencián: Rendszer késleltetése eltolása frekvencián exp 2 FT f x x F j x 0 0

20 Folytonos Fourier transzformáció

21 Mintavételezés hatása Mintavételezzük a jelünket: Matematikai mintavétel: folytonos jel hadamard szorzata Dirac fésűvel Időtartománybeli szorzás spektrumok konvolúciója Impulzusfésű az időtartományban frekvenciatartományban

22 Mintavételezés hatása Mintavételezés hatása Fourier térben: X s X k X k x k x x k x 1 x: mintavételi frekvencia X : folytonos jel spektruma mintavételezés előtt X : mintavételezett jel spektruma S Mikor teljesül, hogy XS X? Ha telesül a Nyquist mintavételi törvény kritériuma Ha nem teljesül, akkor alul-mintavételezünk, aminek aliasing a következménye

23 Mintavételezés hatása Ha helyesen mintavételezünk: 1 T 2sávszélesség x

24 Mintavételezés hatása Ha alul-mintavételezünk: 1 T 2sávszélesség x

25 Alul-mintavételezés hatása Moire / aliasing

26 Mintavételezett jel spektruma - DTFT Nézzük meg a mintavételezett jel spektrumát X x n j n F 2 x t t n t n n xn 1 2 X exp j n d Tehát egyszerűen a mintavett jel spektruma Tulajdonságai:, de exp nz R 2 X X k

27 Véges, mintavett jel analízise - DFT Detektorok mérete, gépek memóriája is véges: Véges hosszú mintavételezett jeleink vannak Spektrumokat is csak véges hosszon tudjuk tárolni Diszkrét Fourier Transzformáció: N 1 X xn exp j n k 2 N k n0 mintavételezzük az alábbi jel DTFT spektrumát: x 'n xn hn, ahol h n 1 n 1 n N az ú.n. megfigyelési ablakfüggvény 1 n y az y pozíciójú egységugrás

28 Véges, mintavett jel analízise - DFT Spektrumszivárgás: xn DFT-je x'ndtft-jét mintavételezi: X X ' DTFT x ' 1 2 k k k X H k Tehát a megfigyelési ablak függvény spektrumával konvolválódik a végtelen hosszú jel DTFT spektruma Ami ha betartottuk a mintavételi törvényt, akkor a folytonos jelünk spektrumának ÁTLAPOLÓDÁS NÉLKÜLI ismétlése Persze a cél a folytonos spektrum mintavételezése lenne

29 Véges, mintavett jel analízise - DFT Spektrumszivárgás másik interpretációja: N 1 X xn exp j n k 2 N DFT: DFS: k n0 1 N 1 k 2 ck xnexp j n N x n0 N Tehát úgy is felfoghatjuk, hogy a DFT a látott jel végtelen egymás utáni ismétlésével kapott periodikus jel Diszkrét Fourier Sorfejtése És már azt is tudjuk, hogy ez a spektrumot hogy torzítja (ablakfüggvény spektrumával konvolúció)

30 Spektrumszivárgás példa Adott folytonos monokróm jel: x t sin(2 t 15) Sávszélessége 15 Hz, tehát 30 Hz felett mintavételezzük 0.5 spektrum amplitudoja Frekvencia [Hz]

31 Spektrumszivárgás példa Adott folytonos jel: x t t Mintavételezzük ( ): 1kHz, x 100 sin(2 15) f N 100 Megfigyelési ekvivalens: x rect 100 Implicit megfigyelési ablak DTFT spektruma: 20 s amplitudo [db] Frekvencia [Hz]

32 Spektrumszivárgás példa Y 20 0 amplitudo [db] Adott folytonos jel: x t t Mintavételezzük ( ): 1kHz, X 100 Megfigyelt jel DFT spektruma: Y H rect sin(2 15) Frekvencia [Hz] fs N 100 X X H d 100 rect Piros: ablak normált spektruma Kék: folytonos jel spektruma Fekete: N=100 mintavétellel előálló jel spektrumának DC komponense

33 Spektrumszivárgás példa Adott folytonos jel: y t t Mintavételezzük ( ): 1kHz, y 100 sin(2 15) Megfigyelési ekvivalens spektruma: f N 100 s Y Y H 100 rect 20 0 amplitudo [db] Frekvencia [Hz] Piros: folytonos jel spektruma Kék: N=100 mintavétellel előálló jel spektruma

34 Spektrumszivárgás példa Adott folytonos jel: x t t Mintavételezzük ( ): 1kHz, DFT által látott jel: 1 x 100 sin(2 15) fs N 100 x n x h mod ( n) 100 Rect idõ [sec]

35 Spektrumszivárgás kompenzálása Definiáljunk mi az ablakfüggvényt: Nem lehet hosszabb, mint ahány mintát meg tudunk nézni, de legalább a mintavételek végi töréspontokat el tudjuk nyomni

36 Analízis irány: uv, M1N1 m0 n0 Tulajdonságok: 2D DFT, exp 2 Periodikus: [M,N] szerint Valós jel esetén: F Ha M, N páros: F F F F Többi transzformáció esetén is hasonló a többdimenziós eset F f m n j u m M v n N M1 N1 f m, nexp 2 j v n N exp 2 j u m M m0 n0 u, v u, v M u,nv M 2 u, N 2v M 2 u, N 2v

37 2D DFT Szintézis irány M1N1 1, u, vexp 2 f m n F j u m M v n N M N u0 v0 Hullámfrontos interpretáció: Spektrum amplitudója:

38 2D DFT példa rekonstrukció spektrum amplitúdóból és fázisból

39 2D DFT példa spektrum amplitúdójából rekonstruált kép

40 2D DFT példa spektrum fázisából rekonstruált kép

41 2D LTI rendszer válasza Lineáris szűrések frekvenciatérben: :cirkuláris konvolúció

42 Hisztogram Kép pixelek intenzitásainak sűrűségfüggvénye: Bináris esetben két Kronecker delta Ablakozás: hisztogram közepének és szélességének állítása

43 Hisztogram kiegyenlítése Cél a kontraszt (elkülönítendő objektumok intenzitásainak különbsége) növelése:

44 Kontrasztjavítás hisztogram globális módosítással

45 Adaptív kontrasztnövelés Nem mindig célszerű a kép minden területén u.a. leképezés szerint módosítani az intenzitásokat

46 Szűrések Képet átküldjük egy rendszeren Mely a kimeneti kép adott pixelét tipikusan a szomszédos pixelek értékei alapján módosítja Tipikus célok: Zajszűrés a képek spektrumának egy bizonyos részének elnyomásával / intenzitások kicserélésével Alakzatok / érdekesebb objektumok kiemelése Élkiemelés Illesztett szűrés

47 Zajszűrések LTI rendszerrel Rendszerek súlyfüggvényét kernelnek hívjuk: Kernellel tehát konvolváljuk a képet Tipikusan uniform / Gauss kernel

48 Zajszűrés medián szűrés Szűrt kép adott képpontjának intenzitása a szomszédos képpontok intenzitásának mediánja Impulzus zajt jobban kezeli, mint a lineáris szűrések Általánosítás az orders of statistics szűrők: Nem a medián, hanem sorrendezésben előre definiált helyű

49 Élkiemelés Cél a kép intenzitásainak gyors változásait kiemelni LTI rendszerrel: Sobel / Prewitt kernelek alkalmazásával: Képeket kvázi felül- áteresztik Sokszor kombinálják simító szűrőkkel: Cél a tipikusan magasfrekvenciás zaj csillapítása Pl. Derivative of Gaussian, Laplacian of Gaussian Lényegében egy sáváteresztő rendszer Nemlineáris rendszerekkel: Hiszterézises küszöbölésű Canny, stb.

50 Klasszikus élkiemelő kernelek

51 Sáváteresztő jellegű élkiemelés Gauss derivált kernelek: Kék: Gauss függvény Piros: Derivative of Gaussian Zöld: Laplacian of Gaussian

52 Sáváteresztő jellegű élkiemelés Laplacian of Gaussian példa:

53 Élkiemelő szűrések példák

54 Illesztett szűrés Definiálunk egy templete-et: Célunk ezt megtalálni a képen Ennek vesszük a keresztkorrelációját a kép különböző részleteivel (csúszóablak szerűen végigtolva a képen) Szűrt kép intenzitása azon régióban nagy, mely korrelált a sablonnal Sok esetben ez nem elég: Különböző méretekben / orientációba fordulhat elő Ilyenkor template bank -ot alkalmazunk (tehát több sablonunk van, mindegyikre elvégezzük a szűrét), majd aggregáljuk a szűrések kimenetét

55 Illesztett szűrés példa