Képfeldolgozás. iris recognition. A katonai UFO-felismeréstől

Átírás

1 iris recognition Képfeldolgozás Firtha Ferenc, BCE, Fizia A atonai UFO-felismeréstől Character Recognition a hétöznapig: felbontás: 1384x1034 nettó 4m/h túllépésnél: 2 fillér/pixel 30 ezer forint

2 1. Színmérés: milyenne látju? 2. Képfeldolgozás: hol? 3. Spetroszópia: mi? ontat optiai: RGB színinger THE 007, 228, távérzéelés + adatredució: szegmentálás, szín, ala, mintázat 4. Spetrális épfeldolgozás: hol, mi? ontat mérés + statisztiai modell: NIR reflexió -> víz, zsír, olaj, fehérje, távmérés+analízis -> multispetrális alalmazás ásványo, parlagfű, gyógyszer, élelmiszer

3 Képfeldolgozás Az optiai mérése o roncsolás-mentese, o érintés-mentese, o gyorsa A színmérés o csa az adott felület átlagos színét méri Miért épfeldolgozás? a felület nem homogén Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús objetum távol van alaleírás, mintázat leírása a cél Eredmény: szín, ala, mintázat

4 Néhány épfeldolgozási példa: 1. Szegmentálás Sérülése detetálása gyümölcsön, zöldségen

5 2. Színmérés: Kajszi színváltozása az Lab síon az érés folyamán

6 3. Ala Fajtaazonosítás is történhet a szín és ala alapján

7 Még a 3D ala is becsülhető több amerával, vagy ügyesen választott megvilágítással

8 4. Mintázat Csoi miroszóp-fevétele: aaó, aaóvaj, cuor és tej Kenyér porozitásána leírása a lyua detetálásával

9 Hogyan? Méréselrendezés + adatreduciós algoritmus HARDVER: Setup: Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús

10 Képfelvételi eszözö példái 1. video camera BW / Color Live imaging On-line application Robot sensing 2. photo camera still images higher resolution documentation, archivation 3. scanner precise recording of flat surfaces 4. line-scan camera continuous recording, on-line application 5. NIR-camera quality assessment (water, sugar)

11 Képfeldolgozás alapvető lépései Digitális ép átvitele számítógépre Előfeldolgozás éptartomány (ROI: region of interrest) iválasztása (pl. menete ford/p) épjavítás: zoom, ontraszt, türözése, invertálás (pl. endoszópos alalmazás) Szegmentálás 1. Objetum éppontjaina iválasztása -> objetum mérete (pixele száma) További épjellemző számítása 2. Színmérés 3. Körvonal meghatározása. Alaleírás: hossz, szélesség, speficius jellemző 4. Mintázat leírása: általában célalgoritmussal Mi a épfeldolgozás? ADATREDUKCIÓ: látható jellemző leírása pár számmal

12 Szegmentálás Küszöbölési techniá Klaszterezés Éleresés, élnövesztés Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús

13 1.a. Szegmentálás üszöböléssel Szegmentálás az intenzitás (I=R+G+B, a sárga egyenesre való vetület) alapján: mintaép RGB oca histogram, üszöb A hisztogramon a háttér és az objetum csúcsai özött, a minimum-helyen választju a üszöböt (threshold). Az ennél világosabb pontoat teintjü az objetum pontjaina. object bacground Adott esetben, más egyenes vetülete, hatéonyabban választ el. Enne irányát manuálisan lehet megadni. Így az intenzitás: I = d r R + d g G + d b B = d c

14 Minden, amit tudni aartál a statisztiáról összeg: szorzat-összeg: X = Â xi XX Â x i x = i XY = Â x i yi Egy-vált: átlag (mean): M x = X n eltérés-szorzatösszeg (SQ product-moment): Â( xi - M i ) szórás (standard deviation): sx = szórásnégyzet (variance): s 2 n xx = s x = XX xx n - X X n xy = XY - X Y n becsült szórás (standard error): átlag becsült szórása: ~ s x s Mx xx = n -1 ~ sx = n onfidencia intervallum (confidence interval): Több-vált: ovariancia (covariance): orrelációs együttható: determinációs együttható: r 2 lineáris regresszió: y = ax+b a = xy xx n dimenzió esetén n-ismeretlenes egyenletrendszer megoldása M x ± s Mx q xy = r xy = b = M y xy n xy xx yy - a M x

15 Küszöbölés javítása színstatisztia alapján bacground object ovariancia-mátrix -> vetítés-> intenzitás: d I := d c in vivo alalmazás pl. napraforgó mago szegmentálására: d = {-1, 0, 1}

16 1.b. Szegmentálás laszterezéssel Kalibráció: Egérrel ijelölün mintafelületeet az objetumra és a háttérre is. Egy-egy ilyen osztály özéppontját átlagolással számolju. Klaszterezés: adott pont özéppontotól való távolsága, vagy szöge alapján döntjü el, melyi csoporthoz tartozi. fl RGB oca eredmény amior a szög alapján jobb szegmentálni

17 1.c. Szegmentálás éleresés alapján Lépései 1. Éleresés (edge-detection) 2. Élnövesztés (edge-growing) 1. Éleresés: Laplace operátor, Soebel, Roberts, Best plane, stb. Hibrid algoritmus: Gradient Non-maxima suppression Nevatia-Babu 2. Élnövesztés példája: egyenes eresése a Hough transzformáció terében Nincs világegyenlet megoldása, csa speciális megoldás, adott célfeladatra

18 Szegmentálás javítása, örvonal simítása, színstatisztia 1. Festő-algoritmus: egymás melletti pixele azonosítása, mint objetum 2. Zaj-szűrés: túl is szigeteet a örnyező tartományhoz sorolju. Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús 3. Körvonal simítása morfologiai operátorral nyitás (opening= erosion + dilation) törli a csücsöet, pl. a szárat zárás (closing = dilation + erosion) törli az öblöet

19 ImgPro célszoftver (FF 1995-, nyelv: C-Assembly) Olvasás videó eszözről Előfeldolgozás Szegmentálás,színstatisztia Alaleírás: Fourier transzformáció Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús

20 További operátoro A épfeldolgozás hősorában mindent fel ellett programozni: DOS alatt a grafiát, az egeret, a video eszözö elérését, mindent Win31 alatt, a nagyméretű épe ezelését Windows alatt a épe feldolgozásána összes lépését, a modulo özti adatcsere protoolját Nem létezte szabadon elérhető épfeldolgozó rutin-önyvtára.

21 XXI.sz: MATLAB program-csomag Cél: adott ezelése gyöértömegre gyaorolt hatását mérni özvetlen tömegméréssel és in-vivo impedancia méréssel. Részfeladat: tömeg becslése gyors, optiai méréssel. Gyöér színe piros+zöld, ezért é alapon szenneltün. Megoldás: 3 sorban: im=imread('gyö137.jpg'); % open image R = im(:,:,1); BW = im2bw(r); BW = medfilt2(bw,[2 2]); % use Red channel % thresholding % remove Salt&Pepper noise msgbox(num2str( nnz(bw) )); imwrite(bw,'gyö0137_out.jpg'); % number of pixel % save result Eredmény 6 sorban

22 2. Színmérés feltételei: stabilitás, etalono, görbület hatása CIE onverzió alapjai: 1. Stabilitás: Algoritmus a pixel-flutuáció ezelésére RGB szórás a Gray etalonra : 3,20 1,59 2,10 Algoritmus a alibráció vezérlésére RGB szórás a 3 RGB etalonra, 22 hétre: 3,60 2,89 3,25 2. Etalono (standards): RGB tér ifeszítése Mért tartományban mintá Intnz. szórásána ezelése Eredmény: RGB -> XYZ onverzió 16 etalonra R 2 = Görbült felület: hogyan függ a mért jel a beesés- és visszaverődés szögétől Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús Fénynyalábbal megvilágított felületet, ülönböző irányból mérjü

23 Görbült felület hatása a mért RGB jelre Fejlesztett méréselrendezés, forgózsámoly, szoftver a görbület hatásána mérésére. Izolált örnyezetben megvilágítás fénysugárral A felület a özéppontban, objetum és amera forgatva Terület szegmentálása üszöböléssel Tipius reflexiós viseledése aliforniai papria: dió: barac: BG:tüör, R:diffúz beesőtől függ nézettől függ (ezüst szőrö)

24 3. Alaleírás Körvonal pontjaina felsorolása Súlypont számítása és áttérés polár oordináta-rendszerbe Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús Resampling 2 n adatra lineáris interpolációval (Fourier transzformáció igényli) Alaleírás: a) Általános FFT-vel (pl automatizáláshoz) b) Specifius (pl. szaértői rendszerhez) c) Morfológiai (pl. fajta-azonosításhoz)

25 3.a. Fourier transzformáció Folytonos jel adott perióduson előállítható többszörös frevenciájú szinuszo és oszinuszo ülönböző amplitúdójú összegeént. Időtartomány fl Frevenciatartomány folytonos Fourier sor amplitúdó-eltolással Euler-éplettel, ez a omplex exponenciális valós része: A transzformáció invertálható, pl. egyes frevenciá (pl. zajo) szűrése után visszaalaítható. Diszrét Fourier Transzformáció (DFT): véges minta transzformálása Fast Fourier Transzformáció (FFT): DFT gyors algoritmusa 2 n mintaszám esetére )) sin( ) cos( ( ) ( 1 0 t b t a a t f n + + =  = w w Ú = T dt t f T a 0 0 ) ( 1 Ú = T dt t t f T a 0 )cos ( 2 w x i x e ix sin cos + =  = + + = n i t A A t f 1 0 ) cos( ) ( j w b a b a b a sin sin cos cos ) cos( - = + t A t A t A - + = + w j w j w j sin ) sin ( cos ) cos ( ) cos( 2 2 b a A + = a b = -arctg j  = + + = n t i i e A A t f 1 ) ( 0 ) ( j w Ú = T dt t t f T b 0 )sin ( 2 w

26 3.a. Szimmetriá leírása Fourier együtthatóal Aörvonal súlypontra vonatoztatott r(α) polár oordinátáit transzformálva a Fourier térbe (mint hangból a spetrum), az a amplitúdói és a φ eltolásai a ülönböző hullámhosszana, jellemzi a2d ala szimmetriáit: polár: a 0 : átlagos sugár xy: a 3 polár: xy: a 1 :súlypont excentricitása a 4 a 2 : ellipszoid (major- / minor tengely) φ 2 : főtengely szöge a 25

27 3.b.Ala özelítése célfüggvény illesztésével Szaértői rendszere az értelmezhető paramétereet preferáljá. Egy megfelelő célfüggvény n paraméterét legisebb négyzete módszerével (LSE), regresszióval illeszthetjü a örvonal pontjaira. Hagymafajtá azonosítása 12 paraméteres függvény-szevenciával valósítható meg: onstans exponenciális oszinusz oszinusz exponenciális onstans + 3 paraméter a tengely asszimmetriájára

28 Visszatérve a hagyma alajána 12 paraméteres özelítésére: MSE: 1,13 2,42 px 2 avr. error: 0,21 0,31 mm

29 Intermezzo: 3D grafia és a világítástechnia? Star wars ( 77), PC ( 86), hagyma ( 95) 3D rendering

30 3.c: Struturális leírás: mesterséges görbéel való özelítés Elsőént autótervezésben használtá. Az alapponto meghatározása után mesterséges görbéet ell illeszteni a örvonalra. Ilyene: Lagrange int, Bezier regr, Spline int, A töréspontoat a struturális elemzés adja. 5 pontos regresszió és interpoláció: Alalmazás a hagyma alaon: Bezier regresszió cubic spline interpoláció

31 Cubic spline özelítés: MSE: 1,31 3,16 px 2 avr. error: 0,23 0,35 mm

32 3.c: Morfológia: Strutúra, görbült tengely A természetes objetumo gyaran tengelyes szimmetriájúa, nem polárisa (lásd levél, banán, ubora, ). Ez a tengely viszont szinte mindig görbült. Az algoritmusna ezelni ell, hogy a ét oldalon a részlete máso, ezért a örvonalaon az úthossz ülönbözi. Stanislav Barton-nal (Czech, Brno) ifejlesztett algoritmusun minimalizálja a tengely görbületét. 1. Fourier özelítés (n<=10) Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús 2. Bordá nem eresztezi egymást 3. özelítés eredménye

33 Természetes objetumo görbült topológiájána példája

34 4: Mintázat: Transzformálás polár oordinátára Borland C++ (FF, 2004) Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús

35 4: Mintázat: Kenyér porozitás (FF, 2006) Borland C++ Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús

36 4: Mintázat: Kenyér porozitás (FF, 2009) üszöböléssel (Matlab 11 sor): fname = 'enyer1.jpg'; I= imread(fname); I = rgb2gray(i); I = imadjust(i); % convert to grayscale % increases the contrast of grayscale image. imhist(i); level = graythresh(i); % get threshold using Otsu's method bw = im2bw(i,level); % Convert grayscale image to binary image bw = bwareaopen(bw, 50); % remove small objects (50px) GLCM2 = graycomatrix(i,'offset',[2 0;0 2]); stats = graycoprops(glcm2,{'contrast','homogeneity','energy','correlation'}); e = entropy(i);

37 4: Mintázat: Hús márványosság (FF, 2011) szegmentálás 8 paraméter ~ szaértői vél. PLS / neuron becslés Képfeldolgozás hardver Szegmentálás üszöb, laszter, él orreció, szoftvere Színmérés feltételei stabil, alibrálás, 3D Alaleírás Fourier, célfv, spline görbült topológia Mintázat enyér, hús

38 Képfeldolgozás után öv: a spetrális épalotás