és követés Dr. Loványi István BME-IIT 2014 április

Átírás

1 Él-, sarok-, minta detektálás és követés Dr. Loványi István BME-IIT 2014 április

2 Megoldandó feladatok Jó jellemző felismerés (2D) Jó jellemzők követése (2D) 3D rekonstrukció (3D) önkalibráció 3D struktúra Mozgás Hol van a képen? Hol van a világban??

3 Képjellemzők meghatározása Mit is mérjünk? Hogyan? Jellemzők jóságának összehasonlítása

4 Példa: Sávdetektálás a feldolgozás főbb lépései a) bemeneti kép b) szűrés c) éldetektálás d) AOI / ROI e) Hough transzformáció f) Sávdetektálás (kimenet) (University of Aucland)

5 Morfológiai Operátor (Zárás) a) sávelválasztó jel b) éldetektálás c) dilatáció d) erózió (University of Aucland)

6 (iphone alapú) Sávkövetés képsorozat (bemenet) Hough transzformáció után Sávdetektálás (kimenet) (University of Aucland)

7 OpenCV egy nyitott forrású képfeldolgozó programcsomag t/ / notes/opencv-intro/index.html net/sourceforge/openc vlibrary/ippocv.pdf Minden általam ismertetett képfeldolgozó algoritmushoz letölthető implementáció (és sok minden más is)

8 Lineáris Szűrők Elmélete Ez egy klasszikus téma a képfeldolgozás elméletéből Részben M. Pollefesys diáit felhasználva

9 Lineáris szűrők Algoritmus: Példa 1: Simítás átlagolással Új kép pixeleinek értékét a lokális környezet eredeti Képezzük a pixel lokális környezetének átlagát pixel értékeinek súlyozott összege (átlaga) adja. Példa 2: Gauss szűrés Minden pozícióban Képezzük a pixel lokális ugyanazokat a súlyokat környezetének k súlyozott alkalmazzuk. átlagát Tulajdonságok: Az eredménykép az Példa 3: Kép deriválás eredeti kép lineáris Képezzük a pixel lokális függvénye környezetének súlyozott átlagát

10 Konvolúció Súlyok megadása eredmény: képként: H H megnevezése általában: kernel R Művelet neve: ij H i u,j v F uv u,v konvolúció olúció (asszociativ) Mindegyik példánk ezzel el a formulával kifejezhető Eltolás független gg lineáris operátor

11 Konvolúció f(.) f(.) f(.) f(.) f(.) f(.) f(.) f(.) f(.) c 11 c 12 c 13 c 21 c 23 c 22 c 31 c 32 c 33 o (i,j) = c 11 f(i-1,j-1) + c 12 f(i-1,j) + c 13 f(i-1,j+1) + c 21 f(i,j-1) + c 22 f(i,j) + c 23 f(i,j+1) + c 31 f(i+1,j-1) 1) + c 32 f(i+1,j) + c 33 f(i+1,j+1)

12 Példa 1: Simítás átlagolással Figyeljük meg az eredményképen az átlagoláson túlmenően fellépő zajt (a kernel éles határa okozza) Kernel 12

13 Példa 2: Simítás Gauss szűrővel Az előbbi átlagoló simítás nem jól modellez egy defókuszált lencsét A leginkább szembetűnő különbség: egyetlen pont a defókuszált képen egy fuzzy foltként hatna, az átlagoló simítás viszont egy kis négyzetet eredményezett A Gauss szűrő viszont jól modellez egy defókuszált lencsét (fuzzy folt)

14 Isotropic Gaussian exp x2 y (a körkörös fuzzy folt jó közelítése)

15 Gauss szűrés hatása Kernel 15

16 Differenciálás és konvolúció kapcsolata Emlékeztetőül: A közelítése: f x lim f x, y 0 f f f f x n, y f x,y x f x n 1,y x ez is lineáris és eltolás invariáns művelet (ld. konvolúció) ez nyilvánvalóan konvolúció A közelítésnek vannak minőségi hátulütői (ld. később)

17 Példa 3: Képdifferenciálás (Sötét: negatív, világos: pozitív, szürke: zérus eredmény) 17

18 Zajok hatása Legegyszerűbb zaj modellt alkalmazva: l Állandó, független, additív Gauss zaj A hozzáadott zaj értéke minden pixel pozícióban egy független érték egy normál valószínűségi eloszlásból választva Problémák: A zajmodell megengedné a maximális kamera kimeneti értéknél nagyobb vagy zérusnál kisebb értékek felvételét is (gyakorlatban: telítés jelensége) Kis standard szórás esetén jó közelítés a modell a függetlenség nem mindig indokolt feltételezés (pl. karc/kosz a lencsén) Az állandóság sem mindig indokolt (pl. a CCD érzékelő hőmérsékletfüggése) A csak additív jellegű zaj sem mindig indokolt (pl. a CCD érzékelő helyfüggő multiplikatív érzékenység ingadozása)

19 sigma=1

20 sigma=16 sg

21 Képdifferenciálás zajos képeken Véges differenciális szűrők Mi a teendő? érzékenyen reagálnak a zajra Intuíció szerint is: a legtöbb pixelnek úgy Nyilvánvaló ok: a zaj a kéne kinéznie mint a szomszédjaitól nagyon szomszédos pixelek eltérő pixel értékeket generálhat Ez még az éleknél is részben igaz (legalábbis az élek hossza mentén) Nagyobb zaj amplitudó Fentiek azt sugallják, hogy egy előzetes simítás esetén durvább a nem segíthet: kényszerítve a kívánt effektus pixeleket a környezetbe való jobb belesímulásba

22 Képdifferenciálás zajos képeken Nagyobb zaj -> (zérus középértékű additív gauss zaj hatása)

23 Szűrő válaszok korrelálhatnak ha a szűrő kernel szélesebb a zajénál. Érdekes texturált képet eredményezhet a szűrés ű (természetes etes texturák, tu stb. modellezésére jó)

24

25

26

27 A szűrő- és zajparaméterek kölcsönhatásai A sorok a különböző szórású Gauss szűrők hatását mutatják Az oszlopok a különböző szórású Gauss zajjal terhelt képeket mutatják 27

28 Medián szűrők

29 Medián szűrő Nemlineáris szűrő Algoritmus : 1. szomszédos pixelek sorbarendezése éték érték szerint 2. a középső érték vétele a rendezett sorból

30 Medián szűrő: odd-man-out2 Előnyös is lehet az odd-man-out hatás Például: 1,1,1,7,1,1,1,1,,,,,,?,1,1,1.1,1,1,?

31 Medián szűrő vs. Átlagoló szűrő (példa) A Medián szűrő szélessége legyen = 5

32 Medián szűrő: ű ő pro és kontrák Medián szűrő a csúcsokat hanyagolja Lineáris szűrő viszont mindent figyelembevesz Medián szűrő megőrzi a folytonossági hiányokat Lineáris szűrő viszont elkeni elkeni azokat

33 Medián szűrés hatása 3 x 3 medián szűrő :

34 Lineáris szűrő hatása

35 10x Median szűrés hatása 10-szer egymás után egy 3 X 3 medián szűrés végrehajtva:

36 Éldetektálás Ez is egy klasszikus probléma a képfeldolgozás elméletéből (A Canny algoritmushoz az elméleti alapokat érdemes összefoglalni) Részben S. Narasimhan diáit felhasználva

37 Él a kép fontos leíró eszköze - de konkrétan miért is? keressük meg a helyét a jellemzők hierarchiájában: hiájáb egyszerű, kevésbé robusztus intenzitás szín él textúra kontúr... bonyolult, robusztusabb

38 Mit reprezentálnak? ep e e? Mi a megjelenési formájuk? Élek tulajdonságai

39 Élek tulajdonságai

40 Élek tulajdonságai Élek kép lokációi, ahol nagy a gradiens

41 Élek eredete Mit reprezentálnak? e e négy fizikai jelenség is eredményezhet ugyanolyan élet a képen...

42 Élek eredete - jórészt zajból! Mit reprezentálnak? e e négy teljesen eltérő tartalmú - fizikai jelenség eredményez élet a képen... folytonosság hiány felületi szín / intenzitás felületi normális mélység érték megvilágítás (becsillogások)

43 Élek jelentése Lokális maximum a gradiensben, megadott irányban

44 Éltípusok Ugró él Tető él Vonal él

45 Gradiens számítása: Gradiens A legnagyobb intenzitás változás irányát adja meg Gradiens iránya: A gradiens nagysága ( ereje )

46 Diszkrét Él operátorok Hogyan differenciálunk egy diszkrét képet? Közelítőleg: I 1 x 2 I I 1 y 2 I I I I i 1, j 1 i, j 1 i 1, j i, j I I I I i 1, j 1 i 1, j i, j 1 i, j Ii, j 1 I i 1, j 1 I i, j I i 1, j Konvolúciós maszkkal (súlyok) megadva: I I x 2 y

47 Diszkrét Él operátorok másodrendű parciális deriváltak közelítése: I I j 1 I 2 i 1, j 1 1 i, i 1, j 1 I 2 x 2 I y I i 1, j 2I I 2 i, j 1 2 I i, j i, j I I i 1, j i, j 1 I i 1, j I i, j I i 1, Ii 1, j 1 Ii, j 1 I i 1, j 1 j Laplace operátor : I I I 2 2 x y Konvolúciós maszkkal (súlyok) megadva: I (utóbbi pontosabb) 1 4 1

48 Diszkrét Él operátorok Más gradiens közelítések is használatosak Sobel operátor:

49 Diszkrét Él operátorok összehasonlítása Gradiens: Jó lokalizáció Zajérzékeny Gyenge detektálás Roberts (2 x 2): Sobel (3 x 3): Sobel (5 x 5): Pontatlan lokalizáció Kevésbé zajérzékeny Jó detektálás

50 Zajok hatása A kép egy sorát tekintve (intenzitás az x pozíció függvényében) Hol az él??

51 Megoldás: először simítani kell Hol az él? a maximumát keressük:

52 A konvolúció elméletéből következően egy lépés megspórolható Differenciális operátor

53 Laplacian of Gaussian (LoG) x 2 2 x h f h f 2 2 Laplacian of Gaussian Laplacian of Gaussian operator Hol az él? A nulla - átmenetnél!

54 2D Gauss Él Operátorok Gaussian Derivative of Gaussian (DoG) Laplacian of Gaussian Mexican Hat (Sombrero) a Laplace operátor:

55 Az elméleti előkészítés után Canny Él Operátor

56 Canny Él Operátor Képszűrés 2D Gauss szűrővel: G I Minden pixelre a gradienst irányt (az él normálisát) meghatározni n G I G I Gradiens nagyságát meghatározni G I A normális irányok mentén a nulla-átmenetet megkeresni (nem- maximális értékű pontok elhagyása) 2 G I 2 n 0

57 Nem-maximális értékű pontok elhagyása A gradiens iránya mentén a lokális maximum megkeresése p és r interpolált pontok ellenőrzése kell

58 Canny éldetektor hatása Eredeti kép (Lena)

59 Canny éldetektor hatása gradiens nagyság

60 Canny éldetektor hatása Nem-maximális értékű pontok elhagyása után

61 Canny éldetektor Cél : megtalálni azokat a képpontokat, ahol a gradiensnek lokális maximuma van (1) Zajszűrés képsimítással (súlyozott átlag képzés konvolúcióval ) A pixelértékeket a szomszédos pixelek súlyozott összegével helyettesítjük. I(x,y) = új 1 i,j = -1 w ij I(x+i,y+j) régi súly Régi kép súly maszk Új kép x =

62 Canny éldetektor Cél : megtalálni azokat a képpontokat, ahol a gradiensnek lokális maximuma van (1) Zajszűrés képsimítással (aluláteresztő / átlagoló szűrő) A pixelértékeket a szomszédos pixelek súlyozott összegével helyettesítjük. 1 I(x,y) = w ij I(x+i,y+j) új i,j = -1 súly régi Eredeti kép súly maszk Új kép x = (normálva) Eredeti kép gyorsabb irányonként külön-külön, egymás után simítani... Függőleges irányban Vízszintes irányban

63 Canny éldetektor Cél : megtalálni azokat a képpontokat, ahol a gradiensnek lokális maximuma van (1) Zajszűrés képsimítással A pixelértékeket a szomszédos pixelek súlyozott összegével helyettesítjük (2) Gradiens becslése minden pontban Most egy másik súlymaszkot alkalmazunk vele a deriváltakat becsüljük 1 I(x,y) = w ij I(x+i,y+j) +j) új i,j = -1 súly régi Ugyanaz a művelet (konvolúció), csak más súlyokkal Függőleges irányban Vízszintes irányban d I dx = I x d I dy = I y

64 Canny éldetektor Cél : megtalálni azokat a képpontokat, ahol a gradiensnek lokális maximuma van (1) Zajszűrés képsimítással A pixelértékeket a szomszédos pixelek súlyozott összegével helyettesítjük (2) Gradiens becslése minden pontban Most egy másik súlymaszkot alkalmazunk vele a deriváltakat becsüljük 1 I(x,y) = w ij I(x+i,y+j) +j) új i,j = -1 súly régi Ugyanaz a művelet (konvolúció) csak más súlyokkal (3) Gradiens abszolút értékének és irányának meghatározása I(x,y) = sqrt(i 2 x + I 2 y ) -1 1 x 1-1 y = atan (I x, I y ) Gradiens maximum keresése irányban

65 Canny éldetektor Cél : megtalálni azokat a képpontokat, ahol a gradiensnek lokális maximuma van (1) Zajszűrés képsimítással A pixelértékeket a szomszédos pixelek súlyozott összegével helyettesítjük (2) Gradiens becslése minden pontban Most egy másik súlymaszkot alkalmazunk vele a deriváltakat becsüljük 1 I(x,y) = w ij I(x+i,y+j) +j) új i,j = -1 súly régi Ugyanaz a művelet (konvolúció) csak más súlyokkal (3) Gradiens abszolút értékének és irányának meghatározása A gradiens irányában lokális maximumot -1 1 I(x,y) = sqrt(i 2 x + I 2 y ) keresünk = atan (I x, I y ) (4) választunk egy optimális küszöböt a felette lévő gradiens érték esetén a pontot valóban élpontnak tekintjük! x 1-1 y

66 A küszöb megválasztása Eredeti kép Nagyon magas küszöbérték

67 A küszöb megválasztása Eredeti kép Nagyon magas küszöbérték

68 A küszöb megválasztása Eredeti kép Nagyon magas küszöbérték

69 A küszöb megválasztása Eredeti kép Nagyon magas küszöbérték Racionálisnak tűnő

70 A küszöb megválasztása Eredeti kép Nagyon magas küszöbérték Racionálisnak tűnő Túl alacsony! algoritmikus szinten megtalálni az optimális küszöböt nem triviális feladat

71 Élpontok szegmentálása Hough Transzformáció Mit csináljunk az előbb megtalált élpontokkal? A Hough transzformáció is egy régi történet Részben Jeremy Wyatt diáit felhasználva

72 Élszegmensek keresése A Canny éldetektor csak élpontokat, de nem élszegmenseket talált Hogyan találhatunk meg összetettebb képjellemzőket? A Hough transzformáció képes parametrizált élszegmenseket (egyenes, kör, ellipszis, ) i is megtalálni

73 Az alapötlet Mindegyik ik egyenes leírható egy képlettel l Mindegyik fehér élpont önmagában Mindegyik fehér élpont önmagában végtelen sok egyeneshez tartozhatna

74 Az alapötlet Mindegyik ik egyenes leírható egy képlettel l Mindegyik fehér élpont önmagában végtelen sok egyeneshez tartozhatna A Hough transzformációs síkban mindegyik élpont szavaz azokra az egyenesekre melyekhez tartozhatna A legtöbb szavazatot kapó egyenesek a befutók

75 Különféle egyenes reprezentációk a Hesse-féle normálalak Minden egyenest 2 szám jellemez A sárga egyenes jellemzése: (w - w távolság az origótól - szög a vízszinteshez képest w Megjegyzés: gy Az y=mx+c reprezentációhoz képest az az előny, hogy w csak véges értéket vehet fel. Függőleges g egyeneseknél m= lenne (implementációs problémákat okoz) Amúgy (m,c) térbe is lehetne Hough transzformáció

76 Hough tér w Mivel egy (w, ) érték ék reprezentál egy egyenest az (x,y) képtérben egy-egy pont reprezentál egy egyenest a (w, ) Hough térben w=0 w=100

77 Hogyan szavaz egy képtérbeli pont a Hough térben? w x cos( y y sin( w w=0 w=100

78 Hogyan szavaz egy képtérbeli pont a Hough térben? Egy képtérbeli pont egy sinusoid görbének felel meg a Hough térben az összes a ponton átmehető egyenes (w, ) értékeit megadva Két képtérbeli pont két görbének felel meg a Hough térben A két görbének a metszéspontja a Hough térben egy szavazat a képtérbeli két pontot összekötő egyenesre

79 Hough Transzformáció - formalizálva Create and d w for all possible lines Create an array A indexed by and w for each point (x,y) for each angle w = x*cos( )+ y*sin( ) A[,w] = A[,w]+1 end end where A > Threshold return a line Implementáció: ld. megadott OpenCV források

80 Hough Transzformáció - példa Eredeti kép Canny éldetektálás Hough egyenes keresés Hough egyenes-paraméter tér

81 Hough transzformáció kör keresésre Kör egyenlete: ( xi a) ( yi b) r Ha az r sugár előre ismert (az egyszerűbb eset): A 2D Hough tér koordinátái: ( a, b) ) A képtér-beli pontoknak Hough tér-beli körök felelnek meg:

82 Hough Transzformáció A módszer kör, ellipszis i paramétereire is alkalmazható l Egyenes kereséskor figyelmen kívül kell hagyni a nem-lokális maximumokat At input képet ezért kellett az Canny operátorral és morfológiai zárással előfeldolgozni Texturált képre nem jó a Hough transzformáció

83 Sarokpont detektálás

84 Egyre összetettebb jellemzők követése? A már jól ismert skálán továbbhaladva az összetettebb jellemzők irányába: A sarokság egy pontra nem vizsgálható: legalább egy kis ablakban kell! egyszerű, de nem elég robusztus intenzítás szín él textúra kontúrszegmensek (pl. sarokpontok) Bonyolultabb de Bonyolultabb, de robusztusabb is

85 Sarokdetektáló algoritmusok Moravecz SUSAN FAST Harris - mi majd ezt nézzük meg.

86 Mitől tekinthető egy jellemző jónak? Egyedi a következő képen is könnyen beazonosítható

87 Egyediség keresése lokális ablakban Jó vagy rossz jelölt az adott pont? (C) Darya Frolova, Denis Simakov, Weizmann Institute.

88 Egyediség keresése lokális ablakban homogén régió él : sarok : Bármely irányban: Az él mentén nincs minden irányban Semmi változás! változás jelentős a változás (C) Darya Frolova, Denis Simakov, Weizmann Institute.

89 Egyediség keresése lokális ablakban W ablakot kis (u,v) értékkel elmozgatjuk: Hogyan változnak a pixelek W-ben? Megint SSD hibát számolunk: E(u,v): W

90 Elsőrendű közelítés kis mozgásokra Taylor sor: Ha (u,v) kicsi, az elsőrendű közelítés jó Behelyettesítve az E(u,v) kifejezésbe

91 Elsőrendű közelítés kis mozgásokra

92 Elsőrendű közelítés kis mozgásokra Az ablakot a körön belül bármely irányba mozgathatom Melyik irány fogja a legnagyobb illetve legkisebb E értéket adni? H sajátértékei adják meg a választ

93 ( kis matematika : sajátérték, sajátvektor) A mátrix x sajátvektorai kielégítik ik az alábbi egyenletet Ahol x sajátvektor skalár sajátértéke Esetünkben A (= H) egy 2x2 mátrix

94 ( kis matematika : sajátérték, sajátvektor) x - x + H sajátértékei szerint vizsgálva: x + = legnagyobb E növekményt okozó mozgásirány + = a növekmény x + irányban x - = legkisebb E növekményt okozó mozgásirány - = a növekmény x - irányban

95 Gradiensek a texturált részleten

96 Gradiensek az éldús részleten

97 Gradiensek a homogén részleten

98 Mi lehet a sarokság sarokság kritériuma? Minden irányban próbálkozva: A minimális intenzitás változás - A maximális intenzitásváltozás + egy ellipszis nagysága és iránya jellemző a pont sarokság mértékére ( -1/2 min ) ( -1/2 max )

99 Mi lehet a sarokság kritériuma? Képpontok osztályozhatók a sajátértékek szerint: 2 él 2 >> 1 sarok 1 és 2 nagy, 1 ~ 2 ; E növekszik minden irányban 1 és 2 kicsi E konstans minden irányban sík régió él 1 >> 2 1

100 Mi lehet a sarokság kritériuma? +, x +, -, x - alapján mi legyen a kritérium? E(u,v) legyen nagy kis elmozdulásokra, minden irányban A minimum i értéket t H kisebbik ( - ) sajátértéke ték határozza meg

101 Mi lehet a sarokság kritériuma? Algoritmus összegzése: Minden pontban kiszámoljuk a gradienseket A gradiens értékekből számoljuk H mátrixokat Kiszámoljuk a sajátértékeket Megkeressük a ( - > küszöb) válaszú képpontokat Sarokpontnak választjuk a helyi maximum - értéket produkáló pontokat

102 Mi lehet a sarokság kritériuma? kinagyitva

103 A gradiensek súlyozása Szimpla W a gyakorlatban nem optimális A központi pixeltől való távolság szerint súlyozhatunk

104 Harris operátor - a definició R is a sarokságra jellemző mérték, ahol: R = det H k(trace H) 2 trace a diagonálisok összege trace(h) = h 11 + h 22 R hasonló eredményt ad, csak sokkal könnyebb kiszámolni (k egy empírikus konstans = ) 06)

105 Harris operátor - a sajátértékek szerint Képpontok osztályozhatók R szerint is: 2 él 1. R is csak H sajátértékeitől függ R <0 2. R nagy érték sarok esetében 3. R negatív él esetében sarok R > 0 4. R kicsi homogén rész esetében sík R kicsi él R < 0 1

106 Harris operátor a workflow 0. lépés: a kiindulási

107 Harris operátor a workflow 1léé 1. lépés: Kiszámolni i az R étékkt értékeket

108 Harris operátor a workflow 2. lépés: Megtartani, ahol R>küszöb

109 Harris operátor a workflow 3léé 3. lépés: Csak a lokális R maximumokat megtartani t

110 Harris operátor a workflow

111 A Harris operátor vs. közvetlenül a sajátértékek szerinti sarokpont keresés összehasonlítása Harris operátor

112 Képtorzítás alaptípusok Elforgatás Hasonlóság (elforgatás+ uniform skálázás) Affin (irányfüggő) skálázás Affin intenzitás változás (I a I + b)

113 Harris operátor robusztussága Elforgatás: invarianciai i Az ellipszis együtt forog, de az alakja (sajátértékek) nem változnak R sarokság mérték invariáns az elforgatásra!

114 Harris operátor robusztussága Intenzitásváltozás: ált á részleges invarianciai i mivel intenzitás deriváltakkal dolgozunk => Invariancia: I I + b esetén (eltolás) Invariancia: I a I esetén (skálázás) ás) R R küszöbérték x (képkoordináta) x (képkoordináta)

115 Harris operátor robusztusága de: NEM invariáns a képskálázásra! Minősítés: ÉLPONTOK Minősítés: SAROKPONT

116 Harris operátor robusztusága A Harris operátor - érzékeny a kontrasztra Tesztkép Harris sarokság erősség ábrázolása egy nemlineáris skálán (probléma kvalitatív illusztrálása)

117 Harris operátor robusztusága A Harris operátor érzékeny éken a skálázásraásra 1x 7x

118 Harris illusztráció: Mozgáskövetés g (az Oktatási Portálon található pdf verzióban sajnos nem látszik a mozgás robusztus követése)

119 Lehetséges etséges alkalmazás: a a 3D rekonstrukció có

120 Minta detektálás

121 Texturális jellemzők követése Több (együttálló) intenzitást (pixelt) is próbálhatunk követni szimultán egyszerű, kevésbé robusztus intenzitás szín élek textura (folt/minta)... bonyolultabb, robusztusabb A követendő textúra (folt) akár lehetne egy felismerhető arcrészlet (minta) is... Didaktikailag nincs jelentősége, de akár: gyalogos, sofőr mozgáskövetése (pl. hova figyel,.)

122 Texturális jellemzők követése Több (együttálló) intenzitást (pixelt) is próbálhatunk követni szimultán egyszerű, kevésbé robusztus intenzitás szín élek textura (folt/minta)... bonyolultabb, robusztusabb A követendő textúra (folt) akár lehetne egy felismerhető arcrészlet (minta) is... Didaktikailag nincs jelentősége, de akár: gyalogos, sofőr mozgáskövetése (pl. hova figyel,.)

123 Textura-, képmozaikok illesztése

124 Textura-, képmozaikok illesztése

125 Textura követés Örökérvényű jó tanács : If brute-force doesn t working, you re not using enough. mintakép A kezdő képkockán megtalálva Mit keressünk? & Hogy keressük?

126 Textura követés SSD (Sum-of-Squared-Differences) hiba minimalizálással keressük meg a legjobb illeszkedést mintakép A kezdő képkockán megtalálva Piros keret: a kiinduló helyzet a következő képen Esetünkben feltétlen valósidejűség kell: és a keresési idő mennyi?

127 SSD követési algoritmus Közelítő feltételezés: a képváltozás lineáris függvénye az elmozdulásnak translation. (Természetesen minden közelítő modell rossz valamennyire) I t + M x t = I t+1 ( x t -ben) ( x t -ben)

128 SSD követési algoritmus Közelítő feltételezés: a képváltozás lineáris függvénye az elmozdulásnak translation. (Természetesen minden közelítő modell rossz valamennyire) Kiinduló képminta x t helyen I t + M x t = I t+1 Új képminta x t (x t -ben) (x t -ben) helyen a differencia kép vagy másképpen: mozgás template A közelítő feltételezés mellett x t =? a keresett pozíció változás t és t+1 időközben

129 SSD követési algoritmus Közelítő feltételezés: a képváltozás lineáris függvénye az elmozdulásnak translation. (Természetesen minden közelítő modell rossz valamennyire) Kiinduló képminta x t helyen I t + M x t = I t+1 Új képminta x t (x t ) (x t ) helyen a differencia kép vagy másképpen: mozgás template A közelítő feltételezés mellett x t =? n x 1 mátrix a keresett pozíció változás t és t+1 időközben M x t = (I t+1 - I t ) (x t -ben) n x 1 mátrix

130 SSD követési algoritmus Közelítő feltételezés: a képváltozás lineáris függvénye az elmozdulásnak translation. (Természetesen minden közelítő modell rossz valamennyire) Kiinduló képminta x t helyen I t + M x t = I t+1 Új képminta x t (x t ) (x t ) helyen a differencia kép vagy másképpen: mozgás template A közelítő feltételezés mellett x t =? a keresett pozíció változás t és t+1 időközben M x t = (I t+1 - I t ) M T M x t = M T (I t+1 -I t )

131 SSD követési algoritmus Közelítő feltételezés: a képváltozás lineáris függvénye az elmozdulásnak translation. (Természetesen minden közelítő modell rossz valamennyire) Kiinduló képminta x t helyen I t + M x t = I t+1 Új képminta x t (x t ) (x t ) helyen a differencia kép vagy másképpen: mozgás template A közelítő feltételezés mellett x t =? a keresett pozíció változás t és t+1 időközben M x t = (I t+1 - I t ) M T M x t = M T (I t+1 -I t ) Ez maga a követési algoritmus... x t = (M T M) -1 M T (I t+1 -I t )

132 SSD követési algoritmus Mi történik a képen? I t + M x t = I t+1 (x t ben) (x t -ben) +? = +? =

133 SSD követési algoritmus M a képminta és elmozdult megfelelője közötti különbség I t + M x t = I t+1 (x t ) (x t ) + M = + =

134 SSD követési algoritmus A lineáris közelítés milyen nagy elmozdulásig igaz? Az eltolás mértéke... M x t = I t+1 -I t + 7 pix + 6 pix + 5 pix + 4 pix + 3 pix + 2 pix + 1 pix orig -1 pix Eredeti kép + a template többszöröse...

135 SSD követési algoritmus A lineáris közelítés milyen nagy elmozdulásig igaz? Az eltolás mértéke... M x t = I t+1 -I t + 7 pix + 6 pix + 5 pix + 4 pix + 3 pix + 2 pix + 1 pix orig -1 pix Eredeti kép + a jobboldali template többszöröse... Az eredeti kép felismerhető, ugyanakkor az elmozdulás korrigálva (vagyis követve)!

136 Követés transzlációk (etc.) Több állapotváltozó o is kezelhető e e ő egyszerre: e e: n x 2 matrix x t y t x transzláció M = I t+1 - I t y transzláció eredeti képminta x y x y translation eredeti translation template képminta template translation template translation template M természetesen függ a követendő képmintától, de időben nem változik

137 Követés transzlációk További paraméterekre is jó: x t y t r t s t x transzláció M = I t+1 -I t y transzláció rotáció skálázás M n x 4 mátrix eredeti x y elforgatás skálázás

138 Követés transzlációk Vagy elvben bármilyen további transzformáció figyelembevehető... M x t y t r t s t a t h t = I t+1 -I t x transzláció y transzláció rotáció skálázás x-y képarány nyírás (shear) n x 6 mátrix eredeti x y elforgatás skálázás összenyomás nyírás

139 Követés transzlációk Az irodalomból átvett demo forrás futási eredményei szerint az alsó szekvencia már szépen kompenzál (másképpen fogalmazva: optimális illesztés esetén a mozgás paraméterek meghatározhatók) követett ablak csak x, y, skálázás, rotáció kompenzálva x, y, skálázás, rotáció, + képarány, nyírás is kompenzálva frame 0 frame 50 frame 70 frame 120 frame 150 frame 230

140 Megvilágitás g ingadozás kezelése Akár (az egyre nagyobb dimenziójú) M-be zsúfolhatunk minden újabb kompenzált hatást: M x t = I t+1 - I t n x p mátrix n = minta pixelek száma p = paraméterek száma p parameters x transzláció y transzláció rotáció skálázás x-y képarány nyírás megvilágítás változás Például 6 további mozgás template is megadható: fényerő kontraszt különböző megvilágítási irányok hatása

141 Megvilágitás g ingadozás kezelése Ismét a demo futási eredményeket megjelenítve: Követési ablak nincs megvilágítás ingadozás kompenzáció van frame 0 frame 20 frame 70 frame 110 frame 120 frame 150

142 Részben takart objektumok követése A megoldás kulcsa: ucs : nem minden pixelt veszünk (a követendő ablakon belül) figyelembe ha az összes paraméter template alkalmazásával is - bizonyos részeken - az eltérés mindig nagy maradna: ezeket a részeket hagyjuk figyelmen kívül (mert feltehetőleg kitakart részekről lehet szó). csak a maradék minta ablakot próbáljuk meg illeszteni csak a maradék minta ablakot próbáljuk meg illeszteni (így egyben követni )

143 Részben takart objektumok követése Demo: a zöld ödablak figyeli a kitakarást (a piros ablak nem) Követési ablakok A zöld ablak kinagyítva Kitakarás detektálása frame 0 frame 30 frame 60 frame 110 frame 170 frame 270

144 Bináris képfeldolgozás BLOB jellemzők Ha lehet, vezessük vissza a problémát bináris képek halmazának feldolgozására

145 Bináris képjellemzők meghatározása valósidejű implementációja relatíve könnyű lesz aztán érdemes lesz - amit csak lehet - erre visszavezetni (kiterjesztés gradált, színes képekre)

146 Képreprezentáció Belső reprezentáció: régió-alapú Amikor az intenzitás, szín, textúra, stb. a fontos Külső reprezentáció: régió-határ alapú Amikor az alak él stb a fontos Amikor az alak, él, stb. a fontos Gyakran mindkét típusú reprezentációt célszerű együtt alkalmazni

147 Képjellemzők kívánatos tulajdonságai Hatékony implementáció (valósidejűség!) Hatékony osztályozás á (nagy a szétválasztó tó erő: mérhető különbség egyes objektum osztályokra) Robusztusság: Méret invarianciai i Transzláció invariancia Rotáció invariancia Rotáció invariancia

148 Példa: külső reprezentáció jobb Élpontok: ha zaj is van - túl sok Kontúrok: éppen elég lenne

149 Lánckód Külső reprezentáció a régió határokat írja le Közelítés egyenes szegmensekkel 4 vagy 8 szomszédos képmodell

150 Lánckód implementációk Általában Kezdőpont megkeresése Óramutató járásával egyező vagy ellentétes irányban elfordulva a következő szomszédos pont megkeresése és összekötésük Túl hosszú a lánckód Már az élek kis változása (zaj!) eltérő lánckódhoz vezet Gyorsabb implementáció Éldetektált kép durvább raszterű újra-mintavételezése Amelyik rasztert érinti az eredeti régió határ megjelölve, összekötés

151 Lánckód - tulajdonságok Érzékeny a kezdőpont választásra Pl. minimális lánckód hosszúság szerinti kezdőpontválasztás Érzékeny rotációra, méretre egyaránt Következő diákon látható egyszerű megoldások jók, feltéve, hogy: az éldetektáló algoritmus rotáció- és skálázás-független legtöbbször nem ez az eset akkor más megoldást kell keresnünk

152 Rotáció invariancia biztosítása 1 Differencia képzés Például: eredeti 4- szomszédos lánckód: Differencia képzés után: (óramutató járásával ellentétes irány szerinti körbejárással) 3

153 Méret invariancia biztosítása Méret normálás: az újramintavételezés felbontását változtatjuk valamilyen normáló kritérium szerint Nagyobb kép Kisebb kép

154 Lenyomat (angolul: signature) 1-dimenziós régió-határ mérték (sokfajta algoritmus létezik) Egy egyszerű implementáció: súlyponttól való távolság a szög függvényében: Transzláció invariancia: alaphelyzetben is OK Rotáció invariancia: pl. legyen a súlyponttól legtávolabbi pont a kezdőpont Skálázás invariancia: pl. távolság normálás - a legnagyobb távolsággal osztva

155 További régió-határ mértékek régió-határ hossz (pl. lánckódból becsülhető: horizontális elemek száma + vertikális elemek száma + diagonális elemek száma x 2 átmérő Max. tengely (extrémum pontok távolsága, Feret átmérő) Min. tengely (max. tengelyre merőleges irányban a max. szegmens hossz) Excentricitás ( max. / min tengelyek hányadosa) orientáció görbület

156 Régió mértékek k Régió terület t Kompaktság mérték = kerület 2 /terület rotációra, skálázásra, transzlációra invariáns Régió intenzitás átlag / max. / min. érték Átlagérték alatti / feletti pixelek aránya

157 Régió topológiai mértékek Euler szám A topológiai jellemzők a régiók szétszakítását / összekötését nem okozó deformációkra érzéketlenek Legismertebb közülük az Euler szám (különböző definíciók /reprezentációk lehetségesek) V-Q+F=C-H=E V= sarkok száma Q= élek száma F= poligonok száma C= egybefüggő régiók száma H= lyukak száma E= Euler szám E=C-H=1-2=-1 1 E=C-H=3-1=2

158 Régió topológiai mértékek Euler szám V-Q+F=C-H=E V=sarkok kszáma Q= élek száma F= poligonok száma C= egybefüggő régiók száma H= lyukak száma E= Euler szám =-2 2

159 BLOB jellemzőkre példák terület (pixelek száma) Zajt el kell távolítani(pl. kicsi/nagy objektum alapon) Lyukak száma Objektum területe Lyukak területe Teljes terület (lyuk + objektum) Kerület = kontúr hossza Befoglaló keret Bal felső ő sarok pozíciója Befoglaló keret szélessége / magassága egy BLOB Szómagyarázat: BLOB = Binary Large OBject

160 BLOB jellemzőkre példák Súlypont (x m,y m ) x m x i i object Kompaktság Diszkre minimális Téglalapra minimális y m y i Perimeter i object Perimeter 2 Area Area Width Height körkörösség 2 area Legnagyobb távolság á (Feret átmérő) Orientáció Feret átmérő orientációja

161 BLOB jellemzőkre példák Alakleírás Befoglaló keret aránya: magasság/szélesség A nyújtottságról mond valamit Objektum illeszkedése befoglaló téglalapba Köze van a terület / kerület arányhoz Objektum illeszkedése befoglaló ellipszisbe Köze van a terület / kerület arányhoz Lehetünk kreatívak: egy csomó egyéb BLOB jellemző található még ki! A BLOBOK HOGYAN HATÁROZHATÓK MEG EGYSZERŰEN / GYORSAN?

162 LÁNCKÓD á ítá h ték i l tá iój LÁNCKÓD számítás-hatékony implementációja ablakműveletekkel

163 LÁNCKÓD 4 szomszéd reprezentációja kontúr lánckódja:

164 LÁNCKÓD 8 szomszéd reprezentációja kontúr lánckódja:

165 4 sz. LÁNCKÓD implementáció 2x2 ablakművelettel legyen P egy objektumpont legyen Q egy 4-szomszédos háttérpont Q és P, relatív pozíciójától függően címkézzük a 2x2 es ablakon belül a maradék 2 pixelt: (U és V) az alábbi módon: CODE 0 CODE 1 CODE 2 CODE 3 V Q Q P P U U V U P V U Q V P Q

166 4 sz. LÁNCKÓD implementáció 2x2 ablakművelettel Legyen az objektumpontok értéke 1, a háttérpontok értéke 0 U és V értéke határozza meg, hogy merre forduljon a következő ő lépésben é az algoritmus: U V P Q fordulás kód * X 1 V Q jobbra CODE U V iránytartás CODE 0 0 P U balra CODE+1 * modulo 4 számlálóval implementálható

167 4-sz. LÁNCKÓD implementáció 2x2 ablakművelettel V Q P 1 QU Q V VP U P U CODE 0 V Q CODE 1 Q P CODE 2 P U CODE 3 U V QV UP U P V U Q V P Q V U U V P Q TURN CODE * X 1 V Q RIGHT CODE U V NONE CODE 0 0 P U LEFT CODE+1 * Implement as a modulo 4 counter

168 8-sz. LÁNCKÓD implementáció 3x3 ablakművelettel Legyen P egy objektumpont és R 0 egy 4-szomszédú háttérpont. Legyen az objektumpontokhoz 1, a háttérpontokhoz 0 rendelve. Rendeljük P 8-szomszédos környezetéhez R 0, R 1,, R7 címkéket az alábbi sorrendben: R 7 R 0 R 6 P R 5 R 4 R 1 R 2 R 3

169 8-sz. LÁNCKÓD implementáció 3x3 ablakművelettel R 7 R 6 R 7 R 6 R5 R P 5 R 0 7 R 0 P R 1 6 R R 5 R 4 R R R P 2 6 R R 1 0 R P 7 2 R R 7 R 5 ALGORITMUS: i=0 R 1 R 0 2 P R 6 R 5 WHILE (R i ==0) { i++ } MOVE PtoR i R 1 R P R 4 SET i=0 JUMP to next search R 1 R 2 R 3

170 INVARIÁNS LÁNCKÓD számítási algoritmusok

171 A LÁNCKÓD problémái (és a megoldások) Kezdőpont függő Orientáció függő Alakfelismeréshez biztosítani kellene a lánckód invarianciáját Normalizált kódolás Differenciális kódolás

172 Normalizálás Sorba rendezve Az első sor lesz a normalizált kód

173 Differenciális lánckód 90 o normalizálás normalizálás Differencális kódolás: d k =c k -c k-1 (modulo 4) 4-szomszédú lánckód esetén d k =c k -c k-1 (modulo 8) 8-szomszédú lánckód esetén

174 Invariáns alakleírás: Normalizált Differenciális Lánckód Differenciális kód: differenciálás differenciálás d k =c k -c k-1 (mod 4) normalizálás normalizálás A kezdőpont eltolás és a tényleges elforgatás (90 o -al) dacára a két alakleírás ugyanazt a kódot adja

175 Egy másik stratégia az invariáns alakleírásra: Fourier leírók z(k)=x(k)+j y(k) DFT a( n) 1 N N k 1 z( k) e j 2 nk / N {x(k),y(k)}, k=1,2,..,n Fourier együtthatók z ( k ) N n IDFT 1 a ( n ) e N 1 j2 nk / N Itt csak röviden utalni az előnyökre! Csak1 dimenziós (kontúr menti) Fourier transzformáció Együtthatók jelentése (1D és 2 D transzformáció esetében eltérő a szemléltetés) Eltolás, elforgatás (kezdőpont eltolás ill. tényleges elforgatás), skálázás hatása Fourier együtthatókból képezhetők ugyanúgy INVARIÁNS ALAKEGYÜTTHATÓK

176 Például: zˆ( k ) P 1 a ( n ) e N 1 n j2 nk / N P : a visszaállításhoz figyelembevett együtthatók száma