7. Sarokpontok detektálása Kató Zoltán Képfeldolgozás és Számítógépes Grafika tanszék SZTE http://www.inf.u-szeged.hu/~kato/teaching/
2 Jellemzők és megfeleltetésük A képfeldolgozás számítógépes látás számos területén felmerülő probléma eg látvánról készült képpár közötti pontmegfeleltetések megkeresése. Ehhez megbízható jellemzőket tipikusan sarokpontokat nerünk ki a képekről Majd a kinert pontokat megfeleltetjük egmásnak.
3 Alkalmazások Képek illesztése regisztráció 3D rekonstrukció sztereo Mozgáskövetés Robot navigació Képi adatbázisok indeelése Objektumok azonosítása...
4 Példa: panoráma kép készítés 1. Jellemzőpontok detektálása mindkét képen 2. Kinert pontok megfeleltetése 3. Megfeleltetések alapján a képpár illesztése
5 Megválaszolandó kérdések Melek azok a pontok ameleket megbízható módon detektálhatunk a képeken? Sarokpontok Hogan tudjuk leírni/jellemezni a kinert pontokat? nvariáns jellemzők Hogan feleltessünk meg két képről kinert pontokat? Jellemzők összehasonlítása robusztusság
6 Sarokpontok Slides from Rick Szeliski Svetlana Lazebnik and Kristin Grauman
7 Sarokpont detektálás Sarokpont = élek találkozása Élek ott vannak ahol a képfüggvén valamel iránban nagot változik Két él találkozásánál a képfüggvén mindkét iránban nagot változik Sarokpontok jól ellenállnak a különböző geometriai és fotometriai deformációnak Megbízhatóan detektálhatóak Eg objektum a sarokpontjaival stabilan leírható C.Harris and M.Stephens. "A Combined Corner and Edge Detector. Proceedings of the 4th Alve Vision Conference: pages 147--151.
8 Source: A. Efros Sarokpont detektálás Eg csúszóablakot vizsgálva ott lesz sarokpont ahol az ablakot bármilen iránba mozgatva nag képfüggvén változást tapasztalunk sima régió: egik iránban sincs változás él : az él iránában nincs változás sarok : jelentős változás minden iránban
9 Sarokpont detektálás: matematikai modell A w ablak tartalmának változása eg [uv] eltolás hatására: Lénegében auto-korrelációt számolunk 2 E u v w u v Eu v E32 E00 w
10 Euv változása 1. Megfelelően változatos intenzitástartalom jó lokális minimum 2. Élek mentén csak az egik iránban van lokalis minimum 3. Homogén területen Euv alig változik 1. 2. 3.
11 Source: R. Szeliski Sarokpont detektálás: matematikai modell A w ablak tartalmának változása eg [uv] eltolás hatására: Azt szeretnénk vizsgálni hog kis eltolások esetén hogan viselkedik Eu v. 2 E u v w u v Ablak függvén Eltolt intenzitás ntenzitás Ablak súlfüggvén w = vag Doboz: 1 belül 0 kívül Gauss
Euv változásának jellemzése Fejtsük Talor sorba Euv-t a 00 körül a másod rendű kvadratikus tagig: 12 v u E E E E v u E E v u E v u E vv uv uv uu v u 00 00 00 00 ] [ 2 1 00 00 ] [ 00 2 2 2 2 2 v u v u w v u v u w v u E v u v u w v u v u w v u E v u v u w v u E uv uu u
Euv változásának jellemzése Mivel Ezért az alábbi közelítést kapjuk amelet közvetlenül a képfüggvén parciális deriváltjaival fejezhetünk ki 13 v u w w w w v u v u E 2 2 ] [ 2 00 2 00 2 00 0 00 0 00 0 00 w E w E w E E E E uv vv uu v u
Euv változásának jellemzése A kvadratikus közelítés tehát az alábbi alakban írható: Ahol M a képfüggvén deriváltjainak második momentum mátria: 14 v u M v u v u E ] [ T w w w M 2 2
Az M második momentum mátri Az Euv felszín lokális approimációja kvadratikus alakban 15 v u M v u v u E ] [ w M 2 2
Tengel állású sarokpont esetén M diagonális lesz hiszen a domináns gradiens iránok egbeesnek az és tengelekkel Ha valamelik λ 0 akkor ez nem sarokpont! 16 2 1 2 2 0 0 M
17 Általános esetben Vegük észre hog a kvadratikus approimáció következtében a felszín bármel horizontális szelete eg ellipszis lesz M diagonalizálható Ez geometriailag eg R forgatást jelent u [ u v] M v Algebrailag a sajátértékek meghatározásáról van szó Ezzel visszavezettük az előző esetre M const R 1 0 1 R 0 2
18 M mint ellipszis jellemzése A tengelek hosszát a sajátértékek adják A tengelek iránát pedig az R forgatási mátri adja Leggorsabb változás irána Leglassabb változás irána ma -1/2 min -1/2 M R 1 0 1 R 0 2
19 A sajátértékek jelentése A képünk pontjait osztálozhatjuk M sajátértékei alapján 2 él 2 >> 1 sarok 1 és 2 nag 1 ~ 2 ; E minden iránban növekszik 1 és 2 kicsi; E közel konstans minden iránban sima régió él 1 >> 2 1
20 Sarkosságot jellemző függvén R det M trace M 2 1 2 1 2 2 α: konstans 0.04-0.06 él R < 0 sarok R > 0 sima régió R small él R < 0
21 Harris sarokdetektáló algoritmus 1 Számítsuk ki az M mátriot minden eges képpont feletti ablakban és ebből megkapjuk az R sarkossági jellemzőt 2 Keressük meg azokat a pontokat amelekre a sargossági érték elegendően nag R > küszöb 3 Tartsuk meg ezekből a lokális maimumokat vagis nomjuk el a nem-maimumokat C.Harris and M.Stephens. A Combined Corner and Edge Detector. Proceedings of the 4th Alve Vision Conference: pages 147 151 1988.
22 Harris sarokdetektáló algoritmus működése
23 Harris sarokdetektáló algoritmus működése R sarkossági jellemző értékei
24 Harris sarokdetektáló algoritmus működése küszöbölés eredméne: R>küszöb
25 Harris sarokdetektáló algoritmus működése Lokális maimumok meghagása
26 Harris sarokdetektáló algoritmus működése
27 Harris sarokdetektor
28 nvariancia A sarokpontok detekciójának invariánsnak kell lennie a fotometriai és geometriai transzformációkra. Vagis eg sarokpontot akkor is megbízhatóan kell detektálnunk ha a két kép fotometriai tulajdonságai különböznek pl. más a megvilágítás vag a két kép között geometriai eltérés van pl. forgatás skálázás
29 Harris: Fotometriai részleges invariancia Mivel csak deriváltakat használunk ezért az intenzitáseltolásra invariáns lesz + b A skálázásra már csak részlegesen invariáns küszöbértéktől is függ a küszöb R R kép koordináta kép koordináta
30 Harris: eltolásra és forgatásra invariáns Az ellipszisek elfordulnak de az alakjuk vagis a sajátértékük nem változik. Az R sarkosság-jellemző invariáns a kép elforgatására A deriválás és az ablakozás invariáns az eltolásra Az R sarkosság-jellemző invariáns a kép eltolására
31 Harris: skálázásra nem invariáns Valamenni pont élként lesz detektálva Sarokpont! Hogan detektálhatunk skála-invariáns egmásnak megfeleltethető sarokpontokat?
36 Többfelbontású képpiramis Gauss piramis Laplace piramis
37 Gauss piramis Kép kicsinítése = alul mintavételezés simítás szükséges! Gauss szűrővel simítva Gauss piramist kapunk Vegük észre hog gauss*gauss=újabb gauss Mivel a Gauss szűrő aluláteresztő ezért a reprezentáció redundáns.
38 Gauss piramis Aluláteresztő szűrő: minden szinten jelen vannak az alacson frekvenciák vagis redundáns
39 Laplace piramis 1 G 1 1 2 2 3 F G 3 3 3 FG 1 11 F G 2 2 2 FG 1 1 1 Előállítható a Gauss piramis két szomszédos rétegének különbségeként
40 Laplace piramis Sáváteresztő szűrő: minden szinten más és más frekvenciákat reprezentál vagis nem redundáns
42 Skála-invaráns detektálás Tekintsünk különböző méretű régiókat pl. köröket eg pont körül Ezzel ekvivalens ha megfelelő képpiramis változó felbontású szintjein azonos mérettel keresünk Az egmásnak megfelelő méretek hasonlóan néznek ki mindkét képen
43 Skála-invaráns detektálás Hogan válasszuk ki egmástól függetlenül a megfelelő köröket?
44 Automatikus skála meghatározás Konstruáljunk eg skála-invariáns függvént Uganazt az értéket kell adnia az egmásnak megfelelő régiókon akkor is ha azok különböző felbontásúak Például átlagintenzitás: állandó marad akkor is ha a felbontás változik Eg adott képpont esetén ezt tekinthetjük az ablakméret függvénének f mage 1 f mage 2 scale = 1/2 Régió mérete Régió mérete
45 Automatikus skála meghatározás Tekintsük a függvén lokális maimumát Vegük észre hog ez független lesz a mérettől! FONTOS: ez a skála-invariáns méret a két képen egmástól függetlenül megtalálható! f mage 1 f mage 2 scale = 1/2 s 1 Régió mérete s 2 Régió mérete
47 Automatikus skála meghatározás Függvén érték növekvő skála esetén scale signature f i i 1 i i m f 1 m K. Grauman B. Leibe 47
48 Automatikus skála meghatározás Függvén érték növekvő skála esetén scale signature f i i 1 i i m f 1 m K. Grauman B. Leibe 48
49 Automatikus skála meghatározás Függvén érték növekvő skála esetén scale signature f i i 1 i i m f 1 m K. Grauman B. Leibe 49
50 Automatikus skála meghatározás Függvén érték növekvő skála esetén scale signature f i i 1 i i m f 1 m K. Grauman B. Leibe 50
51 Automatikus skála meghatározás Függvén érték növekvő skála esetén scale signature f i i 1 i i m f 1 m K. Grauman B. Leibe 51
52 Automatikus skála meghatározás Függvén érték növekvő skála esetén scale signature f i i i i m f 1 m K. Grauman B. Leibe 1 52
53 Automatikus skála meghatározás Használjuk a detektor által meghatározott skálát a megfeleltetéshez használt leírók kiszámításához a normalizált képtérben [mages from T. Tutelaars]
54 Skála invariáns detektálás A skála-detektáláshoz alkalmas függvénnek egetlen jól meghatározott csúcsa van f rossz f rossz f OK! Régió méret Régió méret Régió méret len például eg olan függvén ami a kontrasztra reagál vagis a lokális intenzitásváltozásokra
55 Signature Function megválasztása Laplacian-of-Gaussian = blob detector K. Grauman B. Leibe 55
56 Karakterisztikus skála Karakterisztikus skálának nevezzük azt a skálát amelen a Laplace válasz csúcsértéket produkál Karakterisztikus skála T. Lindeberg 1998. "Feature detection with automatic scale selection." nternational Journal of Computer Vision 30 2: pp 77--116. Source: Lana Lazebnik
57 Laplacian-of-Gaussian LoG skála-tér Jellemző pontok: A Laplacian-of-Gaussian LoG skála-tér lokális szélsőhelei 5 4 L L 3 2 σ lista K. Grauman B. Leibe
58 Skála-tér blob detektor példa Source: Lana Lazebnik
59 Skála-tér blob detektor példa Source: Lana Lazebnik
60 Skála-tér blob detektor példa Source: Lana Lazebnik
Resample Blur Subtract 61 Jellemző pontok kinerése DoG segítségével Detektáljuk a differenceof-gaussian DoG szélsőheleit skála-térben ma min eg 3*3*3 szomszédságban Küszöböljük az értékeket Elimináljuk az élválaszokat Az íg kapott pontok listája: σ
62 Példa jellemző pontok kinerésére a 233189 kép b 832 DOG maimum c 729 maradt küszöbölés után d 536 maradt a sarkosság ellenőrzése után élválaszok törlése
63 Skála invariáns sarok-detektálás nput: két kép ugnazon látvánról nag felbontásbeli különbséggel Cél: detektáljuk ugnazon jellemző pontokat mindkét képen függetlenül a képmérettől Megoldás: keressük a maimumát eg megfelelően konstruált függvénnek a skála- és képtérben
Laplacian DoG 64 Skála invariáns sarok-detektálás Harris-Laplacian 1 Keressük meg a lokális maimumait: Harris sarokdetektor a képen Laplacian a skálatérben scale Harris SFT Lowe 2 Keressük meg a lokális maimumait: Difference of Gaussians DoG a skála- és képtérben scale DoG 1 K.Mikolajczk C.Schmid. ndeing Based on Scale nvariant nterest Points. CCV 2001 2 D.Lowe. Distinctive mage Features from Scale-nvariant Kepoints. JCV 2004
65 Felhasznált anagok Palági Kálmán: Digitális Képfeldolgozás /pub/digitalis_kepfeldolgozas Trevor Darrell: C280 Computer Vision http://www.cs.cmu.edu/afs/cs/academic/class/15385- s06/lectures/ppts/ Srinivasa Narasimhan: Computer Vision http://www.cs.cmu.edu/afs/cs/academic/class/15385-s12/www/ James Has: CS 143 Computer Vision Brown Universit http://www.cs.brown.edu/courses/cs143/ További források az eges diákon megjelölve