HÁROMDIMENZIÓS SZÁMÍTÓGÉPES LÁTÁS HAJDER LEVENTE

HÁROMDIMENZIÓS SZÁMÍTÓGÉPES LÁTÁS HAJDER LEVENTE

BEMUTATKOZÁS Hajder Levente (1975-?) Tanulmányok: BME első kísérlet 1993-1995 Kandó Kálmán Műszaki Főiskola (Ma: Óbudai Egyetem) 1995-1998 BME második, sikeres kísérlet 1999-2002 PhD: 2002-2007, BME/SZTAKI, védés: 2008. január Munkahelyek Vállalkozó 1998-2000 Weblapok, adatbázisok MTA SZTAKI Fejlesztő 2000-2002, doktorandusz 2002-2007, kutató 2007-2018 ELTE Óraadó 2012-2017 Adjunktus, docens 2017-?

BEMUTATKOZÁS Geometriai Számítógépes Látás Csoport Tagok: Doktoranduszok Baráth Dániel Eichhardt Iván Pusztai Zoltán MSc/BSc hallgatók Tóth Tekla Szeier Soma Lénárt Mátyás Diplomázók/szakdolgozók kb. 5 fő Oktatott tárgyak Számítógépes grafika Számítógépes látás GPU-k általános célú programozása (GPGPU) Felület és testmodellezés (?)

ARS SCIENTIA Miért éppen háromdimenziós számítógépes látás? Érdekes, látványos terület Számtalan gyakorlati (!) alkalmazással Hallgatók érdeklődését könnyen fel lehet kelteni Témavezetői javaslatra, életre szóló kutatás Feldolgozandó adatmennyiség valós idejű alkalmazásokhoz hatalmas Problémák hagyományos módszerekkel nehezen kezelhetőek Miért éppen projektív geometria? Több tudományág támaszkodik rá: Fotogrammetria Számítógépes grafika Számítógépes látás Virtuális és kiterjesztett valóság Viszonylag új, az 1990-es évek óta intenzíven kutatott terület Látványos eredmények, ösztönző feladatok

ARS SCIENTIA Miért éppen becslési módszerek? Matematikailag megalapozott eszközkészlet Sőt: alkalmazott matematika Optimalitást időnként bizonyítani lehet Algoritmusok helyessége könnyeben bizonyítható Kutatói alapelvek Elmélet és a gyakorlat jóbarátok Igazi kutató próbálja megérteni a módszereket, nem csak használja azokat. Tudományos cikkek minősége sokszor gyalázatos Bírálatok minősége sokszor gyalázatos Fake results Kifejlesztett algoritmusokat rendesen le kell tesztelni Inverz tesztelés kerülendő Tudományt (is) a specializáció viszi előre

TUDOMÁNYOS ÁTTEKINTÉS

TÉRBELI SÍKDARAB VETÜLETEI Perspektív kamera: középpontos vetítést valósít meg

PONTALAPÚ MEGKÖZELÍTÉS Perspektív kamera: középpontos vetítést valósít meg

AFFIN TRANSZFORMÁCIÓK Újszerű megközelítés: minták torzulásainak felhasználása Torzulás értékes információt tartalmaz

PÉLDA: JÁRMŰ POZÍCIÓJÁNAK MEGHATÁROZÁSA (KÉPPÁRON) Kijelölt területek alakváltozása függ a felület távolságától

AFFIN TRANSZFORMÁCIÓK: SZAKIRODALMI ÁTTEKINTÉS Ismereteink szerint rajtunk kívül három kutatócsoport foglalkozik becslésekkel affin transzformációból: Kevin Köser, Reinhard Koch 2007 2010 Normálvektor és Kamera külső paramétereinek (speciális eset) becslése, 3D rekonstrukció (érintőlegesen). Carolina Raposo, João Pedro Barreto 2009 től Homográfia (2 pontos algoritmus) és Epipoláris geometria becslése, 3D rekonstrukció. Jacob Bentolila, Joseph M. Francos 2011 2014 Homográfia, fundamentális mátrix becslése (képi alapon), Epipólus becslése.

HÁROMDIMENZIÓS LÁTÁS ÉS AFFIN TRANSZFORMÁCIÓK Pontok vetítése: u=π u( X Y Z ) v=π v( X Y Z )

HÁROMDIMENZIÓS LÁTÁS ÉS AFFIN TRANSZFORMÁCIÓK [ u v] + [ Δ u Δv] = [ u v] +A [ Δα A=[ π u Δβ], α π v α π u ] β π v β Ahol A az affin transzformáció a felület és a kép között

HÁROMDIMENZIÓS LÁTÁS ÉS AFFIN TRANSZFORMÁCIÓK Mindkét képhez külön affin transzformáció alkalmazható a térbeli mintához képest: [ u 1 1] v + [ Δ u 1 1] Δ v = [ α β] +A 1[ Δα Δβ] [ u 2 2] v + [ Δ u 2 2] Δv = [ α β] + A 2[ Δ Δβ] α Két kép között: [ u 2 v 2] + [ Δ u 2 Δv 2] = [ u 1 v 1] + A 21[ Δu 1 Δ v 1] A 21 =A 2 A 1 1 Az Aij affin transzformációkat az i-dik és j-edik kép között képfeldolgozási műveletekkel meg lehet határozni.

AFFIN TRANSZFORMÁCIÓK: SZAKIRODALMI ÁTTEKINTÉS Algebrai levezetés után: A 12 = 1 5[ nt w 1 n T w 2 4] n T w n T w 3 n T w ahol w 1 = π v,1 π v,1 w 2 = π u,2 π u,1 w 3 = π v,1 π v,2 w 4 = π v,2 π u,1 w 5 = π v,1 π u,1 Az affin transzformáció függ a felületi n normálvektortól és a vetítőfüggvény gradiensétől. Daniel Barath, József Molnár, Levente Hajder: Novel Methods for Estimating Surface Normals from Affine Transformations. VISIGRAPP (Selected Papers) 2015: 316-337

LEGGYAKORIBB ESET: PERSPEKTÍV TRAFÓ A vetítő függvény: [ u 1] [P11 P12 P13 P14 v P 21 P 22 P 23 P 24 Y Z P 31 P 32 P 33 P 34][X ] 1 Koordinátákkal kifejezve: u=π u ( X,Y, Z )= P 11 X +P 12 Y +P 13 Z+P 14 P 31 X +P 32 Y +P 33 Z+P 34 v=π v ( X,Y,Z )= P 21 X + P 22Y +P 23 Z+P 24 P 31 X +P 32 Y +P 33 Z+P 34 Affin transzformáció π u = 1 s[p 11 +u P 31 P 12 +u P 32 P 13 +u P 33] π u = 1 [P21+v P31 P s 22 +v P 32 P 23 +u P 33] ahol s=p 31 X +P 31 Y +P 31 Z+P 34

SPECIÁLIS ESET: SÍKOK MEGFIGYELÉSE KÉT KÉPPEL

SPECIÁLIS ESET: SÍKOK MEGFIGYELÉSE KÉT KÉPPEL A transzformáló függvény: [u ] [H 2 11 H 12 H 13 v 2 H 21 H 22 H 23 v 1 1 H 31 H 32 H 33][u1 ] 1 Koordinátákkal kifejezve: u 2 =π u (u 1, v 1 )= H 11u 1 +H 12 v 1 +H 13 H 31 u 1 +H 32 v 1 +H 33 v 2 =π v (u 1, v 1 )= H 21 u 1 +H 22 v 1 + H 23 H 31 u 1 +H 32 v 1 +H 33 Affin transzformáció: u u A 12 =[ π 1 π v u 1 π u v 1 π v v 1 1 s[ ]= H 11 H 31 u 1 H 12 H 32 u 1 H 21 H 31 v 1 H 22 H 32 v 1] ahol s=h 31 u 1 +H 32 v 1 +P 33

ALKALMAZÁS #4 SÍKHOMOGRÁFIA BECSLÉSE Alapelvek: Két képen a síkfelületek vetülete között a homográfia teremt kapcsolatot. Affin transzformáció a pontok helyei és a homográfia segítségével meghatározhatóak. Fordítva: affin transzformáció és a pontok helyei megadják a homográfiát. Javasolt algoritmusaink: 3 pontból homográfia becslés általános esetben. 1 pontból(!) homográfia becslés, ismert (epipoláris) geometria esetén. Epipoláris geometria affin transzformációk nélkül meghatározható. Daniel Barath, Levente Hajder: A theory of point-wise homography estimation. Pattern Recognition Letters 94: 7-14 (2017)

ALKALMAZÁS #1 FELÜLETI NORMÁLVEKTOROK BECSLÉSE Affin transzformációk a felületi normálvektorok, a kameraparaméterek és a kétdimenziós pontok helyeinek függvénye. Kalibrált esetben a normálvektorok optimálisan meghatározhatóak, ha ismertek a kamera paraméterek, a pontmegfeleltetések mindkét képen és az affin transzformáció. Daniel Barath, József Molnár, Levente Hajder: Novel Methods for Estimating Surface Normals from Affine Transformations. VISIGRAPP (Selected Papers) 2015: 316-337

ALKALMAZÁS #2 KAMERA KALIBRÁCIÓ Affin transzformációk a felületi normálvektorok, a kameraparaméterek és a kétdimenziós pontok helyeinek függvénye. A kamera paraméterek meghatározhatóak, ha ismertek a felületi normálvektorok, a pontmegfeleltetések mindkét képen és az affin transzformáció. Ivan Eichhardt, Levente Hajder: Improvement of camera calibration using surface normals. International Conference on Pattern Recognition 2016: 3745-3750

ALKALMAZÁS #3 HÁROMDIMENZIÓS REKONSTRUKCIÓ A hagyományos pontalapú módszerhez képesti többlet: Felületi normálvektor számítható. Elvileg képpáronként lehet affin transzformációt számítani -> növekvő információ. Takarás értelemszerűen határt szab. Normálvektorokat, térbeli pontokat és kamera paramétereket egyaránt lehet becsülni. Numerikus algoritmust ( bundle adjustment ) feladatra adaptáltunk. Ivan Eichhardt, Levente Hajder: Computer Vision Meets Geometric Modeling: Multi-view Reconstruction of Surface Points and Normals using Affine Correspondences. International Conference on Computer Vision, M3D Workshop, 2017: 2427-2435.

ALKALMAZÁS #5 JÁRMŰ TRAJEKTÓRIÁJÁNAK BECSLÉSE Alapelvek: Kamerának merőlegesnek kell lennie a talaj síkjával. Síkban mozgás felírható két paraméterrel. Fordulás Haladás iránya Pontmegfeleltetés egy, affin transzformáció két egyenletet ad. Javasolt algoritmus: 1 pontból és affin transzformációból minden meghatározható Feladat túlhatározott! Daniel Barath, Tekla Toth, Levente Hajder: A Minimal Solution for Two-View Focal-Length Estimation Using Two Affine Correspondences. CVPR 2017: 2557-2565 Levente Hajder, Daniel Barath. Robust Motion from a Single Affine Correspondence for Vehicle Mounted Cameras. Submitted to ECCV 2018.

EGYÉB EREDMÉNYEK

LIDAR ÉS RGB KAMERÁK ÖSSZEKALIBRÁLÁSA LIDAR és RGB kamera rendszerek összekalibrálása Egyszerű dobozok segítségével Zoltán Pusztai, Levente Hajder: Accurate Calibration of LiDAR-Camera Systems using Ordinary Boxes. International Conference on Computer Vision, M3D Workshop, 2017 394-402.

FELÜLETILLESZTÉS LIDAR ADATOKRA Egyszerű geometriai alakzatok illesztése Sík Gömb Hengerpalást (Tóth Tekla munkája)

SZABAD TERÜLET DETEKTÁLÁSA Szabad terület: nincsen akadály Cél: ütközés elkerülése Manőverezés (Lénárt Mátyás munkája)

STRUKTURÁLT FÉNY ALAPÚ REKONSTRUKCIÓ Nagypontosságú rekonstrukció pontkövető algoritmusok teszteléséhez Csíkok segítenek a geometria rekonstrukciójában Pontos kalibráció szükséges Zoltán Pusztai, Levente Hajder: A Turntable-based Approach for Ground Truth Tracking Data Generation. VISIGRAPP (3: VISAPP) 2016: 500-511. Zoltán Pusztai, Levente Hajder: Quantitative Comparison of Affine Invariant Feature Matching. VISIGRAPP (6: VISAPP) 2017: 515-522.

ALKALMAZÁSI TERÜLETEK (WPSFM) Structure from Motion Kamera kalibráció és Térbeli rekonstrukció együtt Kizárólag pontmegfeleltetés alapján Gyengén perspektív kameramodell alkalmazásával Levente Hajder: W-PnP Method: Optimal Solution for the Weak- Perspective n-point Problem and Its Application to Structure from Motion. VISIGRAPP (6: VISAPP) 2017: 265-276

ÖSSZEFOGLALÁS Számítógépes látás érdekes, perspektívikus terület Affin transzformációk alkalmazása tudományosan is újdonság Számítási teljesítmény most teszi lehetővé a valósidejű feldolgozást GPU-k alkalmazása szinte elkerülhetetlen Iparban nagy igény van szakemberekre Nagy kereslet, nagyobb fizetés Hosszú távra alkalmas kutatási terület Mélytanulás nélkül

KÖSZÖNÖM A FIGYELMET!