HÁROMDIMENZIÓS SZÁMÍTÓGÉPES LÁTÁS HAJDER LEVENTE

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "HÁROMDIMENZIÓS SZÁMÍTÓGÉPES LÁTÁS HAJDER LEVENTE"

Dezső Mezei
5 évvel ezelőtt
Látták:

1 HÁROMDIMENZIÓS SZÁMÍTÓGÉPES LÁTÁS HAJDER LEVENTE

2 BEMUTATKOZÁS Hajder Levente (1975-?) Tanulmányok: BME első kísérlet Kandó Kálmán Műszaki Főiskola (Ma: Óbudai Egyetem) BME második, sikeres kísérlet PhD: , BME/SZTAKI, védés: január Munkahelyek Vállalkozó Weblapok, adatbázisok MTA SZTAKI Fejlesztő , doktorandusz , kutató ELTE Óraadó Adjunktus, docens 2017-?

3 BEMUTATKOZÁS Geometriai Számítógépes Látás Csoport Tagok: Doktoranduszok Baráth Dániel Eichhardt Iván Pusztai Zoltán MSc/BSc hallgatók Tóth Tekla Szeier Soma Lénárt Mátyás Diplomázók/szakdolgozók kb. 5 fő Oktatott tárgyak Számítógépes grafika Számítógépes látás GPU-k általános célú programozása (GPGPU) Felület és testmodellezés (?)

4 ARS SCIENTIA Miért éppen háromdimenziós számítógépes látás? Érdekes, látványos terület Számtalan gyakorlati (!) alkalmazással Hallgatók érdeklődését könnyen fel lehet kelteni Témavezetői javaslatra, életre szóló kutatás Feldolgozandó adatmennyiség valós idejű alkalmazásokhoz hatalmas Problémák hagyományos módszerekkel nehezen kezelhetőek Miért éppen projektív geometria? Több tudományág támaszkodik rá: Fotogrammetria Számítógépes grafika Számítógépes látás Virtuális és kiterjesztett valóság Viszonylag új, az 1990-es évek óta intenzíven kutatott terület Látványos eredmények, ösztönző feladatok

5 ARS SCIENTIA Miért éppen becslési módszerek? Matematikailag megalapozott eszközkészlet Sőt: alkalmazott matematika Optimalitást időnként bizonyítani lehet Algoritmusok helyessége könnyeben bizonyítható Kutatói alapelvek Elmélet és a gyakorlat jóbarátok Igazi kutató próbálja megérteni a módszereket, nem csak használja azokat. Tudományos cikkek minősége sokszor gyalázatos Bírálatok minősége sokszor gyalázatos Fake results Kifejlesztett algoritmusokat rendesen le kell tesztelni Inverz tesztelés kerülendő Tudományt (is) a specializáció viszi előre

6 TUDOMÁNYOS ÁTTEKINTÉS

7 TÉRBELI SÍKDARAB VETÜLETEI Perspektív kamera: középpontos vetítést valósít meg

8 PONTALAPÚ MEGKÖZELÍTÉS Perspektív kamera: középpontos vetítést valósít meg

9 AFFIN TRANSZFORMÁCIÓK Újszerű megközelítés: minták torzulásainak felhasználása Torzulás értékes információt tartalmaz

10 PÉLDA: JÁRMŰ POZÍCIÓJÁNAK MEGHATÁROZÁSA (KÉPPÁRON) Kijelölt területek alakváltozása függ a felület távolságától

11 AFFIN TRANSZFORMÁCIÓK: SZAKIRODALMI ÁTTEKINTÉS Ismereteink szerint rajtunk kívül három kutatócsoport foglalkozik becslésekkel affin transzformációból: Kevin Köser, Reinhard Koch Normálvektor és Kamera külső paramétereinek (speciális eset) becslése, 3D rekonstrukció (érintőlegesen). Carolina Raposo, João Pedro Barreto 2009 től Homográfia (2 pontos algoritmus) és Epipoláris geometria becslése, 3D rekonstrukció. Jacob Bentolila, Joseph M. Francos Homográfia, fundamentális mátrix becslése (képi alapon), Epipólus becslése.

12 HÁROMDIMENZIÓS LÁTÁS ÉS AFFIN TRANSZFORMÁCIÓK Pontok vetítése: u=π u( X Y Z ) v=π v( X Y Z )

13 HÁROMDIMENZIÓS LÁTÁS ÉS AFFIN TRANSZFORMÁCIÓK [ u v] + [ Δ u Δv] = [ u v] +A [ Δα A=[ π u Δβ], α π v α π u ] β π v β Ahol A az affin transzformáció a felület és a kép között

14 HÁROMDIMENZIÓS LÁTÁS ÉS AFFIN TRANSZFORMÁCIÓK Mindkét képhez külön affin transzformáció alkalmazható a térbeli mintához képest: [ u 1 1] v + [ Δ u 1 1] Δ v = [ α β] +A 1[ Δα Δβ] [ u 2 2] v + [ Δ u 2 2] Δv = [ α β] + A 2[ Δ Δβ] α Két kép között: [ u 2 v 2] + [ Δ u 2 Δv 2] = [ u 1 v 1] + A 21[ Δu 1 Δ v 1] A 21 =A 2 A 1 1 Az Aij affin transzformációkat az i-dik és j-edik kép között képfeldolgozási műveletekkel meg lehet határozni.

15 AFFIN TRANSZFORMÁCIÓK: SZAKIRODALMI ÁTTEKINTÉS Algebrai levezetés után: A 12 = 1 5[ nt w 1 n T w 2 4] n T w n T w 3 n T w ahol w 1 = π v,1 π v,1 w 2 = π u,2 π u,1 w 3 = π v,1 π v,2 w 4 = π v,2 π u,1 w 5 = π v,1 π u,1 Az affin transzformáció függ a felületi n normálvektortól és a vetítőfüggvény gradiensétől. Daniel Barath, József Molnár, Levente Hajder: Novel Methods for Estimating Surface Normals from Affine Transformations. VISIGRAPP (Selected Papers) 2015:

16 LEGGYAKORIBB ESET: PERSPEKTÍV TRAFÓ A vetítő függvény: [ u 1] [P11 P12 P13 P14 v P 21 P 22 P 23 P 24 Y Z P 31 P 32 P 33 P 34][X ] 1 Koordinátákkal kifejezve: u=π u ( X,Y, Z )= P 11 X +P 12 Y +P 13 Z+P 14 P 31 X +P 32 Y +P 33 Z+P 34 v=π v ( X,Y,Z )= P 21 X + P 22Y +P 23 Z+P 24 P 31 X +P 32 Y +P 33 Z+P 34 Affin transzformáció π u = 1 s[p 11 +u P 31 P 12 +u P 32 P 13 +u P 33] π u = 1 [P21+v P31 P s 22 +v P 32 P 23 +u P 33] ahol s=p 31 X +P 31 Y +P 31 Z+P 34

17 SPECIÁLIS ESET: SÍKOK MEGFIGYELÉSE KÉT KÉPPEL

18 SPECIÁLIS ESET: SÍKOK MEGFIGYELÉSE KÉT KÉPPEL A transzformáló függvény: [u ] [H 2 11 H 12 H 13 v 2 H 21 H 22 H 23 v 1 1 H 31 H 32 H 33][u1 ] 1 Koordinátákkal kifejezve: u 2 =π u (u 1, v 1 )= H 11u 1 +H 12 v 1 +H 13 H 31 u 1 +H 32 v 1 +H 33 v 2 =π v (u 1, v 1 )= H 21 u 1 +H 22 v 1 + H 23 H 31 u 1 +H 32 v 1 +H 33 Affin transzformáció: u u A 12 =[ π 1 π v u 1 π u v 1 π v v 1 1 s[ ]= H 11 H 31 u 1 H 12 H 32 u 1 H 21 H 31 v 1 H 22 H 32 v 1] ahol s=h 31 u 1 +H 32 v 1 +P 33

ALKALMAZÁS #4 SÍKHOMOGRÁFIA BECSLÉSE Alapelvek: Két képen a síkfelületek

Affin transzformáció a pontok helyei és a homográfia segítségével

Fordítva: affin transzformáció és a pontok helyei megadják a homográfiát.

1 pontból(!) homográfia becslés, ismert (epipoláris) geometria esetén.

19 ALKALMAZÁS #4 SÍKHOMOGRÁFIA BECSLÉSE Alapelvek: Két képen a síkfelületek vetülete között a homográfia teremt kapcsolatot. Affin transzformáció a pontok helyei és a homográfia segítségével meghatározhatóak. Fordítva: affin transzformáció és a pontok helyei megadják a homográfiát. Javasolt algoritmusaink: 3 pontból homográfia becslés általános esetben. 1 pontból(!) homográfia becslés, ismert (epipoláris) geometria esetén. Epipoláris geometria affin transzformációk nélkül meghatározható. Daniel Barath, Levente Hajder: A theory of point-wise homography estimation. Pattern Recognition Letters 94: 7-14 (2017)

ALKALMAZÁS #1 FELÜLETI NORMÁLVEKTOROK BECSLÉSE Affin

kameraparaméterek és a kétdimenziós pontok helyeinek

Kalibrált esetben a normálvektorok optimálisan

pontmegfeleltetések mindkét képen és az affin transzformáció.

20 ALKALMAZÁS #1 FELÜLETI NORMÁLVEKTOROK BECSLÉSE Affin transzformációk a felületi normálvektorok, a kameraparaméterek és a kétdimenziós pontok helyeinek függvénye. Kalibrált esetben a normálvektorok optimálisan meghatározhatóak, ha ismertek a kamera paraméterek, a pontmegfeleltetések mindkét képen és az affin transzformáció. Daniel Barath, József Molnár, Levente Hajder: Novel Methods for Estimating Surface Normals from Affine Transformations. VISIGRAPP (Selected Papers) 2015:

ALKALMAZÁS #2 KAMERA KALIBRÁCIÓ Affin transzformációk a felületi

normálvektorok, a pontmegfeleltetések mindkét képen és az affin

21 ALKALMAZÁS #2 KAMERA KALIBRÁCIÓ Affin transzformációk a felületi normálvektorok, a kameraparaméterek és a kétdimenziós pontok helyeinek függvénye. A kamera paraméterek meghatározhatóak, ha ismertek a felületi normálvektorok, a pontmegfeleltetések mindkét képen és az affin transzformáció. Ivan Eichhardt, Levente Hajder: Improvement of camera calibration using surface normals. International Conference on Pattern Recognition 2016:

Normálvektorokat, térbeli pontokat és kamera paramétereket egyaránt lehet becsülni. Numerikus algoritmust ( bundle adjustment ) feladatra adaptáltunk.

22 ALKALMAZÁS #3 HÁROMDIMENZIÓS REKONSTRUKCIÓ A hagyományos pontalapú módszerhez képesti többlet: Felületi normálvektor számítható. Elvileg képpáronként lehet affin transzformációt számítani -> növekvő információ. Takarás értelemszerűen határt szab. Normálvektorokat, térbeli pontokat és kamera paramétereket egyaránt lehet becsülni. Numerikus algoritmust ( bundle adjustment ) feladatra adaptáltunk. Ivan Eichhardt, Levente Hajder: Computer Vision Meets Geometric Modeling: Multi-view Reconstruction of Surface Points and Normals using Affine Correspondences. International Conference on Computer Vision, M3D Workshop, 2017:

23 ALKALMAZÁS #5 JÁRMŰ TRAJEKTÓRIÁJÁNAK BECSLÉSE Alapelvek: Kamerának merőlegesnek kell lennie a talaj síkjával. Síkban mozgás felírható két paraméterrel. Fordulás Haladás iránya Pontmegfeleltetés egy, affin transzformáció két egyenletet ad. Javasolt algoritmus: 1 pontból és affin transzformációból minden meghatározható Feladat túlhatározott! Daniel Barath, Tekla Toth, Levente Hajder: A Minimal Solution for Two-View Focal-Length Estimation Using Two Affine Correspondences. CVPR 2017: Levente Hajder, Daniel Barath. Robust Motion from a Single Affine Correspondence for Vehicle Mounted Cameras. Submitted to ECCV 2018.

24 EGYÉB EREDMÉNYEK

Hajder: Accurate Calibration of LiDAR-Camera Systems using Ordinary

25 LIDAR ÉS RGB KAMERÁK ÖSSZEKALIBRÁLÁSA LIDAR és RGB kamera rendszerek összekalibrálása Egyszerű dobozok segítségével Zoltán Pusztai, Levente Hajder: Accurate Calibration of LiDAR-Camera Systems using Ordinary Boxes. International Conference on Computer Vision, M3D Workshop,

26 FELÜLETILLESZTÉS LIDAR ADATOKRA Egyszerű geometriai alakzatok illesztése Sík Gömb Hengerpalást (Tóth Tekla munkája)

27 SZABAD TERÜLET DETEKTÁLÁSA Szabad terület: nincsen akadály Cél: ütközés elkerülése Manőverezés (Lénárt Mátyás munkája)

STRUKTURÁLT FÉNY ALAPÚ REKONSTRUKCIÓ Nagypontosságú rekonstrukció pontkövető algoritmusok teszteléséhez Csíkok segítenek a geometria rekonstrukciójában Pontos kalibráció szükséges Zoltán Pusztai,

28 STRUKTURÁLT FÉNY ALAPÚ REKONSTRUKCIÓ Nagypontosságú rekonstrukció pontkövető algoritmusok teszteléséhez Csíkok segítenek a geometria rekonstrukciójában Pontos kalibráció szükséges Zoltán Pusztai, Levente Hajder: A Turntable-based Approach for Ground Truth Tracking Data Generation. VISIGRAPP (3: VISAPP) 2016: Zoltán Pusztai, Levente Hajder: Quantitative Comparison of Affine Invariant Feature Matching. VISIGRAPP (6: VISAPP) 2017:

ALKALMAZÁSI TERÜLETEK (WPSFM) Structure from Motion Kamera kalibráció és Térbeli rekonstrukció együtt Kizárólag pontmegfeleltetés alapján Gyengén perspektív kameramodell

29 ALKALMAZÁSI TERÜLETEK (WPSFM) Structure from Motion Kamera kalibráció és Térbeli rekonstrukció együtt Kizárólag pontmegfeleltetés alapján Gyengén perspektív kameramodell alkalmazásával Levente Hajder: W-PnP Method: Optimal Solution for the Weak- Perspective n-point Problem and Its Application to Structure from Motion. VISIGRAPP (6: VISAPP) 2017:

30 ÖSSZEFOGLALÁS Számítógépes látás érdekes, perspektívikus terület Affin transzformációk alkalmazása tudományosan is újdonság Számítási teljesítmény most teszi lehetővé a valósidejű feldolgozást GPU-k alkalmazása szinte elkerülhetetlen Iparban nagy igény van szakemberekre Nagy kereslet, nagyobb fizetés Hosszú távra alkalmas kutatási terület Mélytanulás nélkül

31 KÖSZÖNÖM A FIGYELMET!

Hasonló dokumentumok

Számítógépes látás alapjai

Számítógépes látás alapjai Csetverikov Dmitrij, Hajder Levente Eötvös Lóránd Egyetem, Informatikai Kar Csetverikov, Hajder (ELTE Informatikai Kar) Számítógépes látás 1 / 44 Többkamerás 3D-s rekonstrukció