Járművek és kamerák: önvezetés és tájékozódás Szirányi Tamás MTA SZTAKI, Gépi Érzékelés Kutatólabor KJK ALR Tsz. Email: sziranyi.tamas@sztaki.mta.hu
Érzékelők hálózatba kötve Nagyfelbontású videókamera Hőkamerák Kinect MESA ToF kamera LIDAR lézer szkenner 10/24/2016 2
10/24/2016 3 MTA SZTAKI / MPLab Mozgáselemzés többféle kamerával Thermal ToF Video Motion mask
Érzékelő járművek 10/24/2016 4
Az érzékelő zónák 10/24/2016 5
A vezető figyelése: Ki és mit figyel, és miért? 10/24/2016 6
10/24/2016 SZTAKI MPLab 7
Sokszenzoros adatgyűjtő és információ-fúziós hálózatok szenzorok lesznek mindenütt, hálózatra kötve 10/24/2016 SZTAKI/MEDUSA projekt 8
FLIR E O Fusion of sensor information and organization of optimal sensor network Commerci al area Industrial area NBC SD Mosque SD + EO SD LIDAR + IR + EO Housing area (single houses and multi-storey buildings) LC EO Check IR point RB LC L I D A LIDARR + IR + EO E O Fusion: EO + EO Fusion: IR + EO Housing area (single houses and multi-storey buildings) E O SD LC Sniper Detector Light Curtain E O IR EO Electro optical IR Infrared / thermal LIDAR Range (LIDAR, PMD) NBC Chemical Sniffer RB Radio bearing L I D A R Fusion: EO (UAV) + IR 10/24/2016 SZTAKI / Medusa projekt 9
Stauffer and Grimson IMPLab Tr. PAMI, 2000 Mixture of Gaussians On-line k-means Háttér kiemelés 10/24/2016 MTA SZTAKI / MPLab: Benedek & Sziranyi 10
Háttér és árnyék kiemelése sztochasztikus optimalizálással: kevert statisztikai modellek tér- és időbeli- Markov-kapcsolatokra 10/24/2016 Benedek & Szirányi; IMPLab Tr. ImProc, 2007 11
Radarok: Micro Doppler 10/24/2016 Ancortek.com 12
10/24/2016 13
Passzív Radar: kiemelés elszórt radar jelekből Passzív visszaverődések Doppler alapján találjuk meg a mozgó objektumot y E,, L L EL EL Target signal Interferences Hot clutter E,, 2 2 E2 E2 Direct signal Multipath E,, 1 1 E1 E1 Ground clutter Array received signal vector s(r k,t) s r (t)e i2 f 0 (t k ) x k(, ) r cos( )sin( ) x sin( )sin( ) y k c c k k k 14 SZTAKI / MAPIS 03/12/2009 (EDA) Project - ISAR SYSTEM GEOMETRY 14
Ambiguity function describes how correlated a signal is with itself delayed in time by and shifted in Doppler (Sinsky and Wang, 1974). 2 j d l *, d u l e u l dl 2 Saini, Cherniakov, DTV signal ambiguity function analysis for radar application, IEE Proc.-Radar Sonar Navigation 2005 15 15
MULTI TARGET TRACKING ON AERIAL VIDEOS 10/24/2016 MTA SZTAKI / MPLab 16
Aerial processing Foreground separation and object segmentation on aerial images (2/2) Result: mosaic and object detection 10/24/2016 MTA SZTAKI / MPLab Proof-of-concept tracking 17
Kép-nézetek összehozása mozgás alapján SZTAKI / 2007
Szlávik & Szirányi & Havasi; IMPLab Tr. ImProc, 2006 Ergodikus reguláris Markov lánc: egy megoldása van, az előbbi kép-párosítás közös pontjaira 2 1 2 1 p p p p k j r j j k r k i k r i r i m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( 1 1 2 2 1 2 1 1 1 i j r j j i r i k i r k r k m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( 2 2 1 1 2 1 2 1 2 Mi a valószínűsége az (1) kép egy (i) pontjának arra, hogy a képpont bemozdul, ha a (2) kép egy adott (j) pontjában mozgás van?
Fókuszmélység térkép egy nézetből iteratív Bayes-i eljárással Videó több mélységgel Mélység-térkép 10/24/2016 Kovács L. & Szirányi T. 2007 20
A hiba-függetlenségre optimalizált kettős iteráció sebessége f Hiba ( g, g ) arc sin g - g * h g k g.g - gk g, k 10/24/2016 SZTAKI MPLab 21
Object categorization 10/24/2016 MTA SZTAKI / MPLab /Dr. L. Kovács 22
Visual object extraction Object detection in crowded scenarios Goal: detecting objects of interest in real time crowded scenarios, where motion based detection and separation is not possible based on Viola-Jones recognizer adopted to street scenes Input-output: Training phase: Input: a set of images, with positive and negative training samples defined by rectangles Output : set of text files containing the meta-data of the trained classifiers Detection phase: Input: a raw video image Output: set of rectangles which mark the detected objects Failure of background subtraction Input frame Extracted foreground mask 10/24/2016 MTA SZTAKI / MPLab 23
Viselkedés elemzés: Verekedés detekció 10/24/2016 MTA SZTAKI / MPLab 24
A vezető szeme merre jár? Human experiments to teach the algorithm Human behavior considered as a personal fingerprint Wearable, head-mounted Needs precise calibration Monitoring and recording the path of the gaze AR GigE-60 eye tracker MTA SZTAKI / MPLab http://www.arringtonresearch.com/laptopeyetracker1.html 25
Estimating the human vision path graph MTA SZTAKI / MPLab 26
Hová néz a szem, amikor a látványt felderíti? Az érdeklődési területek automatikusan kijelölve Egy valódi szemmozgás követése MTA SZTAKI / MPLab 27
A fontos figyelmi területek megtalálása bbb The original images are derived from the Ground Truth Database, http://cs.washington.edu/research/imagedatabase 28
Az alakfelismerés evolúciója 1980s 1990s to early 2000s Currently
Kihívások Viewpoint variation Illumination changes Occlusion Scale Deformation Background clutter Intraclass variation
Bag of Words models Definition of BoW Independent features histogram representation Visual words: Csurka, Dance, Fan, Willamowski and Bray. Visual categorization with bags of keypoints. ECCV International Workshop on Statistical Learning in Computer Vision (2004)
learning recognition feature detection & representation Visual words image representation category models (and/or) classifiers category decision
Gen. Hough Transform with Local Features For every feature, store possible occurrences For new image, let the matched features vote for possible object positions
Implicit Shape Model - Representation Training images (+reference segmentation) Learn appearance codebook Extract local features at interest points Agglomerative clustering codebook Learn spatial distributions Match codebook to training images Record matching positions on object Appearance codebook y y s s x x y y s s x x Spatial occurrence distributions + local figure-ground labels
Implicit Shape Model - Segmentation Interest Points Matched Codebook Entries Probabilistic Voting y Segmentation s 3D Voting Space (continuous) x p(figure) Probabilities Backprojected Hypotheses Backprojection of Maxima
Felismerés és csoportosítás Multimédiás adatbázisokban: 1000-100.000 paraméter, 10 5 10 7 elem Mi a gráf-szerkezete az adatok halmazának? Mely paraméterek csoportosítanak a legjobban? 10/24/2016 SZTAKI MPLab 36
Hatalmas adatbázisok csoportosulási jellemzőinek keresése az Erdős-Rényi féle Óriáskomponensek kutatásával véletlen geometriai gráfokra 10/24/2016 Keszler A. & Kovacs L. & Sziranyi T. 37
Remote Sensing Légi és űrképek elemzése MTA SZTAKI / MPLab 38
Terrestrial LIDAR Horizontal LIDAR: street object and traffic monitoring Tilted LIDAR: reconstruction of building facades 10/24/2016 MTA SZTAKI / MPLab 39
Velodyne LIDAR outdoor experiments promo_video_edit_x264_compr.mp4 10/24/2016 MTA SZTAKI / MPLab / Velodyne LIDAR 40
Pedestrian detection and tracking Fusion of Optical and LIDAR scanning 10/24/2016 MTA SZTAKI / MPLab 41 MTA SZTAKI / MPLab
Matching LIDAR with PAL (Panoramic 360 o ) camera In cooperation with Tateyama Laboratory Hungary Ltd. 10/24/2016 MTA SZTAKI / MPLab 42
Gyalogosok detektálása nappal 10/24/2016 SZTAKI / MPLab 43
Gyalogosok detektálása éjszaka 10/24/2016 SZTAKI / MPLab 44
Információ egy frame-n VLP 16 sensor HDL 64 sensor MTA SZTAKI / MPLab i4d projekt
Információ mennyiség egy síklidar frame-n (regisztráció szükséges) Aktuális Regisztrált
LIDAR Alapú Gépi Látás a Közlekedésben Részleges Pontfelhőkből Közlekedésben és ipari körülmények között alkalmazott 3Ds leképezők pontfelhőinek feldolgozása Részleges információból történő felismerés Adatbővülés folyamatos felhasználása a felismerés eredményének pontosításához Felismert objektumok pontfelhőinek felhasználása navigálási, megfigyelési, stb. célokra MTA SZTAKI / MPLab
3D detektálás üzemi területen Lokális skála definíciója (a teljes alak méretétől függetlenül) Kulcspont keresés a lokális skála alapján Új lokális leíró kifejlesztése Részgráfok, mint félglobális struktúra A kategorizálás evolúciójának vizsgálata Általános 3D felismerő rendszer felépítésének kidolgozása MTA SZTAKI / MPLab
KULCSPONT KERESÉS ÉS LOKÁLIS SKÁLA DEFINÍCIÓ Kulcspont detektálás és karakterisztikus sugár hozzárendelése az adott kulcsponthoz (kulcsponttal reprezentált lokális felülethez). MTA SZTAKI / MPLab
Lokális leíró Shape Index Point Feature Histogram Karakterisztikus sugár Normal angle Lokális konvex burkoló térfogata MTA SZTAKI / MPLab
Minta definíció Kulcspontok klaszterezése Az alakzat felépíthető az így előálló színezett gráfból A C Szubgráfok definiálása és kifeszített térfogat szerinti besorolás Szubgráfok kódolása pl.: A: 12221 B és C: 13332 B A B C Minták gyakoriságának vizsgálata MTA SZTAKI / MPLab
Részleges városi objektumok felismerése A falak és a talaj könnyen szegmentálható, így ezek nem szerepelnek a városi objektum kategóriák között. MTA SZTAKI / MPLab
Részleges városi objektumok felismerése Tárgy legnagyobb kiterjedése [%] Felismerés az összes kategóriában [%] 10 17 20 25 30 33 40 50 50 83 60 83 70 92 80 92 90 100 100 100 Fa osztályú teszt felhők Gyalogos osztályú teszt felhők
Demo
Dr. Majdik András, MPLab/SZTAKI Szimultán Lokalizálás és Térképezés Repülő UAV-al Detect the global position of the MAV by recognizing visuallysimilar places (appearance based localization for MAVs) Large viewpoint changes -> air-ground matching Take Picture Localize Compare to database Lat: 47.384345, Long: 8.545037, Heading: 161.01
Motivation Vision-based localization is an alternative/complementary to GPS: urban canyons, street-level flight maneuvers (takeoff/landing) more accurate at low altitudes, orientation is detected motivation.avi
Motivation Applications: aid-delivery, parcel-service, traffic surveillance first-response and telepresence in case of accidents Start-up companies: Matternet, Skycatch, etc
Results 45% recall at precission 1.0 results.avi Dr. Majdik András, MPLab/SZTAKI
Results 45% recall at precission 1.0
UAV mono-kamerás 3D modellépítés videóból 10/24/2016 SZTAKI MPLab 60
http://web.mplab.sztaki.hu A mozgó világ felismerése LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking
10/24/2016 SZTAKI MPLab 62
http://web.mplab.sztaki.hu Applications LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking