Járművek és kamerák: önvezetés és tájékozódás

Átírás

1 Járművek és kamerák: önvezetés és tájékozódás Szirányi Tamás MTA SZTAKI, Gépi Érzékelés Kutatólabor KJK ALR Tsz.

2 Érzékelők hálózatba kötve Nagyfelbontású videókamera Hőkamerák Kinect MESA ToF kamera LIDAR lézer szkenner 10/24/2016 2

3 10/24/ MTA SZTAKI / MPLab Mozgáselemzés többféle kamerával Thermal ToF Video Motion mask

4 Érzékelő járművek 10/24/2016 4

5 Az érzékelő zónák 10/24/2016 5

6 A vezető figyelése: Ki és mit figyel, és miért? 10/24/2016 6

7 10/24/2016 SZTAKI MPLab 7

8 Sokszenzoros adatgyűjtő és információ-fúziós hálózatok szenzorok lesznek mindenütt, hálózatra kötve 10/24/2016 SZTAKI/MEDUSA projekt 8

9 FLIR E O Fusion of sensor information and organization of optimal sensor network Commerci al area Industrial area NBC SD Mosque SD + EO SD LIDAR + IR + EO Housing area (single houses and multi-storey buildings) LC EO Check IR point RB LC L I D A LIDARR + IR + EO E O Fusion: EO + EO Fusion: IR + EO Housing area (single houses and multi-storey buildings) E O SD LC Sniper Detector Light Curtain E O IR EO Electro optical IR Infrared / thermal LIDAR Range (LIDAR, PMD) NBC Chemical Sniffer RB Radio bearing L I D A R Fusion: EO (UAV) + IR 10/24/2016 SZTAKI / Medusa projekt 9

10 Stauffer and Grimson IMPLab Tr. PAMI, 2000 Mixture of Gaussians On-line k-means Háttér kiemelés 10/24/2016 MTA SZTAKI / MPLab: Benedek & Sziranyi 10

11 Háttér és árnyék kiemelése sztochasztikus optimalizálással: kevert statisztikai modellek tér- és időbeli- Markov-kapcsolatokra 10/24/2016 Benedek & Szirányi; IMPLab Tr. ImProc,

12 Radarok: Micro Doppler 10/24/2016 Ancortek.com 12

13 10/24/

14 Passzív Radar: kiemelés elszórt radar jelekből Passzív visszaverődések Doppler alapján találjuk meg a mozgó objektumot y E,, L L EL EL Target signal Interferences Hot clutter E,, 2 2 E2 E2 Direct signal Multipath E,, 1 1 E1 E1 Ground clutter Array received signal vector s(r k,t) s r (t)e i2 f 0 (t k ) x k(, ) r cos( )sin( ) x sin( )sin( ) y k c c k k k 14 SZTAKI / MAPIS 03/12/2009 (EDA) Project - ISAR SYSTEM GEOMETRY 14

15 Ambiguity function describes how correlated a signal is with itself delayed in time by and shifted in Doppler (Sinsky and Wang, 1974). 2 j d l *, d u l e u l dl 2 Saini, Cherniakov, DTV signal ambiguity function analysis for radar application, IEE Proc.-Radar Sonar Navigation

16 MULTI TARGET TRACKING ON AERIAL VIDEOS 10/24/2016 MTA SZTAKI / MPLab 16

17 Aerial processing Foreground separation and object segmentation on aerial images (2/2) Result: mosaic and object detection 10/24/2016 MTA SZTAKI / MPLab Proof-of-concept tracking 17

18 Kép-nézetek összehozása mozgás alapján SZTAKI / 2007

19 Szlávik & Szirányi & Havasi; IMPLab Tr. ImProc, 2006 Ergodikus reguláris Markov lánc: egy megoldása van, az előbbi kép-párosítás közös pontjaira p p p p k j r j j k r k i k r i r i m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( i j r j j i r i k i r k r k m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( Mi a valószínűsége az (1) kép egy (i) pontjának arra, hogy a képpont bemozdul, ha a (2) kép egy adott (j) pontjában mozgás van?

20 Fókuszmélység térkép egy nézetből iteratív Bayes-i eljárással Videó több mélységgel Mélység-térkép 10/24/2016 Kovács L. & Szirányi T

21 A hiba-függetlenségre optimalizált kettős iteráció sebessége f Hiba ( g, g ) arc sin g - g * h g k g.g - gk g, k 10/24/2016 SZTAKI MPLab 21

22 Object categorization 10/24/2016 MTA SZTAKI / MPLab /Dr. L. Kovács 22

23 Visual object extraction Object detection in crowded scenarios Goal: detecting objects of interest in real time crowded scenarios, where motion based detection and separation is not possible based on Viola-Jones recognizer adopted to street scenes Input-output: Training phase: Input: a set of images, with positive and negative training samples defined by rectangles Output : set of text files containing the meta-data of the trained classifiers Detection phase: Input: a raw video image Output: set of rectangles which mark the detected objects Failure of background subtraction Input frame Extracted foreground mask 10/24/2016 MTA SZTAKI / MPLab 23

24 Viselkedés elemzés: Verekedés detekció 10/24/2016 MTA SZTAKI / MPLab 24

25 A vezető szeme merre jár? Human experiments to teach the algorithm Human behavior considered as a personal fingerprint Wearable, head-mounted Needs precise calibration Monitoring and recording the path of the gaze AR GigE-60 eye tracker MTA SZTAKI / MPLab 25

26 Estimating the human vision path graph MTA SZTAKI / MPLab 26

27 Hová néz a szem, amikor a látványt felderíti? Az érdeklődési területek automatikusan kijelölve Egy valódi szemmozgás követése MTA SZTAKI / MPLab 27

28 A fontos figyelmi területek megtalálása bbb The original images are derived from the Ground Truth Database, 28

29 Az alakfelismerés evolúciója 1980s 1990s to early 2000s Currently

30 Kihívások Viewpoint variation Illumination changes Occlusion Scale Deformation Background clutter Intraclass variation

31 Bag of Words models Definition of BoW Independent features histogram representation Visual words: Csurka, Dance, Fan, Willamowski and Bray. Visual categorization with bags of keypoints. ECCV International Workshop on Statistical Learning in Computer Vision (2004)

32 learning recognition feature detection & representation Visual words image representation category models (and/or) classifiers category decision

33 Gen. Hough Transform with Local Features For every feature, store possible occurrences For new image, let the matched features vote for possible object positions

34 Implicit Shape Model - Representation Training images (+reference segmentation) Learn appearance codebook Extract local features at interest points Agglomerative clustering codebook Learn spatial distributions Match codebook to training images Record matching positions on object Appearance codebook y y s s x x y y s s x x Spatial occurrence distributions + local figure-ground labels

35 Implicit Shape Model - Segmentation Interest Points Matched Codebook Entries Probabilistic Voting y Segmentation s 3D Voting Space (continuous) x p(figure) Probabilities Backprojected Hypotheses Backprojection of Maxima

36 Felismerés és csoportosítás Multimédiás adatbázisokban: paraméter, elem Mi a gráf-szerkezete az adatok halmazának? Mely paraméterek csoportosítanak a legjobban? 10/24/2016 SZTAKI MPLab 36

37 Hatalmas adatbázisok csoportosulási jellemzőinek keresése az Erdős-Rényi féle Óriáskomponensek kutatásával véletlen geometriai gráfokra 10/24/2016 Keszler A. & Kovacs L. & Sziranyi T. 37

38 Remote Sensing Légi és űrképek elemzése MTA SZTAKI / MPLab 38

39 Terrestrial LIDAR Horizontal LIDAR: street object and traffic monitoring Tilted LIDAR: reconstruction of building facades 10/24/2016 MTA SZTAKI / MPLab 39

40 Velodyne LIDAR outdoor experiments promo_video_edit_x264_compr.mp4 10/24/2016 MTA SZTAKI / MPLab / Velodyne LIDAR 40

41 Pedestrian detection and tracking Fusion of Optical and LIDAR scanning 10/24/2016 MTA SZTAKI / MPLab 41 MTA SZTAKI / MPLab

42 Matching LIDAR with PAL (Panoramic 360 o ) camera In cooperation with Tateyama Laboratory Hungary Ltd. 10/24/2016 MTA SZTAKI / MPLab 42

43 Gyalogosok detektálása nappal 10/24/2016 SZTAKI / MPLab 43

44 Gyalogosok detektálása éjszaka 10/24/2016 SZTAKI / MPLab 44

45 Információ egy frame-n VLP 16 sensor HDL 64 sensor MTA SZTAKI / MPLab i4d projekt

46 Információ mennyiség egy síklidar frame-n (regisztráció szükséges) Aktuális Regisztrált

47 LIDAR Alapú Gépi Látás a Közlekedésben Részleges Pontfelhőkből Közlekedésben és ipari körülmények között alkalmazott 3Ds leképezők pontfelhőinek feldolgozása Részleges információból történő felismerés Adatbővülés folyamatos felhasználása a felismerés eredményének pontosításához Felismert objektumok pontfelhőinek felhasználása navigálási, megfigyelési, stb. célokra MTA SZTAKI / MPLab

48 3D detektálás üzemi területen Lokális skála definíciója (a teljes alak méretétől függetlenül) Kulcspont keresés a lokális skála alapján Új lokális leíró kifejlesztése Részgráfok, mint félglobális struktúra A kategorizálás evolúciójának vizsgálata Általános 3D felismerő rendszer felépítésének kidolgozása MTA SZTAKI / MPLab

49 KULCSPONT KERESÉS ÉS LOKÁLIS SKÁLA DEFINÍCIÓ Kulcspont detektálás és karakterisztikus sugár hozzárendelése az adott kulcsponthoz (kulcsponttal reprezentált lokális felülethez). MTA SZTAKI / MPLab

50 Lokális leíró Shape Index Point Feature Histogram Karakterisztikus sugár Normal angle Lokális konvex burkoló térfogata MTA SZTAKI / MPLab

51 Minta definíció Kulcspontok klaszterezése Az alakzat felépíthető az így előálló színezett gráfból A C Szubgráfok definiálása és kifeszített térfogat szerinti besorolás Szubgráfok kódolása pl.: A: B és C: B A B C Minták gyakoriságának vizsgálata MTA SZTAKI / MPLab

52 Részleges városi objektumok felismerése A falak és a talaj könnyen szegmentálható, így ezek nem szerepelnek a városi objektum kategóriák között. MTA SZTAKI / MPLab

53 Részleges városi objektumok felismerése Tárgy legnagyobb kiterjedése [%] Felismerés az összes kategóriában [%] Fa osztályú teszt felhők Gyalogos osztályú teszt felhők

54 Demo

55 Dr. Majdik András, MPLab/SZTAKI Szimultán Lokalizálás és Térképezés Repülő UAV-al Detect the global position of the MAV by recognizing visuallysimilar places (appearance based localization for MAVs) Large viewpoint changes -> air-ground matching Take Picture Localize Compare to database Lat: , Long: , Heading:

56 Motivation Vision-based localization is an alternative/complementary to GPS: urban canyons, street-level flight maneuvers (takeoff/landing) more accurate at low altitudes, orientation is detected motivation.avi

57 Motivation Applications: aid-delivery, parcel-service, traffic surveillance first-response and telepresence in case of accidents Start-up companies: Matternet, Skycatch, etc

58 Results 45% recall at precission 1.0 results.avi Dr. Majdik András, MPLab/SZTAKI

59 Results 45% recall at precission 1.0

60 UAV mono-kamerás 3D modellépítés videóból 10/24/2016 SZTAKI MPLab 60

61 A mozgó világ felismerése LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking

62 10/24/2016 SZTAKI MPLab 62

63 Applications LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking