Látó szenzorok térben és időben: az önszerveződő gépi látás Szirányi Tamás

Átírás

1 Látó szenzorok térben és időben: az önszerveződő gépi látás Szirányi Tamás

2 Önszervező szenzor hálózatok Esemény követés és felismerés LIDAR és 3D leképezés Video felügyelet Távadat feldolg. 3D modellezés MTA SZTAKI / DEVA

3 3/11/ MTA SZTAKI / DEVA Érzékelők hálózatba kötve Nagyfelbontású videókamera Hőkamerák Kinect MESA ToF kamera LIDAR lézer szkenner

4 3/11/ MTA SZTAKI / EEE / Havasi László Motion detection with multiple sources Thermal ToF Video Motion mask

5 Sokszenzoros adatgyűjtő és információ-fúziós hálózatok szenzorok lesznek mindenütt, hálózatra kötve 3/11/2014 MEDUSA projekt 5

6 FLIR E O Fusion of sensor information and organization of optimal sensor network Commerci al area Industrial area NBC SD Mosque SD + EO SD LIDAR + IR + EO Housing area (single houses and multi-storey buildings) LC EO Check IR point RB LC L I D A LIDAR R + IR + EO E O Fusion: EO + EO Fusion: IR + EO Housing area (single houses and multi-storey buildings) E O SD LC Sniper Detector Light Curtain E O IR EO Electro optical LIDAR IR Infrared / NBC RB thermal Range (LIDAR, PMD) Chemical Sniffer Radio bearing L I D A R Fusion: EO (UAV) + IR 3/11/2014 MTA SZTAKI / DEVA 6

7 Szenzorhálózatok kapcsolódása Raj optimalizálása Számos változata ismert, például: ABC (Artificial Bee Colony) Karaboga, Akay A survey: algorithms simulating bee swarm intelligence, Intelligent water drops Firefly/ glowworm algorithm : Duan,Liu,Wu Novel Intelligent Water Drops Optimization Approach to Single UCAV Smooth Trajectory Planning, Krishnanand,Ghose Glowworm Swarm Optimisation: A New Method for Optimising Multi- Modal Functions, Az egyedek fényessége arányos a fitness értékükkel A kisebb fényességű egyedek a fényesebbek felé haladnak Ha nincs fényesebb a környéken, a mozgásuk véletlenszerű Felhasználás: Szélsőérték-keresés (több optimum esetén is) 3/11/2014 MTA SZTAKI / DEVA 7

8 Szentjánosbogár csoportosulás a fényesség alapján: a véletlenszerűen elszórtból a dominánsak köré szerveződik az eloszlás 3/11/2014 MTA SZTAKI / DEVA 8

9 3/11/2014 MTA SZTAKI / DEVA 9 Összefüggőség tesztelése a lokális összefüggőségből 1. x E({ x i }) 1 2. Új irány meghatározása : 3. Normalizálás: x Lx x E x x 2 ( ({( i) }) 1) A három lépéses algoritmus össze is vonható: x k E x k Lx k E x x A konvergencia feltétele: Sajátérték becslése lokális infóból: k, 1 k, 0 2 k3 Lx j N ij j i k k k 2 1 ({ i })1 2 3( ({( i) }) 1) k i 2 x Yang et al, "Decentralized Estimation and Control of Graph Connectivity for Mobile Sensor Networks", American Control Conference, 2008 i

10 Stauffer and Grimson IEEE Tr. PAMI, 2000 Mixture of Gaussians On-line k-means Háttér kiemelés 3/11/2014 MTA SZTAKI / DEVA 10

11 Háttér és árnyék kiemelése sztochasztikus optimalizálással: kevert statisztikai modellek tér- és időbeli- Markov-kapcsolatokra 3/11/2014 Benedek & Szirányi; IEEE Tr. ImProc,

12 Passzív visszaverődések Doppler alapján találjuk meg a mozgó objektumot y Target signal E,, L L EL EL Háttér kiemelés elszórt radar jelekből Interferences Hot clutter E,, 2 2 E2 E2 Direct signal Multipath E,, 1 1 E1 E1 Ground clutter Array received signal vector s(r k,t) s r (t)e i2 f 0 (t k ) x k(, ) r cos( )sin( ) x sin( )sin( ) y k c c k k k 12 APIS (EDA) 03/12/2009 Project - ISAR SYSTEM GEOMETRY 12

13 Ambiguity function describes how correlated a signal is with itself delayed in time by and shifted in Doppler (Sinsky and Wang, 1974). 2 j d l *, d u l e u l dl 2 Saini, Cherniakov, DTV signal ambiguity function analysis for radar application, IEE Proc.-Radar Sonar Navigation

14 MULTI TARGET TRACKING ON AERIAL VIDEOS 3/11/2014 MTA SZTAKI / DEVA 14

15 Aerial processing Foreground separation and object segmentation on aerial images (2/2) Result: mosaic and object detection Proof-of-concept tracking 3/11/2014 MTA SZTAKI / DEVA 15

16 Kép-nézetek összehozása mozgás alapján 2007

17 Szlávik & Szirányi & Havasi; IEEE Tr. ImProc, 2006 Ergodikus reguláris Markov lánc: egy megoldása van, az előbbi kép-párosítás közös pontjaira p p p p k j r j j k r k i k r i r i m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( i j r j j i r i k i r k r k m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( Mi a valószínűsége az (1) kép egy (i) pontjának arra, hogy a képpont bemozdul, ha a (2) kép egy adott (j) pontjában mozgás van?

18 Fókuszmélység térkép egy nézetből iteratív Bayes-i eljárással Videó több mélységgel Mélység-térkép 3/11/2014 Kovács L. & Szirányi T

19 A hiba-függetlenségre optimalizált kettős iteráció sebessége f Hiba ( g, g ) arc sin g - g * h g k g.g - gk g, k 3/11/2014 SZTAKI EEE 19

20 Textúra szétválasztás adaptív Anizotróp Diffúzióval = + = + 3/11/2014 Szolgay D & Sziranyi T; IEEE Tr. ImProc,

21 Object categorization 3/11/2014 MTA SZTAKI / EEE /Kovács Levente 21

22 Felismerés és csoportosítás Multimédiás adatbázisokban: paraméter, elem Mi a gráf-szerkezete az adatok halmazának? Mely paraméterek csoportosítanak a legjobban? 3/11/2014 SZTAKI EEE / Havasi László 22

23 Hierarchiák keresése ágensek hálózatán 3/11/2014 SZTAKI EEE / Kiss Attila Szirányi T 23

24 Visual object extraction Object detection in crowded scenarios Goal: detecting objects of interest in real time crowded scenarios, where motion based detection and separation is not possible based on Viola-Jones recognizer adopted to street scenes Input-output: Training phase: Input: a set of images, with positive and negative training samples defined by rectangles Output : set of text files containing the meta-data of the trained classifiers Detection phase: Input: a raw video image Output: set of rectangles which mark the detected objects Failure of background subtraction Input frame Extracted foreground mask 3/11/2014 MTA SZTAKI / DEVA 24

25 One-way street Red: unusual One-way scene Motion statistics Regions 3/11/2014 MTA SZTAKI / DEVA 25

26 Verekedés detekció 3/11/2014 MTA SZTAKI / DEVA 26

27 Légikép felismerés: beépített környék automatikus detekciója (2013) 3/11/2014 Kovács Andrea & Szirányi T; IEEE GeoSci Remote Sensing L,

28 Légiképek:Összehasonlítás az évek távlatából /11/2014 SZTAKI EEE 28

29 Kép részletek határai összetett osztályozás esetén Több kép Több információ Összetett részletinformációk 3/11/2014 SZTAKI EEE 29

30 Változásdetekció hosszú időtávban Erdő / Mező változások: /11/2014 SZTAKI EEE 30

31 Automatikus változáskövetés sztochasztikus optimalizációval 3/11/2014 SZTAKI EEE 31

32 Human training experiments for scenario analysis Human experiments to teach the algorithm Human behavior considered as a personal fingerprint Wearable, head-mounted Needs precise calibration Monitoring and recording the path of the gaze AR GigE-60 eye tracker 32

33 Estimating the human vision path graph Szirányi, Szalai, Vidnyánszky 33

34 Hová néz a szem, amikor a látványt felderíti? Az érdeklődési területek automatikusan kijelölve Egy valódi szemmozgás követése 34

35 A fontos figyelmi területek megtalálása bbb The original images are derived from the Ground Truth Database, 35

36 Az alakfelismerés evolúciója 1980s 1990s to early 2000s MTA SZTAKI / EEE / Szlávik Currently

37 Kihívások Viewpoint variation Illumination changes Occlusion Scale Deformation Background clutter Intraclass variation

38 Bag of Words models Definition of BoW Independent features histogram representation Visual words: Csurka, Dance, Fan, Willamowski and Bray. Visual categorization with bags of keypoints. ECCV International Workshop on Statistical Learning in Computer Vision (2004)

39 learning recognition feature detection & representation Visual words image representation category models (and/or) classifiers category decision

40 Gen. Hough Transform with Local Features For every feature, store possible occurrences For new image, let the matched features vote for possible object positions

41 Implicit Shape Model - Segmentation Interest Points Matched Codebook Entries Probabilistic Voting y Segmentation s 3D Voting Space (continuous) x p(figure) Probabilities Backprojected Hypotheses Backprojection of Maxima

42 Remote Sensing Légi és űrképek elemzése GIS modellek szeptember MTA SZTAKI / EEE 42

43 Terrestrial LIDAR Horizontal LIDAR: street object and traffic monitoring Tilted LIDAR: reconstruction of building facades 3/11/2014 MTA SZTAKI / DEVA 43

44 Pedestrian detection and tracking Fusion of Optical and LIDAR scanning 3/11/2014 MTA SZTAKI / EEE / Benedek Cs. 44

45 LIDAR alapú dinamikus térmodellek 3/11/2014 SZTAKI EEE / Benedek Csaba 45

46 Matching LIDAR with PAL (Panoramic 360 o ) camera In cooperation with Tateyama Laboratory Hungary Ltd. 3/11/2014 MTA SZTAKI / DEVA 46

47 Dr. Majdik András, EEE/SZTAKI Szimultán Lokalizálás és Térképezés Repülő UAV-al Detect the global position of the MAV by recognizing visuallysimilar places (appearance based localization for MAVs) Large viewpoint changes -> air-ground matching Take Picture Localize Compare to database Lat: , Long: , Heading:

48 Motivation Applications: aid-delivery, parcel-service, traffic surveillance first-response and telepresence in case of accidents Start-up companies: Matternet, Skycatch, etc

49 Results 45% recall at precission 1.0 results.avi Dr. Majdik András, EEE/SZTAKI

50 Results 45% recall at precission 1.0 Dr. Majdik András, EEE/SZTAKI

51 A mozgó világ felismerése LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking