Látó szenzorok térben és időben: az önszerveződő gépi látás Szirányi Tamás Email: sziranyi.tamas@sztaki.mta.hu http://www.sztaki.hu/~sziranyi/
Önszervező szenzor hálózatok Esemény követés és felismerés LIDAR és 3D leképezés Video felügyelet Távadat feldolg. 3D modellezés MTA SZTAKI / DEVA
3/11/2014 3 MTA SZTAKI / DEVA Érzékelők hálózatba kötve Nagyfelbontású videókamera Hőkamerák Kinect MESA ToF kamera LIDAR lézer szkenner
3/11/2014 4 MTA SZTAKI / EEE / Havasi László Motion detection with multiple sources Thermal ToF Video Motion mask
Sokszenzoros adatgyűjtő és információ-fúziós hálózatok szenzorok lesznek mindenütt, hálózatra kötve 3/11/2014 MEDUSA projekt 5
FLIR E O Fusion of sensor information and organization of optimal sensor network Commerci al area Industrial area NBC SD Mosque SD + EO SD LIDAR + IR + EO Housing area (single houses and multi-storey buildings) LC EO Check IR point RB LC L I D A LIDAR R + IR + EO E O Fusion: EO + EO Fusion: IR + EO Housing area (single houses and multi-storey buildings) E O SD LC Sniper Detector Light Curtain E O IR EO Electro optical LIDAR IR Infrared / NBC RB thermal Range (LIDAR, PMD) Chemical Sniffer Radio bearing L I D A R Fusion: EO (UAV) + IR 3/11/2014 MTA SZTAKI / DEVA 6
Szenzorhálózatok kapcsolódása Raj optimalizálása Számos változata ismert, például: ABC (Artificial Bee Colony) Karaboga, Akay A survey: algorithms simulating bee swarm intelligence, 2009. Intelligent water drops Firefly/ glowworm algorithm : Duan,Liu,Wu Novel Intelligent Water Drops Optimization Approach to Single UCAV Smooth Trajectory Planning, 2009. Krishnanand,Ghose Glowworm Swarm Optimisation: A New Method for Optimising Multi- Modal Functions, 2009. Az egyedek fényessége arányos a fitness értékükkel A kisebb fényességű egyedek a fényesebbek felé haladnak Ha nincs fényesebb a környéken, a mozgásuk véletlenszerű Felhasználás: Szélsőérték-keresés (több optimum esetén is) 3/11/2014 MTA SZTAKI / DEVA 7
Szentjánosbogár csoportosulás a fényesség alapján: a véletlenszerűen elszórtból a dominánsak köré szerveződik az eloszlás 3/11/2014 MTA SZTAKI / DEVA 8
3/11/2014 MTA SZTAKI / DEVA 9 Összefüggőség tesztelése a lokális összefüggőségből 1. x E({ x i }) 1 2. Új irány meghatározása : 3. Normalizálás: x Lx x E x x 2 ( ({( i) }) 1) A három lépéses algoritmus össze is vonható: x k E x k Lx k E x x A konvergencia feltétele: Sajátérték becslése lokális infóból: k, 1 k, 0 2 k3 Lx j N ij j i k k k 2 1 ({ i })1 2 3( ({( i) }) 1) 1 2 2 k 3 2 2 i 2 x Yang et al, "Decentralized Estimation and Control of Graph Connectivity for Mobile Sensor Networks", American Control Conference, 2008 i
Stauffer and Grimson IEEE Tr. PAMI, 2000 Mixture of Gaussians On-line k-means Háttér kiemelés 3/11/2014 MTA SZTAKI / DEVA 10
Háttér és árnyék kiemelése sztochasztikus optimalizálással: kevert statisztikai modellek tér- és időbeli- Markov-kapcsolatokra 3/11/2014 Benedek & Szirányi; IEEE Tr. ImProc, 2007 11
Passzív visszaverődések Doppler alapján találjuk meg a mozgó objektumot y Target signal E,, L L EL EL Háttér kiemelés elszórt radar jelekből Interferences Hot clutter E,, 2 2 E2 E2 Direct signal Multipath E,, 1 1 E1 E1 Ground clutter Array received signal vector s(r k,t) s r (t)e i2 f 0 (t k ) x k(, ) r cos( )sin( ) x sin( )sin( ) y k c c k k k 12 APIS (EDA) 03/12/2009 Project - ISAR SYSTEM GEOMETRY 12
Ambiguity function describes how correlated a signal is with itself delayed in time by and shifted in Doppler (Sinsky and Wang, 1974). 2 j d l *, d u l e u l dl 2 Saini, Cherniakov, DTV signal ambiguity function analysis for radar application, IEE Proc.-Radar Sonar Navigation 2005 13 13
MULTI TARGET TRACKING ON AERIAL VIDEOS 3/11/2014 MTA SZTAKI / DEVA 14
Aerial processing Foreground separation and object segmentation on aerial images (2/2) Result: mosaic and object detection Proof-of-concept tracking 3/11/2014 MTA SZTAKI / DEVA 15
Kép-nézetek összehozása mozgás alapján 2007
Szlávik & Szirányi & Havasi; IEEE Tr. ImProc, 2006 Ergodikus reguláris Markov lánc: egy megoldása van, az előbbi kép-párosítás közös pontjaira 2 1 2 1 p p p p k j r j j k r k i k r i r i m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( 1 1 2 2 1 2 1 1 1 i j r j j i r i k i r k r k m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( 2 2 1 1 2 1 2 1 2 Mi a valószínűsége az (1) kép egy (i) pontjának arra, hogy a képpont bemozdul, ha a (2) kép egy adott (j) pontjában mozgás van?
Fókuszmélység térkép egy nézetből iteratív Bayes-i eljárással Videó több mélységgel Mélység-térkép 3/11/2014 Kovács L. & Szirányi T. 2007 18
A hiba-függetlenségre optimalizált kettős iteráció sebessége f Hiba ( g, g ) arc sin g - g * h g k g.g - gk g, k 3/11/2014 SZTAKI EEE 19
Textúra szétválasztás adaptív Anizotróp Diffúzióval - 2012 = + = + 3/11/2014 Szolgay D & Sziranyi T; IEEE Tr. ImProc, 2012 20
Object categorization 3/11/2014 MTA SZTAKI / EEE /Kovács Levente 21
Felismerés és csoportosítás Multimédiás adatbázisokban: 1000-100.000 paraméter, 10 5 10 7 elem Mi a gráf-szerkezete az adatok halmazának? Mely paraméterek csoportosítanak a legjobban? 3/11/2014 SZTAKI EEE / Havasi László 22
Hierarchiák keresése ágensek hálózatán 3/11/2014 SZTAKI EEE / Kiss Attila Szirányi T 23
Visual object extraction Object detection in crowded scenarios Goal: detecting objects of interest in real time crowded scenarios, where motion based detection and separation is not possible based on Viola-Jones recognizer adopted to street scenes Input-output: Training phase: Input: a set of images, with positive and negative training samples defined by rectangles Output : set of text files containing the meta-data of the trained classifiers Detection phase: Input: a raw video image Output: set of rectangles which mark the detected objects Failure of background subtraction Input frame Extracted foreground mask 3/11/2014 MTA SZTAKI / DEVA 24
One-way street Red: unusual One-way scene Motion statistics Regions 3/11/2014 MTA SZTAKI / DEVA 25
Verekedés detekció 3/11/2014 MTA SZTAKI / DEVA 26
Légikép felismerés: beépített környék automatikus detekciója (2013) 3/11/2014 Kovács Andrea & Szirányi T; IEEE GeoSci Remote Sensing L, 2013 27
Légiképek:Összehasonlítás az évek távlatából 1984 2000 2005 2007 3/11/2014 SZTAKI EEE 28
Kép részletek határai összetett osztályozás esetén Több kép Több információ Összetett részletinformációk 3/11/2014 SZTAKI EEE 29
Változásdetekció hosszú időtávban Erdő / Mező változások: 2000 2005-2007 3/11/2014 SZTAKI EEE 30
Automatikus változáskövetés sztochasztikus optimalizációval 3/11/2014 SZTAKI EEE 31
Human training experiments for scenario analysis Human experiments to teach the algorithm Human behavior considered as a personal fingerprint Wearable, head-mounted Needs precise calibration Monitoring and recording the path of the gaze AR GigE-60 eye tracker http://www.arringtonresearch.com/laptopeyetracker1.html 32
Estimating the human vision path graph Szirányi, Szalai, Vidnyánszky 33
Hová néz a szem, amikor a látványt felderíti? Az érdeklődési területek automatikusan kijelölve Egy valódi szemmozgás követése 34
A fontos figyelmi területek megtalálása bbb The original images are derived from the Ground Truth Database, http://cs.washington.edu/research/imagedatabase 35
Az alakfelismerés evolúciója 1980s 1990s to early 2000s MTA SZTAKI / EEE / Szlávik Currently
Kihívások Viewpoint variation Illumination changes Occlusion Scale Deformation Background clutter Intraclass variation
Bag of Words models Definition of BoW Independent features histogram representation Visual words: Csurka, Dance, Fan, Willamowski and Bray. Visual categorization with bags of keypoints. ECCV International Workshop on Statistical Learning in Computer Vision (2004)
learning recognition feature detection & representation Visual words image representation category models (and/or) classifiers category decision
Gen. Hough Transform with Local Features For every feature, store possible occurrences For new image, let the matched features vote for possible object positions
Implicit Shape Model - Segmentation Interest Points Matched Codebook Entries Probabilistic Voting y Segmentation s 3D Voting Space (continuous) x p(figure) Probabilities Backprojected Hypotheses Backprojection of Maxima
Remote Sensing Légi és űrképek elemzése GIS modellek 2010. szeptember MTA SZTAKI / EEE 42
Terrestrial LIDAR Horizontal LIDAR: street object and traffic monitoring Tilted LIDAR: reconstruction of building facades 3/11/2014 MTA SZTAKI / DEVA 43
Pedestrian detection and tracking Fusion of Optical and LIDAR scanning 3/11/2014 MTA SZTAKI / EEE / Benedek Cs. 44
LIDAR alapú dinamikus térmodellek 3/11/2014 SZTAKI EEE / Benedek Csaba 45
Matching LIDAR with PAL (Panoramic 360 o ) camera In cooperation with Tateyama Laboratory Hungary Ltd. 3/11/2014 MTA SZTAKI / DEVA 46
Dr. Majdik András, EEE/SZTAKI Szimultán Lokalizálás és Térképezés Repülő UAV-al Detect the global position of the MAV by recognizing visuallysimilar places (appearance based localization for MAVs) Large viewpoint changes -> air-ground matching Take Picture Localize Compare to database Lat: 47.384345, Long: 8.545037, Heading: 161.01
Motivation Applications: aid-delivery, parcel-service, traffic surveillance first-response and telepresence in case of accidents Start-up companies: Matternet, Skycatch, etc
Results 45% recall at precission 1.0 results.avi Dr. Majdik András, EEE/SZTAKI
Results 45% recall at precission 1.0 Dr. Majdik András, EEE/SZTAKI
http://web.eee.sztaki.hu A mozgó világ felismerése LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking