Járművek és kamerák: önvezetés és tájékozódás

Hasonló dokumentumok
Látó szenzorok térben és időben: az önszerveződő gépi látás Szirányi Tamás

A képfeldolgozás matematikája I.

Miről lesz szó? Videó tartalom elemzés (VCA) leegyszerűsített működése Kültéri védelem Közúthálózat megfigyelés Emberszámlálás

A KUTATÁS FŐBB ADATAI

Performance Modeling of Intelligent Car Parking Systems

Új valószín ségi módszerek videó-meggyelési alkalmazásokhoz

Új markovi változásdetekciós modellek a képfeldolgozásban

Cluster Analysis. Potyó László

Alter Róbert Báró Csaba Sensor Technologies Kft

3D - geometriai modellezés, alakzatrekonstrukció, nyomtatás

Záró kutatói jelentés

Galileo Signal Priority A new approach to TSP

Kétdimenziós mesterséges festési eljárások. Hatások és alkalmazások

Modellkiválasztás és struktúrák tanulása

3D számítógépes geometria és alakzatrekonstrukció

8. Pontmegfeleltetések

3. Nemzetközi talajinformációs rendszerek

Közösség detektálás gráfokban

Cloud computing. Cloud computing. Dr. Bakonyi Péter.

Képrekonstrukció 2. előadás

3D - geometriai modellezés, alakzatrekonstrukció, nyomtatás

Városi környezet vizsgálata távérzékelési adatok osztályozásával

Érzékelők az autonóm járművekben

A hazai K+F - a kutatóhelyek szemszögéből. Inzelt Péter A hazai K+F...

Contrast Restoration by Adaptive Countershading

Intelligens közlekedési rendszer alkalmazásokkal a közlekedésbiztonság javításáért

EEE Kutatólaboratórium MTA-SZTAKI Magyar Tudományos Akadémia

Nyers légifotók feldolgozási lehetőségei ESRI platformon. CSUNDERLIK LÁSZLÓ GDi Esri

Szemmozgás-követés/eyetracking

Idő-multiplexelt biztonsági felvételek elemzése

Pro sensors Measurement sensors to IP Thermo Professional network

Abigail Norfleet James, Ph.D.

Számítástechnikai és Automatizálási Kutatóintézet (MTA SZTAKI), 1111, Budapest, Kende utca 13 17,

SZOLGÁLTATÁS-VALIDÁCIÓ ITU-T AJÁNLÁSOK ALAPJÁN

Klaszterezés, 2. rész

3D számítógépes geometria és alakzatrekonstrukció

IES TM Evaluating Light Source Color Rendition

Cloud computing Dr. Bakonyi Péter.

A technológiáról. A GeoDrone projektek jellemzői:

Bevezetés. Kató Zoltán. Képfeldolgozás és Számítógépes Grafika tanszék SZTE (

Hasznos és kártevő rovarok monitorozása innovatív szenzorokkal (LIFE13 ENV/HU/001092)

A jövőbeli hatások vizsgálatához felhasznált klímamodell-adatok Climate model data used for future impact studies Szépszó Gabriella

Földi lézerszkennelés mérnökgeodéziai célú alkalmazása PhD értekezés

K+F+I: a megrendelő, a piac és a buktatók. Inzelt Péter inzelt@sztaki.hu A hazai K+F... 1

Információs Rendszerek Szakirány

3D-s számítógépes geometria és alakzatrekonstrukció

Pletykaalapú gépi tanulás teljesen elosztott környezetben

Precíziós mérőeszközök rövid ismertetője

Közlekedési események képi feldolgozása

Statisztikai eljárások a mintafelismerésben és a gépi tanulásban

Új objektum detekciós jellemzők a képfeldolgozásban. Ph.D. disszertáció tézisei. Manno -Kovács Andrea mérnök-informatikus

SAR AUTOFÓKUSZ ALGORITMUSOK VIZSGÁLATA ÉS GYAKORLATI ALKALMAZÁSA 2

Élpont osztályozáson alapuló robusztus tekintetkövetés

Searching in an Unsorted Database

Virtuális Valóság. Működése és használata

A klímamodellek alkalmazásának tapasztalatai a magyarországi gabona félék hozam előrejelzéseiben

LÉGIFELVÉTELEK ÁTFEDÉS VIZSGÁLATÁT MEGVALÓSÍTÓ ALGORITMUS TERVEZÉSE ÉS FEJLESZTÉSE 3D-S VIZUALIZÁCIÓ ELLENŐRZÉSE CÉLJÁBÓL

APPEAR INDOOR ENVIRONMENT. Wireless + Location based services + Mobile applications

Távérzékelés a precíziós gazdálkodás szolgálatában : látvány vagy tudomány. Verőné Dr. Wojtaszek Malgorzata

OBD2 Hibakód lista. P0XX Tüzelőanyag- és légnyelésmérés

Az Ipoly árvízi előrejelző rendszer

Diagnosztikai szemléletű talajtérképek szerkesztése korrelált talajtani adatrendszerek alapján

C# Nyelvi Elemei. Tóth Zsolt. Miskolci Egyetem. Tóth Zsolt (Miskolci Egyetem) C# Nyelvi Elemei / 18

Információtartalmú elemzések a közlekedéseredetű szennyezőanyagok hatásvizsgálatánál

HÁROMDIMENZIÓS SZÁMÍTÓGÉPES LÁTÁS HAJDER LEVENTE

Városi forgalomfelügyelet kétszintű jelölt pontfolyamat modellel légi LiDAR felvételeken

Az ITS és motorkerékpáros közlekedés kapcsolata Szűcs Lajos március 5. Hunguest Hotel Griff

OSZLOPOK DETEKTÁLÁSA 3D LIDAR PONTFELHŐKBEN

Az ingatlankatasztertől az épületinformációs modellezésig

Murinkó Gergő

Felhasználási területek

Characteristics and categorization of transportation organizations

Szepesvári Csaba ápr. 11

GIS és Távérzékelés a közlekedési adatnyerésben

A modern e-learning lehetőségei a tűzoltók oktatásának fejlesztésében. Dicse Jenő üzletfejlesztési igazgató

Az indexelés újdonságai Oracle Database 12c R1 és 12c R2

Bevezetés a kvantum-informatikába és kommunikációba 2015/2016 tavasz

Alakfelismerés az utakon részleges pontfelhőkből

Publikációs lista. Gódor Győző július 14. Cikk szerkesztett könyvben Külföldön megjelent idegen nyelvű folyóiratcikk...

környezetben 1. Bevezetés Utasi Ákos, Benedek Csaba Személyek detektálása, valamint lokalizálása a legtöbb megfigyelő alkalmazásban kulcsprobléma,

i1400 Image Processing Guide A-61623_zh-tw

Big Data. Benczúr András Big Data Lendület kutatócsoport MTA SZTAKI, Informatika Laboratórium Benczúr András

A gép az ember tükre, avagy hogyan (ne) adjuk át saját előítéleteinket a mesterséges értelemnek

AZ ERDÕ NÖVEKEDÉSÉNEK VIZSGÁLATA TÉRINFORMATIKAI ÉS FOTOGRAMMETRIAI MÓDSZEREKKEL KARSZTOS MINTATERÜLETEN

Pannon Egyetem. Informatikai Tudományok Doktori Iskola

Képek illesztése: kamera regisztráció és képi lényegkiemelés CNN architektúrával

1/9. Sunell IP kamerák webes felületének használati útmutatója. Élő kép (Live Video)

Távérzékelés. Modern Technológiai eszközök a vadgazdálkodásban

Drótposta: ; ; Honlapom:

Visszacsatolt (mély) neurális hálózatok

A TÉRINFORMATIKA OKTATÁSA ÉS ALKALMAZÁSI LEHETÕSÉGEI

Távérzékeléssel az árvízi biztonságért

MOBIL TÉRKÉPEZŐ RENDSZER PROJEKT TAPASZTALATOK

2. Gyakorlat Khoros Cantata

aktuális projekt hazai vonatkozásai Magyarországon és Európában

MULTISENSOR FUSION AND NAVIGATION

Rendhagyó optikai áramlás detekciója rejtett markov modellekkel

A BIM lehetőségei Tervezés papíron és (virtuális)térben. Zagorácz Márk (osztályvezető, 3D Építésügyi Módszertani Osztály)

}w!"#$%&'()+,-./012345<ya

SZOMSZÉDSÁGI SZEKVENCIÁK ÉS ALKALMAZÁSAIK A KÉPFELDOLGOZÁSBAN ÉS KÉPI ADATBÁZISOKBAN

Átírás:

Járművek és kamerák: önvezetés és tájékozódás Szirányi Tamás MTA SZTAKI, Gépi Érzékelés Kutatólabor KJK ALR Tsz. Email: sziranyi.tamas@sztaki.mta.hu

Érzékelők hálózatba kötve Nagyfelbontású videókamera Hőkamerák Kinect MESA ToF kamera LIDAR lézer szkenner 10/24/2016 2

10/24/2016 3 MTA SZTAKI / MPLab Mozgáselemzés többféle kamerával Thermal ToF Video Motion mask

Érzékelő járművek 10/24/2016 4

Az érzékelő zónák 10/24/2016 5

A vezető figyelése: Ki és mit figyel, és miért? 10/24/2016 6

10/24/2016 SZTAKI MPLab 7

Sokszenzoros adatgyűjtő és információ-fúziós hálózatok szenzorok lesznek mindenütt, hálózatra kötve 10/24/2016 SZTAKI/MEDUSA projekt 8

FLIR E O Fusion of sensor information and organization of optimal sensor network Commerci al area Industrial area NBC SD Mosque SD + EO SD LIDAR + IR + EO Housing area (single houses and multi-storey buildings) LC EO Check IR point RB LC L I D A LIDARR + IR + EO E O Fusion: EO + EO Fusion: IR + EO Housing area (single houses and multi-storey buildings) E O SD LC Sniper Detector Light Curtain E O IR EO Electro optical IR Infrared / thermal LIDAR Range (LIDAR, PMD) NBC Chemical Sniffer RB Radio bearing L I D A R Fusion: EO (UAV) + IR 10/24/2016 SZTAKI / Medusa projekt 9

Stauffer and Grimson IMPLab Tr. PAMI, 2000 Mixture of Gaussians On-line k-means Háttér kiemelés 10/24/2016 MTA SZTAKI / MPLab: Benedek & Sziranyi 10

Háttér és árnyék kiemelése sztochasztikus optimalizálással: kevert statisztikai modellek tér- és időbeli- Markov-kapcsolatokra 10/24/2016 Benedek & Szirányi; IMPLab Tr. ImProc, 2007 11

Radarok: Micro Doppler 10/24/2016 Ancortek.com 12

10/24/2016 13

Passzív Radar: kiemelés elszórt radar jelekből Passzív visszaverődések Doppler alapján találjuk meg a mozgó objektumot y E,, L L EL EL Target signal Interferences Hot clutter E,, 2 2 E2 E2 Direct signal Multipath E,, 1 1 E1 E1 Ground clutter Array received signal vector s(r k,t) s r (t)e i2 f 0 (t k ) x k(, ) r cos( )sin( ) x sin( )sin( ) y k c c k k k 14 SZTAKI / MAPIS 03/12/2009 (EDA) Project - ISAR SYSTEM GEOMETRY 14

Ambiguity function describes how correlated a signal is with itself delayed in time by and shifted in Doppler (Sinsky and Wang, 1974). 2 j d l *, d u l e u l dl 2 Saini, Cherniakov, DTV signal ambiguity function analysis for radar application, IEE Proc.-Radar Sonar Navigation 2005 15 15

MULTI TARGET TRACKING ON AERIAL VIDEOS 10/24/2016 MTA SZTAKI / MPLab 16

Aerial processing Foreground separation and object segmentation on aerial images (2/2) Result: mosaic and object detection 10/24/2016 MTA SZTAKI / MPLab Proof-of-concept tracking 17

Kép-nézetek összehozása mozgás alapján SZTAKI / 2007

Szlávik & Szirányi & Havasi; IMPLab Tr. ImProc, 2006 Ergodikus reguláris Markov lánc: egy megoldása van, az előbbi kép-párosítás közös pontjaira 2 1 2 1 p p p p k j r j j k r k i k r i r i m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( 1 1 2 2 1 2 1 1 1 i j r j j i r i k i r k r k m P m m P m P m m P m P m P ) ( ) ( ) ( ) ( ) ( ) ( 2 2 1 1 2 1 2 1 2 Mi a valószínűsége az (1) kép egy (i) pontjának arra, hogy a képpont bemozdul, ha a (2) kép egy adott (j) pontjában mozgás van?

Fókuszmélység térkép egy nézetből iteratív Bayes-i eljárással Videó több mélységgel Mélység-térkép 10/24/2016 Kovács L. & Szirányi T. 2007 20

A hiba-függetlenségre optimalizált kettős iteráció sebessége f Hiba ( g, g ) arc sin g - g * h g k g.g - gk g, k 10/24/2016 SZTAKI MPLab 21

Object categorization 10/24/2016 MTA SZTAKI / MPLab /Dr. L. Kovács 22

Visual object extraction Object detection in crowded scenarios Goal: detecting objects of interest in real time crowded scenarios, where motion based detection and separation is not possible based on Viola-Jones recognizer adopted to street scenes Input-output: Training phase: Input: a set of images, with positive and negative training samples defined by rectangles Output : set of text files containing the meta-data of the trained classifiers Detection phase: Input: a raw video image Output: set of rectangles which mark the detected objects Failure of background subtraction Input frame Extracted foreground mask 10/24/2016 MTA SZTAKI / MPLab 23

Viselkedés elemzés: Verekedés detekció 10/24/2016 MTA SZTAKI / MPLab 24

A vezető szeme merre jár? Human experiments to teach the algorithm Human behavior considered as a personal fingerprint Wearable, head-mounted Needs precise calibration Monitoring and recording the path of the gaze AR GigE-60 eye tracker MTA SZTAKI / MPLab http://www.arringtonresearch.com/laptopeyetracker1.html 25

Estimating the human vision path graph MTA SZTAKI / MPLab 26

Hová néz a szem, amikor a látványt felderíti? Az érdeklődési területek automatikusan kijelölve Egy valódi szemmozgás követése MTA SZTAKI / MPLab 27

A fontos figyelmi területek megtalálása bbb The original images are derived from the Ground Truth Database, http://cs.washington.edu/research/imagedatabase 28

Az alakfelismerés evolúciója 1980s 1990s to early 2000s Currently

Kihívások Viewpoint variation Illumination changes Occlusion Scale Deformation Background clutter Intraclass variation

Bag of Words models Definition of BoW Independent features histogram representation Visual words: Csurka, Dance, Fan, Willamowski and Bray. Visual categorization with bags of keypoints. ECCV International Workshop on Statistical Learning in Computer Vision (2004)

learning recognition feature detection & representation Visual words image representation category models (and/or) classifiers category decision

Gen. Hough Transform with Local Features For every feature, store possible occurrences For new image, let the matched features vote for possible object positions

Implicit Shape Model - Representation Training images (+reference segmentation) Learn appearance codebook Extract local features at interest points Agglomerative clustering codebook Learn spatial distributions Match codebook to training images Record matching positions on object Appearance codebook y y s s x x y y s s x x Spatial occurrence distributions + local figure-ground labels

Implicit Shape Model - Segmentation Interest Points Matched Codebook Entries Probabilistic Voting y Segmentation s 3D Voting Space (continuous) x p(figure) Probabilities Backprojected Hypotheses Backprojection of Maxima

Felismerés és csoportosítás Multimédiás adatbázisokban: 1000-100.000 paraméter, 10 5 10 7 elem Mi a gráf-szerkezete az adatok halmazának? Mely paraméterek csoportosítanak a legjobban? 10/24/2016 SZTAKI MPLab 36

Hatalmas adatbázisok csoportosulási jellemzőinek keresése az Erdős-Rényi féle Óriáskomponensek kutatásával véletlen geometriai gráfokra 10/24/2016 Keszler A. & Kovacs L. & Sziranyi T. 37

Remote Sensing Légi és űrképek elemzése MTA SZTAKI / MPLab 38

Terrestrial LIDAR Horizontal LIDAR: street object and traffic monitoring Tilted LIDAR: reconstruction of building facades 10/24/2016 MTA SZTAKI / MPLab 39

Velodyne LIDAR outdoor experiments promo_video_edit_x264_compr.mp4 10/24/2016 MTA SZTAKI / MPLab / Velodyne LIDAR 40

Pedestrian detection and tracking Fusion of Optical and LIDAR scanning 10/24/2016 MTA SZTAKI / MPLab 41 MTA SZTAKI / MPLab

Matching LIDAR with PAL (Panoramic 360 o ) camera In cooperation with Tateyama Laboratory Hungary Ltd. 10/24/2016 MTA SZTAKI / MPLab 42

Gyalogosok detektálása nappal 10/24/2016 SZTAKI / MPLab 43

Gyalogosok detektálása éjszaka 10/24/2016 SZTAKI / MPLab 44

Információ egy frame-n VLP 16 sensor HDL 64 sensor MTA SZTAKI / MPLab i4d projekt

Információ mennyiség egy síklidar frame-n (regisztráció szükséges) Aktuális Regisztrált

LIDAR Alapú Gépi Látás a Közlekedésben Részleges Pontfelhőkből Közlekedésben és ipari körülmények között alkalmazott 3Ds leképezők pontfelhőinek feldolgozása Részleges információból történő felismerés Adatbővülés folyamatos felhasználása a felismerés eredményének pontosításához Felismert objektumok pontfelhőinek felhasználása navigálási, megfigyelési, stb. célokra MTA SZTAKI / MPLab

3D detektálás üzemi területen Lokális skála definíciója (a teljes alak méretétől függetlenül) Kulcspont keresés a lokális skála alapján Új lokális leíró kifejlesztése Részgráfok, mint félglobális struktúra A kategorizálás evolúciójának vizsgálata Általános 3D felismerő rendszer felépítésének kidolgozása MTA SZTAKI / MPLab

KULCSPONT KERESÉS ÉS LOKÁLIS SKÁLA DEFINÍCIÓ Kulcspont detektálás és karakterisztikus sugár hozzárendelése az adott kulcsponthoz (kulcsponttal reprezentált lokális felülethez). MTA SZTAKI / MPLab

Lokális leíró Shape Index Point Feature Histogram Karakterisztikus sugár Normal angle Lokális konvex burkoló térfogata MTA SZTAKI / MPLab

Minta definíció Kulcspontok klaszterezése Az alakzat felépíthető az így előálló színezett gráfból A C Szubgráfok definiálása és kifeszített térfogat szerinti besorolás Szubgráfok kódolása pl.: A: 12221 B és C: 13332 B A B C Minták gyakoriságának vizsgálata MTA SZTAKI / MPLab

Részleges városi objektumok felismerése A falak és a talaj könnyen szegmentálható, így ezek nem szerepelnek a városi objektum kategóriák között. MTA SZTAKI / MPLab

Részleges városi objektumok felismerése Tárgy legnagyobb kiterjedése [%] Felismerés az összes kategóriában [%] 10 17 20 25 30 33 40 50 50 83 60 83 70 92 80 92 90 100 100 100 Fa osztályú teszt felhők Gyalogos osztályú teszt felhők

Demo

Dr. Majdik András, MPLab/SZTAKI Szimultán Lokalizálás és Térképezés Repülő UAV-al Detect the global position of the MAV by recognizing visuallysimilar places (appearance based localization for MAVs) Large viewpoint changes -> air-ground matching Take Picture Localize Compare to database Lat: 47.384345, Long: 8.545037, Heading: 161.01

Motivation Vision-based localization is an alternative/complementary to GPS: urban canyons, street-level flight maneuvers (takeoff/landing) more accurate at low altitudes, orientation is detected motivation.avi

Motivation Applications: aid-delivery, parcel-service, traffic surveillance first-response and telepresence in case of accidents Start-up companies: Matternet, Skycatch, etc

Results 45% recall at precission 1.0 results.avi Dr. Majdik András, MPLab/SZTAKI

Results 45% recall at precission 1.0

UAV mono-kamerás 3D modellépítés videóból 10/24/2016 SZTAKI MPLab 60

http://web.mplab.sztaki.hu A mozgó világ felismerése LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking

10/24/2016 SZTAKI MPLab 62

http://web.mplab.sztaki.hu Applications LIDAR based 3D reconstruction and recognition Outdoor and indoor 3D video surveillance Real time multi target tracking and target identification Terrestrial target tracking