MULTISENSOR FUSION AND NAVIGATION Lecturer: Dr. Csaba Rekeczky Assistant: Gergely Soos WEB: http://d58.itk.ppke.hu Course Summary I. The course aims to provide a comprehensive overview on multisensor data fusion and navigation techniques within a real-time sensing-processing-actuation framework. The focus will be put on multi-object tracking based on processing multiple image data flows. Adaptive algorithmic solutions will be overviewed at different levels of information fusion by combining sensor and system level calculations in both bottom-up and top-down processing schemes. Efficient data flow partitioning on topographic and non-topographic representations with the associated hardware architectures will be outlined. Various multisensor platforms and attention driven strategies will be discussed in different application scenarios relying on UAV/UGV navigation examples. 1
Course Summary II. First course: 2006, fall semester 4th grade Classes: lectures 2 hours/week Credits: 3 Prerequisites: probability theory, statistics, linear algebra, signal processing Suggested: nonlinear dynamical systems, cellular nonlinear networks, neural networks Requirement: exam Readings: Yakoov Bar-Shalom, X. Rong Li, and Thiagalingam Kirubarajan, Estimation with Applications to Tracking and Navigation, John Wiley and Sons Inc., 2001. Csaba Rekeczky, Multisensor Fusion and Navigation, Course presentation material, 2006. Lectures - Table of Contents I. 1. Basic Concepts of Estimation and Tracking / ML, MAP, LS, MMSE and NLS estimators, MTT basics / 2. State Prediction Methods for Linear Dynamical Systems / Kalman filter, estimation for kinematic models / 3. State Prediction Methods for Nonlinear Dynamical Systems / Extended Kalman filter, error compensation and error reduction / 4. Data Association and Data Assignment / SNF, NNF, PDA, JPDA, JVC, MHT methods and algorithms / 5. Bio-inspired and Artificial Attention Strategies / Bottom-up, top-down and combined attention-selection strategies / 6. Near/close Sensor Processing with Adaptation / Cellular architectures and topographic sensing-processing with adaptation / 7. Topographic Data Fusion / Image flow fusion methods and strategies using multi-spectral imagers / 8. Non-topographic Data Fusion / Signal and image flow fusion combining multiple sensors / 2
Lectures - Table of Contents II. 9. Computing/Fusing Networks / Self organization, learning and recognition in complex nonlinear networks / 10. Multisensor Multitarget Tracking and Discrimination / Handling multisensor input in MTT, track management and analysis / 11. Adaptive Estimation and Maneuvering Objects / IMM model and its applications, IMM-JVC and IMM-JPDA models / 12. Multisensor computing platforms sensor level analysis / Sensor types, sensor calibration and adaptation, data stream registration / 13. Multisensor computing platforms system level analysis / Processor types, reconfigurable architectures, algorithm partitioning / 14. Attention Driven Strategies in UAV Navigation / Autonomous multisensor mobile robotics experiments / 15. Attention Driven Strategies in UGV Navigation / Autonomous multisensor light model airplane experiments / Main goals of the course Learning the mathematical background of modern multi-sensor fusing-trackingnavigating systems Understanding the different levels of processing in multi-sensor fusion Comparing artificial and biologically inspired navigation strategies based on the evaluation of multi-sensor input Conducting a laboratory experiment on a fusion platform 3
SOKSZENZOROS FÚZIÓ ÉS NAVIGÁCIÓ Előadó: Dr. Rekeczky Csaba Gyakorlatvezető: Soós Gergely WEB: http://www.itk.ppke.hu/d58 Tárgy összefoglaló I. A kurzus legfőbb célja, hogy áttekintést adjon a valós idejű számítási keretben megfogalmazott sokszenzoros adatfúzió és navigáció területéről. A fókusz elsősorban a több képfolyam párhuzamos feldolgozásán alapuló többobjektumos követés tanulmányozására irányul. Átfogó ismereteket ad a szenzor és rendszer szintű számításokat két irányú feldogozásban kombináló adaptív algoritmikus megoldásokról. Említést tesz az adatfolyamok topografikus és nem topografikus részre történő particionálásáról és az ehhez kapcsolható hatékony feldolgozó hardver architektúrákról. Számos figyelem vezérelt számítási stratégia kerül elemzésre vezető/pilóta-nélküli járművek navigációs példáira támaszkodva. 4
Tárgy összefoglaló II. Első kurzus: 2006, őszi félév 4. évfolyam Óraszám: előadás 2 óra Kreditpont: 3 Előismeretek: valószínűség elmélet, statisztika, lineáris algebra, jelfeldolgozás Ajánlott: nemlineáris dinamikus rendszerek, celluláris nemlineáris hálózatok, neurális hálózatok Követelmény: kollokvium Háttéranyag: Yakoov Bar-Shalom, X. Rong Li, and Thiagalingam Kirubarajan, Estimation with Applications to Tracking and Navigation, John Wiley and Sons Inc., 2001. Csaba Rekeczky, Multisensor Fusion and Navigation, Course presentation material, 2006. Előadások - tartalom I. 1. A becslés elmélet és követés alapfogalmai / ML, MAP, LS, MMSE és NLS becslők, többobjektumos követés alapjai / 2. Állapot predikciós módszerek lineáris dinamikus rendszerekben / Kálmán szűrő, becslés kinamatikus modellekkel / 3. Állapot predikciós módszerek nemlineáris dinamikus rendszerekben / Kiterjesztett Kálmán szűrő, hibakompenzáció és hibacsökkentés / 4. Adatasszociáció és adatösszerendelés / SNF, NNF, PDA, JPDA, JVC, MHT módszerek és algoritmusok / 5. Biológialilag inspirált és mesterséges figyelmi stratégiák / Bottom-up, top-down és kombinált figyelmi kiválasztási stratégiák / 6. Szenzor közeli feldolgozás és adaptáció / Celluláris architektúrák és topografikus adaptív érzékelés-processzálás / 7. Topografikus adatfúzió / Képfolyam fúziós metódusok multispektrális érzékelőkre támaszkodva / 8. Nem topografikus adatfúzió / Jel és képfolyam fúziós metódusok többféle érzékelőre támaszkodva / 5
Előadások - tartalom II. 9. Számító / fúziós hállózatok / Önszerveződés, tanulás és felismerés komplex nemlineáris hállózatokban / 10. Sokszenzoros - sokobjektumos követés és felismerés / Sokszenzoros bemenet MTT-ben, pálya adminisztráció és analízis / 11. Manőverező objektumok adaptív követése / IMM model és alkalmazásai, IMM-JVC és IMM-JPDA modellek / 12. Sokszenzoros számítási platformok szenzor szintű analízis / Szenzor típusok, szenzor kalibráció és adaptáció, adat regisztráció / 13. Sokszenzoros számítási platformok rendszer szintű analízis / Processzor típusok, átkonfigurálható architektúrák, algoritmus particionálás / 14. Figyelem vezérelt stratégiák UGV navigációban / Autonóm, sokszenzoros mobil robotikai kísérletek / 15. Figyelem vezérelt stratégiák UAV navigációban / Autonóm, sokszenzoros könnyű modell repülőgép kísérletek / A kurzus legfőbb célkitűzései Modern sokszenzoros fúziós, követő és navigációs rendszerek matematikai hátterének megismerése A sokszenzoros fúzió különböző feldolgozási szintjeinek megértése Sokszenzoros input feldolgozását feltételező mesterséges és biológiailag inspirált navigációs stratégiák összehasonlítása Egy fúziós platformra épülő laboratóriumi kísérlet elvégzése 6