és alkalmazásai Tanszéki előadás, 2010 feb. 17 Méréstechnika és Információs Rendszerek Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem
Tartalom 1. Felhasználási területek 2. Korábbi munkák 3. Vetítési modell és kalibráció 4. Sztereó rekonstrukció alapproblémái 5. Több nézet vagy mozgás 6. Rekonstrukció alaptétele/akadálya 7. További irányok 2/22
Területek / Orvosi 3D-képfeldolgozás INVAZÍV NON-INVAZÍV Tomográf / CTI Radioaktív / NRI Mágneses / MRI Ultrahang / USI Célok 1. Interaktív, dinamikus 3D-vizualizáció 2. Formák, textúrák, mozgás számszerűsítése 3. Anatómiai struktúrák identifikációja 4. 3D regisztráció (inter/intra-páciens, multimod.) 5. Terápia tervezés, szimuláció, döntés, irányítás Forrásképek I(x,y,k) pl. koponya vagy I(x,y,k,t) pl. szív Nicolas Ayache, Medical Computer Vision, Virtual Reality and Robotics Promising Reasearch Tracks, EPIDAURE Project, INRIA, Sophia-Antipolis, France, 1994 (BMVC, 1995). 3/22
Ipari alkalmazások / Gyártás, végellenőrzés Alkalmazások Mérések (tolerancia, statisztikák) Szűrés (pass/fail) 3D lokalizáció robotirányításhoz ISRA Vision www.isravision.com 4/22
Területek / (Fél)autonóm járművek INTELLIGENS KÖZÚTI JÁRMŰVEK (IV, ADAS) IPARI RAKODÓ/SZÁLLÍTÓ ROBOTOK (AGV) AUTOMATED CART TRANSPORTER SZÁRAZFÖLDI ROBOTOK (NASA Mars Exploration Rover) (Predator RQ-1, USA légierő felderítője, 1995 óta) (URA Lab, IIS, Tokiói Egyetem) HEAD-UP DISPLAY (HUD) UTASSZÁLLÍTÓ REPÜLŐGÉP PILÓTASEGÍTŐ RENDSZER ENHANCED/SYNTHETIC VISION SYSTEM (EVS/SVS, HUD) LÉGI ROBOT (UAV, UCAV) TÁVIRÁNYÍTHATÓ LÉGI JÁRMŰ (RPV) AUTONÓM TENGERALATTJÁRÓK (AUV, UUV) TÁVIRÁNYÍTÁSOS TEGERALATTJÁRÓK (ROV) 5/22
Területek / Filmipar és játékipar (AR/VR) Kibővített valóság (Augmented Reality, AR) az Avatar c. filmben Kibővített valóság az Én a robot c. filmben Pendulum Anim. Studio, AlterEgo division Virtuális valóság (Virtual Reality, VR) ImageMetrics Virtuális valóság 6/22
Területek / Reklám és sportkövetítések (AR/VR) Questec Tenisz HawkEye Innovations Snooker SportVision Virtuális felületek / játékoskártyák SportVision Amerikai foci overlay SportVision Virtuális kijelző LiberoVision Teljes 3D-rekonstrukció Pl. Virtuális lesvonal 7/22
Alkalmazási területek 3D orvosi képfeldolgozás, rekonstrukció Gyártás, végellenőrzés (Fél)autonóm járművek és pilótasegítő rendszerek Film- és játékipar (AR, VR) Reklám és sportközvetítések (AR, VR) Közúti és köztéri felügyeleti rendszerek Régészet, szobrok, műemlékek digitalizálása stb. 8/22
Korábbi munkák / Matlab toolbox MATLAB TOOLBOX: SAKKTÁBLÁS MATLAB TOOLBOX: SÁVDETEKTÁLÁSHOZ 9/22
Korábbi munkák / Cornea-rekonstrukció 10/22
Korábbi munkák / Cornea-rekonstrukció Kísérlet műszaruhártyával A három kamera által elvileg látott és a rekonstruált felületek Sugárkövetéssel számított kép 11/22
Korábbi munkák / sztereó sávdetektálás HMI SZTEREÓ KAMERARENDSZER YAW-RATE ÉS GYORSULÁS előre néző kamerák nagy bázisszélesség HMI A FIGYELMEZTETÉSHEZ SEBESSÉG SZENZORFÚZIÓ EPAS A SÁVKÖVETÉSHEZ Valós időben laterális pozíció, jármű orientációja, sáv térbeli alakja. 12/22
Vetítési modell Megállapítások geometriai és algebrai algebrai modell kell külső és belső kamera paraméterek kalibráció információvesztés (mélység) több nézet vagy a priori info kell perspektív vetítés nemlináris projektív tér, homogén algebra 13/22
Rekonstrukció: Shape-from-X Rekonstrukció a fényforrás ismeretében / meghatározásával 3D lézer-szkenner Shape-from-Shading (SfS) Többnézetes rekonstrukció Computational Stereo SZTEREÓ MOZGÁS bázisvonal Structure-from-Motion (SfM) 14/22
Projektív rekonstrukciós alapprobléma Forrásadatok Rekonstrukció típusa Rektifikációhoz csak a képek képek, belső képek, belső, rel. külső képek, belső, absz. külső projektív (15 DoF) hasonlósági (7 DoF) euklidészi (6 DoF) valódi (true) Sztratifikáció Skálatényező Elforgatás,eltolás Valódi geometria 15 DoF projektív transzformáció Projektív rekonstrukció 15/22
Sztereó: parallaxis és diszparitás (Spirit Mars Exploration Rover anagliph 2004 jún. 8) (Oliver Wendel Holmes sztereogramja, 1860 Normann Rockwell festménye) 16/22
Sztereó elrendezés geometriája Fundamentális mátrix Esszenciális mátrix 17/22
Rektifikáció standard elrendezésbe 18/22
Sztereó: ritka és sűrű mélységi képek számítása Lépések 1. Sarokdetektálás 2. Ritka megfeleltetés ritka diszparitás 3. Fundamentális mátrix számítása 4. Rektifikáció standard geometriára 5. Sűrű megfeleltetés (scanline mentén) 6. Konzisztenciateszt, validáció 7. Interpoláció (funkcionál min.) Sarokdetektálás Sűrű mélységi kép (szimuláció validációhoz) 19/22
Sűrű sztereó: a sanyarú valóság Eredeti képek egyike (szimulált) Referencia-diszparitáskép Blokk-illesztés Dinamikus programozás Maximum flow Graph cuts M. Z. Brown, D. Burschka, G. D. Hager, Advances in Computational Stereo, IEEE Trans. on Pattern Analysis and Machine Intelligence, 25(8): 993-1008, 2003. 20/22
Mi a helyzet a mozgással / több nézettel? Mozgás Optikai mező módszerek Hagyományos rektifikáció nem jó Szereó diszparitás vs. optikai mező Szegmentálás: tyúk-tojás Több nézet Trifokális kényszerek gyakoriak Kvadrifokálison túl nem megyünk Gyakori a visszavezetés sztereóra Az új nézetek már kalibrálhatók Nagy optimalizálási feladat Sűrű rekonstrukció még sűrűbb lehet 21/22
Kutatás További tervek többnézetes implementációk (Matlab) sűrű mélységi képek (Matlab) dinamikus sztereó (sztereó+optikai mező) autokalibráció plussz szenzorokkal 22/22
Köszönöm a figyelmet! és alkalmazásai Tanszéki előadás, 2010 feb. 17 Méréstechnika és Információs Rendszerek Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem