Mobil robook gépi láás alapú navigációja Vámoss Zolán Budapesi Műszaki Főiskola Neumann János nformaikai Kar
Taralom Bevezeés és a kuaások előzménei Célkiűzések és alkalmazo módszerek Körbeláó szenzorok, PAL opika Akadálelkerülés, pálaervezés Küléri navigációhoz kapcsolódó eredmének Szakma specifikus alkoások Összegzés 2009. 10. 24. Mobil robook gépi láás alapú navigációja 2
BEVEZETÉS ÉS A KUTATÁSOK ELŐZMÉNYE 2009. 10. 24. Mobil robook gépi láás alapú navigációja 3
2009. 10. 24. Mobil robook gépi láás alapú navigációja 4
CÉLKTŰZÉSEK 2009. 10. 24. Mobil robook gépi láás alapú navigációja 5
Célok Akadálelkerülési, pálaervezési módszerek vizsgálaa különböző reprezenáció eseén smer és ismerelen küléri körnezeben lokalizáció Térképkészíés PAL képsorozaból Járási sraégiák kifejleszése Guruló robo fejleszés és navigáció PAL képsorozaok minőségi javíása 2009. 10. 24. Mobil robook gépi láás alapú navigációja 6
KÖRBELÁTÓ SZENZOROK, PAL OPTKA 2009. 10. 24. Mobil robook gépi láás alapú navigációja 7
2009. 10. 24. Forrá Vision, hp://www.cis.upenn.edu/~kosas/omni.hml ~kosas/omni.hml Forrás: Daniliidis, Omnidirecional hp://www.cis.upenn.edu/ Mobil robook gépi láás alapú navigációja 8
PAL opika és modellje B P 1 Hiperboloid ükör P V Ellipszoid ükör O p p 1 Forrás: Z. Zhu, E. M. Riseman, A. R. Hanson, Geomerical Modeling and Real-Time Vision Applicaions of a Panoramic Annular 2009. Lens 10. (PAL) 24. Camera Ssem,, Technical Mobil Repor robook TR #99-11, gépi láás Comp. alapú Science navigációja Dep., Univ. of Massachuses, 1999, pp. 1 33. 1 9
Képkieríés és kalibráció Ké lépés: 1.Középpon 2.Torzíás megszüneés másodrendű approimáció Forrás: Z. Zhu, E. M. Riseman, A. R. Hanson, Geomerical Modeling and Real-Time Vision Applicaions of a Panoramic Annular 2009. Lens 10. (PAL) 24. Camera Ssem,, Technical Mobil Repor robook TR #99-11, gépi láás Comp. alapú Science navigációja Dep., Univ. of Massachuses, 1999, pp. 1 33. 1 10
BELTÉR NAVGÁCÓ ÉS AKADÁLYELKERÜLÉS 2009. 10. 24. Mobil robook gépi láás alapú navigációja 11
Beléri navigáció és akadálelkerülés Pálaervezési algorimusoka valósíoam meg és hasonlíoam össze foglalsági hálós érképreprezenáció eseében. Szabálalapú Neurális hálós Hullám-ovábberjeszéses Tanuló algorimus Gráf bejárás Módosíások 2009. 10. 24. Mobil robook gépi láás alapú navigációja 12
Beléri navigáció és akadálelkerülés Képfeldolgozás alapú eljárás fejleszeem ki néglábú lépegeő mobilrobo lábkörnezeének valós idejű vizsgálaára és az akadálelkerülésre PAL használaával. 2009. 10. 24. Mobil robook gépi láás alapú navigációja 13
Beléri navigáció és akadálelkerülés Módszer adam robo navigációnál alkalmazhaó akadáldeekálásra srukurális megvilágíás alkalmazó képfeldolgozás használaával. 2009. 10. 24. Mobil robook gépi láás alapú navigációja 14
Srukurál megvilágíás és a rendszer 2009. 10. 24. Mobil robook gépi láás alapú navigációja 15
KÜLTÉR NAVGÁCÓ ÉS KÖRBELÁTÁS ALAPÚ TÉRKÉPKÉSZÍTÉS 2009. 10. 24. Mobil robook gépi láás alapú navigációja 16
Küléri navigáció és körbeláás alapú érképkészíés Megoldás adam mobil robo küléri durva lokalizációjára GPS használaával; Főiskola udvar 2009. 10. 24. Mobil robook gépi láás alapú navigációja 17
Küléri navigáció és körbeláás alapú érképkészíés Eljárás dolgozam ki és valósíoam meg mobil robo küléri lokalizációjának ponosíására ismer körnezeben, körbeláó képek használaával. 2009. 10. 24. Mobil robook gépi láás alapú navigációja 18
Lokalizáció ismer körnezeben Szűrés Manuálisan kiválaszo köveési ponok PAL kép kieríés Jellemző deekálás robo helze PAL-kép Lokalizáció A kövee ponok helzeének meghaározása Köveheő ponok vizsgálaa 2009. 10. 24. Mobil robook gépi láás alapú navigációja 19
Küléri navigáció és körbeláás alapú érképkészíés Mobil robook navigálásának céljából eljárás dolgozam ki és valósíoam meg opológiai és felülnézei érképek lérehozására. 2009. 10. 24. Mobil robook gépi láás alapú navigációja 20
Viruális felülnézei ranszformáció és összeilleszés + + 2009. 10. 24. Mobil robook gépi láás alapú navigációja 21
Térképezési folama és lokalizáció 2009. 10. 24. Mobil robook gépi láás alapú navigációja 22
Pálaervezés 2009. 10. 24. Mobil robook gépi láás alapú navigációja 23
SZAKMA SPECFKUS ALKOTÁSKÉNT MEGVALÓSÍTOTT RENDSZEREK 2009. 10. 24. Mobil robook gépi láás alapú navigációja 24
Szakma specifikus alkoáskén megvalósío rendszerek Sajá készíésű néglábú és halábú robookon járási sraégiáka vizsgálam és mozgásszerkesző szofvereszköz készíeem járási algorimusok kialakíásához. Pozíci ció az idő függvénében Célponok adaai Sebesség 2009. 10. 24. Mobil robook gépi láás alapú navigációja 25
Szakma specifikus alkoáskén megvalósío rendszerek Sajá fejleszésű és készíésű guruló és lépegeő robooknál az előző ézisek fizikai megvalósíásán kereszül bemuaam a kifejlesze navigációra és érképezésre iránuló algorimusok és módszerek működésé. 2009. 10. 24. Mobil robook gépi láás alapú navigációja 26
Opikai folam Képinformáció előfeldolgozása 2D kameraképből 3D adaok kinerése? Képkockák inenziásának összehasonlíása Elmozdul piel pozíciójának keresése Vekorok érelmezése: közeli és ávoli ponok Terepből kiemelkedő akadálok észlelése 2009. 10. 24. Mobil robook gépi láás alapú navigációja 27
Navigálás 2009. 10. 24. Mobil robook gépi láás alapú navigációja 28
Szakma specifikus alkoáskén megvalósío rendszerek Sajá megvalósíású roboon kereszül megmuaam a PAL opika és a körbeláó szenzorok képének minőségi javíásá és íg összee navigálási feladaokban örénő alkalmazhaóság haékonabb leheőségé. 2009. 10. 24. Mobil robook gépi láás alapú navigációja 29
Helreállíás alapú superresoluion Cél: Videó szekvenciák minőségének javíása Opikai folam echnikák összehasonlíása Körbeláó kamerával készíe képsorozaok felbonásának növelése és minőségjavíása 2009. 10. 24. Mobil robook gépi láás alapú navigációja 30
A rendszer felépíése Az inpu videó egmás uáni képkockái Subpielesíés Úófeldolgozás Sor Sor Képranszformáció Fúzió 2009. 10. 24. Mobil robook gépi láás alapú navigációja 31
Vizsgál opikai folam módszerek Lucas-Kanade (LK): a vekorok a homogén régiók széleinél ponosak a öbbi részen elmosódások Piramis alapú LK: nag mozgásoka is ud deekálni, de a hiba is növekszik orzulások és elmosódások Horn-Schunck: a homogén erüleek belsejében ponosabbak a vekorok. Ezeke a erüle haárának vekorai alapján haározzák meg (globális echnika) Block maching: nagobb blokkmére eseén ponosabbak a vekorok, de sok pielhez uganaz a vekor csökken a ponosság 2009. 10. 24. Mobil robook gépi láás alapú navigációja 32
Összegzés Számos mobilroboo (guruló, lépegeő) fejleszeem ki Akadálelkerülési, érképkészíési és navigációs feladaoka oldoam meg Körbeláó opikával készíe képsorozaoka használam fel e feladaokban Bizonos megoldások álalánosan is alkalmazhaók (GPS, képminőség javíás, akadáldeekálás) 2009. 10. 24. Mobil robook gépi láás alapú navigációja 33
KÖSZÖNÖM MEGTSZTELŐ FGYELMÜKET! 2009. 10. 24. Mobil robook gépi láás alapú navigációja 34
Opikai folam módszer A (2D) képérben a piel mozgás számíása A mozgó piel inenziása nem válozik az időben (,, ) (,, ) A jobb oldal Talor sorba fejése és kis elmozdulás (,, ) (,, ) (,, ) (,, ) 0 0 2009. 10. 24. Mobil robook gépi láás alapú navigációja 35
Opikai folam módszer 0 u v u v v u 0 Konsans inenziás feléelből és ismer a képből Minden ponra eg egenlee eredménez smerelenek: u, v A megoldás valahol az egenesen van 2009. 10. 24. Mobil robook gépi láás alapú navigációja Az (u,v) érben ez eg egenes egenlee v 36 u
Lucas & Kanade módszer Eg energia-kifejezés definiál és a minimumá keresi A deriválja ehá 0 E ( u v 2 ) E u E v 2 ( u v ) 2 ( u v ) 0 0 2009. 10. 24. Mobil robook gépi láás alapú navigációja 37
Lucas & Kanade módszer Lucas & Kanade módszer 2009. 10. 24. Mobil robook gépi láás alapú navigációja v u v u v u 2 2 2 0 0 ) ( 2 v u v E 0 ) ( 2 v u u E v u v u v u 2 2 2 0 B u A v u 2 2 38
Lucas & Kanade módszer Lucas & Kanade módszer 2009. 10. 24. Mobil robook gépi láás alapú navigációja B Au B A Au A 1 1 B A u 1 B A u 1 v u 1 2 2 v u 2 2 2 2 2 1 39
Opical flow piramis módszerrel u=1.25 piel u=2.5 piel u=5 piel image kép Gauss piramisa u=10 piel image +1 +1 kép Gauss piramisa 2009. 10. 24. Mobil robook gépi láás alapú navigációja 40