TÁMOP-4.2.2.C-11/1/KONV-212-4 infokommunikációs technológiák ROBOT IRÁNYÍTÁS INFRAVÖRÖS LED TÖMBBEL
A KUTATÁSI TERÜLET RÖVID MEGFOGALMAZÁSA TÁMOP-4.2.2.C-11/1/KONV-212-4 Célok: Növekvő érdeklődés a non-boolean számítógép architektúrák iránt: téridőbeli dinamika képkocka-mentes (frameless) feldolgozással: a számítás előrehaladásával kifejlődő dinamika azonosít autonóm robot sikeres mozgáskoordinációjának támogatása, IR tartományban működő deszkamodell szenzormező(k) jelei alapján mobilrobot platformot mélységkamerákkal hardveresen és szoftveresen integráljuk, mélységkamerás mobil érzékelési kísérletekre alkalmassá tegyük emberi járás, mint bio-metrikus marker mozgó robot platformról történő mozgó emberek követése és azonosítása 2
KUTATÁSI TERV TÁMOP-4.2.2.C-11/1/KONV-212-4 A kutatási terv 215. január március időszakára megfogalmazott feladatok: Mérési környezet összeállítása. Infraszenzor-mezővel mérések végzése, mely a láb lehelyezését pontosabbá, biztonságosabbá teszi az előzetesen ismert (pontatlan) talajinformációkhoz képest. Mélységkamerák fizikai és szoftveres integrációja mobil robot platformon, emberi járás vizualizációja és a mozgás monitorozáshoz szükséges SLAM algoritmus implementációja, 3D adatintegrációs szoftver rendszer kialakítása. 3
A TÉMA SZAKMAI ELŐREHALADÁSA TÁMOP-4.2.2.C-11/1/KONV-212-4 Deszkamodell szenzormező: mérési adatok gyűjtése a környezetről A) 8x8-as LED mező érzékelő szenzorokkal B) vezérlő és kiolvasó áramkörök A) B) Szimulátor: Celluláris Hullámszámítógép, a számítások lokálisan terjedő hullámokkal valósulnak meg. A nyers mérési adatok feldolgozása: állapot egyenletek: explicit Euler és RK-45 megoldók a közelítésre szoftveres keretrendszer: c++, MATLAB 4
MINTAPÉLDA TÁMOP-4.2.2.C-11/1/KONV-212-4 A feladat: specifikus tereptárgy (domb vagy völgy) felismerése, aminek a mérete nagyobb mint, amekkorát a szenzormező belát A kulcslépés: a teljes képfolyam megjelenik a bementen, ahelyett, hogy különálló képeken végzünk feldolgozást 5
SZÁMÍTÁSI MODELL TÁMOP-4.2.2.C-11/1/KONV-212-4 Három hullámdinamika fejlődik együtt: a téridőbeli bemenet (u) a számító celluláris mező saját dinamikája (x, F által definiálva) a fényforrások mintázata (v, G 1 vagy G 2 által definiálva) Két esetben vizsgáljuk a kölcsönhatásukat: független aktiváció esete adaptív aktiváció esete v x F( x, const. vagy f 1 v ( x), u) G 1 ( v, f 2 ( v)) v x G 2 F( x, ( v, f 2 f1( x), u) ( v), f1( x)) u: két-dimenziós bemeneti folyam x: két-dimenziós számítás folyama (a cellák belső állapota) v: a fényforrások aktivációs erősségét meghatározó két-dimenziós folyam 6
SZÁMÍTÁSI MODELL TEMPLATE PROGRAM TÁMOP-4.2.2.C-11/1/KONV-212-4 x ij x ij ( t) A( i k, j l) y ( t) kl ki rd l j rd ki rd l j rd B( i k, j l) u kl ( t) z y f pwl 1 2 ( x 1 x 1) A s p r s B b z z s b 1.1, 1., p z 1.,. r.7, peremfeltétel: zero-flux méret: 8 x 8 cella cella-modell: Chua-Yang 7
TÚLMÉRETES OBJEKTUM DETEKTÁLÁSA TÁMOP-4.2.2.C-11/1/KONV-212-4 8
KÉPKOCKÁNKÉNTI VS. KÉPKOCKA- MENTES FELDOLGOZÁS TÁMOP-4.2.2.C-11/1/KONV-212-4 SR1 9
EGYENSÚLYI PONTOK TÁMOP-4.2.2.C-11/1/KONV-212-4 A s p s B b z z r S 7 (S 6 ( S 1 (M) )) S 2 (S 1 (M)) M S 1 (M) 1
EGYENSÚLYI PONTOK TÁMOP-4.2.2.C-11/1/KONV-212-4 11
EGYENSÚLYI PONTOK 16- DIMENZIÓS RENDSZER TÁMOP-4.2.2.C-11/1/KONV-212-4 12
EGYENSÚLYI PONTOK 16- DIMENZIÓS RENDSZER TÁMOP-4.2.2.C-11/1/KONV-212-4 6. bementi kép esetén: 9(2) 7(2/1) 5(2/1) 3(1) ep. {d1, d2} függvényében 13
EGYENSÚLYI PONTOK 16- DIMENZIÓS RENDSZER TÁMOP-4.2.2.C-11/1/KONV-212-4 7. bementi kép esetén: 5(1) 7(1) 9(2) ep. {d1, d2} függvényében 14
EGYENSÚLYI PONTOK 16- DIMENZIÓS RENDSZER TÁMOP-4.2.2.C-11/1/KONV-212-4 A: 6. bemeneti kép B: 7. bemeneti kép (d1 =.7, d2 =.) x : a rendszer a bemeneti kép állapotából indul : a rendszer az első stabil egyensúlyi pontból indul : a rendszer a második stabil egyensúlyi pontból indul 15
A TÉMA SZAKMAI ELŐREHALADÁSA TÁMOP-4.2.2.C-11/1/KONV-212-4 Mélységkamerák fizikai integrációja a mobil roboton: A mélységkamerák szoftveres integrációja. Meghajtó program fordítása és telepítése. Az ORB-SLAM elnevezésű egykamerás térképező-navigáló programcsomag telepítése. A háromdimenziós csontváz modellek időbeli vizualizációja. A mélységkamerás mérések feldolgozására szolgáló szoftver fejlesztése az úgynevezett Kinect Fusion algoritmus mérési körülményeknek megfelelő módosításával. 16
SZEMÉLYEK - FELADATOK TÁMOP-4.2.2.C-11/1/KONV-212-4 Gergely Krisztián Informatikus mérnök Kísérleti hardver-szoftver környezet felállítása Dr. Koller Miklós egyetemi adjunktus Algoritmustervezés, programozás, mérések elvégzése Dr. Cserey György Témavezető, egyetemi docens Kapcsolódó state of the art megoldások áttekintése, irányítás 17
INDIKÁTOROK TÁMOP-4.2.2.C-11/1/KONV-212-4 Konferenciapublikációk: K. Gergely and G. Cserey: Gait recognition with depth camera from a moving platform Progress in Motor Control X, accepted. A. Répai and G. Cserey: Accelerometry based human-machine interface for robotic applications Progress in Motor Control X, accepted. Folyóiratpublikáció: M. Di Marco, M. Forti, B. Garay, M. Koller, L. Pancioni: Floquet multipliers of a metastable rotating wave in a Chua-Yang ring network, Journal of Mathematical Analysis and Applications, submitted. Együttműködés: A kutatási témához kapcsolódóan együttműködés indult egy NSF projekt keretében a Notre Dame-i Egyetemmel (USA). Ennek keretében a nyáron egy amerikai vendég Ph.D. hallgató kapcsolódik be a mobil robotikai projekt kutatási feladataiba. 18
TÁMOP-4.2.2.C-11/1/KONV-212-4 infokommunikációs technológiák KÖSZÖNÖM A FIGYELMET!