Budapesti Műszaki és Gazdaságtudományi Egyetem Irányítástechnika és Informatika Tanszék Prohászka Zoltán Újszerű geometriai mértékeken és képjellemzőkön alapuló mozgássztereó mobilis robotikai alkalmazásokhoz Ph. D. értekezés tézisei Motion stereo for mobile robot applications based on novel geometric measures and image features Ph. D. Thesis Summary Konzulens: Prof. Dr. Lantos Béla Budapest, 2010. december 14.
2
3 1. Bevezető és motiváció A termelésben alkalmazott ipari robotok többsége csupán 6 csuklószenzor segítségével látja el feladatát. Ez csak akkor lehetséges, ha a robotnak mindig pontos információja van a környezet pillanatnyi állapotáról. Egyre nagyobb teret kapnak viszont azok az alkalmazások, amikor a robotnak intelligens módszerekkel kell a környezet leírásából hiányzó e- lemeket meghatároznia. Különösen így van ez olyan feladatok esetében, amikor a robot helyváltoztatása szükséges, hiszen egy ilyen mobilis robot környezete sokkal több, előre nem specifikálható elemet tartalmazhat. Erre a célra a vizuális érzékelés kiválóan alkalmas: Távoli érzékelést tesz lehetővé, a környezetet nem változtatja meg a mérés. Az egyes érzékelőcellák igen alacsony költségűek, hiszen egy eszközben több millió is lehet. A jelek érzékelése és azok feldolgozása jól ismert geometriai viszonyok mellett, illetve összefüggések alapján zajlik, így geometriailag helyes kimenetet lehet előállítani. Nem véletlen, hogy az emberi termelő tevékenység során is dominál a vizuális érzékelés felhasználása [2]. A számítógépes képfeldolgozás fejlődése szétválaszthatatlan a számítógépek fejlődésétől. Ahogy a gépek memória- és számítási kapacitása növekszik, úgy válik lehetővé az egyes, akár évek óta ismert ötletek, elméleti eredmények gyakorlati ellenőrzése és módosítása. A képfeldolgozás tisztán elméleti erdeményei ezért mindig megelőzik a gyakorlatban bevált módszereket, melyek csak akkor alkalmazhatók a robotikában, ha megbízható működésük ki lett dolgozva. Ez utóbbi területet nevezik (angolul) Robot Vision-nek, az ezen a területen elért eredményeket általában robotikai konferenciákon és folyóiratokban teszik közzé. A számítógépes látás (Computer Vision) és a Robot Vision területek között nem egyiránnyú az információáramlás, az egyes módszerek éles robotikai feladatokban való alkalmazhatósága megmutatja az elméleti irányzatok életképességét. Az ilyen alkalmazások perdöntők lehetnek az egymással versengő módszerek jövőbeni alkalmazása szempontjából. Mivel a robotok a 3-dimenziós térben fejtik ki tevékenységüket, ezért a 3-dimenziós környezet modelljének kétdimenziós vetületekből történő előállítására koncentrálunk. Egy ilyen folyamat elemi lépése két kép viszonyának a meghatározása. Amennyiben előzetes informácó nem áll rendelkezésre a két kép viszonyáról, akkor ez a következő lépésekre bontható: A fontos képrészletek elhelyezkedésének megállapítása (kulcsterület lokalizáció). Az ezen részletek által tartalmazott képi információt reprezentáló leíróvektorok kinyerése (leíróvektor generálás).
4 1 BEVEZETŐ, MOTIVÁCIÓ Kulcsterületek párosítása a leírók hasonlósága és geometriai elhelyezedésük alapján. Követelmény, hogy a párosítások összessége összhangban legyen valamilyen transzformációs modellel. Ez a transzformációs modell tehát a lépés során előáll. A kapott, és más képpárosításokból eredő transzformációs modellek már térbeli információkat hordoznak, a rekonstrukciós folyamat további lépéseiben ezek kombinálása szükséges, hogy a környezet minél pontosabb térbeli modellje álljon elő. Ennek a lépésnek a komplexitása igen változó lehet, az értekezés ezeket nem tárgyalja részletesen. A képpárosítási feladat megoldását az ezredforduló előtt geometriai képjellemzők alapján végezték, míg D. Lowe gyakorlatias módszerének (SIFT, azaz Scale Invariant Feature Transform [8]) hatására az ezredforuló után a momentum, illetve gradiens-histogramm alapján működő módszerek domináltak. A módszer két lényeges lépése a stabilan reprodukálható kulcsterületek meghatározása (lokalizációja), illetve a megtalált területek tartalmának tömörítése képrészlet-leíró vektorokba. A felhasznált elméleti eredményeket (DoGSS) már a kilencvenes években ismerték [6, 7], de a SIFT detektor olyan módosításokat adott ezekhez, melyek a gyakorlatban is bizonyították a kutatási irányvonal életképességét. Az új irányvonal igen sok konkurrens megoldást hozott, többek között a PCA-SIFT [5], GLOH [12], SURF [1], Harris-Affine [11], MSER [10] módszereket. A több kameraképen alapuló 3-dimenziós rekonstrukció alapvető geometria összefüggéseit és algebrai módszereit az 1980-as, 1990-es években dolgozták ki. Ezeket szemléletesen és tömören mutatja be Hartley és Zisserman könyve [4]. 1.1. Az értekezésben megoldott feladatok Az értekezés a fenti feladatok egyes részfeladataira ad új megoldásokat, ezeket két megközelítésben mutatja be. Az affin Lucas-Kanade (LK) detektor [9] szinguláris eseteinek vizsgálatából adódó eredmények általánosan használhatók. A kidolgozott eredmények összekötik az irodalomban eddig külön tárgyalt geometriai képjellemzőkre és a kulcsterületek tartalmának reprezentálására használt leíró-vektorokra alapozott megközelítéseket. A tanszéken fejlesztett négyrotoros autonóm beltéri helikopter pozíciójának és orientációjának meghatározásához kidolgozott eredmények a fent vázolt feldolgozási folyamat egyéb lépéseit is érintik. A kutatómunka elején, a klasszikus módszerek tanulmányozásakor feltűnt, hogy amíg a standard Lucas-Kanade detektor szinguláris eseteinek analizálása azonos a Harris Corner detektor [3] formalizmusával, addig az affin LK detektor szinguláris eseteinek vizsgálata nincs kidolgozva. Ez vezetett az Önaffin Képjellemző (Self Affine Feature Transform, SAFT) kidolgozásához. A kutatás ehhez kapcsolódó részfeladata ezután arra koncentrált, hogy a szinguláris esetek vizsgálata kapcsán feltárt összefüggéseket minél alaposabban formalizáljam, és gyakorlati alkalmazhatóságukat kidolgozzam. A felfedezett összefüggések
1.1 Kutatási feladatok 5 hamar egyértelművé tették, hogy a módszer kiválóan használható (affin invariáns) geometriai információk kinyerésére. Erős volt a sejtés, hogy a kinyert információk használhatók leíróvektor-alapú párosításra is, mivel a bizonyítottan jól működő módszerekhez hasonlóan a gradiensek eloszlását kódolják. Sikerült a kidolgozott módszer egy olyan paraméterezését megtalálni, ami ennek a kutatási iránynak a folytatására buzdított. A továbbiakban az optimális paraméterezés meghatározása kimerítő keresés segítségével történt. Nem várt eredményként fény derült arra, hogy a kidolgozott formalizmus a kulcshelyzetek lokalizációjának elvégzése közben is használható. Ez a kutatási irány nem tekinthető befejezettnek. 1. ábra. A tanszéken fejlesztett négyrotoros helikopterek prototípusa. Az Irányítástechnika és Robotika csoport egy beltéri négyrotoros autonóm helikoptert fejleszt a Budapesti Műszaki Egyetem Irányítástechnika és Informatika Tanszékén (BME IIT). Kutatási projektünk 2006 tavaszán kezdődött, az MTA SZTAKI és a BME IIT kooperációja keretében. A robot-helikopterek prototípusainak kutatásához elengedhetetlen egy megbízható és gyors helyzetmeghatározó megoldás. Ezt a feladatot képfeldolgozással kívántuk megoldani, mivel a felmerülő egyéb módszerek mellett ez az út tűnt a leginkább járhatónak. Két, alapvetően eltérő konstrukció jött szóba: Az első változat helikopterre szerelt markereket, külső kamerákat és földi feldolgozóegységet használ. A számított helyzetet rádiókapcsolaton lehet elküldeni a 6- szabadságfokú mobilis robotnak. Emiatt ez a megoldás erősen helyhez kötött (ami beltéri működés esetén mellékes), viszont könnyebben realizálható. A második elrendezésben mind a kamerák, mind a feldolgozórendszer a helikopteren lehet. Beltéri helikopterek esetében OpenGL ES 2.0-s szabványnak megfelelő Handheld-PC szintű számítógépek jöhetnek szóba képfeldolgozó egységként, ez esetben érdemes a laboratóriumba telepített markerekkel csökkenteni a számításigényt. Kültéri (némileg erősebb) helikopterek esetében OpenCL 1.1 kompatibilis mobilis
6 1 BEVEZETŐ, MOTIVÁCIÓ számítógépek számítási teljesítménye szükséges, mivel a környezetről nem kívánunk semmit sem feltételezni. A projekt előrehaladása érdekében az első változatot kellett záros határidőn belül elkészíteni, a második elrendezés jövőbeni kutatásokat alapoz meg. A SAFT detektorral és a robothelikopterrel kapcsolatos két kutatási feladat nem szeparált, mindkét területen elért eredmények felhasználhatók, illetve szükségesek egy kültéri helikopter fedélzetén végzett vizuális navigációhoz. 1.2. Kutatási módszerek Az elméleti kutatást, levezetéseket kezdetben papíron végeztem. Egy-két hiba igen sokáig rejtve maradt, ezért kipróbáltam a számítógépes levezetés képességeit. A MATLAB szimbolikus toolbox állt a rendelkezésemre, ami gyakorlatilag a Maple szolgáltatásait használja. A toolbox képességei vegyesek, egyszerűbb kifejezéseket igen hatékonyan egyszerűsít, de egy összetett azonosság két oldalának különbségét ritkán képes nullára redukálni. Hamar kiderült, hogy sokkal használhatóbb a levezetések ellenőrzésére, mint azok elvégzésére. Sajnos mátrixokkal kapcsolatos összeföggéseket nem ismer (vagy nem alkalmazza azokat hatékonyan). A toolbox integrálási képességei jól használhatók voltak. A levezetések alapján adódó módszerek általában mátrixokat tartalmaztak. Ezeket leginkább azért előnyős MATLAB alatt kipróbálni, mert lépésenkénti futtatás esetén az interpreterben bármely használt mátrix saját, illetve szinguláris értékeit le lehet kérdezni. Mérnöki szempontból egy általános (pl. 6 6-os) mátrix elemeinek listája alig mond valamit, a sajátvektor-sajátérték felbontása viszont már elegendő támpontot nyújt hibakeresés közben. A MATLAB interpreter jellege viszont komoly hátrány a futási idők tekintetében. MATLAB-on belül két lehetőség van a gyorsításra: A ciklusok mátrixműveletekké való konvertálásával, illetve C függvények.mex-állománnyá való fordításával. Előbbi esetében a kód olvashatósága, utóbbi esetben a rendelkezésre álló mátrixműveletek és a hibakeresés lehetősége esik áldozatul. A gyakorlati kutatási munkához MS Visual Studio-t használtam C++ programok fejlesztésére. Ebben a környezetben teszteltem az egyes template funkciók megvalósíthatóságát. Az egyes, operator overloaddal kapcsolatos megoldások összehasonlításához a fordított és optimalizált kódot vizsgáltam ( show disassembly opció). Szintén ezt a fejlesztőkörnyezetet használtam a grafikus processzorok (GPUk) képfeldolgozásban használható képességeinek vizsgálatához, továbbá az elkészült függvénykönyvtár és a négyrotoros helikopter vizuális navigációját megvalósító alkalmazás implementálásához. A mátrixokat intenzíven használó 3-dimenziós rekonstrukciós függvények tesztelése párhuzamos debuggolással történt. A már működő, de lassú MATLAB kód és annak C++ változata
1.2 Kutatási módszerek 7 egyszerre futott lépésenként a két rendszerben. Mivel egyes numerikus feladatok megoldása nem egyértelmű (SVD, roots), a két környezet akkor is eltérő részeredményeket adott ugyanarra a bemenetre, ha mindkettő helyesen működött. Ezt a problémát az ilyen eredmények összevetésére és módosítására létrehozott függvények használata oldotta meg.
8 2 ÚJ EREDMÉNYEK 2. Az új tudományos erdemények összefoglalása 2.1. A Self Affine Feature Transform geometriai képességei Az affin Lucas-Kanade (LK) feladat bizonyos bemenetek esetén egy szinguláris mátrix invertálásához vezet. Az adott mátrix nulla sajátétékéhez (értékeihez) tartozó sajátvektor(ok) az adott képrészlet fontos geometriai tulajdonságait reprezentálják. A kifejlesztett Self Affine Feature Transform (SAFT) detektor működése során a vizsgált képet vezetjük az affin LK detektor mindkét bemenetére, és a közbülső lépésként kiadódó 6 6-os mátrixot vezetjük a kimenetre. A számítási szabályt a következő képlet adja meg: M = (p H g)(p H g) T wda, (1) ahol g a képen mért gradiens, p H a homogén pozíció, w az ablakozó függvény és M a kiadódó SAFT mátrix. Ennek a mátrixnak 18 független eleme van, valójában ez egy 2 2 3 3-as szimmetrikus tenzor. A kiszámításhoz használt koordinátarendszer transzformációitól való függés ezt jól mutatja. A módszer segítségével a következő feladatok oldhatók meg: Változatos gemoetriai mennyiségek meghatározása (zárt kifejezések használatával): Kör(ív) középpontja, sugara. Kúpszeletek paraméterei. Összetaró egyenesek metszéspontja, akár a vizsgálati ablakon kívül is. Elliptikus spirálok emelkedése, egyéb paraméterei. Alakzatok osztályozása a leíróba foglalt információ alapján. Alakzatok affin normalizálása. A módszer kiterjeszthető homogén, térbeli es projektív esetre is, ráadásul a térbeli kiterjesztéssel a másik kettő kombinálható. A homogén kiterjesztésnek képpárosítés esetén van gyakorlati jelentősége, míg a térbeli kiterjesztés speciális eseteit régóta ismerik és használják 3-dimenziós tárgyak mérnöki visszafejtésére. 1. Téziscsoport. Az Affin Lucas-Kanade detektor szinguláris bemeneteinek a vizsgálata alapján kifejlesztettem a Self Affine Feature Transform módszert (Önaffin Képjellemző Transzformációt), amely módszer többféle gemoetriai információt képes robusztus módon kinyerni a vizsgált képrészletekből. Kapcsolódó publikációk: [S7, S11, S5]
2.1 A SAFT detektor 9 2. ábra. Tipikus képek, amelyek analizálásához az 1. téziscsoportban bemutatott módszerek jól alkalmazhatók. 1.1. Tézis. Kidolgoztam a Self Affine Feature Transform módszer formalizmusát és koordináta-transzformációs szabályait. A módszerrel kinyert leíró (mátrix) a képrészletek affin transzformációkkal szemben mutatott érzékenységét tartalmazza kompakt formában. Szabályt adtam a számítások közben használandó koordinátarendszer optimális megválasztására a feldolgozási ablak alakjának függvényében. Kidolgoztam a módszer 3-dimenziós, illetve projektív kiterjesztéseit, és bemutattam alkalmazhatóságukat. 1.2. Tézis. Áramlás- és alakzat-osztályozó módszereket dolgoztam ki, melyek a 6 6-os SAFT mátrix vizsgálatán alapulnak. Korlátozott diagonalizációt alkalmaztam az algebrai diagonalizáció numerikusan érzékeny eseteinek elkerülésére. 1.3. Tézis. Módszereket fejlesztettem, melyek képesek változatos geometriai információkat kinyerni a SAFT leíró mátrixából. Mind osztályfüggő, mind általános esetben alkalmazható módszereket adtam. Az alakzat osztálytól függő módszerek finoman viselkednek az adott osztályon kívüli bemenetek esetében is, képesek kiszámítani annak a folytonos mértékét, hogy mennyire teljesül az adott osztályhoz tartozás hipotézise.
10 2 ÚJ EREDMÉNYEK (a) (b) (c) (d) 3. ábra. A bemutatott módszerek által detektált geometriai mennyiségek a képekre rajzolva jól mutatják a SAFT detektor egyes képességeit. (a): Két invariáns áramlást eredményező kúpszeletek egyenletei zárt alakban megkaphatók. (b): A forgatás, illetve a skálázás középpontja még az ideálistól távol eső bemenetekre is meghatározható. (c): Az egységnyi hibát adó áramlások akkumulált sebesség-eloszlásának minimuma a kép egyik legkarakterisztikusabb pontja. (d): Az akkumulált sebesség-eloszlás osztályfüggetlen normalizálásra is alkalmazható.
2.2 Képrészlet párosítás 11 2.2. A Self Affine Feature Transform használata hasonló képrészletek párosításához A SAFT detektor alkalmas képrészletek hasonlóságának megállapítására, ha több képfrekvenciát is figyelembe veszünk. A gyakorlatban három sáv használata elegendőnek bizonyult, ez 54 dimenziós leíróvektort eredményez. Egy sáv kiszámításának tág értelemben véve 5 paramétere van, ezek közül a három legjelentősebb hatását vizsgáltam. A lehetséges utófeldolgozások 36-féle kombinációját vizsgáltam. A módszer vizsgálatához szükség van egy kulcshelyzet-lokalizáló eljárásra. Erre a célra a SIFT módszer vonatkozó részeit használtam. A SIFT módszer párosítási képességeit referenciaként használtam az új leíró teljesítményének megállapításához, illetve az optimális paraméterezés meghatározásához. Az első téziscsoportban felhasznált összefüggések a képpárosítási folyamat számos egyéb részfeladata esetében is felhasználhatók. Mivel ez előre prognosztizálható volt, ezért az ilyen képességek plusz motivációt jelentettek a képrészlet-párosítási képességek vizsgálatakor. A legfontosabb ilyen képesség, hogy a SAFT leíró használatával lehetőség nyílik megmondani, hogy két képrészlet párosítása milyen dimenziókban mennyire köti meg a használt transzformációs modell paramétereit. Ha a SAFT (illetve a Harris) detektort végtelen (> 2.5σ) kiterjedésű Gauss-ablakon értékeljük ki, akkor a kódolt információ leírja a Harris detektornak az integrálási ablaktól való függését. Ez az eredmény a módszert a kulcshelyzetek meghatározásával is kapcsolatba hozza. 2. Téziscsoport. Megmutattam, hogy az általam kifejlesztett Self Affine Feature Transform alkalmazható hasonló képrészletek párosítási feladatához, amennyiben több képfrekvenciát is felhasználunk. A képrészletet leíró vektorok kinyerése és utófeldolgozása során használt paraméterek optimális értékeinek meghatározása érdekében részletes és kimerítő keresést végeztem. Megmutattam, hogy a SAFT jellemző analitikus volta olyan képességeket eredményez, amelyek jól használhatók a képpárosítási folyamat számos részfeladatának megoldásakor. Leírtam a SAFT képjellemző koordináta-transzformációktól, illetve az integrálási súlyfüggvény alakjától való függését. Ezeknek az összefüggéseknek a linearizálása megmutatta a SAFT módszer kapcsolatát a Harris detektoron alapuló Affin Adaptációval. Kapcsolódó publikációk: [S8, S9, S4] 2.1. Tézis. Bebizonyítottam, hogy az általam kidolgozott Self Affine Feature Transform alkalmazható hasonló képrészletek párosítási feladatához, amennyiben több képfrekvenciát is felhasználunk. Részletesen bemutatattam, hogy a képjellemző-számítás paraméterei hogyan választandók meg az egyes esetekben. Megmutattam, hogy a három sávot használó 54-dimenziós SAFT-54 leíróvektor teljesítménye meghaladhatja a 128-dimenziós SIFT módszerét.
12 2 U J EREDME NYEK (a) (b) 4. a bra. A ke ppa rosı ta si ke pesse gek tesztele se re haszna lt tipikus ke psorozatok 2.2. Te zis. Megmutattam, hogy a SAFT jellemzo analitikus volta olyan ke pesse geket eredme nyez, amelyek jo l haszna lhato k a ke ppa rosı ta si folyamat egyes re szfeladatainak megolda sakor: A ke pjellemzo sza mı thato konvolu cio segı tse ge vel, felhaszna lva annak tiszta n integra lis terme szete t, mely pl. anizotro p ablakoza s esete ben elo nyo s. Ke t ke pre szlet ko zo tt meghata rozhato a minima lis ne gyzetes pixeldifferencia t ado elforgata s. Ke pes olyan ke pre szletek detekta la sa ra e s o sszehasonlı ta sa ra, amelyek tartalma invaria ns valamilyen transzforma cio ra (tipikusan e lek e s go rbe k lehetnek ilyenek, az ilyen re szleteket to bb elterjedt mo szer nem ke pes felhaszna lni) A SAFT mo dszer segı tse ge vel meghata rozhato a kapott transzforma cio s modellek ne gyzetes pixeldiferencia e rtelme ben vett hiba ja. A vizsga lt ke pre szletek tartalma t fi-
2.2 Ke pre szlet pa rosı ta s 13 gyelembe ve ve za rt alakban megadja a kulcsteru let-pa rosı ta sok okozta hiba knak a transzforma cio parame tereito l valo ma sodfoku fu gge se t. 2.3. Te zis. A Gauss-fu ggve ny specia lis tulajdonsa gait e s a SAFT ke pjellemzo uto lagos koordina ta-transzforma lhato sa ga t felhaszna lva megmutattam, hogy a SAFT mo dszer formalizmusa ekvivalens a Harris detektort haszna lo Affin Adapta cio lineariza lt va ltozata val. Ez u j ko zelı to mo dszerek haszna lata t teszi leheto ve mindke t mo dszer kie rte kele se esete ben. 2.4. Te zis. Mo dszert dolgoztam ki ke pjellemzo -vektorok ne gyzetes pixeldifferencia e rtelme ben vett optima lis linea ris su lyoza sa nak meghata roza sa ra. A kapott eredme nyeket a SAFT leı ro ra alkalmazva analitikus kifejeze st adtam, amely a haszna lt Gauss-ablak kiterjede se nek fu ggve nye ben megadja a su lyozo ma trix elemeinek optima lis me rte ke t. (a) (b) (c) (d) 5. a bra. A SAFT-54 ke pre szlet-leı ro segı tse ge vel tala lt hasonlo re szletek. A nyilak az a tlagos sı khoz ke pesti diszparita st, azaz a projektı v me lyse get jelo lik
14 2.3. 2 U J EREDME NYEK Ne gyrotoros, autono m belte ri helikopter vizua lis naviga cio ja A tansze ken e pı tett belte ri helikopter ira nyı ta si ke rde seinek vizsga lata hoz szu kse gesse va lt egy abszolu t me re si eredme nyeket szolga ltatni ke pes vizua lis naviga cio s rendszer kifejleszte se. A realiza cio sora n sza mos olyan proble ma meru lt fel, melyek megolda sa tudoma nyos megko zelı te st ige nyelt, s amelyek megolda sa ne lku l a tudoma nyos kutato munka nem lenne elve gezheto a valo sideju felte telek e s belte ri ko ru lme nyek mellett. Ezeket az eredme nyeket mutatja be a harmadik te ziscsoport. A ha romdimenzio s helyzet leı ra sa maga ban foglalja a te rbeli orienta cio kezele se t. A robotikai, ke pfeldolgoza si e s grafikai alkalmaza sok vonatkozo re szeiben meg kell oldani az inverz Rodrigues feladatot. Az elterjedt algebrai mo dszerekne l pontosabb, illetve biztonsa gosabb, geometriai szemle letu mo dszert adtam a feladat megolda sa ra. A ke ppa rosı ta si feladat sora n legto bbszo r epipola ris viszonyoknak megfelelo modell illeszkedik a me re sekre. A me re si eredme nyekbo l elo a llı tott esszencia lis ma trix dekompozı cio ja szu kse ges a te rbeli elrendeze s kisza mı ta sa hoz. Az irodalomban elterjedt algebrai megolda s jelento s hiba kat okozott, eze rt ezeket egy geometriai szemle letu megolda ssal kellett megszu ntetni. A te zicsoport tova bbi re sze ben a helikopter vizua lis naviga cio ja nak valo sideju mu ko de se hez szu kse ges eredme nyeket mutatom be. A kutata s alatt fejlesztett ke pfeldolgozo fu ggve nyko nyvta r sza mos olyan u jszeru elemet tartalmaz, amelyek alkalmaza sa no veli az egyes implementa cio k mino se ge t e s cso kkenti a futa sido t. A futa sido cso kkene se aze rt is jelento s, mert sok ma s modellilleszte si feladatban haszna lhato a robusztussa g no vele se re. A kifejlesztett fu ggve nyko nyvta r ke t fo komponense a ke pek manipula la sa t grafikus proceszszorokon ve gzo e s a ma trixokkal kapcsolatos szolga ltata sokat nyu jto modulokbo l a ll. 6. a bra. A robothelikopter felkapcsolt markerekkel. (A szı nek bee ge se nek elkeru le se hez a za rido t le kell venni, emiatt zajos a ke p)
2.3 Robothelikpter navigációja 15 3. Téziscsoport. Új algoritmusokat és valósidejű módszereket dolgoztam ki beltéri autonóm négyrotoros helikopterek vizuális navigációjának megvalósításához. A gyakorlatban széles körben elterjedt algoritmusokat korrigáltam, hogy elkerüljem ezek nem megfelelő működését a pontosság és a biztonság növelése érdekében. Egyes kifejlesztett módszereket grafikus proceszszorokra ültettem át, hogy lehetővé váljon beltéri légi robotok pozíciójának és orientációjának valósidejű számítása, akár 100 fps (képkocka/másodperc) sebességgel is. Kapcsolódó publikációk : [S6, S2, S3, S10, S1] 3.1. Tézis. Geometriai megoldást adtam az inverz Rodrigues feladat olyan szingularitásainak a kezelésére, amelyek éles alkalmazásokban kritikus hibákat okoznának. A kifejlesztett algoritmus egyszerűbb, mint más megoldások. Bizonyítottam, hogy a módszer a helyes kimenetet szolgáltatja bármilyen bemenet mellett. 3.2. Tézis. Új megoldást dolgoztam ki a sztereó képfeldolgozásban használt esszenciális mátrix dekompocíciója pontosságának növelésére. A módszer mind az esszenciális mátrix által hordozott információt, mind pedig a pont-pont megfeleltetéseket felhasználja, míg a szokványos megoldások az utóbbi adatokra nem támaszkodnak. Egy egzakt és egy linearizált megoldást is kidolgoztam. 3.3. Tézis. Tudományos igények megfogalmazása segítségével újszerű valósidejű megoldásokat fejlesztettem ki, melyek autonóm négyrotoros beltéri robot-helikopterek irányítási és navigációs kérdéseinek kutatásához alkalmazhatók. Ezen megoldások segítségével olyan mérések, illetve kísérletek is elvégezhetők, amelyekre korábban nem volt lehetőség a fennálló valósidejű korlátozások és beltéri peremfeltételek mellett. Egyes kifejlesztett módszereket grafikus processzorokon valósítottam meg, melynek eredményeképpen a beltéri légi robotok pozíciója és orientációja akár négy kamera együttes képfrissítésének ütemében is számolható. Az elért futási idő jól illeszkedik az inerciális mérőegység mintavételezéséhez és az irányítási algoritmus időzítéséhez. (a) (b) 7. ábra. Az előfeldolgozás közben kiadódó képek részletei
16 3 ALKALMAZÁS 3. Alkalmazás Az első téziscsoport elméleti eredményeinek alkalmazására keretrendszert fejlesztettem, mely az egyes képrészletekből kinyert geometriai mennyiségeket felrajzolja a képekre. Ennek segítségével vizsgálhatók az adott módszer képességei, illetve robusztussága. A második téziscsoport (képpárosítási képességek) eredményei részben elméleti, részben gyakorlati jellegűek. Az ilyen módszerek ellenőrzése kizárólag a gyakorlati teljesítményük alapján mérhető, ezért a kutatómunka egyik fontos része volt, hogy egy működő képpárosítási rendszer leíró-generáló kompnenseit lecseréltem a SAFT detektorra. A rendszert számos egyéb helyen kellett módosítani, hogy a paraméterek automatikus tesztelése lehetővé váljon. Az így előállt rendszerben statikus térbeli jelenetekről készült képek közötti geometriai viszony emberi beavatkozás nélkül meghatározható a SAFT detektor használatával. A radiális torzítás korrekciója még nem automatikus, az optikát off-line kalibrálni kell a használt nyílásszög függvényében. A bemutatott eredmények a Budapesti Műszaki Egyetem Irányítástechnika és Informatika Tanszékén végzett OTKA K71762 (2008-2012) Autonóm földi, légi és vizi robotok korszerű irányításelmélete és mesterséges intelligencia eszközei kutatási projekt keretében részben alkalmazásra kerültek, illetve ezen kutatási projekt szempontjai alapján lettek kifejlesztve. Az OTKA K71762 támogatásért ezúton is szeretném kifejezni köszönetemet. Az elkészült robothelikopter-prototípus irányításának fejlesztése, illetve kutatása jelenleg is az itt bemutatott vizuális navigációs megoldások használatával történik. A rendszer pár milliméteres pontossággal, illetve 100 fps sebességgel detektálja a helikopter helyzetét. A helikopteren 9 marker van elhelyezve, bármelyik kitakarása esetén is helyes eredményt ad a rendszer. A rendszer már több repülési órát abszolvált, a képfeldolgozás eseti hibái mindig abból adódtak, ha túl sok marker vált a kamera által láthatatlanná. Jelenleg a rendszer egy kamera képe és több felszállás előtt felvett kép alapján működik. Lényeges kiemelni, hogy a jövőben fomációban haladó járműegyüttesek képfeldolgozási feladatainak valósidejű ellátását kell a rendszernek megvalósítania, az eddig elkészült részek ennek szem előtt tartásával készültek. A munka szakmai tartalma kapcsolódik a Minőségorientált, összehangolt oktatási és K+F+I stratégia, valamint működési modell kidolgozása a Műegyetemen c. projekt szakmai célkitűzéseinek megvalósításához. A projekt megvalósítását az ÚMFT TÁMOP-4.2.1/B- 09/1/KMR-2010-0002 programja támogatja. A kutatási eredmények nemzetközi és hazai idegennyelvű folyóiratcikkek és nemzetközi konferenciacikkek révén váltak ismertté a tudományos életben.
SAJÁT PUBLIKÁCIÓK 17 Saját publikációk [S1] P. Fodor and Z. Prohászka. Mátrixműveletek integrálása a gpcv++ képfeldolgozási könyvtár fejlesztése során. In Proceedings of: 7th Conference of Hungarian Association for Image Processing and Pattern Recognition (KÉPAF2009), pp. 1 8, 2009. [S2] L. Kis, Z. Prohászka, and G. Regula. Calibration and testing issues of the vision, inertial measurement and control of an autonomous indoor quadrotor helicopter. In Proceedings of: RAAD 17th International Workshop on Robotics in Alpe-Adria-Danube Region, pp. 1 10, 2008. [S3] L. Kis, Z. Prohászka, and G. Regula. Calibration and testing issues of the vision, inertial measurement and control system of an autonomous indoor quadrotor helicopter. International Journal of Mechanics and Control, 1(10):29 38, 2009. [S4] Z. Prohászka. Connection of the harris detector-based affine adaptation and the self affine feature transform Accepted to: 8th Conference of Hungarian Association for Image Processing and Pattern Recognition (KÉPAF-2011). [S5] Z. Prohászka. Formulation of 3d and projective extensions of the self affine feature transform Accepted to: 8th Conference of Hungarian Association for Image Processing and Pattern Recognition (KÉPAF-2011). [S6] Z. Prohászka. Qnx-based realization of the control system of a puma-like robot. In Proceedings of: RAAD 11th International Workshop on Robotics in Alpe-Adria-Danube Region, pp. 399 404, 2002. [S7] Z. Prohászka. Affine invariant features from self-flow. In Proceedings of: RAAD 17th International Workshop on Robotics in Alpe-Adria-Danube Region, pp. 1 10, 2008. [S8] Z. Prohászka. Fine tuning of quasi linear feature descriptors. In Proceedings of: 7th Conference of Hungarian Association for Image Processing and Pattern Recognition (KÉPAF2009), pp. 1 8, 2009. [S9] Z. Prohászka. Matching image details with the self affine feature transform. In Proceedings of: V. Magyar Számítógépes Grafika és Geometria Konferencia, pp. 206 213, 2010. [S10] Z. Prohászka and A. Kerti. Development of the gpu based gpcv++ image processing library. In Proceedings of: IV. Magyar Számítógépes Grafika és Geometria Konferencia, pp. 102 107, 2007.
18 SAJÁT PUBLIKÁCIÓK [S11] Z. Prohászka and B. Lantos. Extracting geometric information from images with the novel self affine feature transform. Accepted to: Periodica Polytechnica, Electrical Engineering, 2010. Accepted:2010 Feb.
IRODALOMJEGYZÉK 19 Irodalomjegyzék [1] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool. Surf: Speeded up robust features. Computer Vision and Image Understanding (CVIU), 110(3):346 359, 2008. [2] R. Blake and R. Sekuler. Perception. McGraw-Hill, 5 edition, 2005. [3] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147 151, 1988. [4] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, ISBN: 0521540518, second edition, 2004. [5] Y. Ke and R. Sukthanar. Representation for local image descriptors. In Proc. Conf. Computer Vision and Pattern Recognition, pages 511 517, 2004. [6] Tony Lindeberg. Detecting salient blob-like image structures and their scales with a scale-space primal sketch:a method for focus-of-attention. International Journal of Computer Vision, 11(3):283 318, 1993. [7] Tony Lindeberg. Scale-space theory: A basic tool for analysing structures at different scales. Journal of Applied Statistics, 21(2):225 270, 1994. [8] D. Lowe. Object recognition from local scale-invariant features. In Int l Conference on Computer Vision, pages 1150 1157, 1999. [9] B. D. Lucas and Takeo Kanade. An iterative image registration technique with an application to stereo vision. In Imaging Understanding Workshop, pages 121 130, 1981. [10] J. Matas, O. Chum, M. Urban, and T. Pajdla. Robust wide-baseline stereo from maximally stable extremal regions. In Proc. of BMVC-02, pages 384 393, 2002. [11] Krystian Mikolajczyk and Cordelia Schmid. An affine invariant interest point detector. In Proceedings of the 7th European Conference on Computer Vision, pages 128 142. Springer, 2002. Copenhagen. [12] Krystian Mikolajczyk and Cordelia Schmid. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 10(27):1615 1630, 2005.