Dinamikus utcai környezet négydimenziós analízise földi és légi LiDAR adatokon

Dinamikus utcai környezet négydimenziós analízise földi és légi LiDAR adatokon Ph.D. disszertáció tézisei Börcs Attila okleveles mérnök-informatikus Tudományos vezet : Dr. Benedek Csaba, Ph.D. Budapesti M szaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar Magyar Tudományos Akadémia Számítástechnikai és Automatizálási Kutatóintézet Budapest, 2017-2018

1. Bevezetés A korszer robotlátórendszerek két alapvet feladata az automatikus környezetértelmezés és az objektumfelismerés. A környezet digitalizálása különböz szenzorokkal történhet, például optikai kamerákkal, mélység szenzorokkal, LiDAR szenzorral, különböz h kamerákkal stb. Egy objektumfelismerési feladat során a cél a színtéren elhelyezked összes objektum meghatározása függetlenül a skálától, helyt l, póztól, gyelembe véve a részleges vagy teljes takarásokat, illetve a megvilágítási feltételeket. Annak ellenére, hogy a robot látórendszerek gyelemre méltó fejl désen mentek keresztül az elmúlt években, még mindig jelent sen alulmúlják az emberi teljesít képességet különösen, amikor a valós környezetb l érkez változatos hátráltató tényez k is közrejátszanak (folyamatosan változó id járás, megvilágítási viszonyok, forgalmi helyzetek stb.). Az objektumfelismer eljárások tudományos fejl désén túl, a szenzortechnológia is szignikánsan fejl dött az elmúlt években, utat engedve a minket körülvev környezet korszer háromdimenziós feltérképezésének. A kültéri lézeres mér berendezések - mint például a LiDAR lézerszkenner - különösen fontos eszközeivé váltak az automatikus meggyelési feladatokhoz kapcsolódó adatgy jtésnek, hiszen képesek közvetlen úton pontos háromdimenziós geometriai információt biztosítani a helyszínr l. A doktori munkám során négy új eljáráscsoportot javasoltam különböz LiDAR alapú objektumfelismerési problémák megoldására. Az eljárásokat két különböz szenzor-modalitáson, légi illetve földi LiDAR eszközök mérésein teszteltem. Az els feladat ban egy energiaminimalizáción alapuló eljárást mutatok be légi pontfelh k szegmentálására. A szegmentálási feladat során a kifejlesztett algoritmus különböz osztálycímkéket rendel a zsúfolt városi környezetr l készített pontfelh minden egyes pontjához, megkülönböztetve a talaj, épület, járm és növényzet régiókat, valamint az érdemi információt nem tartalmazó ritka szegmenseket. Légi mélységképek feldolgozásánál a különböz régiók hatékony szeparálása kihívásokkal teli feladat, a 2,5 dimenziós takarások, alacsony térbeli felbontás, illetve a zsúfolt utcai színtereken el forduló változatos alakzatok miatt. Ezt gyelembe véve, 2

a kifejlesztett eljárás együttesen kezeli a lokális és globális pontfelh jellemz ket, továbbá háromdimenziós szomszédossági kapcsolatokat kialakítva biztosítja a címkekiosztás térbeli kompaktságát, zajjal terhelt pontfelh k esetén is. A második feladat kapcsán egy új objektum alapú hierarchikus valószín ségi modellt fejlesztettem ki, melynek célja a távérzékelt városi LiDAR pontfelh kben lév járm vek észlelése és forgalmi szempontból összetartozó járm csoportok, úgynevezett forgalmi szegmensek kinyerése. Els lépésként (az els feladat ban kidolgozott eljárás eredményeit felhasználva) a háromdimenziós pontfelh t szegmentáljuk. Az osztályozott pontfelh t egy kétdimenziós pixelrácsra vetítjük, majd a felülnézetb l látszódó járm veket téglalapokkal közelítjük. Célunk egyszerre a járm vek elhelyezkedését és dimenzióit leíró téglalapok populációjának megtalálása, valamint az objektumok csoportosítása forgalmi szegmensekbe. A probléma megoldására egy hierarchikus kétszint jelölt pontfolyamat modellt (two-level Marked Point Process - L2-MPP) dolgoztam ki. Az optimális járm - és forgalmiszegmenskonguráció iteratív sztochasztikus algoritmussal határoztam meg. A harmadik feladat ban egy gyors objektumkinyer eljárást javasoltam mobil lézerszkenneléssel nyert háromdimenziós pontfelh sorozatok valós idej elemzéséhez. Bementként egy járm re szerelhet Velodyne típusú LiDAR lézerszkenner által szolgáltatott pontfelh folyamon dolgoztam. Az elkészített keresztrendszer fogadja a berendezésb l érkez nyers pontfelh -szekvenciát, majd egy hatékony hierarchikus rács struktúrát épít és a hozzá tartozó területelárasztó eljárást használva, háromdimenziós pontok diszjunkt halmazait állítja el, amelyek különböz városi objektumokhoz tartoznak. Az általam kifejlesztett eljárás segítségével, két nagyságrenddel gyorsabb objektumfelismerés valósítható meg a hagyományos szakirodalmi módszerekhez képest. A negyedik feladat ban egy új megoldást mutatok be különböz városi objektumok osztályozására kültéri Li- DAR pontfelh sorozatokon. A bemenetként használt adathalmazt ismét egy Velodyne HDL-64E S2 típusú lézerszkennerrel készítettük különböz városi forgalmi szituációkban. A keretrendszer célja, hogy különböz el re deniált osztályokba legyen képes sorolni az objektumokat. Munkám során az alábbi négy objektumosztályt 3

használtam: járókel, járm, homlokzatok és egyéb utcai objektumok, azonban a kifejlesztett módszer lényege, hogy az objektumosztályok rugalmasan b víthet k, megfelel címkézett adathalmaz generálását feltételezve. Els lépésként itt is különböz régiókra szegmentáljuk a szenzorból érkez pontfelh ket, azonban most a következ osztálycímkéket használtuk: talaj, alacsony objektumok és magas objektumok, majd a 3. feladatban már ismertetett eljárással a kinyert háromdimenziós el térmaszkokon objektumdetekciót hajtunk végre. A szeparált 3-D objektumokból mélységképeket készítünk, majd el zetesen az objektum küls megjelenését gyelembe vev osztályozást hajtunk végre rajtuk egy konvolúciós neurális hálózat (Convolutional Neural Network CNN) segítségével. Végül, a városi környezet topológiáját gyelembe véve, kontextuális jellemz ket vezettünk be, hogy javítsuk a kezdeti objektumosztályozás pontosságát. 2. Módszerek, eszközök A kidolgozott módszerek elméleti hátterét f ként a matematikai statisztika, valószín ségszámítás, optimalizáció, gépi tanulási és számítógépes látással kapcsolatos eredmények alkotják. Az els feladatban megfogalmazott modell matematikai értelemben Markov véletlen mez k megvalósításának tekinthet. A feldolgozás kimenete egy szegmentált légi pontfelh, mely globális energiaoptimalizáció eredménye: ξ = arg min log P ( ξ Ξ o(p) ξ(p)) + V C (ξ), (1) p O C C ahol o(p) meggyelt pontfelh jellemz ket jelöl, ξ(p) egy lehetséges szegmentálást, C az úgynevezett klikkek halmaza, ahol klikk alatt páronként kölcsönhatásban álló háromdimenziós pontok halmazát értük, P valószín ség érték, V C pedig a klikkeken értelmezett potenciálfüggvény. 4

A második feladatban bemutatott valószín ségi modell egy kétszint jelölt pontfolyamat (Two-level Marked Point Process - L 2 MPP) implementációja. A feldolgozás kimenete téglalapcsoportok kon- gurációja. Az egyes téglalapcsoportok önálló járm veket tartalmaznak, összefügg forgalmi szegmenseket alkotnak. Az optimális járm - és forgalmiszegmens-konguráció iteratív sztochasztikus algoritmus választja ki a jelölt pontok lehetséges kongurációiból: x = {(x 1, m 1 ), (x 2, m 2 ),, (x n, m n )}. A jelölt pontfolyamat modell kimenetét a h(x) modell s r séget maximalizáló téglalap-konguráció szolgátatja: argmax h(x) = argmax f (x)g Y (x), (2) x ahol a h(x) model s r ség az f (x) a priori s r ségfüggvény és g Y (x) adatfügg -s r ségfüggvény szorzataként áll el. A harmadik feladatban felmerül magas dimenziós jellemz tér osztályozása szupport vektor gépekkel (Support Vector Machines - SVM) történt. A tanító eljárás alapja a tanító adatbázis: {x i, y i } i = 1,..., l, amelyet bemeneti jellemz vektorok x i R n, illetve az osztályozó elvárt eljárás kimenete y i { 1, 1} alkotják. Az eljárás célja egy elválasztó hipersík xw + b = 0 meghatározása a jellemz térben, a következ tulajdonságokat vizsgálva: w: a hipersík normálvektora b : a hipersíkt l értelmezett távolság w Az eljárás által használt jellemz tér kültéri LiDAR adatokból kinyert háromdimenziós alakleírókból épül fel. Az osztályozó módszer kimenetét járm felismerésre alkalmaztuk. A negyedik feladat kapcsán (mély) konvolúciós neurális hálózatokat alkalmaztunk objektumosztályozásra. A mély neurális hálózat megvalósítása során célunk egy olyan Θ = f (x; θ ) hipotézis függvény létrehozása, amely segítségével x bemenet és Θ kimenet közötti tetsz leges leképezés valósítható meg. A tanuló eljárás iteratív sztochasztikus optimalizációval keresi egy sokdimenziós és nemlineáris függvény paramétereit, amely minimalizálja az elvárt kimenet és a 5

becsült kimenet eltéréseit. Munkám során az optimalizáció segítségével el állított θ függvényparamétereket háromdimenziós utcai objektumok megkülönböztetésére használtam kültéri LiDAR pontfelh kben. A módszerek hatékonyságának mérésére valós környezetr l készített földi és légi LiDAR pontfelh ket használtunk. A földi mérések az MTA SZTAKI Velodyne HDL-64E S2 típusú lézerszkennerével készültek, a légi méréseket pedig az Airbus Defence and Space szolgáltatta. A pontfelh -feldolgozó algoritmusok C/C++ nyelv implementációit az OpenCV, Point Cloud Library (PCL) és Qt könyvtárcsomagok használata könnyítette meg. A tézis és a kapcsolódó publikációk LATEX szövegszerkeszt vel készültek. 6

1. ábra. Légi LiDAR pontfelh k szegmentálása tet (világoszöld), járm (lila), talaj (sötétzöld), ritka régiók (narancssárga) [1.1 tézis] 3. Új tudományos eredmények 1. tézis: Új objektum alapú hierarchikus valószín ségi modellt fejlesztettem ki távérzékelt városi LiDAR pontfelh kben található járm vek észlelésére és az összetartozó járm csoportok kinyerésére. A módszert valós LiDAR felvételeken teszteltem és kísérletileg igazoltam, hogy hatékonyabb a szakirodalmi járm felismer módszerekhez képest. A szerz kapcsolódó publikációi: [2],[6],[9],[10],[16]. Napjainkban az automatikus közlekedéselemzési feladatok központi szerepet töltenek be forgalomirányítási, biztonságtechnikai, civil és katonai városfelügyeleti rendszerekben. Céljaik a balesetmegel zést l kezdve, a környezetvédelmi szempontok érvényesítésén keresztül, a közlekedési lámpák optimális összehangolásáig terjedhetnek. A járm forgalom hatékony automatikus elemzése azonban komplex, hierarchikus modellezési megközelítést kíván. Rendszerünknek az érzékelés szintjén képesnek kell lennie detektálni és elkülöníteni az egyes járm veket, míg magasabb szinten azonosítania kell a különböz forgalmi helyzeteket, közlekedési statisztikákat kell gy j- 7

tenie és megjelenítenie, szükség esetén riasztást küldve az operátornak vagy a beavatkozó moduloknak. Ennek a folyamatnak az egyik alapvet lépése az összetartozó járm csoportok, úgynevezett forgalmi szegmensek megtalálása, ami az itt bemutatásra kerül munkánk központi eleme. A bevezetett modell új elemeit az altézisekben részletezem. 1.1. Új energiaminimalizáción alapuló eljárást javasoltam légi LiDAR pontfelh k szegmentálására, megkülönböztetve a talaj, épület, járm és növényzet régiókat, valamint az érdemi információt nem tartalmazó ritka szegmenseket. Az eljárás lokális és globális pontfelh jellemz ket alkalmazva, illetve háromdimenziós szomszédossági kapcsolatokat kialakítva biztosítja a címkekiosztás térbeli kompaktságát,és robosztusságát zajjal terhelt pontfelh k feldolgozása során is. A távérzékelt háromdimenziós adatokon történ automatikus terület- és objektumszegmentálási feladatok kiemelt jelent sséggel bírnak napjaink számítógéppel segített meggyel rendszereiben. A szakirodalomban fellelhet módszerek többsége leegyszer sített, nagy régió alapú szegmentálási modellel dolgozik, gyelmen kívül hagyva a színtéren elhelyezked kisebb kiterjedés objektumokat. Tapasztalataink alapján ezen eljárások hatékonysága drasztikusan csökkenhet járm vek, utcai objektumok és egyéb kisebb kiterjedés alakzatok szegmentálása során. Új valószín ségi eljárást vezettem be, amely szemantikus osztálycímkéket rendel a zsúfolt városi környezetr l készített pontfelh minden egyes pontjához, megkülönböztetve a növényzet, talaj, járm és ritka régiókat. Számos valódi környezetben végzett kísérlettel igazoltam, hogy a javasolt Markov véletlen mez s modell által szegmentált régiók lényegesen pontosabbak, mint a tisztán pontalapú módszer felhasználása esetén. 1.2. Új objektum alapú hierarchikus valószín ségi modellt dolgoztam ki távérzékelt városi LiDAR pontfelh kben lév járm - vek észlelése és forgalmi szempontból összetartozó járm csoportok, úgynevezett forgalmi szegmensek kinyerése. 8

Az általunk javasolt módszer egy hibrid megoldásnak tekinthet. Az algoritmus az 1.1 altézis eredményeit felhaszálva el ször osztályozza a távérzékelt pontfelh egyes régióit háromdimenziós jellemz k alapján. Ezután az osztálycímkéket és intenzitásértékeket a talaj síkjára vetítjük, így az optimális objektumkongurációt már egy 2D pixelrácson határozzuk meg. Hogy biztosítsuk megközelítésünk robosztusságát, a járm forgalmat kétszint jelölt pontfolyamat (Two-level Marked Point Process, L 2 MPP) modell segítségével írjuk le, amely egy kiforott Bayesi módszercsalád tagjaként többek között objektumpopulációk robosztus jellemzésére használható digitális képeken. A MPP megközelítésben egyszerre tudunk gyelembe venni különböz adatfügg objektummodelleket, továbbá prior geometriai megkötések segítségével úgynevezett gyenge kényszereket (soft-constraint) állíthatunk az objektumok közötti kapcsolatokra, azaz interakciókra is. Az optimális objektumkongurációt iteratív sztochasztikus eljárással közelítjük. MPP-energiaoptimalizálására hatékony megoldást kínál a többszörös születés és halál dinamika (Multiple Birth and Death Dynamics, MBD) módszer. Ezt az alapalgoritmust módosítottuk, hogy a kétszint MPP modellünk energiafüggvényét is kezelni tudjuk. 2. tézis: Új megoldásokat javasoltam zsúfolt városi környezetben elhelyezked objektumok gyors kinyerésére és osztályozására mobil LiDAR szenzorral rögzített pontfelh sorozatokon. Manuálisan címkézett referencia adatokat felhasználva igazoltam a kifejlesztett módszer el nyeit szakirodalmi módszerekkel összehasonlítva. A szerz kapcsolódó publikációi: [1],[3],[4],[5],[12],[13],[11]. A disszertáció készít jének társszerz s publikációi, melyekben az ismertetett modellnek, illetve el zményeinek az alkalmazásai szerepelnek: [7],[14],[15]. A Velodyne LiDAR pontfelh kben történ objektumosztályozás kihívásokkal teli feladat több okból is. Els sorban a szkenner által szolgáltatott mérési adat zajjal terhelt, és számtalan olyan régió ta- 9

2. ábra. Járm vek és forgalmi szegmensek kinyerése légi LiDAR pontfelh kben [1.2 tézis]. lálható a mért helyszínen, ahol a pontfelh hiányos. A takarásban lév objektumok kinyert alakzatai gyakran csak részlegesek, illetve több darabra eshetnek szét a pontfelh ben. Végül számolnunk kell a Velodyne LiDAR lézerszkenner tipikus mérési karakterisztikájának kihívásaival, f ként az er sen csökken pontfelh s r séggel a szenzortól távol es régiókban, amely nagy mértékben megnehezíti a felismerési feladatok helyes elvégzését. Munkám során megoldást ajánlottam különböz városi objektumok osztályozására kültéri LiDAR pontfelh sorozatokon. A bemenetként használt háromdimenziós adathalmazt egy Velodyne HDL64E S2 típusú LiDAR lézerszkennerrel készítettük különböz városi forgalmi szituációkban. Az általunk készített keretrendszer fogadja a szenzorból érkez pontfelh folyamot és célja, hogy lokalizálja és felismerje az adathalmazban elhelyezked összes járm vet és gyalogost a mozgó szenzor hatósugarában. A bemutatott eljárások különböz megoldásokat ajánlanak városi környezetben el forduló objektumok címkézésre, lehet vé téve a címkekészlet tetsz leges b vítését, utat engedve újabb objektum kategóriák bevezetésének. 2.1. Gyors objektumkinyer eljárást javasoltam mobil lézerszken- 10

3. ábra. Városi objektumok kinyerése mobil lézerszkenner által készített pontfelh -szekvenciákból. zat. Középen: Balra: Bemeneti pontfelh soro- A pontfelh -szegmentáció kimenete. Jobbra: Az objektumkinyer lépés kimenete; Az egyes objektumok különböz színnel jelöltek [2.1 tézis]. neléssel nyert háromdimenziós pontfelh sorozatok valós idej elemzéséhez. A megoldás egy hatékony hierarchikus rácsstruktúrát és a hozzá tartozó területelárasztó eljárást használva, háromdimenziós pontok diszjunkt halmazait állítja el, amelyek különböz városi objektumokhoz tartoznak. Napjainkban az automatikus objektumfelismerési feladatok központi szerepet töltenek be a robotlátás és érzékelés kutatásában. A vizuális felismerési módszereknek számtalan alkalmazási területe ismert, az önjáró autók látórendszerét l elkezdve, a vezetés segít eszközökön át, egészen az automatikus ütközéselhárító rendszerekig. A kültéri lézeres mér berendezések - mint például a LiDAR lézerszkenner - különösen fontos eszközeivé váltak az automatikus meg gyelési feladatokhoz kapcsolodó adatgy jtésnek. Munkánk során egy kétdimenziós hierarchikus rács alapú módszert dolgoztunk ki annak érdekében, hogy hatékony el tér-szegmentációt, majd objektumlokalizációt tudjunk végrehajtani zsúfolt 11

4. ábra. Városi objektumok osztályozása mobil LiDAR pontfelh szekvenciákban mélytanuló eljárás használatával [2.2 tézis]. városi környezetr l készített pontfelh sorozatokban, ahol sokszor a jelenlév objektumok szorosan egymás mellett helyezkednek el. Kvantitatívan igazoltuk, hogy a kifejlesztett módszer jelent s sebességnövekedést és pontosabb felismerést biztosít a szakirodalmi módszerekkel szemben. 2.2. Modell alapú megoldást ajánlottam járm vek felismeréséhez városi mobil LiDAR lézerszkenneléssel nyert pontfelh sorozatokban. A kifejlesztett járm modell különböz alakleírók halmazaként áll el. A járm felismerést az el z leg kinyert nagydimenziós jellemz vektor bináris osztályozásával valósítom meg, SVM (Support Vector Machine) alapú tanító eljárást al- kalmazva. Ebben a munkában egy valós id ben m köd modell alapú rendszert mutatunk be járm vek felismeréséhez. A rendszer egy földi LiDAR lézerszkenner által mért pontfelh sorozatot fogad bementként, ami különböz városi szcenáriókon került rögzítésre. A modell megalkotása érdekében, három újszer jellemz kinyerési technikát fejlesztettünk ki. A három leíró kombinációja alkotja a járm modellt, amely segítségével végrehajtjuk a felismerést. Egy újszer konvex burok alapú 2D-s téglalap illesztési technikát dolgoztunk ki, amit 12

a járm kandidánsokra illesztünk annak érdekében, hogy pontosan és gyorsan tudjuk becsülni az adott járm vek pozícióját, orientációját és térbeli kiterjedését. A második leíró kihasználja, hogy a járm vek felületén tipikus görbületek gyelhet k meg. Ezen görbületek felismerésére gömb leíró alapú jellemz t javasoltunk. Végül a járm modell felépítése során felhasználtuk azt a tényt, hogy oldalnézetb l a járm veknek jól azonosítható és egyedi prolja van, melyet kontúr-elemz technikákkal hatékonyan jellemezhetünk. A módszer el nyeit kvantitatívan és kvalitatívan igazoltuk a referencia módszerekkel szemben egy 2690 járm vet tartalmazó adathalmazon. 2.3. Új konvolúciós neurális hálózat alapú modellt javasoltam háromdimenziós utcai objektumok osztályozásához s r forgalmú városi környezetben. A módszer célja, hogy kinyerje és lokalizálja a mozgó szenzor környezetében elhelyezked összes járm vet és gyalogost. A direkt jellemz tanuláson kívül, kontextuális jellemz k használatával biztosítunk a topológiai kapcsolatot a környezet határoló élei, és színtéren elhelyzeked objektum várományosok között. A kifejlesztett módszer célja egy olyan mesterséges neurális modell létrehozása, amely egységes reprezentációt biztosít több kategóriás objektumosztályozáshoz, elkerülve az alakspecikus heurisztikus jellemz k használatát. Els lépésként az eljárás fogadja a 2.1 altézisben már ismeretett objektumkinyer módszer kimeneteit. A szeparált 3-D objektumokból mélységképet készítünk, majd el zetesen - az objektum küls megjelenését gyelembe vev - osztályozást hajtunk végre rajtuk egy konvolúciós neurális hálózat (Convolutional Neural Network - CNN) segítségével. Végül, a városi környezet topológiáját gyelembe véve, kontextuális jellemz ket vezetünk be, hogy nomítsuk a kezdeti objektumosztályozást. A kifejlesztett eljárást egy valós városi környezetr l készített, 1485 városi objektumot tartalmazó adathalmazon teszteltük, amely különböz forgalmi szituációkat foglalt magában. 13

4. Az eredmények alkalmazási területei A dolgozatban bemutatott algoritmusok magasabb szint pontfelh elemz eljárások komponenseiként alkalmazhatóak, f ként automatikus légi meggyelési feladatokban, illetve önjáró járm vek látórendszereiben. A módszerek közvetlenül kapcsolódnak az elmúlt években lezárult, illetve jelenleg is folyó kutatási projektekhez az MTA-SZTAKI részvételével. A következ kben összegzem a legfontosabbakat. Az els tézishez kapcsolódó kutatási eredményeket az Európai rügynökség (European Space Agency (ESA)) és az OTKA #101598 által nanszírozott Dinamikus utcai környezet értelmezése és rekonstrukciója, illetve Távérzékelt adatok átfogó elemzése projektek támogatták. A projektek célja olyan általánosított keretrendszerek és eljárások létrehozása amelyek képesek hiearchikus struktúrák és különféle szinteken megjelen változások felismerésére távérzékelt kétdimenziós képeken, illetve háromdimenziós (LiDAR, ISAR) adatokon. Az elkészített eljárások f jellemz je az adat és feladatfügg elemek szétválasztása volt az általánosított hierarchikus modell struktúrától, ami különböz szintekb l épült fel úgy mint: pixel, régió, objektum illetve objektumcsoport. A második tézisben bemutatott eredményeket az MTA-SZTAKI által nanszírozott integrated4d (i4d) bels kutatási projekt, és a Nemzeti Kutatási, Fejlesztési és Innovációs Alap (NKFIA) K_120233 sorszámú pályázata támogatta. Az i4d projekt célkit zése olyan algoritmusok és prototípusrendszer megalkotása, amely segítségével komplex tér-id beni színterek rekonstrukciója valosítható meg különböz szenzorok integrációjával. A munkában egy kültéri Velodyne HDL- 64E S2 lézerszkenner méréseit, és rekonstrukciós studióban elkészített mozgó emberek négydimenziós modelljeit használtuk fel. Saját hozzájárulásom a projekthez a kültéri pontfelh kben felmerül alakfelismerési problémákra adott megoldást. Részben ezen eredményekre támaszkodva nemzetközi szabadalmat készítettünk (No. WO/2014/188225), mely a rekonstrukciós rendszer egy átfogó leírását szolgáltatja. 14

5. Köszönetnyilvánítás Mindenekel tt köszönettel tartozom témavezet mnek, Benedek Csabának, aki töretlen bizalommal támogatta munkámat az elmúlt években. A doktori munkám elvégzéséhez szükséges anyagi és szellemi feltételeket valamint az infrastruktúrát a Magyar Tudományos Akadémia Számítástechnikai és Automatizálási Kutatóintézete (MTA SZTAKI), illetve a Budapesti M szaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatika Kara (BME VIK) biztosította. Köszönöm Szirányi Tamásnak az MTA SZTAKI Gépi Érzékelés Kutatólaboratórium vezet jének, hogy lehet séget biztosított az itt folyó Ph.D. tanulmányaimra. Köszönettel tartozom Szirmay-Kalos Lászlónak a segítségért és lehet ségért tanulmányaim elvégzésre a Budapesti M szaki és Gazdaságtudományi Egyetem Informatikai Tudományok Doktori Iskolájában. Tudományos pályám elindításáért külön köszönet illeti Török Leventét, Pintér Istvánt, Vajnai Tibort és Csizmás Editet. A disszertáció alapjául szolgáló munkában témavezet mön kívül közvetlen segítséget nyújtottak kollégáim: Kovács Levente, Manno-Kovács Andrea, Keszler Anita, Horváth Csaba, Molnár Dömötör, Józsa Oszkár, Németh Szabolcs, Nagy Balázs, Gálai Bence és Kiss Attila. Köszönöm családom, és valamennyi barátomnak, akik minden lehetséges módon támogattak. A kutatómunkámhoz további anyagi segítséget nyújtottak magyarországi és Európai Uniós K+F projektek: EU project DUSI- REF, OTKA #101598, Nemzeti Kutatási, Fejlesztési és Innovációs Alap (NKFIA) K_120233 sorszámú pályázata. 15

6. Publikációk 6.1. A szerz folyóiratpublikációi [1] A. Börcs, B. Nagy, and C. Benedek, Instant Object Detection in LIDAR Point Clouds, IEEE Geoscience and Remote Sensing Letters, vol. 14, pp. 996992, May 2017. IF: 2.761. [2] A. Börcs and C. Benedek, Extraction of Vehicle Groups in Airborne LIDAR Point Clouds with Two-Level Point Processes, IEEE Trans. on Geoscience and Remote Sensing, vol. 53, pp. 14751489, March 2015. 3.360. 6.2. A szerz nemzetközi konferenciapublikációi [3] A. Börcs, B. Nagy, M. Baticz, and C. Benedek, A Model-based Approach for Fast Vehicle Detection in Continuously Streamed Urban LIDAR Point Clouds, in Workshop on Scene Understanding for Autonomous Systems at ACCV, vol. 9008 of Lecture Notes in Computer Science, pp. 413425, Singapore: Springer, 2015. [4] A. Börcs, B. Nagy, and C. Benedek, Fast 3-D Urban Object Detection on Streaming Point Clouds, in Workshop on Computer Vision for Road Scene Understanding and Autonomous Driving at ECCV, vol. 8926 of Lecture Notes in Computer Science, pp. 628639, Zürich, Switzerland: Springer, 2015. [5] A. Börcs, B. Nagy, and C. Benedek, On board 3D object perception in dynamic urban scenes, in IEEE International Conference on Cognitive Infocommunications (CogInfoCom), (Budapest, Hungary), pp. 515520, 2013. [6] A. Börcs, O. Józsa, and C. Benedek, Object Extraction in Urban Environments from Large-Scale Dynamic Point Cloud Dataset, in IEEE International Workshop on Content-Based Multimedia Indexing (CBMI), (Veszprém, Hungary), 2013. 16

[7] O. Józsa, A. Börcs, and C. Benedek, Towards 4D Virtual City Reconstruction From Lidar Point Cloud Sequences, in ISPRS Workshop on 3D Virtual City Modeling, vol. II-3/W1 of ISPRS Annals Photogram. Rem. Sens. and Spat. Inf. Sci., pp. 1520, Regina, Canada: ISPRS, 2013. [8] C. Benedek, Z. Jankó, O. Józsa, I. Eichhardt, A. Börcs, D. Chetverikov, and T. Szirányi, Mixed Reality using a LI- DAR and a 4D Studio, in IEEE International Conference on Cognitive Infocommunications, (Budapest, Hungary), January 2013. [9] A. Börcs and C. Benedek, Urban trac monitoring from aerial LIDAR data with a Two-Level Marked Point Process model, in International Conference on Pattern Recognition (ICPR), (Tsukuba City, Japan), pp. 13791382, 2012. [10] A. Börcs and C. Benedek, A Marked Point Process Model for Vehicle Detection in Aerial LIDAR Point Clouds, in XXII. ISPRS Congress, vol. I-3 of ISPRS Annals Photogram. Rem. Sens. and Spat. Inf. Sci., pp. 9398, Melbourne, Australia: ISPRS, 2012. 6.3. A szerz egyéb válogatott publikációi [11] A. Börcs, B. Nagy, and C. Benedek, Utcai objektumok gyors osztályozása LiDAR pontfelh sorozatokon, in Conference of Hungarian Association for Image Analysis and Pattern Recognititon, (Szováta, Románia), January 2017. [12] A. Börcs, B. Nagy, and C. Benedek, Dynamic Environment Perception and 4D reconstruction using a Mobile Rotating Multi-beam LiDAR sensor (Book Chapter), in Handling Uncertainty and Networked Structure in Robot Control (B. Lucian and T. Levente, eds.), ch. 7, pp. 153180, Springer, 2015. [13] A. Börcs, B. Nagy, and C. Benedek, Valós idej járm detekció LiDAR pontfelh sorozatokon, in Conference of Hungarian 17

Association for Image Analysis and Pattern Recognititon, (Kerekegyháza, Hungary), January 2015. Received Kuba Attila Prize. [14] C. Benedek, D. Chetverikov, Z. Jankó, T. Szirányi, A. Börcs, O. Józsa, and I. Eichhardt, Method and system for generating a three-dimensional model, 2014. International Patent WO/2014/188225. [15] C. Benedek, Z. Jankó, A. Börcs, I. Eichhardt, D. Csetverikov, and T. Szirányi, Viewpoint-free Video Synthesis with an Integrated 4D System, in Seventh Hungarian Conference on Computer Graphics and Geometry, pp. 17, February 2014. [16] A. Börcs and C. Benedek, Városi forgalomfelügyelet kétszint jelölt pontfolyamat modellel légi LiDAR felvételeken, in Conference of Hungarian Association for Image Analysis and Pattern Recognititon, (Bakonybél, Hungary), January 2013. 6.4. A disszertációhoz kapcsolódó válogatott publikációk [17] F. Chatelain, X. Descombes, F. Lafarge, C. Lantuejoul, C. Mallet, R. Minlos, M. Schmitt, M. Sigelle, R. Stoica, and E. Zhizhina, Stochastic geometry for image analysis. Digital Signal and Image Processing, Wiley-ISTE, 2011. [18] F. Lafarge and C. Mallet, Creating large-scale city models from 3D-point clouds: A robust approach with hybrid representation, International Journal of Computer Vision, vol. 99, no. 1, pp. 6985, 2012. [19] Y. Boykov and V. Kolmogorov, An experimental comparison of min-cut/max-ow algorithms for energy minimization in vision, IEEE Trans. Pattern Anal. Mach. Intell., vol. 26, no. 9, pp. 11241137, 2004. 18

[20] C. Benedek, X. Descombes, and J. Zerubia, Building development monitoring in multitemporal remotely sensed image pairs with stochastic birth-death dynamics, IEEE Trans. Pattern Anal. Mach. Intell., vol. 34, no. 1, pp. 3350, 2012. [21] A. Geiger, P. Lenz, and R. Urtasun, Are we ready for autonomous driving? the kitti vision benchmark suite, in Conference on Computer Vision and Pattern Recognition (CVPR), 2012. [22] R. B. Rusu and S. Cousins, 3D is here: Point cloud library (PCL), in International Conference on Robotics and Automation, (Shanghai, China), 2011. [23] A. Teichman, J. Levinson, and S. Thrun, Towards 3D object recognition via classication of arbitrary object tracks, in International Conference on Robotics and Automation, 2011. [24] A. Golovinskiy and T. Funkhouser, Min-cut based segmentation of point clouds, in IEEE Workshop on Search in 3D and Video (S3DV) at ICCV, Sept. 2009. [25] D. Z. Wang, I. Posner, and P. Newman, What could move? nding cars, pedestrians and bicyclists in 3D laser data, in Proc. IEEE International Conference on Robotics and Automation (ICRA), (Minnesota, USA), May 2012. [26] J.-F. Lalonde, N. Vandapel, and M. Hebert, Data structures for ecient dynamic processing in 3-D, The International Journal of Robotics Research, vol. 26, pp. 777796, August 2007. [27] A. Petrovskaya and S. Thrun, Model based vehicle detection and tracking for autonomous urban driving., Auton. Robots, vol. 26, no. 2-3, pp. 123139, 2009. [28] A. Teichman, J. Levinson, and S. Thrun, Towards 3D object recognition via classication of arbitrary object tracks, in IE- EE International Conference on Robotics and Automation (IC- RA), (Shanghai, China), pp. 4034 4041, 2011. 19

[29] D. Z. Wang and I. Posner, Voting for voting in online point cloud object detection, in Proceedings of Robotics: Science and Systems, (Rome, Italy), July 2015. [30] D. Maturana and S. Scherer, 3D Convolutional Neural Networks for Landing Zone Detection from LIDAR, in ICRA, 2015. [31] W. Liu, R. Ji, and S. Li, Towards 3d object detection with bimodal deep boltzmann machines over rgbd imagery, in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2015. [32] Q.-Y. Zhou and U. Neumann, Modeling residential urban areas from dense aerial LIDAR point clouds, in Proceedings of the First International Conference on Computational Visual Media, CVM'12, (Berlin, Heidelberg), pp. 9198, Springer-Verlag, 2012. [33] R. B. Rusu, Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments. PhD thesis, Computer Science department, Technische Universitaet Muenchen, Germany, October 2009. [34] Z. Kató, Modélisations Markoviennes Multirésolutions en Vision par Ordinateur. Application á la Segmentation d'images SPOT (Multiresolution Markovian models in computer vision. Application on segmentation of SPOT images). PhD thesis, INRIA, Sophia Antipolis, France, December 1994. [35] Z. Kato and J. Zerubia, Markov random elds in image segmentation. Foundations and Trends in Signal Processing, Now Publishers, Sept. 2012. 164 pages. [36] X. Descombes, Marked Point Processes for Object Detection, pp. 1127. John Wiley and Sons, Inc., 2013. [37] F. Lafarge, X. Descombes, E. Zhizhina, and R. Minlos, Simulation and Optimization, pp. 65112. John Wiley and Sons, Inc., 2013. 20

[38] I. Goodfellow, Y. Bengio, and A. Courville, Deep learning. Book in preparation for MIT Press, 2016. 21