Absztrakt Bevezetés Hasonló Rendszerek Létező rendszerek a forgalom figyelésére: Radaros sebességmérő:...

Átírás

1 Absztrakt... 2 Bevezetés... 2 Hasonló Rendszerek... 2 Létező rendszerek a forgalom figyelésére:... 2 Radaros sebességmérő:... 2 Mikrohullámú detektor:... 2 Aszfaltba épített cső-érzékelő:... 2 Úttestbe épített tekercses érzékelő:... 2 Kameraképes forgalomfigyelés:... 3 A forgalom kameraképes figyelésének nem modell-alapú módszerei:... 3 A forgalom kameraképes figyelésének modell-alapú módszere:... 4 Felhasznált módszerek... 5 Sáv maszkolás... 5 Háttér eltűntetése... 6 Zajszűrés és foltok (blobs) eltávolítása... 6 Kontúr Kivonás (éldetektálás)... 7 Kontúrvonalak összekötése... 8 Kontúrcímkézés... 8 Járműkövetés... 8 Tervezett első lépéseink: A háttér eltüntetése: Zajszűrések, simítások Járműkövetés Irodalomjegyzék Képletjegyzék Ábrajegyzék

2 Absztrakt Bevezetés Napjainkban egyre leterheltebbeké válnak a közutak, főleg a nagyvárosokban. Ha a forgalom nagyságának függvényében tudnánk automatikusan változtatni a közlekedési lámpák működésének váltási idejét, dinamikusabbá válhatna a közlekedés. Továbbá a gépjárműgyártók és forgalmazók számára jelentős értéket képvisel minden olyan információ, amely adatot szolgáltat a forgalomban résztvevő járművek számáról, típusáról vagy éppen színéről. Valamint a rendszer által közölt információk komolyan segíthetnek egy forgalmi csomópont átszervezésében, forgalomelterelések megszervezésében vagy akár útfelújítások ütemezéséhez is. A mi rendszerünk segítene a forgalom mérésének folyamatában, és így meghatározná, hogy az adott útszakasz mennyire van igénybe véve az adott időszakaszokban. A kameraképek alapján összegyűjtött és feldolgozott információkat hosszú távú terveink szerint TCP/IP-alapú kapcsolat segítségével továbbítaná egy központi adatbázis felé. Hasonló Rendszerek Létező rendszerek a forgalom figyelésére: Radaros sebességmérő: Működése a kibocsátott radarjelek visszaverődésének felfogásán alapszik. A rendszert sebesség mérésére használják, alkalmatlan a járművek osztályozására vagy követésére. Mikrohullámú detektor: A mikrohullámú jelet kibocsátó készüléket az út fölé helyezik úgy, hogy a kibocsátott jelek az aszfaltról visszaverődve a készülékhez visszajussanak. A figyelt útszakaszon elhaladó jármű a visszavert jelben interferenciát okoz és így detektálható. A módszer forgalomszámlálásra jó, azonban alkalmatlan sebességmérésre vagy a jármű méretének meghatározására. Aszfaltba épített cső-érzékelő: Egy gumicsövet építenek az aszfaltba, aminek az egyik vége zárt, a másik végére pedig egy légnyomásmérő műszer van szerelve, így amikor egy autó elhalad az érzékelő fölött, a gumicső összenyomódik és a légnyomásváltozásból érzékelhető a jármű. Az eszköz alkalmas az elhaladó járművek megszámolására. Sebesség mérésére vagy a jármű tengelyhosszának meghatározására is alkalmas lehet, amennyiben egy másik szenzor segítségével a jármű két tengelyének áthaladása közt eltelt időt megmérjük, és ezzel számolunk. Úttestbe épített tekercses érzékelő: Ha az úttestbe beépítünk egy nagy elektromos tekercset, akkor a tekercs fölött elhaladó járművek által keltett indukcióváltozásból következtethetünk arra, hogy elhaladt egy jármű. A módszer alkalmas a járművek megszámlálására. Ha több tekercset építünk be egymás után, azzal lehetővé válik a jármű hosszának és sebességének meghatározása is. A felsorolt módszerek hátrányai közé sorolható, hogy kiépítésük költséges, mert egy összetett útszakasz, mint például egy kereszteződés megfigyeléséhez minden be és kilépési ponthoz be 2

3 kell építeni egy-egy érzékelőt. Ha nem elégszünk meg a forgalom számlálásával, akkor egyegy ponton több érzékelőre is szükségünk lehet. Ezen módszerek másik nagy hátránya, hogy kiépítésükhöz, karbantartásukhoz vagy javításukhoz az úttest felbontása többnyire elengedhetetlen. C. Setchell Applications of Computer Vision to Road-Traffic Monitoring [ref00] diplomamunkája szerint az Egyesült Államokban az aszfaltba épített ilyen típusú érzékelők 30%-a meghibásodott. Az említett mérési módszerek hátrányainak nagy része kiküszöbölhető, ha a forgalom figyelésére a gépi látást alkalmazzuk. Kameraképes forgalomfigyelés: A kameraképes forgalomfigyelés előnye a többi rendszerrel szemben az, hogy kiépítése nem igényli az úttest felbontását, és nem jár a forgalom korlátozásával. A kamerák karbantartása, javítása vagy cseréje is könnyen megoldható. Megfelelő módszerek alkalmazásával egy kamerás rendszer képes lehet a járművek számlálására, osztályozására valamint sebességük mérésére is. Ezen kívül lehetővé teszi forgalmi dugók vagy balesetek detektálását, meghatározhatja a járművek színét, formáját, valamint leírhatja ezek mozgásának pontos pályáját is. Egyetlen kamera is képes egynél több sáv megfigyelésére akár több száz méter hosszan is. A kameraképes forgalomfigyelés hátránya, hogy jóval nagyobb mennyiségű adatot kell feldolgozni, mint a többi módszer esetén. Szemléltetésül: ha a kamera képe 720*512-es felbontású és másodpercenként 25 képpel dolgozunk, akkor a feldolgozandó adat mennyisége a 10Mbyte/sec-ot is eléri. Léteznek azonban módszerek az adatmennyiség csökkentésére. Így például kijelölhetünk a képen olyan területeket, amelyek számunkra érdekesek, és amelyeket meg akarunk figyelni, így a képen lévő többi területet nem kell feldolgoznunk. Ezen kívül lehetnek olyan területek is, amelyek figyelése fölösleges, mert kizárható annak az esélye, hogy egy jármű ott előforduljon. Például az épületek, egy autópálya melletti földterület vagy éppen az égbolt nem hordoz hasznos információt a gépjárműforgalommal kapcsolatban. Egy másik módszer a feldolgozandó adat mennyiségének csökkentésére a másodpercenként készülő képek számának csökkentése. Ha például rendszerünk a forgalmi dugó hosszát méri, akkor elég lehet néhány másodpercenként egy-egy képet készítenünk, hiszen a forgalom ilyenkor rendkívül lassan halad csak. A forgalom kameraképes figyelésének nem modell-alapú módszerei: A nem modell-alapú módszerek alapja a képen történő változások detektálása, mely alapján elkülöníthetőek egyes régiók. Ha e régiók megfelelnek valamilyen előzetesen felállított követelményeknek, akkor kijelenthetjük róluk, hogy járművek. Két kép közti változás felismerésének egyik módszere a képek egymásból történő abszolút értékes kivonása és az eredmény küszöbölése. Ha a két kép összetartozó képpontjainak különbsége egy bizonyos küszöbértéknél nagyobb, akkor az eredményt megjelenítő bináris képen a pixel intenzitása 1 lesz, egyébként pedig 0. Így az eredményképen jól elkülönülnek a 3

4 megváltozott részek. A küszöbérték megállapításának célja a zajok csökkentése. A két feldolgozott kép közül az egyik a beérkező valós-idejű videó képe, míg a másik egy referencia kép, ami a megfigyelt területet ábrázolja járművek nélkül. A referencia-képet bizonyos időközönként frissíteni kell, így alkalmazkodhatunk az adott napszakra jellemző fényviszonyokhoz. Egy másik módszer a képek közti változás detektálására a kép jellegzetességeinek keresése. Az első lépés a jellegzetességek felismerése, mint például a kiálló élek, hirtelen változások felismerése. Ha a jellemzőket azonosítottuk, akkor a következő lépés, hogy megtaláljuk az egymás után következő képeken ugyanezeket a jellemzőket és kiszámítsuk az esetleges elmozdulásukat. Ez koránt sem egyszerű feladat és gyakran nagy számítási kapacitást igényel. Néhány alkalmazása a fent említett két módszernek: A tokiói egyetem 1980-as években elkészített rendszere A rendszer úgynevezett Sample Point -okat használ. Kiválasztottak a képen forgalmi sávonként egy képpontot, és ezek intenzitás-változását figyelték az egymás utáni képeken. Így detektálható, ha egy jármű elhalad az adott képpont alatt. Sebesség méréséhez sávonként 2 képpontot használtak és a két képpont aktiválódása közt eltelt idő alapján számolták a sebességet. A rendszert egy tiszta időben felvett 40 perces videóval tesztelték. Az elhaladó járművek felismerésének hibája 5% alatt volt, míg a maximális sebességmérési hiba 10% volt. A svéd Royal Institute of Technology egyetemen kifejlesztett rendszer: A rendszer hasonlít az előzőhöz, azzal az eltéréssel, hogy nem egy-egy pontot figyeltek, hanem egy - az úttal párhuzamosan futó - 3 pixel szélességű szakaszt. A módszer nagyban csökkentette a feldolgozott adat mértékét, és lehetővé tette, hogy a rendszer 6 fps sebességgel is működjön. Alkalmas sebességmérésre is. A pasadenai California Institute of Technology általá kifejlesztett rendszer: Ez a módszer használatakor kijelölnek harminc 50 pixel szélességű sávot a képen az útra merőlegesen. Mindegyikhez tartozik egy referencia adat, amivel összehasonlítva detektálható, ha változás történik. Ha a változás egy küszöbértéken felül van, akkor a rendszer úgy értékeli, hogy egy járművet detektált. Minden vonalról eldönthető, hogy van-e alatta jármű. Az egymás után következő vonalak segítségével követhető egy jármű eleje és/vagy vége, így meghatározható a hossza és a sebessége. Mérések alapján e rendszer hibáinak száma egy emberi megfigyelő hibáinak 4%-át éri csak el napos időben és 10%-át felhős időben. A sebesség mérési hiba pedig mindössze 2%-a volt egy radaros sebességmérő hibaszázalékának. A forgalom kameraképes figyelésének modell-alapú módszere: A modell alapú módszer lényege az, hogy az objektumokra egy 3D modellt illesztenek, és ez alapján ismerik fel őket. Első lépésben a járművek kiszegmentálják a háttérből, aztán megpróbálják az objektum helyzetét, és haladási irányát meghatározni a jelenetbe, modell hipotézis útján. Aztán ráhelyezik a 3D modell testet a detektált járműre. Ez lehetővé teszi különböző típusú, méretű járművek felismerését (teherautó, személygépkocsi, busz stb.) [ref04] 4

5 Ábra#00 Különböző 3D modellek Mi a nem-modell alapú módszerekkel fogunk foglalkozni a következőkben. Felhasznált módszerek Egy hasonló rendszer részletesebben: Hasonló rendszerek tükrében, egy, a Vilniusi egyetemen, 2005-ben készült Image Processing in Road Traffic Analysis c. projekt technikáit néztük meg. A következő technikák leírásai innen származnak. [ref01] Sáv maszkolás Ez az eljárás azért jött létre, hogy elkülönítsék azon járműveket, amelyek egyirányúan haladnak a sávokban. A sávmaszkolás egyenlete: N(p) = M(p) V (p), ahol M(p) egy képpont érték az elsődleges képkockában, N(p) pedig egy új képpont a kimeneti képben. V(p) a maszk értéke. V(p) értéke 0, ha a megfelelő pixelt eltávolítjuk, egyébként 1. A maszkolás minden egyes RGB értékre alkalmazandó. Ábra#01 Az eredeti kép Ábra#02 Maszkolás után Ábra#03 Kivonás után 5

6 Háttér eltűntetése Ez az algoritmus eltűntet minden stacionárius (nem mozgó) objektumot a vizsgálandó sávzónában, és csak a járműveket hagyja meg, meg még néhány nem kívánatos részletet, melyek képkockáról képkockára változnak. Ezek lehetnek valamiféle zajok vagy háttér változása okozta elmozdulások. Például: Hajladozó fák, eső, hó, árnyék. Ezért számolnunk kell az állandóan változó háttérrel is. A háttér B(p) kiszámításának menete nem más, mint minden egyes RGB érték átlaga ugyanabban a képpontban, mint a kiválasztott háttér-képkockában. Képlet#00 Zajszűrés és foltok (blobs) eltávolítása A harmadik ábrán jól látható, hogy zaj okozta pöttyök maradtak a képen, melyet valamiféle szűrővel el kell távolítanunk. A zajszűrésre legjobb megoldás a küszöbölés algoritmusa, közvetlenül a háttér eltávolítása után. ennek két módszere közül válogathatunk. Rögzített threshold - amikor is ezt teszt képsorból állapítjuk meg. Hisztogramból származtatott threshold ahol a küszöbértéket a kiszegmentált régió fényesség-hisztogramjából választunk ki. Ezek közül az első alkalmazása a legbarátságosabb, s az ezen alapuló ötlet is igen egyszerű. Ha egy p képpont az objektumhoz tartozik, akkor legalább egy a nyolc szomszédjából is az objektumhoz tartozik. De ha a képpont szomszédjai nem tartoznak az objektumhoz, akkor a p pont igen. Ezt a metódust úgy változtatjuk meg, hogy egy mxn-es ablakkal járjuk be a képet, és ha az adott képpontnak csak fehér szomszédja van, akkor az biztos, hogy zaj, és eltávolítjuk. Az eljárás képlete: M(k, p) = D(k, p) Ha D(k, p) > threshold és M(k, p) = 0 a többire. A maradék zajokat pedig hatékonyan lecsökkenthetjük medián szűrővel. Egy 3x3-as maszkkal haladunk végig a kép pixelein, és az adott M(k,p) ponthoz tartozó szomszédokat a ponttal együtt sorba rendezzük. Majd az így kapott sorban lévő középső értékkel (medián), helyettesítjük az eredeti pontot. Ez a technika eltávolítja a pontokat, vonalakat és levágja a sarkokat is. Hatékonyság növelésére használhatunk nagyobb maszkot is, vagy alkalmazhatjuk ezt az eljárást egymás után többször, ami nem javasolt ezen esetben időigényessége miatt. Fontos, hogy nem megapixeles nagyságú képeket akarunk feldolgozni, hanem meg szeretnénk találni az optimális felbontást. 6

7 Ábra#04 blobs szűrő alkalmazása a képre Ábra#05 3x3 Medián szűrő alkalmazása után az eredménykép Kontúr Kivonás (éldetektálás) A jármű helyzetét az objektum körvonalainak detektálásával is meghatározhatjuk. Ez a technika a képpontok deriválásán alapszik. Az első derivált megadja a gradiens nagyságot (élerősséget) az adott pontban. Például, ha f(x,y) a függvényünk, a gradienst (x,y) helyen definiálhatjuk úgy, mint egy kétdimenziós oszlopvektort. Képlet#01 Ennek a vektornak a nagyságát a következő formula adja: [ref02] 7 Képlet#02 A második deriváltat például a Laplace féle éldetektálásnál használjuk, ahol a zéró átmeneteket keresve találjuk meg az élpontokat. Sajnos nincs olyan detektáló technika, amely minden képre ugyanolyan jól működne, ezért Prewitt, Sobel és Laplace eljárásait is lehetne alkalmazni, és összehasonlítani, közvetlenül a mediánszűrő alkalmazása után. Prewitt, Sobel, Kirsch eljárásainak alkalmazása hasonló elven alapul, viszont különböző maszkokat használ. Mindegyikre alkalmazunk külön-külön x (horizontális) és y (vertikális) irányban is egy differenciálszűrőt, majd a két kapott eredményképre alkalmazzuk a fent ismertetett második képletet. Prewitt maszk Sobel maszk Kirsch maszk A referenciaforrásban ezt a metódust úgy változtatták meg az alkalmazás során, hogy küszöbérték vizsgálatnál a képet fekete-fehérré (bináris képpé) konvertálták, ahol az élek a fehér színt kapták.

8 Kontúrvonalak összekötése Kontúrösszekötésnél az elválasztott élpontokat akarjuk összekötni, azt zárttá tenni. Körvonal összekötő eljárásokat két kategóriába sorolhatjuk: Lokális, amely minden egyes pont bármely szomszédjával való kapcsolaton alapszik. Néhány fontos követelmény [ref03], hogy Az éldetektálónak megközelítőleg konstans intenzitásúnak kell lennie az élek körül. A képen a vonalak és az élek legyenek elmosottak, és alacsony görbülettel rendelkezőek. Kismértékű lokális irány eltérések biztosítják az elmosott (smooth) objektum éleket. Minden egyes pixelnél a megvizsgáljuk a szomszédokat. A középső pixelt összeköthetjük a szomszédjával, ha gradiens nagyság és az irány különbsége kisebb, mint a küszöbérték, és a gradiens nagyságuk eléggé nagy, akkor: Képlet#03 Globális, amely az összes élpontot nézi egyszerre, és valami hasonlóságot keres közöttük. Akkor alkalmazzuk, ha például a rések (gaps) relatív nagyok az egyes pixelek közök. Ilyen technika például, a Hough transzformáció. A mi esetünkben a lokális élösszekötő technika lenne a leghasználhatóbb. Kontúrcímkézés Ebben a fázisban a növekvő régió technikát alkalmazzuk, és általában egy objektum környezetére alkalmazzuk. Kiválasztunk egy kontúrt, és tetszőleges színnel kiszínezzük. Majd a következő pontban az elsődleges színt összehasonlítjuk egy szomszédos képpont színével. Ha mind a két szín eltér, akkor a szomszéd új színt kap. Ha megegyeznek, akkor ugyanazzal a színnel színezzük ki. Járműkövetés Ábra#06 - Kontúrcímkézés Ahhoz, hogy egy járművet követni tudjunk, a képét valahogy meg kell jelölnünk a képsorozatban. Az egyik megoldás az lehet, ha kiszámítjuk a geometriai közepét az objektumnak. 8

9 Képlet#04 ahol x c és y c a geometria középpontok, x j és y j n kép közül az egyik koordinátái azokból a képekből, ahol már csak a jármű kontúrja látszik. A járműkövetés során meg kell bizonyosodnunk róla, hogy a járművek egyrészt nem fedik egymást, és nem egymás mellett haladnak, másrészt hogy a vizsgált jármű középpontjának elmozdulása a két egymást követő képkockában kevesebb, mint a jármű és egy másik jármű távolsága ugyanabban a két képkockában. A képekben a jármű haladási távolságát is ki kell számolnunk az egyes képkockákban, hogy követni tudjuk. Képlet#05 Ha vesszük a távolság minimumát, akkor megtaláljuk a járművet az n+1-dik képkockában. Ezt az eljárást egymásután alkalmazva követhetjük a járművet. Tervezett első lépéseink: A legfontosabb cél jelenleg az, hogy létrehozzunk egy olyan programot, amely képes mozgó tárgyak felismerésére a kameraképen. A szoftverünket lépésről lépésre kívánjuk finomítani újabb és újabb technológiák alkalmazásával, mint például a korábban említett sávmaszkolás, zajszűrés, kontúrcímkézés. A kezdetben megvalósítandó képfeldolgozási folyamat a következő: 1. A háttér eltüntetése: Az úttestről készített felvételek gyakorlatilag egymás után követező képkockák sorozatának tekinthetők. Minden egyes képkockára igaz az az állítás, hogy minden pontja a legnagyobb valószínűséggel a háttér egy adott pontját fogja tartalmazni (tehát nem haladó járművet). Ezt az elvet követve megfelelő számú egymás után következő képkocka átlagából a valódi háttérképhez nagyon közeli képet kaphatunk. Tesztprogramunkkal 10 kép átlagolásából kaptuk a következő eredményt: Ábra#07 Ábra#08 Ábra#09 9

10 A háttérjellemzők változása miatt a háttérképet gyakran kell frissíteni. Az adott képkockából a háttérképet kivonva megkaphatjuk a kép változásait, tehát a gépjárművek helyzetét a képen. Így kaptuk az alábbi két képet is: Ábra#10 Ábra#11 Fontos azonban, hogy a képek rögzített kamerával készüljenek, hiszen az egymáshoz képest elmozduló képek pontatlan háttérszámítást és zajos képeket eredményeznek. 2. Zajszűrések, simítások A korábban már említett küszöbölési eljárások alkalmazásával végezzük. Ezek közül is a hiszterézises küszöbölés tűnik legcélravezetőbbnek, hiszen itt fontos, hogy kiemeljük a háttérből az előbbi eljárással már nagyjából meghatározott objektumokat (autókat). Ennek során fontos a küszöbértékek helyes megválasztása, azonban ezt a 10

11 gyakorlati alkalmazás során tudjuk majd legpontosabban körülhatárolni. Az így létrejövő képekben már csak azokat a foltokat kell körülhatárolni, amelyek egy adott mérethatáron belül esnek (tehát nagy valószínűséggel járművek), és ezeket megjelölni. 3. Járműkövetés Ennek során a már megjelölt pixelcsoportokat kell képkockáról képkockára követni, a fentebb már ismertetett módszerrel. Fontos azonban, hogy a képfelvételi frekvencia kellően magas érték legyen, hogy könnyen követhetőek legyenek az egyes objektumok. Ehhez persze szükséges az is, hogy a program gyorsan számoljon, amit a ScanLine komponens alkalmazásával kívánunk megvalósítani. 11

12 Irodalomjegyzék [ref00] Christopher John Setchell - Applications of computer Vision to Road-traffic Monitoring (1997), SzReportszSzPszSz1997-setchell.pdf/setchell97applications.pdf, Látogatás időpontja: [ref01] E. Atkociunas, R. Blake, A. Juozapavicius, M. Kazimianec, Image Processing in Road Traffic Analysis, Látogatás időpontja: [ref02] Gonzalez Woods, 2002, Second Edition, Digital Image Processing, Prentice Hall, USA [ref03] Látogatás időpontja: [ref04] Dieter Koller - Model-Based Object Tracking in Road Traffic Scenes (1996), Látogatás időpontja: Képletjegyzék Képlet#00 [ref00] Háttér kiszámítása átlagolással Képlet#01 [ref02] 128. oldal Képlet#02 [ref02] 128. oldal Képlet#03 [ref03] Lokális élösszekötés Képlet#04 [ref00] Objektum geometriai közepe Képlet#05 [ref00] Távolságszámítás Ábrajegyzék Ábra#00 Ábra#01 [ref01] - Fig.1. Ábra#02 [ref01] - Fig.2. Ábra#03 [ref01] - Fig.3. Ábra#04 [ref01] - Fig.4. Ábra#05 [ref01] - Fig.5. Ábra#06 [ref01] - Fig.13. Ábra#07 Projekt tesztkép - átlagolás Ábra#08 Projekt tesztkép - átlagolás Ábra#09 Projekt tesztkép - átlagolás Ábra#10 Projekt tesztkép - kivonás Ábra#11 Projekt tesztkép - kivonás 12

13 13