Színfelismerés a közlekedésben

Átírás

1 Színfelismerés a közlekedésben Max Gyula Budapest Műszaki és Gazdaságtudományi Egyetem, Automatizálási és Alkalmazott Informatikai Tanszék 1521 Budapest, Pf. 91, max@aut.bme.hu Abstract: Közlekedési események megfigyelésekor nemcsak a vizsgált objektumok mozgása lehet fontos tényező, hanem az objektumot meghatározó más tulajdonság is. Korlátozott idejű képfeldolgozási idő mellett az objektum színének azonosításával gyorsabb követési eljárások készíthetők, mint a hagyományos objektum szintű azonosítás folyamatában. A valós idejű forgalom megfigyelési rendszerek, mivel feldolgozási teljesítményük korlátozott, leggyakrabban ún. területalapú referencia képet alkalmaznak az előtérben folyó objektumok azonosítására. A folytonosan változó környezet miatt ezek az információk gyakran jelentős processzor időt igényelnek, ami nem minden esetben áll rendelkezésre. Ebben a cikkben az automatikus képfeldolgozások esetében használt színkeresési eljárások problémáit vizsgáljuk meg, miközben bemutatunk egy olyan módszert, amely használata logikusan nem következik a színazonosító rendszerek használatából. 1. BEVEZETÉS A közúti közlekedés nem az élet egyetlen területe, ahol szükségünk van a színek azonosítására. Néhány évvel ezelőtt a Google képkeresőjében új szolgáltatások jelentek meg. Ugyan nem hivatalos és a cég nem is jelentette be, de úgy tűnik, hogy a dolog működik. Egy általános keresés a "felszíni közlekedés" kifejezésre számos képet hoz fel. Ha ugyanennek a keresésnek végén a portrék kifejezést is hozzáadjuk, teljesen más eredményt kapunk: olyan képeket, amelyekről valóban arcok néznek vissza ránk. Egyszerűbben fogalmazva a kereső képes alkalmazni a fotókhoz kidolgozott arcfelismerési technológiákat. Ez az első lépés ahhoz, hogy automatikusan nyerhessünk ki információt egy képből. Ez pedig lehet olyan "egyszerű" is, mint észlelni, hogy egy kép egy személyt ábrázol, vagy sem, de egy napon majd akár olyan komplex is, mint felismerni embereket, helyeket vagy tárgyakat. Manapság, a kutatások nagy része a közúti közlekedés területén olyan témákban merül ki, mint a forgalom megfigyelése vagy részleges kezelése [Wei and Zhang 2001 Zhiwei et al. 2004], amely segítséget nyújt a járművezetőknek például az útvonal helyes megválasztásában [Sun et al. 2004, Huang et al. 2004], vagy közbiztonsági szempontok miatt a rendszám felismerésével azonosítani tudja a járművet [Chang et al. 2004, Butzke et al. 2008]. De használhatók már megfigyelő rendszerek a szennyezések ellenőrzésére, vagy magánkörnyezetben például a bejárat környezetének ellenőrzésére. A színek vizsgálata is számos területen előtérbe kerül. Az itt alkalmazott algoritmusok is arra szolgálnak, hogy az információhalmazból kinyerjük a számunkra fontos jellemzők adatait. A járművek színének meghatározása is alapvetően arra szolgál, hogy növelje a forgalom biztonságot, valamint erősítse a bizalmat az automata rendszerekben is. Forgalomirányítási szempontból ezek a rendszerek főleg közúti csomópontokban vagy parkolóban működhetnek. A megfigyelő rendszerhez kapcsolt új elemek hozzájárulhatnak olyan különleges események kimutatásához is, mint pl. az átszerelt rendszám, vagy a lopott autó azonosítása. Ezekhez a műveletekhez természetesen jelentős és nagy méretű adatbázis szükséges, amely a megfigyelő rendszerrel gyors kommunikációra képes. A szín kimutatása szegmentálással [Sulehria and Zhang 2007] vagy hullámtérképek segítségével [Tsai et al. 2005] vagy akár egy elkülönített színmodell esetében fuzzy logika alkalmazásával [Chien and Cheng 2002] is megoldható. A bevezetés után ismertetjük a színek azonosításához szükséges alapfogalmakat. A harmadik fejezetben a mozgó objektumok színfelismerését ismertetjük. A negyedik részben a megépített modellt és az eredményeinket mutatjuk be, míg az utolsó fejezet munkánk összefoglalását tartalmazza. 2. ALAPFOGALMAK Bár a színek érzékelése, észlelése pszichológiai jelenség, természettudományos emberi törekvés az észleleteket objektív számokkal jellemezni. Ezek a számok általában a színek három tulajdonságának a színárnyalat, a telítettség és az intenzitás jellemzésére szolgálnak. Ma már a színek rendszerezésének egész történelméről beszélhetünk. Már akkor foglalkoztak a színrendszerek felállításával, amikor még a színlátás biológiája jóval kezdetlegesebb volt, így fel sem merült, hogy az emberi szem receptorait tekintsék egy színrendszer bázisának. Objektívebbnek látszott három monokromatikus alapszínt választani és az azok segítségével végzett színkeverésekkel állítani elő az ún. színösszetevő függvényeket (Guild, 1931; Wright, ) ben szabványosították is az első színrendszert (CIE 1932),

2 amelyet azután számos módosítás követett. A módosítások közül legfigyelemreméltóbb a CIE (1976), amely vörös-zöld és kék-sárga koordináta tengelyek által kifeszített síkon ábrázolja a színeket ezzel talán a legjobban közelítve meg a szemben képződő opponens csatorna függvényeket. A szemünknek az a tulajdonsága, hogy a mozgó tárgyakat nagyobb valószínűséggel vesszük észre, mint a mozdulatlanokat, a legtöbb esetben előnyös számunkra, mivel a látszólag érdektelen háttér információkat ezzel ki tudjuk szűrni. Egy ütközési pályán mozgó repülőgép esetén azonban ez kifejezetten hátrányos, mert a repülőgép ilyenkor látszólag mozdulatlan, és a kabinfedélen lévő bármilyen kis szennyeződés, vagy egyéb takarás mögött is megbújhat. További korlátozó tulajdonság az, hogy a látásközépponttól kb. 30 foknál kijjebb eső tárgyakat már csak egy szemmel láthatjuk. Ne feledkezzünk meg a vakfoltról sem. Ha egyik szemünk előtt akadály van a másik szemünknek pedig pont a vakfoltjára (a szemideg kilépési helye) esik a kép, akkor nem látjuk a tárgyat. Ez akár egy 18 m átmérőjű 200 méter távolságban lévő tárgy esetén is bekövetkezhet, ami már egy kamionméretnek felel meg. Ha számolunk ezekkel a körülményekkel, akkor fejmozgással kiküszöbölhetjük. A háttér összetettsége, színe és világossága is jelentősen befolyásolja az észlelést. A megfigyelt objektum színe a háttér függvényében befolyásolja észrevehetőségét. Csillogó színek általában nem javítják a láthatóságot, világos háttér előtt éppen rontják azt. Egy sötét objektum észlelésének valószínűsége világos háttér (pl. ég, hófödte lejtő) esetén négyszer akkora, mint egy mozgó világos objektum észlelhetősége sötét háttér (pl. erdő) előtt. A párásság vagy a köd is erősen ronthatja a kontraszthatást. Ne feledkezzünk meg arról sem, hogy szemünk nem képes az 1. ábrán bemutatott a teljes spektumot átfogni, annak csak egy jelentéktelen kicsiny részét látjuk. koordinátatengelyt használva ábrázolni a színeket, azonban ahhoz, hogy használható színdiagramot kapjunk, a színek mindenkori intenzitását le kell választani a csatornajelekről. Vezessük be az L, M, S jelölést, amelyek a szem három színérzékelő csapjának receptor kimenetét jelentik, amelyből az intenzitást a receptorok kimenetének átlaga (1) adja. I=(L+M+S)/3 (1) A fő színkomponenseket az L, M, S jelek segítségével a (2) és (3) összefüggésekkel adhatjuk meg: C RG = L-M (2) C BY = S-(L+M) (3) ahol L, M, S rendre a protos, deuteros és tritos receptor ingerülete. A nevezőben szereplő hármast elhagyva normáljuk L+M+S-sel a csatornajeleket, és jelöljük kisbetűkkel az így kapott színkoordinátákat a C RG Crg = (4) L + M + S C BY Cby = (5) L + M + S Erre a normálásra azért van szükség, hogy a különbözı intenzitású színingerek összehasonlíthatók legyenek. Ha egy Φ(λ) spektrális fénysűrűség eloszlású fény éri a szemet, akkor hatására a szemben L, M, S jelek jönnek létre, amelyek segítségével a (2) és (3) szerint keletkeznek a C RG és a C BY kromatikus csatorna jelek. Ha például most nem Φ(λ), hanem 2Φ(λ) nagyságú a bemenet, akkor 2L, 2M és 2S jön létre, amelyekből 2C RG és 2C BY keletkezik. A (4), (5) képletekbe helyettesítve ugyanakkora színkoordináták adódnak, mint a fele nagyságú spektrális fénysűrűség eloszlás esetén. Nyilvánvaló, hogy a kettes szorzó helyett más konstanst is írhattunk volna, megállapítható tehát, hogy a (4), (5) összefüggések biztosítják az intenzitástól való függetlenséget. C rg és C by 1-re normált értékeit a látható fény hullámhosszának függvényében ábrázolva a 2. illetve a 3. ábrához jutunk. 1. ábra: A látható fény tartománya Az emberi természet számára a színvilágot legjobban az organikus színrendszer (Organic Color System), röviden OCS közelíti meg a legjobban. A rendszer neve arra utal, hogy a látószervben ténylegesen létrejövő jelekből állítottuk elő. Kézenfekvő volt, hogy olyan színrendszert kíséreljünk meg szerkeszteni, ami a szem látórendszerében valójában létrejövő jelekkel dolgozik. Már a múlt század végén Rodieck, (1998) megpróbálta két csatornajelet, mint 2. ábra: Az organikus színrendszer intenzitásra normált csatornajeleinek színkoordinátái Míg ugyanezt az összefüggést a két összetevő normált értékeinek függvényében a 3. ábrán láthatjuk.

3 Két kép C(I1,I2) kapcsolt részének pedig az egyes képek azon maximális részhalmazát értjük, amely mind a két képben megtalálható. 3. ábra: Az organikus színrendszer normált ingerterülete 2.1 Gépi érzékelés A detektorokkal történő érzékelés esetében a látás fogalmát át kell definiálnunk. A gépi látás nem más, mint jelek sorozatának továbbítása a felhasználó felé. Az alapvető koncepció az, hogy az így keletkező kép nem más, mint egy kétdimenziós jel, ahol az információt a sorokban (p x ) és az oszlopokban (p y ) található egyes pixelekben (p xy ) tárolt adatok hordozzák. A kép tehát nem más, mint a pixelek függvénye: f(p). Például az RGB modell esetén, f RGB (p) = (R, G, B), vagy az ún. szürke-skála esetén f gray (p) = R+0.587G+0.114B [CCIR 1985]. A HSI modell egy az emberi érzékelés által inspirált modell. Az a célja, hogy a színek besorolása jobban figyelembe vegye az emberi tényezőket, mint az RGB. A színrendszer színárnyalat H komponense a megfigyelő által érzékelt domináns hullám színét, S a telítettségét, míg az I komponens ai intenzitást adja. Az egyes színrendszerek között megadhatók a transzformációs szabályok is, amelyeket esetünkben az RGB és a HSI modell között a (6) mutat be. 1 ( R G) ( R B) H cos + = 2 3 S = 1 [ min( R, G, B) ] R + G + B R + G + B I = 3 2 ( R G) + ( R B)( G B) ) (6) A szegmentáció során a kép egyes külön kapcsolódó elemeit leválasztjuk a háttértől. Ezt általában a háttérből történő kivonással érjük el [Steudel és Glesner 1996]. Régiók kialakítás már bonyolultabb feladat, mert csak az egyes pixelek közötti kapcsolatok feltárása után valósítható meg, amely többnyire a szomszédos képpontok közötti hasonlóságon alapszik [Hojjatoleslami és Kittler 1998]. Ebben az esetben a hasonlóság a definíció szerint egy vízszintes sor szomszédos pixeleinek maximális szürke-szint különbsége alapján állítható be. A kiválasztott adaptív küszöbérték, ebben a munkában, abban áll, hogy definiáljuk minden egyes pixel átlagos intenzitás környezetét, egy általunk megadott ablakméret segítségével. Ezután geometria és topológia eljárások segítségével fel lehet tárni egy kép strukturáltságát, amelyet általában doboz, kereszt vagy lemez alakú ablakok segítségével teszünk meg [Dougherty és Lotufo 2003]. Az eltérő méretben készült képek összehasonlítására olyan lineáris vagy nem-lineáris szűrőket használunk, mint például eltolás, elforgatás, tágítás vagy szűkítés. 3. MOZGÓ OBJEKTUMOK SZÍNFELISMERÉSE 3.1 A háttér szegmentálása A kamerákkal felvett képek ismeretében, már a rendszer működésének inicializálásakor szükség van a háttér elkülönítésére. A [Max 2009] alapján felépített rendszermodellben a képközeli réteg feladata a kamerák által felvett képeken a mozgó objektumok valamint a háttér változásainak detektálása. 2.2 A képi adatfeldolgozás halmazelméleti alapjai Egy I képen belül p pixel szomszédjainak azokat a pixeleket nevezzük, amelyek közvetlenül, legalább csúcsaikkal érintkeznek az adott p pixellel, azaz egyforma négyzetes pixeleket feltételezve a p pixel középpontjába rajzolt négyzetoldal nagyságú körön belül található pixeleket jelenti. Két pixel közötti útnak Path(p1,p2) azon pixelek sorozatát értjük, amelyeken keresztül a legrövidebb úton juthatunk el p1-ből p2-be. 4. ábra: Mozgásdetektálás eltérő fényviszonyok között

4 A háttér alatt, alapesetben a statikus, mozgásoktól mentes hátteret értjük. A 4. ábrán a nappali és éjszakai fényviszonyok mellett elvégzendő feladatok sorát kísérhetjük végig. Nappali fényviszonyok között a mozgásdetektálással egyidőben történik meg a statikus háttér meghatározása is. Ugyanezt éjszakai körülmények között már csak morphológiai analízis segítségével végezhetjük el. A legegyszerűbb formában úgy alakíthatjuk ki a hátterünket, hogy időben egy-egy képet egymásután megvizsgálva megállapítjuk, hogy a kép melyik részén nem történt mozgás, majd ezeket a részeket átlagolva összeadjuk (7). BG = ahol n k = 1 Im age n k (7) Im age k Im age k 1 < Küszöbérték 5. ábra: A háttér kialakítás lépései A különbségeket követő háttér kezdetben egy üres képkocka. Az elképzelés az, hogy az egymás után érkező képek különbségét képezve azok a pontok fogják a háttér elemeit képezni, amelyeknél nem történt változás. A különbségképzéshez előző elemként használhatjuk a már meglévő háttérképét is, azokban az esetekben, amikor már van a az adott képpontnak háttere. Többször megismételve a folyamatot előbb-utóbb eljutunk a háttér teljes kialakításához. Az eljárás alapvető lépéseit az alábbiakban foglaltuk össze: háttérkép = üres kép új kép = üres kép ismétlés régi kép = új kép új kép beolvasása különbségképzés (a régi vagy a meglévő háttér és az új kép között ) küszöbérték különbség a vizsgált képpontok között az új képpontok hozzáfűzése a háttérképhez a háttérkép mentése amíg nem kell több képpontot hozzáadni a háttérképhez 3.2 Mozgó objektumok szegmentálása Az objektumok szegmentálásánál feltételeztük, hogy nappal van, azaz a vizsgált színek valósághűek. A háttértől való elválasztás egy egyszerű kivonással megvalósítható volt. A teszt ezen része csak abban az esetben nem működött, ha a kamerát jelentősen megmozdítottuk. Ekkor ugyanis a laptop LCD képernyőjének szöge megváltozott és az előre kalkulált küszöbérték felhasználásával már nem tudtuk megkülönböztetni a színeket. Ez a probléma sokszor fellépett abban az esetben is, ha erős légáramlatnak tettük ki a kamerát (ventillátorral fújtuk). Ekkor voltak működő és hibás periódusok is, de a hibátlan működéshez nem tudtuk megállapítani a mintavételezés pontos periódusát. A probléma megoldását akkor találtuk meg, amikor pontosabban meg akartuk határozni a küszöbértékeket és ennek érdekében átalakítottuk a bejövő színes képeket szürke árnyalatukká a 2. fejezetben megadott átalakítási összefüggés szerint. A felhasznált f gray (p) = R+0.587G+0.114B CCIR ajánlás esetén a színeket ugyan szürke árnyalatukká alakítottuk, de pontosan be lehetett azonosítani az eredeti színeket is. A kamera tényleges fizikai megmozdítását azonban ez a módszer sem tudta korrigálni. Az alapháttér elkészítését azonban több környezetfüggő elem nehezíti úgy, mint a fényerősség változás, a felhők mozgása, a szélerősség. A háttérképzés részletes algoritmusát a 5. ábrán láthatjuk. Ez az eset azt mutatja, hogy ha minden a tervünk szerint történik, akkor véges időn belül eredményre juthatunk. A feladat végrehajtásánál fontos tényező a küszöbérték meghatározása. A (7)-ből ez az érték azt határozza meg, hogy milyen eltérés mellett tekintünk két képpontot egyformának. 4.1 A kísérleti modell 4. EREDMÉNYEK A rendszer tesztelését egy kísérleti modell segítségével valósítottuk meg, amelyben a közismert Tetris játék foglalta el a főszerepet. A kísérleti modell felépítése a következő volt:

5 FELHASZNÁLT HARDVER Számítógép Megfigyelendő környezetnek egy Lenovo T61-es típusú laptop képernyőjét használtunk. A program könnyen hordozhatósága és bemutathatósága érdekében esete a választás laptopra és nem egy asztali PC-re. A számítógép és a futtató környezet paraméterei: Rendszer típusa: 8898AQG Processzor: Intel Core 2 Duo CPU 2.10GHz (2 CPU) Memória: 2 GB RAM Videó kártya: Mobile Intel 965 Express Chipset Family 384MB RAM Kijelző: 1024x768 LCD Operációs rendszer: Windows XP SP3 DirectX verzió: DirectX 9.0c ( ) Webkamera A webkamera egy kis felbontóképességű Delux Eidolon USB kamera, melyben egy 48 lábú Vimicro ZC0302 chip végzi a számításokat, illetve a kommunikációt. A kommunikációt leválasztottuk az eredeti Windows-os felületről, mert a kommunikációt így gyorsabbá lehetett tenni. A kamera rendelkezik automatikus fényerőhangolással, így szürkületben is képes működni, illetve nagy előnye, hogy öt szabadság fokú a mozgása, tehát bármilyen szöget be lehet állítani vele. A kamerához tartozik egy állvány is, amely a kamera stabilitását szolgálja. A webkamera paraméterei: 6. ábra: A teszteléshez használt játék A feladat megoldása során először meghatároztuk a minimális másodpercenként feldolgozandó képkeretek számát. A maximális 15 kép/másodperc keretsebességből, 6 kép/másodperc érték mellett a színfelismerés és a pozicionálás, megfelelő körülmények között, még hibátlanul működött. A program folyamatábrája (7. ábra) bemutatja a végrehajtás sorrendjét. A fő ciklusban az egyes beérkező keretek esetén a háttér kiszűrése után meghatároztuk az előző kerethez viszonyított eltéréseket.. Felbontás: 320x240 Színmélység: Képfrissítés: 15 képkocka/másodperc SZOFTVER KÖRNYEZET A program írásához a Microsft Visual Studio 2008 Development Edition-t, a kisegítő kommunikációs alkalmazás megírásához az Autohotkey verziószámú szoftvert, valamint a 6. ábrán látható tetris2oo5 programot használtuk fel. 4.2 Tesztelés A mozgó objektumok színfelismerését a következőképpen teszteltük. Tételezzük fel, hogy a játékba belépő objektumok járművek, amelyeket a 6. ábra szerint, a játék szabályainak megfelelő forgalmi sávba kell kormányozni. A feladat tehát megegyezik a normál tetris játékkal, azzal a különbséggel, hogy itt automatikusan, a webkamera által rögzített képeket megvizsgálva kell a színek megvizsgálása után a megfelelő forgalmi sávba állítani az objektumokat, emberi erőforrás használata nélkül. 7. ábra: A forgalomirányító modell folyamatábrája

6 Amennyiben új objektum jelent meg a képernyőn meghatároztuk a színét. Jelen esetben a szín, egyúttal meghatározta az objektum alakját is. Ezután egy egyszerű stratégiai eljárással megpróbáltuk a lehető legjobb helyre illeszteni a beérkezett objektumot. Erre azért volt szükségünk, hogy minél tovább működjön a program, minél tovább tesztelhessük az eljárásunk pontosságát 5. ÖSSZEFOGLALÁS A cikkben bemutattunk egy lehetséges forgalomirányító alapmodellt, amely színfelismerő algoritmus segítségével valósítja meg a közúti forgalom menedzselését. A modell kialakítása során egy kamerával vizsgált területről készült képsorozatok alapján dolgoztuk fel a kialakult közlekedési szituációt. A képfeldolgozás során először szétválasztottuk a hátteret és az mozgás tényleges színterét, majd amennyiben új objektum érkezett a területre, meghatároztuk az új, optimális besorolási pozícióját. Az elvi megvalósítást a gyakorlatban a tetris2005 játék, egy laptop és egy webkamera segítségével oldottuk meg. A webkamera által másodpercenként maximálisan rögzíthető 15 kép közül 6 kép feldolgozására volt elegendő idő. A színek normál üzemmódbeli meghatározásához végeredményben azonban nem színes, hanem szürkeárnyalatos képeket használtunk fel. Ezzel a kevésbé zavarérzékeny megoldással a színek felismerése még biztonságos maradt és a rendszer zavartűrő képességi is megnőtt. A mozgó objektumok azonosítása után egy egyszerű algoritmus kiadta a szükséges billentyű kombinációkat, amely a megfelelő pozícióba állította az objektumokat. Butzke1, M., Silva, A. G., da Hounsel, M., and Pillo, M. A. (2008). Automatic Recognition of Vehicle Attributes - Color Classification and Logo Segmentation, Hifen Uruguaiana, 32/62, Sulehria, H. K. and Zhang, Y. (2007). Vehicle logo recognition using mathematical morphology. 6th WSEAS Int. Conference on Telecommunications and Informatics, 1, Dallas, USA. Tsai, L. W., Hsieh, J. W., and Fan, K. C. (2005). Vehicle detection using normalized color and edge map. IEEE International Conference on Image Processing, 2, Chien, B. C. and Cheng, M. C. (2002). A color segmentation approach based on fuzzy similarity measure. IEEE International Conference on Fuzzy Systems, CCIR (1985). Recommendation encoding parameters of digital television for studios. International Radio Consultative Committee (ITU). Max, G., (2009). Közlekedési események képi feldolgozása. IFFK 2009, Budapest, Hungary. REFERENCES Wei, W. and Zhang, Q. (2001). A method of vehicle classification using models and neural networks. Vehicular Technology Conference, 4, Zhiwei, H., Jilin, L., and Peihong, L. (2004). New method of background update for video-based vehicle detection. 7th International IEEE Conference on Intelligent Transportation Systems. Sun, Z., Bebis, G., and Miller, R. (2004). On-road vehicle detection using optical sensors: A review. 7th Int. IEEE Conf. on Intelligent Transportation Systems, Huang, S. S., Chen, C. J., Hsiao, P. Y., and FU, L. C. (2004). On-board vision system for lane recognition and frontvehicle detection to enhance driver s awareness. IEEE International Conference on Robotics and Automation, 3, Chang, S. L., Chen, L. S., Chung, Y. C., and Chen, S. W. (2004). Automatic license plate recognition. IEEE Transactions on Intelligent Transportation Systems, 5,