Új valószín ségi módszerek videó-meggyelési alkalmazásokhoz

Átírás

1 Pannon Egyetem Informatikai Tudományok Doktori Iskola Tézisfüzet Új valószín ségi módszerek videó-meggyelési alkalmazásokhoz Utasi Ákos Villamosmérnöki és Információs Rendszerek Tanszék Témavezet : Dr. Czúni László Veszprém, 2011.

2 1 El zmények, célkit zések A közterületeken telepített meggyel rendszerek száma rohamosan növekszik, és olyan hatalmas mennyiség adatot állítanak el, melyek feldolgozására az emberi munkaer nem képes. Emiatt az elmúlt évtizedben olyan automatikus eljárásokat dolgoztak ki, melyekkel segíthet, illetve kiváltható a munkaer -intenzív folyamat. Az olyan alkalmazásokat kell megemlítenünk, mint például a forgalom ellen rzése, anomáliák és rendhagyó események felismerése, forgalmi dugók detektálása, továbbá személyek, csoportok és tömegek tevékenységének felismerése. A példákból is egyértelm en látszik, hogy a legtöbb meggyel alkalmazás esetében a valós idej feldolgozási képesség egy kötelez feltétel. Másfel l, habár a digitális kamera eladások száma emelkedett, az olcsó analóg eszközök száma még mindig jelent sen nagyobb. Az ilyen analóg kamerák által szolgáltatott videók min sége gyakran nagyon gyenge, a képek er s zajjal terheltek és különböz optikai vagy digitális hibák gyelhet k meg. Ez különösen igaz kültéri, városi környezetben. Egyértelm,

3 2 hogy az összes zajt valós id ben nem lehet kisz rni. Emiatt az automatikus videó-meggyelési módszerek egy másik követelménye a robusztusság. A jelen munkában bemutatott összes módszer teljesíti a fenti két kritériumot, és tesztelésük rossz min ség, városi környezetben készült, valós felvételeken történt. Három f alkalmazási területre készítettem új módszereket: helyszínfelismerés id -multiplexelt többkamerás környezetben, el térháttér elkülönítés mozgó objektumok detektálásához, és rendhagyó események felismerése forgalmi anomáliák detektálásához. Analóg többkamerás rendszerek esetében gyakran használt megoldás az id osztásos multiplexelés, melynek során az egyes kamerák képei szegmentálatlanul kerülnek rögzítésre, azaz nem ismert, hogy egy képkocka melyik kamerához tartozik. Azonban a legtöbb meggyel eljárás kizárólag álló kamerán m ködik. Így az els feladathoz olyan módszereket fejlesztettem ki, melyeket egy többkamerás rendszerben lehet el feldolgozási lépésként, a kamera nézetek felismeréséhez használni. A bemutatott eljárások használhatók egyrészt oine üzemmódban az archivált id -multiplexelt adatok hatékony szegmentálásához, másrészt online módban rendhagyó kamera és multiplexer események detektálásához, ilyenek például a rendhagyó kamera sorrend és id tartam, kézi vezérlés, és eszköz üzemzavar. A második feladat az el tér elkülönítése a statikus vagy dinamikus háttért l, ahol az el tér apertúra problémát vizsgáltam meg, melyet a legtöbb módszer nem megfelel en kezel. Ezért egy új kiegészítést mutattam be egy széles körben alkalmazott módszerhez, hogy növeljem annak az apertúra problémával szembeni robusztusságát.

4 3 Végül a harmadik feladathoz elkészítettem egy többszint rendszert, mely a képpont szint optikai áramlás irányokat használva képes megtanulni a jellegzetes mozgásmintákat és a forgalom uktuációját, valamint rendhagyó forgalmi események valós idej detektálására alkalmazható. A javasolt eljárások zsúfolt városi környezetben használhatóak, ahol a hagyományos objektumkövetés alapú megközelítések általában nem, vagy csak nagyarányú téves riasztással m ködnek.

5 4 A kutatás módszertana Ahogy azt már korábban tárgyaltuk, a valós idej feldolgozási képesség és a robusztusság volt a két f szempont az eljárások fejlesztése során. Ezért f ként robusztus statisztikai módszereket alkalmaztam, melyek különböz, a matematikai statisztika és a valószín ségszámítás területér l származó tételeket és állításokat használnak fel. A javasolt modellek a kevert Gauss modell, a rejtett Markov és fél-markov modell különböz megvalósításait alkalmazzák. A dolgozat f újdonságai a folyamatok valószín ségi modellezésében, a modelleket használó, valós idej, Bayes-i detektáló eljárásokban, és a modellek strukturális felépítésében valamint paraméter becslésében jelentkeznek. Módszereim hatékonyságának igazolására kísérleteimben rossz min ség, valós városi felvételeket használtam, melyeket egyrészt a Budapesti Rend r-f kapitányság biztosított, másrészt a Képfeldolgozás Laboratórium munkatársai rögzítettek. Az eljárások egyszálú C++ nyelven lettek implementálva, GPU-alapú gyorsítás használata nélkül. A képfeldolgozási algo-

6 5 ritmusok C++ nyelv implementációját az Intel Image Processing Library és OpenCV függvénykönyvtár könnyítette meg. Az elkészített programokat hagyományos PC architektúrán teszteltem Microsoft Windows XP, illetve Ubuntu Linux operációs rendszerek alatt.

7 Téziscsoportok 6 Téziscsoportok 1. Téziscsoport: id -multiplexelt biztonsági felvételek elemzése Kapcsolódó publikációk: [1], [2], [3]. Analóg többkamerás meggyel rendszerek esetén gyakori megoldás, hogy a videókat szegmentálatlanul, id -multiplexelve rögzítik. Az ilyen esetekben a multiplexer általában nincs szinkronizálva a felvev eszközzel, így a kamerák id beli pozícióiról a videószekvenciában nincs rendelkezésre álló információ. Azonban a legtöbb biztonsági feladatokhoz kifejlesztett módszer kizárólag álló kamerán m ködik. Emiatt az els lépés egy többkamerás rendszerben az automatikus helyszínfelismerés. A létez helyszínfelismer eljárások nem veszik egyszerre gyelembe egy kamera képeinek vizuális hasonlóságát, a multiplexelt szegmensek periodikusságát, valamint a kamera id tartamok szabályosságát és bizonytalanságát. Ezért olyan rejtett Markov (HMM) és rejtett fél- Markov (HSMM) modell alapú módszereket dolgoztam ki, amelyek

8 Téziscsoportok 7 gyelembe veszik ezen szempontokat. Oine üzemmódban hatékony eszközt biztosítanak nagy mennyiség multiplexelt archív videó szegmentálásához, míg online módban rendhagyó kamera és multiplexer események (rendhagyó kamera sorrend és id tartam, kézi PTZ vezérlés, eszköz üzemzavar) valós idej felismeréséhez használhatók. (a) Altézis: Új HMM és HSMM modelleket hoztam létre id -multiplexelt videók automatikus oine szegmentálásához. Mindkét módszer két f tulajdonságot vesz gyelembe: egy adott kamera szegmensei közötti vizuális hasonlóságot és a szegmensek periodikusságát a videó folyamban. A HSMM alapú módszer emellett gyelembe veszi a kamera id tartamok bizonytalanságát is. A modellekben egyszer képi tulajdonságokat használtam, ezáltal a javasolt módszerek nagy sebesség adatfeldolgozást értek el. Kísérletekkel bemutattam, hogy mindkét módszer hatékonyan alkalmazható rossz min ség archív biztonsági felvételek szegmentálásához. (b) Altézis: Új, HMM és HSMM alapú eljárásokat dolgoztam ki id -multiplexelt videókon történ online helyszínfelismeréshez és rendhagyó kamera események jelzéséhez. A HMM alapú módszer a következ rendellenes kamera m ködés jelzésére alkalmas: rendhagyó kamera sorrend, kézi PTZ vezérlés és eszköz üzemzavar. Ezenfelül a HSMM alapú eljárás rendhagyó kamera id tartamok jelzésére is használható. Mindkét módszer valós idej adatfeldol-

9 Téziscsoportok 8 gozásra képes egy hagyományos PC-n, és magas felismerési hatékonysággal alkalmazható mind nappali, mind éjszakai felvételek esetén. Rossz min ség, valós felvételeken elvégzett kísérletekkel bizonyítottam az általam kidolgozott módszerek gyakorlati alkalmazhatóságát. 2. Téziscsoport: el tér-háttér elkülönítés Kapcsolódó publikációk: [4], [5]. A kép mozgó részeinek elkülönítése a háttért l egy fontos feladat a videó-meggyelési alkalmazásokban. Videókon történ mozgásfelismeréshez az adaptív kevert Gauss (MoG) módszer az egyik legelterjedtebb el tér-háttér elkülönít eljárás, melynek f hiányossága az úgynevezett el tér apertúra probléma által el idézett pontatlan m ködés. A probléma által érintett részeken az eredeti MoG eljárás gyakorlatilag helytelen eredményt ad. Ezért úgy módosítottam az eredeti módszert, hogy növeljem annak az el tér apertúra problémával szembeni robusztusságát, miközben annak valós idej feldolgozó képességét meg rizzem. (a) Altézis: Létrehoztam egy új kiegészítést az adaptív MoG alapú el tér-háttér elkülönít módszerhez, mely az el tér képpontok Gauss modelljeit egy különálló rétegben tárolja. Deniáltam egy rekurzív eljárást a szomszédos el tér modellek között, mely a magas szórás értékeket terjeszti a homogén területek széleit l azok bels területei felé, ezáltal megel zi, hogy azok háttérré vál-

10 Téziscsoportok 9 janak. Továbbá determinisztikus lépéseket deniáltam az el tér és a háttér modellek közötti állapotváltáshoz. Kísérleteim szerint a módosított eljárás jelent sen javítja az eredeti módszer robusztusságát az el tér apertúra problémával szemben, ezáltal akár 50%-kal is csökkenhet a hibásan osztályozott képpontok száma, miközben a feldolgozási sebesség hozzávet legesen 30%- kal csökken. 3. Téziscsoport: rendhagyó esemény felismerés biztonsági videókon Kapcsolódó publikációk: [6], [7], [8], [9], [10]. A legtöbb rendhagyó esemény felismer módszer az objektumok mozgáspályáit használja fel. Azonban az ilyen objektumkövetés alapú megközelítések használata esetén zsúfolt városi környezetben nagyon magas a téves riasztások száma. Ezért új módszereket hoztam létre városi biztonsági felvételeken történ rendhagyó forgalmi események, illetve szituációk jelzéséhez. Az olyan esetekben, ahol az objektumkövetés megbízhatatlan eredményt ad, az általam javasolt módszerek a s r képpont alapú optikai áramlás irányokat felhasználva képesek modellezni a normális forgalmi helyzeteket. A javasolt eljárások nem igényelnek semmilyen kézi kalibrálást vagy beállítást; mindössze egy automatikus, szokásos aktivitást tartalmazó videókon történ tanító fázisra van szükségük. Kísérleteimben rossz min ség valós videókat használtam, bemutatva ezzel módszereim gyakorlati problémákkal szembeni robusztusságát.

11 Téziscsoportok 10 (a) Altézis: Optikai áramlás irányok új, képpont szint modellezését vezettem be a videóra jellemz mozgásminták megtanulásához. A szokásos mozgásirányok becslése egy automatikus tanítási fázis során történik. A mozgásvektorok id beli Markov tulajdonságát gyelembe vev, új módszert dolgoztam ki a rendhagyó mozgások valószín ségének becsléséhez. Kísérleteim szerint az id beli kiterjesztés használatával jelent sen n a rendhagyó és a szokásos események valószín ségei közötti különbség, ezáltal javítható a rendhagyó események jelzésének hatékonysága. (b) Altézis: Létrehoztam egy régió szint, HMM alapú, rendhagyó esemény felismerésére alkalmas módszert, mely a meggyelt helyszín adott régiójában megtanulja a tipikus mozgásmintákat és a forgalom uktuációját. A módszer a kinyert képpont szint optikai áramlás információ id beli változásait használja fel a forgalmi rendszer szabályainak modellezésére. (c) Altézis: A nagyszámú mozgásvektor alacsony valószín ségi értékei a HMM tanítási eljárása során numerikus számábrázolási problémát eredményeznek. Ennek kiküszöbölésére kidolgoztam egy skálázási technikát a paraméterbecsl eljárás matematikai formuláihoz. Bebizonyítottam, hogy ez a skálázási technika nem változtatja meg a paraméterbecsl eljárást. A javasolt skálázási technika kombinálható egy létez skálázási módszerrel, melyet hosszú tanító szekvencia esetében használnak. Bebizonyítottam,

12 Téziscsoportok 11 hogy a kombinált skálázást használva a paraméterbecsl eljárásban semmilyen módosításra nincs szükség. Kísérleteim szerint a javasolt skálázási technika jelent sen növeli a tanítási folyamatnak a számábrázolási problémával szembeni robusztusságát és megközelít leg ötször nagyobb számú mozgásvektor feldolgozását teszi lehet vé, miközben a feldolgozás sebessége nem csökken érzékelhet en. (d) Altézis: Bevezettem a régió szint mozgás modellek hierarchikus reprezentációját egy diszkrét HMM modellben a régiók együttes viselkedésének gyelembe vételéhez. Így a modell a térben távoli mozgás események közötti kapcsolatok leírására használható és eszközt biztosít a nagyobb térbeli kiterjedéssel rendelkez rendhagyó események felismerésére.

13 Téziscsoportok 12 Eredményeim hasznosulása Az általam kifejlesztett módszerek robusztusak, semmilyen speciális hardver környezetet nem igényelnek, és hagyományos PC-n közel valós idej feldolgozási sebességet érnek el. Ezen tulajdonságoknak köszönhet en a bemutatott eljárások kereskedelmi szoftverekben is alkalmazhatóak. Az algoritmusok közvetlenül kapcsolódnak az MTA-SZTAKI folyamatban lév kutatási projektjeihez. Az Európai Védelmi Ügynökség által támogatott MEDUSA projekt célja egy intelligens szenzorfúziós hálózat létrehozása. A MEDUSA prototípus rendszerbe a harmadik téziscsoport néhány eljárása kerül integrálásra. Ezen téziscsoport els altézisének eljárásai a Jedlik Ányos program MONLINGV projektje során kifejlesztett rendszerbe kerültek integrálásra.

14 Kapcsolódó publikációk 13 Kapcsolódó publikációk [1] Á. Utasi and L. Czúni. Analysis of time-multiplexed security videos. In Proceedings of The 6th IEEE International Conference on Advanced Video and Signal Based Surveillance, pages , Genoa, Italy, September [2] Á. Utasi and L. Czúni. Detecting irregular camera events in time-multiplexed videos. Electronics Letters, 45(18):937939, [3] Á. Utasi and L. Czúni. Id -multiplexelt biztonsági felvételek elemzése. In Proceedings of The 7th Conference of Hungarian Association for Image Processing and Pattern Recognition, Budapest, Hungary, January [4] Á. Utasi and L. Czúni. Reducing the foreground aperture problem in mixture of Gaussians based motion detection. In Proceedings of The 14th International Conference on Systems, Signals and Image Processing and 6th EURASIP Conference Focused on Speech and Image Processing, Multimedia Communications and Services, pages , Maribor, Slovenia, June [5] Á. Utasi and L. Czúni. Valós idej mozgásdetektálás módosított mixture of Gaussians eljárással. In Proceedings of The 6th Conference of Hungarian Association for Image Processing and Pattern Recognition, Debrecen, Hungary, January [6] Á. Utasi and L. Czúni. Anomaly detection with low-level processes in videos. In Proceedings of The 3rd International Conference on Computer Vision The-

15 Kapcsolódó publikációk 14 ory and Applications, pages , Funchal, Madeira, Portugal, January [7] Á. Utasi and L. Czúni. HMM-based unusual motion detection without tracking. In Proceedings of The 19th International Conference on Pattern Recognition, pages 14, Tampa, FL, USA, December [8] Á. Utasi and L. Czúni. Visual analysis of urban road trac. In Proceedings of The 15th International Conference on Systems, Signals and Image Processing, pages , Bratislava, Slovak Republic, June [9] Á. Utasi and L. Czúni. Detection of unusual optical ow patterns by multilevel hidden Markov models. Optical Engineering, 49(1), [10] Á. Utasi and L. Czúni. Rendhagyó optikai áramlás detekciója rejtett Markov modellekkel. In Proceedings of The 8th Conference of Hungarian Association for Image Processing and Pattern Recognition, Szeged, Hungary, January

16 További publikációk 15 További publikációk [11] Á. Utasi and Cs. Benedek. A 3-D Marked Point Process Model for Multi-View People Detection. In Proceedings of The 24th IEEE Conference on Computer Vision and Pattern Recognition, Colorado Springs, USA, June [12] Á. Utasi and A. Kovács. Recognizing Human Actions by Using Spatiotemporal Motion Descriptors. In Proceedings of Advanced Concepts for Intelligent Vision Systems, Sydney, Australia, December [13] Á. Utasi and Cs. Benedek. Multi-Camera People Localization and Height Estimation Using Multiple Birth-and-Death Dynamics. In Proceedings of The 10th International Workshop on Visual Surveillance (in conjunction with ACCV 2010), Queenstown, New Zealand, November [14] L. Kovács and Á. Utasi. Shape and Motion Fused Multiple Flying Target Recognition and Tracking. In Proceedings of Automatic Target Recognition XX, at SPIE Defense, Security, and Sensing, Orlando, USA, April [15] L. Kovács, Á. Utasi and T. Szirányi. VISRET - A Content Based Annotation, Retrieval and Visualization Toolchain. In Proceedings of Advanced Concepts for Intelligent Vision Systems, pages , Bordeaux, France, September 28 - October [16] Á. Utasi, L. Kovács, Szlávik, L. Havasi, I. Petrás, and T. Szirányi. Digital Video Event Detector Framework for Surveillance Applications. In Proceedings of The 6th IEEE International Conference on Advanced Video and Signal Based Surveillance, pages , Genoa, Italy, September

17 További publikációk 16 [17] L. Kovács, Á. Utasi and T. Szirányi. Extraction, Categorization, and Unusual Motion Signaling of Small Moving Objects. In Proceedings of Signal and Data Processing of Small Targets, San Diego, USA, August [18] Á. Utasi, Á. Kiss and T. Szirányi. Statistical Filters for Crowd Image Analysis. In Proceedings of The 11th IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (in conjunction with CVPR 2009), pages 95100, Miami, USA, June [19] L. Havasi, Z. Szlávik, L. Kovács, Á. Utasi, Cs. Benedek and T. Szirányi. Validate Privacy Constraints in Surveillance Systems. In Proceedings of ICT Solutions for Justice, Skopje, Macedonia, September [20] L. Kovács, Z. Szlávik, Cs. Benedek, L. Havasi, I. Petrás, D. Losteiner, Á. Utasi, A. Licsár, L. Czúni, and T. Szirányi. Video Surveillance Framework for Crime Prevention and Event Indexing. In Proceedings of ICT Solutions for Justice,, Thessaloniki, Greece, October [21] Z. Szlávik, L. Kovács, L. Havasi, Cs. Benedek, I. Petrás, Á. Utasi, A. Licsár, L. Czúni, and T. Szirányi. Behavior and event detection for annotation and surveillance. In Proceedings of the 6th International Workshop on Content- Based Multimedia Indexing, pages , London, UK, June [22] Á. Utasi and L. Czúni. Unusual Event Detection in Low-Quality Urban Surveillance Videos with Modeling Motion Directions. In Proceedings of The Asia-Pacic Workshop on Visual Information Processing, Tainan, Taiwan, December