Rendhagyó optikai áramlás detekciója rejtett markov modellekkel Utasi Ákos1, Czúni László 2 1 MTA SZTAKI 1111 Budapest, Kende u. 13-17. Tel.: +3612796000/7300, Fax: +3612796292, utasi@sztaki.hu 2 VIRT, Pannon Egyetem 8200 Veszprém, Egyetem u. 10. Tel.: +3688624800, czuni@almos.vein.hu Absztrakt. Mivel az olcsó, kültéri megfigyelő rendszerek videóin gyenge minőségű optikai áramlás mérhető, de a mozgásminták meglehetősen komplexek lehetnek, új robusztus képfeldolgozási módszerekre van szükség, hogy megbízható, magas szintű információt tudjunk a videókból kinyerni. Dolgozatunkban olyan új Markov modelleket mutatunk be, ahol nincs szükség klasszikus objektum követési eljárásokra, hogy rendhagyó mozgásmintákat tudjunk automatikusan észrevenni. Sűrű optikai áramlás számítását és kevert Gauss modellezést alkalmazunk egy, vagy többszintű modellekben. 1. Bevezetés A vizuális megfigyelés sokféle közlekedési alkalmazásban fontos, mint pl. a monitorozás, anomália detekció, forgalmi dugó detekció, tervezés vagy előrejelzés. A legtöbb esetben valós idejű, robusztus módszerekre van szükség, mivel igen sokféle zajhatással kell számolni (elektromos zaj, optikai torzítás, rázkódás, villódzás, automatikus fehér egyensúly, alulmintavételezés, tömörítési hibák) ill. a körülmények is zavaróak lehetnek (eső, szél, éjszaka, napsütés, csillogások, reflektorok, takarások, dinamikus alakok, árnyékok, stb.). Mivel mindezeket nem lehet kiküszöbölni, a feldolgozó eljárásoknak kell megfelelően kihasználni a térbeli vagy időbeli hasonlóságokat a videófolyamban. Cikkünkben új, robusztus rejtett Markov modell alapú (RMM) technikákat mutatunk be, hogy megbírkozzunk ezzel a kihívással. Az általunk itt bemutatott módszereket leginkább az különbözteti meg a legtöbb hasonló célú eljárástól, hogy nincs szükség objektum követésre, ami zajos és bonyolult mozgásminták esetén nehezen járható út. A javasolt módszerek tanítási fázis után lesznek képesek a rendhagyó események detekciójára. Tipikus alkalmazási terület a kültéri felvételek elemzés, mint pl. közlekedési csomópontok forgalmának monitorozása. A cikk eredményei az alábbi publikációban jelentek meg: Ákos Utasi and László Czúni: Detection of unusual optical flow patterns by multilevel hidden Markov models, Opt. Eng. 49, 017201 (Jan 19, 2010)
2 Utasi Á., Czúni L. 2. Hasonló munkák Alapvetően kétféle megközelítés van a videómegfigyelés alkalmazásokban: specifikus mozgásmintákat ill. objektumokat keresünk, vagy apriori tudás nélkül tetszőleges rendhagyó mozgások detekcióját várjuk el. A legtöbb módszer objektumkövetést alkalmaz (pl. [4], [20]) vagy különböző mozgások együttes előfordulását keresi (pl. [9]). Azonban az objektumkövető módszerek nagy zaj esetén nagy hibával dolgoznak, ahogy azt több cikkben is említik (pl. [2]), jelentős eltérés van a gyakorlat és a laboratóriumi körülmények között. Jó áttekintést nyújt a problémáról az [1] cikk. RMM alapú módszerekkel gyakran találkozhatunk a videóelemzésben, ilyen pl. [19] ahol félig felügyelt RMM-et alkalmaznak. A leírt módszer hátránya a statikus háttérkép képzés, ill. nem ismerjük teljesítményét zajos körülmények között. A [20]-ban klaszterezést használnak a normál és rendhagyó mozgástrajektóriák elkülönítésére, majd RMM-et tanítanak a csoportokra. Ebben az esetben a trajektóriák meghatározása lehet gond a zajok és takarások miatt. [6]-ben gyalogosforgalom optikai áramlását vizsgálják. A képet blokkokra bontják és minden blokkhoz külön modellt használnak. Sajnos csak beltéri felvételeken végeztek kiértékelést, és az általuk használt főkomponens analízis fontos, de ritka, rendhagyó információ elvesztésével járhat. [7] szintén RMM elemzést használ emberek mozgásának modellezésére beltérben. Egyszerű háttérképzési módszerük mindenképpen alkalmatlan kültéri képek esetén, bár a hibás detekciók számát így is túl magasnak értékelték. Terjedelmi okokból több érdekes cikk ([3], [5], [9], [17], [18], [21]) bemutatását kénytelenek vagyunk elhagyni, ezekről rövid értékelést itt olvashat [23]. A fenti cikkek elemzése során azt találtuk, hogy a legtöbb módszer követést, azon alapuló trajektóriákat használ, ill. főleg beltéri képeken tesztelték őket. Néhány cikk főkomponens analízist alkalmaz dimenzió csökkentésre, ennek az a veszélye, hogy pont a rendhagyó, ritka esetek fognak áldozatul esni az adatkompressziónak. A saját modelleink tesztelésére gyenge minőségű kültéri videókat használtunk, ill. ezek felhasználásval generáltunk rendhagyó eseményeket tartalmazó fotorealisztikus felvételeket. Több ezer képkockát használtunk az egyes módszerek kvantitatív vizsgálatára. 3. Javasolt megközelítésünk Az általunk javasolt modellekben a következő feltevéseket, célkitűzéseket tesszük: Azért, hogy elkerüljük a követésen alapú problémákat nem alkalmazunk követést. Helyette sűrű optikai áramlást használunk az RMM létrehozására. A félreértések elkerülése végett kihangsúlyozzuk, hogy a tradícionális követő módszerek minimum folt, de inkább objektum alapú megfeleltetést végeznek a képkockák között. Azaz ezeket a képterületeket kockánként meg kell címkézniük és tulajdonságokkal kell jellemezniük. A mi esetünkben nincs szükség a képkockák tartalma között ilyen megfeleltetést keresni.
Rendhagyó optikai áramlás detekciója rejtett markov modellekkel 3 Azt feltételezzük, hogy előfordulhat, hogy a videó ráta sem stabil, ezért a mozgásvektoroknak csak az irányát fogjuk felhasználni. Ugyanis ha az FPS nem konstans, a mozgások becsült sebességének értéke megbízhatatlan. Kétszintű modelleket használunk: egyrészt régiókhoz kötött folytonos eloszlású RMM-et használunk, másrészt ezekből hierarchikus reprezentációt hozunk létre, így távolabbi területek mozgásmintájának együttesét is modellbe tudjuk foglalni. Felügyelet nélküli tanító fázis során paraméterezzük fel a modelljeinket. Az eljárás különböző lépéseit a következő fejezetekben tárgyaljuk, az általános archiketúrát az 1. ábra mutatja. A tanítási fázisban először az optikai mozgást számítjuk ki és szűrjük, majd ezt használjuk a régiók meghatározásához. Ezeken a régiókon számítjuk ki az RMM paramétereket. Végül a lokális régiókat összevonva diszkrét állapotú RMM-et tanítunk. A detekciós fázisban a kiválasztott régió (ROI - Region of Interest) mozgásvektorai és a régiót reprezentáló RMM állapota határozza meg a következő állapotot és a látott esemény valószínűségét. Végül több régió együttes állapotát elemzi ki a felső szintű RMM. Optical Flow Motion detection ROIs Pixel-based motion statistics Optical flow estimation MeanShift segmentation Optical flow filtering ROI 1 ROI 2 ROI K HMM 1 Observations Observations Observations HMM 2 State/Probability State/Probability State/Probability HMM K High-level HMM Observation State/Probability 1. ábra:: A javasolt rendszer általános architektúrája. A szaggatott vonal a tanítási fázist jelöli.
4 Utasi Á., Czúni L. 3.1. Az optikai áramlás számítása Hogy elkerüljük a felesleges számításokat kevert Gauss modell (KGM) alapú változásdetekciót használunk a nem változó területek kizárására. A [12]-ban ismertetett eljárás jól működik kültéri alkalmazásokban, mivel a váltakozó objektumok színét jól meg tudja tanulni (pl. fák, víz, eső, árnyékok). A mozgásvektorok számításához a Bergen [10] és a Lucas és Kanade [11] módszereket egyaránt hatékonynak tapasztaltuk. További zajszűrésre egyszerű módszereket alkalmaztunk: a nagyméretű (képméret 30%-nál nagyobb) ill. a nagyon kicsi (1 pixelnél kisebb) vektorokat egyszerűen nem vettük figyelembe. 3.2. A kép régiókra bontása A képet a mozgásnak megfelelőn dinamikusan szegmentáljuk zónákra a [22]- ban ismertetett módszerrel. A szegmentálás célja, hogy a nagyon eltérő mozgásstatisztikával bíró területeket külön tudjuk modellezni. A tanító fázisban 8- irányú mozgásirány hisztogrammokat készítettünk a pixelekhez, amik a 8 fő iránynak felelnek meg (Dir {É,K,D,Ny,ÉK,DK,DNy,ÉNy}), majd az adatokat az un. MeanShift technikával szegmentáltuk [13]. A 2. ábra a bemeneti képet, a mozgásirány statisztikát és a szegmentált eredményt mutatja (a színezés pontos definíciója a [22] cikkben olvasható). 2. ábra:: Bemeneti képkocka; mozgásirány statisztikák [22]; MeanShift szegmentált statisztikák; mozgó összefüggő foltok (a kiválasztott régió pirossal kijelölve) 4. Alacsony szintű RMM Ha a forgalom időbeli lefolyását, ritmusát szeretnénk megérteni, akkor vektorok eloszlásához időbeli állapotokat kell rendelnünk az egyes régiókban. Ha valamilyen anomália fog előfordulni, akkor ebben a ritmusban kell valamilyen szokatlan változást észrevennünk, pl. nem a megszokott állapotátmenetet tapasztaljuk, vagy nem a szokásos mozgásirányok fordulnak elő egy területen. Először tehát a lokális mintákat fogjuk vizsgálni, majd az így kapott állapotokat fogjuk a következő magasabb szinten figyelembe venni (5. fejezet). Kiválasztunk egy ROI-t, majd minden mozgó foltjában (ezeket a mozgásdetekció maszkjából kapjuk meg, mint összefüggő területeket) megmérjük az
Rendhagyó optikai áramlás detekciója rejtett markov modellekkel 5 optikai áramlást. Ezek után ahelyett, hogy a foltok mozgását követnénk, a foltok területére egy 3D-s (x, y, szög) KGM-et illesztünk az un. Expectation Maximization [14] módszerrel. A KGM-ek várható értékét egy adott ROI-ban tekintjük ezek után a RMM-ek megfigyelésének. Ennek a módszernek az az előnye, hogy kicsi (pl. gyalogos) és nagy objektumok (pl. egy autóbusz), ill. foltok esetén is jól reprezentálja a mozgást. C t jelölje a foltok számát a ROI-ban t pillanatban, és Mt c jelölje a várható értékek halmazát, amely a c-dik komponensre lett illesztve (1 c C t ). Megfigyeljük hát a várhatóértékek únióját: O t = C t c=1 M c t. (1) Ugyanakkor a megfigyelés definiálható az 1. egyenletben a következő formában O t = {o t,1, o t,2,..., o t,kt }, ahol K t = O t jelöli a várhatóértékek számát adott megfigyelés esetén. 4.1. Jelölések és definíciók Alapvetően a [15] cikkben található klasszikus λ = {π, A, B} jelölést használjuk az RMM-ek definiálására, N az állapotok száma. Egy T hosszú megfigyelési szekvencia így jelölünk O = O 1, O 2,..., O T. Esetünkben minden megfigyelés a sorozatban egy listája a lokalizált irányoknak (x, y, és szög), ahogy korábban megadtuk (3.2. fejezet). M Gauss keverékét használjuk a kibocsátási valószínűségek modellezésére: b i (O t ) = K t k=1 b i (o t,k ) = K t k=1 l=1 M w i,l b i,l (o t,k ), (2) ahol b i,l (o t,k ) = N (o t,k µ i,l, Σ i,l ). A következő indexelést használjuk: i és j jelenti az állapotokat (1 i, j N); t adja meg az időt az állapotok és megfigyelések során (1 t T ); k egy megfigyelési mintát jelöl; l pedig egy Gauss-t a KGM-ben (1 l M). A következő valószínűségi változók a szokásos módon használatosak α t (i), β t (i), γ t (i), ξ t (i, j), ugyanakkor: γ t (k, i, l) = γ t (i) w i,lb i,l (o t,k ) b i (o t,k ) annak valószínűsége, hogy a t-dik megfigyelésnek a k-dik mintáját az i-dik állapotnak az l-dik Gauss komponense generálta. (Mindezen alapfogalmakról bővebben a [15] cikkben lehet olvasni.) (3) 4.2. RMM paramétereinek becslése Egy kiválasztott ROI esetében kigyűjtöttük azokat a képkockákat, ahol történt mozgás, majd ezt a képszekvenciát E véletlen (5-10) hosszúságú részre bontottuk, majd a Baum-Welch eljárást használtuk [15] az RMM tanítására. Szükség
6 Utasi Á., Czúni L. volt egy skálázási módszert bevezetni, hogy elkerüljük a kicsi számok elvesztéséből adódó számítási-ábrázolási hibát. Elvileg lehetett volna logaritmussal is számolni a Baum-Welch eljárás forward-backward számításai során, ekkor azonban a tanítás jelentősen lelassult volna. Ezzel szemben egy gyors skálázási technikát vezettünk be. 4.3. Relatív emissziók bevezetése skálázással A pontossági problémát a kibocsátási valószínűségek definíciója okozza a 2. egyenletben, ahol valószínűségek szorzatát használtuk b i (o t,k ). Ezek értékei a KGM-ektől függenek, de tipikusan igen kicsi értékek ( 1), és a tanítás során többször kell őket iteratív módon megbecsülni. Amennyiben a tanítási sorozat megfigyelései erősen zajosak (ez igen tipikus eset) a Gauss-ok kovarianciája relatív nagy lesz, hogy egyezést érjünk el. Ennek azonban az lesz a következménye, hogy a kibocsátási valószínűségnél a szorzat (lásd 2. egyenlet) exponenciálisan 0-hoz fog tartani. 64 bites ábrázolás esetén a határ 2 1022 (2.23 10 308 ), amiből az következik, hogy csak kevés számú mintával tudunk dolgozni még QCIF ill. CIF felbontásnál is. Ezért kellett egy új skálázást bevezetni, aminek az lett a következménye, hogy nagyobb számú vektor feldolgozása vált lehetővé. A relatív kibocsátás tehát: K t b i (o t,k ) bi (O t ) = [ N ]. (4) k=1 j=1 b j(o t,k ) [ N 1. A skálázási együttható jelölése e t,k = j=1 b j(o t,k )] Ezt a skálázást be lehet vezetni a Rabiner féle [15] skálázásba is, ahol mindegyik α t (i) skálázva lett az összes α t (i) összege által. Bizonyítható, hogy az eredeti újrabecslő folyamatok (lásd [23]) továbbra is használhatóak maradnak, ha a relatív kibocsátási valószínűségeket használjuk. Egyedül a logaritmikus valószínűségi függvényen kell változtatni, ami az újrabecslő folyamat konvergenciáját vizsgálja: log P (O λ) = T log (ĉ τ ) τ=1 T K τ log (e t,k ) (5) τ=1 k=1 ahol ĉ τ jelenti a skálázási együtthatók, de a relatív emissziókkal számolva. Ahhoz, hogy megkapjuk a megfigyelési sorozatot, a Viterbi út számításásra van szükség [16], ahol a kibocsátási valószínűség ill. a forward-backward változók logaritmusára van szükség. Ez esetben a kibocsátási szorzat összeadássá alakul, így itt nincs szükség a relatív valószínűségek bevezetésére. A módszerünk illusztrálására egy olyan videó adatait mutatjuk be, ahol 5 állapotot és 6 Gauss függvényt használtunk az RMM-ben (N = 5 és M = 6). Kiválasztottunk egy véletlen megfigyelést (O r ), ami 9 mintát tartalmazott (K r = 9). Rögzítettük a kibocsátási valószínűségek számítást b i (O r ) ill. a relatív kibocsátásokat b i (O r ) a Baum-Welch folyamat során. Végül megkaptuk az RMM paramétereit és a legvalószínűbb állapotot, ami kibocsáthatta a véletlenszerűen
Rendhagyó optikai áramlás detekciója rejtett markov modellekkel 7 3. ábra:: Két megfigyelés valószínűségei a minták számának függvényében. Mindkét (jobb és bal) esetben látható a sokkal lassabb konvergenciája a javasolt módszernek. Az eredeti kibocsátásokat (2. egyenlet) kékkel az új módszert feketével jelöltük. kiválasztott megfigyelést O r -t. A 3. ábra bal része mutatja az eredeti (kék) és a relatív értékek (fekete) összehasonlítását. A függőleges tengelyen a szorzat logaritmusát, a vízszintesen a felhasznált minták számát láthatjuk. Ahogy a minták száma nő, a szorzat exponenciálisan csökken. Míg az eredeti módszerrel kb. 50 vektort, addig az új módszerrel mintegy 200-400 vektort tudunk feldolgozni a ROI-n belül. (A grafikonok a Baum-Welch algoritmus három állapotát is mutatják: kezdeti lépést, első iterációt, ill a végső állapotot. Az ábra jobb oldala egy másik kísérletet mutat be, ahol K r = 12, N = 4 és M = 12.) 4.4. Rendhagyó mozgások detekciója Miután megbecsültük az RMM paramétereit, a Viterbi algoritmus által megállapíthatjuk a legvalószínűbb állapotokat. A mi esetünkben ez alapvetően a forgalom ritmusát jelentheti egy forgalmas kereszteződésben, amit a közlekedési lámpák határoznak meg. Ennek illusztrációjára szolgál a 4. ábra. Az állapotokat Gauss-ok keveréke jelenti adott átlaggal, kovarianciával és súllyal. Az átlag az irányt jelöli a ROI-n belül, a súly pedig az előfordulás gyakoriságát mutatja. Ezeket különböző színnel (átlag) és oszlopmagassággal (súly) mutatja a grafikon. Valós felvételekből egy valósághű videót szerkesztettünk, ahol egy autó a megszokottól eltérően a többi jármű között rohan át (lásd az 5. ábrát) és a betanított RMM-et használtuk, hogy jelezze ezt az eseményt. Az O t megfigyelés valószínűségét az S i állapotban, az előző q t 1 állapot függvényében így adjuk meg: { aqt 1,ib P (O t, q t = S i q t 1 ) = i (O t ) q t 1 1 (6) π i b i (O t ) q t 1 = 1 ahol q t 1 = 1 ismeretlen állapotot jelöl. A legvalószínűbb S állapotot választjuk ki és annak a valószínűsége, hogy normális jelenségről van szó a következő: P (O t ) = a qt 1, K Kt t b (o t,k ). (7) k=1
8 Utasi Á., Czúni L. (a) (b) (c) (d) (e) 4. ábra:: Fent: példa a négy detektált állapotra. Lent: a kijelölt ROI állapotsorozata, ahol a színek a mozgás irányával vannak összefüggésben. Jól látható a forgalom ritmusa. Végeredményül a log P (O t ) értéknek a simított verzióját generáljuk, ezt mutatja az 5. ábra. Három kockát találtunk, ahol kiugróan alacsony az így kapott valószínűség. Az első példához hasonlóan egy másik kísérletben egy másik jármű vág át a kereszteződésen szokatlan módon. Az eredményt a 6. ábra szemlélteti a detektált képkockákkal és valószínűségi értékekkel. 5. Magas szintű RMM Mivel sok alkalmazásnál nem elég a tér egy relatív kicsi részét szemlélni, ezért szükség lehet olyan modellre, ahol több kisebb terület állapotának együttesét vizsgáljuk. 5.1. Magas szintű RMM bevezetése Jelölje az alacsony szintű RMM-ek számát L, az l. RMM állapotainak halmazát S l = { } S1, l S2, l..., SN l l. Bevezetünk egy újabb S0 állapotot, amikor nincs mozgás egy ROI-ban, így S l = { } S0, l S1, l S2, l..., SN l l. A magas szintű diszkrét RMM λh abc-jét az alacsony szintű RMM-ek állapotainak összes kombinációja adja ki: V h = { [ S 1 i 1, S 2 i 2,..., S L i L ] } 0 il N l ; 1 l L. (8) így az abc mérete L l=1 (N l + 1) (a +1 a nem mozgó állapotot jelenti). Ha vesszük a Viterbi út által adott állapot-sorozatokat és mozgás nélküli állapotokat, megkonstruálhatjuk a magas szintű RMM állapot-sorozatát egysze-
Rendhagyó optikai áramlás detekciója rejtett markov modellekkel 9 (a) (b) (c) (d) 5. ábra:: Első kísérlet. Fent: az alacsony szintű detektor által jelzett képkockák. A rendellenes mozgású jármű sárgával van jelölve. Lent: a ROI-hoz tartozó valószínűségek. Az alacsony szintű detektor a 2695. kockát jelzi mint a rendellenes mozgás kezdetét. rűen az L állapotsorozatok együttes felírásával: O h = [ q1, 1 q1, 2..., q1 L ], [ q2, 1 q2, 2..., q L ] 2,..., [ qt 1, qt 2,..., q L ] T } {{ } } {{ } } {{ } O1 h O2 h OT h (9) ahol qt l S l és Ot h V h. Cikkünkben illusztrációként 2 ROI-t választottunk ki, L = 2. A diszkrét magas-szintű RMM tanítása a [15] cikk szerint történt. 5.2. Rendhagyó mozgások detekciója A demonstrációban ugyanazt a videót használjuk, mint korábban a 4.4. fejezetben, két ROI alkotja az alacsony szintet. A modelltanítások után 7 állapotot kaptunk, amint a 7. ábra illusztrál. A detekcióra a korábban már ismertetett módszert használtuk (4.4.). Minden t időben kiszámoltuk a legvalószínűbb S állapotot az adott Ot h megfigyeléshez a 6. egyenlet szerint, majd definiáltuk Ot h valószínűségét a szokásos módon: P h ( O h t ) = aqt 1, b ( O h t ). (10) Ebben a példában azt találtuk, hogy a ROI szintű RMM-ek nem jeleztek, de a hierarchikus detektor jelzést adott, amint azt a 8. ábra mutatja a három alacsony valószínűségű képkockával. Ennek a módszernek előnye, hogy a rendhagyó mozgást néhány kockával korábban jelezte mint a korábbi modell (amikor a középső ROI-t használtuk).
10 Utasi Á., Czúni L. (a) (b) (c) (d) 6. ábra:: Második kísérlet. Fent: az alacsony szintű detektor által jelzett képkockák. A rendellenes mozgású jármű pirossal van jelölve. Lent: a ROI-hoz tartozó valószínűségek. Az alacsony szintű detektor az 1681. kockát jelzi mint a rendellenes mozgás kezdetét. 6. A teljesítmény vizsgálata, korlátozások A példákban a tesztvideók felbontása 320x240 volt. 4800 db felére kicsinyített kockán vizsgáltunk a 4. fejezetben bemutatott módszert. A program egy 3GHzes Intel Xeon PC-n egyszálas módban futott, a program különböző fázisaiban mértük a sebességet: 1. Fázis - Előfeldolgozás: KGM változásdetekció, optikai vektorok számítása és szűrése, foltok meghatározása; 2. Fázis - Megfigyelések generálása: KGM illesztése a vektor mintákra a foltokon belül; 3. Fázis - Anomália detekció: a 6. egyenlet kiértékelése. A tesztek szerint az első fázis 51.9 msec/frame, a második 17.24 msec/frame a harmadik 6.14 msec/frame sebességgel futott. Összességében ez kb. 13FPS-t jelent. Ahogy a példák mutatták a detekciós módszerek városi közlekedési alkalmazásokban használhatóak. Természetesen a módszernek korlátai vannak: a kameráknak megfelelően magasból kell látni a forgalmat, ellenkező esetben túl sok lenne a takarás (valamennyi takarást a módszer tolerál); megfelelő betanítás szükséges, amikor nem lehetnek rendhagyó események. Elvileg készíthető olyan alkalmazás, amikor az adatgyűjtés, tanulás a detekcióval párhuzamban fut, ill. a napszakok szerint vált adatbázist a rendszer.
Rendhagyó optikai áramlás detekciója rejtett markov modellekkel 11 7. ábra:: A 7 megtanult állapot illusztrációi. A fő irányokat sárga vektorokkal jelöltük, a kör a mozgás hiányát jelképezi. 7. Összefoglalás Az objektumok követésén alapuló elemző módszerek sok nehézséggel kell szembesüljenek zajos kültéri felvételek esetén, különösen ha sok objektum végez komplex mozgást. Cikkünkben alternatív megoldást vázoltunk fel, ahol valós időben, a sűrű optikai áramlás elemzése során jutottunk el oda, hogy képesek vagyunk a mozgás rejtett mintázatát megtanulni és az attól eltérő viselkedést detektálni anélkül, hogy a képkockák tartalma közt közvetlen megfeleltetést tett nk volna. A kibocsátási valószínűségek relatív skálázása lehetővé tette, hogy jelentős számú mintát dolgozzunk fel, hiába is kicsiny azoknak az együttes valószínűsége. A képet automatikusan szegmentáltuk a mozgásinformációk alapján és az egyes szegmensekre külön-külön ill. együttesen is építettünk RMM modelleket, amelyek képesek a rendhagyó mozgások felfedésére. Természetesen a modellek paramétereit az idő függvényében lehet frissíteni, így a módszerek adaptálódhatnak a megfigyelt terület változásaihoz, azonban ennek a kérdéskörnek a vizsgálata túlmutat a dolgozat korlátain. Irodalom 1. Hu, W. and Tan, T. and Wang, L. and Maybank, S.: A survey on visual surveillance of object motion and behaviors. IEEE Transactions on Systems, Man and Cybernetics, Vol 34, 2004, 334-352 2. Dick, A. R. and Brooks, M. J.: Issues in Automated Visual Surveillance. Proc. of the 7th International Conference on Digital Image Computing: Techniques and Applications, 2003, 195-204
12 Utasi Á., Czúni L. (a) (b) (c) (d) 8. ábra:: Fent: példa a magas-szintű RMM detekciójára. A rendellenesen mozgó járművet sárgával jelöltük. Lent: a szokatlan mozgások valószínűsége. A tényleges szokatlan esemény a 2681. kockánál kezdődik. 3. Vaswani, N. and Chowdhury, A. R.: Activity recognition using the dynamics of the configuration of interacting objects. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2003, 633-640 4. Hongeng, S. and Nevatia, R. and Bremond, F.: Video-based event recognition: activity representation and probabilistic recognition methods. Computer Vision and Image Understanding, Vol 96, Num 2, 2004, 129-162 5. Boiman, O. and Irani, M.: Detecting Irregularities in Images and in Video. International Journal of Computer Vision, Vol 74, num 1, 2007, 17 31 6. Andrade, E. L. and Blunsden, S. and Fisher, R. B.: Performance Analysis of Event Detection Models in Crowded Scenes. Proc. of Visual Information Engineering, 2006, 427 432 7. Nair, V. and Clark, J. J.: Automated visual surveillance using hidden Markov models. Proc. of the 15th International Conference on Vision Interface, 2002, 88-94, 8. Brand, M. and Kettnaker, V.: Discovery and Segmentation of Activities in Video. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 22, Num 8, 2000, 844-851 9. Zhong, H. and Shi, J. and Visontai, M.: Detecting Unusual Activity in Video. Proc. of Computer Vision and Pattern Recognition, Vol 2, 2004, 819-826 10. Bergen, J. R. and Hingorani, R.: Hierarchical Motion-Based Frame Rate Conversion. David Sarnoff Research Center Princeton NJ 08540, 1990 11. Bouguet, J.-Y.: Pyramidal Implementation of the Lucas-Kanade Feature Tracker. Intel Corp., Microprocessor Research Labs, 2000 12. Stauffer, C. and Grimson, W. E. L.: Adaptive background mixture models for realtime tracking. Computer Vision and Pattern Recognition, IEEE Computer Society Conference on., Vol 2, 1999, 246-252
Rendhagyó optikai áramlás detekciója rejtett markov modellekkel 13 13. Georgescu, B. and Shimshoni, I. and Meer, P.: Mean shift based clustering in high dimensions: A texture classification example. Proc. 9th International Conference on Computer Vision, 2003, 456-463 14. Dempster, A. P. and Laird, N. M. and Rubin, D. B.: Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society. Series B (Methodological), Vol 39, Num 1, 1977, 1-38 15. Rabiner, L. R.: A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of the IEEE, Num 2, Vol 77, 1999, 257-286 16. Forney, G. D.: The viterbi algorithm. Proceedings of the IEEE, Num 3, Vol 61, 1973, 268-278 17. Beleznai, C. and Frühstück, B. and Bischof, H.: Human tracking by mode seeking. Proceedings of the 4th International Symposium on Image and Signal Processing and Analysis, 2005, 1-6 18. Moeslund, T. B. and Hilton, A. and Krüger, V.: A survey of advances in visionbased human motion capture and analysis. Computer Vision and Image Understanding, Num 2-3, Vol 104, 2006, 90-126 19. Zhang, D. and Gatica-Perez, D. and Bengio, S. and McCowan, I.: Semi-Supervised Adapted HMMs for Unusual Event Detection. Proceedings of the Conference on Computer Vision and Pattern Recognition, 2005, 611-618 20. Jiang, F. and Wu, Y. and Katsaggelos, A. K.: Abnormal Event Detection from Surveillance Video by Dynamic Hierarchical Clustering. Proceedings of the International Conference on Image Processing, 2007, 145-148 21. Moeslund, B. T. and Granum, E.: A survey of advances in vision-based human motion capture. Computer Vision and Image Understanding, Vol 81, Num 3, 2001, 231-268 22. Utasi, Á. and Czúni, L.: Anomaly Detection with Low-level Processes in Videos, Proceedings of the International Conference on Computer Vision Theory and Applications. 2008, 678-681 23. Utasi, Á. and Czúni, L.: Detection of unusual optical flow patterns by multilevel hidden Markov models. Optical Engineering, 2010