Idő-multiplexelt biztonsági felvételek elemzése Utasi Ákos1 és Czúni László 2 1 MTA-SZTAKI 1111 Budapest Kende u. 13-17. http://www.sztaki.hu 2 Pannon Egyetem, Villamosmérnöki és Információs Rendszerek Tanszék 8200 Veszprém Egyetem u. 10. Kivonat Dolgozatunk célja olyan statisztikai módszerek bemutatása, amelyek ún. idő-multiplexelt videók szegmentálására és előfeldolgozására alkalmasak. Megmutatjuk, hogy a rejtett Markov és fél-markov modellek hogyan használhatók ilyen videók szegmentálására és a szokásostól eltérő jelenségek detektálására. Az elméleti modellek felírásán kívül 1-1 tesztvideó segítségével demonstráljuk a módszer működését. 1. Bevezetés A rendkívül nagyszámú biztonsági videófelvétel automatikus elemzése egyre nehezebb feladat. Számos cikk foglalkozik ezeknek a videóknak az elemzésével, osztályozásával vagy például rendhagyó események detekciójával [1,2]. Jelen dolgozatunk tárgya olyan felvételek feldolgozása, ahol egy videófolyam több kamera képét is tartalmazza időosztásos módban (idő-multiplexelés). A multiplexelést végző berendezések működése általában nincsen összhangban a videórögzítő készülékekkel, ennélfogva a felvételek tartalmi elemzésének első korlátja az, hogy nem ismerjük az azonos kamerákhoz (helyszínekhez) tartozó részeket a videóban. Ezeknek a felvételeknek sajátossága, hogy a videófolyam több (tipikusan 2-8) kamera képét rögzíti többé-kevésbé meghatározott sorrendben. Természetesen, mivel az egyes kamerákhoz csak egy bizonyos idő multán tér vissza a felvétel, az egy kamerához tartozó képek ilyenkor nagyobb eltérést mutathatnak. Minél hosszabb a visszatérés előtt eltelt idő, ill. minél dinamikusabban változik a helyszín képe, annál nagyobb a valószínűsége, hogy a rögzített kép egyre kevésbé hasonlít az előző ismert állapotához, pl. időközben a fényviszonyok megváltozhattak, gépjárművek érkezhettek vagy mozdulhattak el (lásd 10. ábra). Mindemellett előfordulhatnak speciális esetek, ilyen amikor az operátor kézzel beavatkozik egy folyamatba és manuálisan kezdi el mozgatni valamelyik kamerát, egy-egy kamera egy ciklusból kimarad vagy éppenséggel tovább szerepel, vagy műszaki hiba miatt kiesik egy-egy kamera képe. A probléma kezelésére különböző megközelítések merülhetnek fel: Automatikus vágásdetekció alkalmazása [3]. Képosztályok (az egyes kamerákhoz tartozó osztályok) meghatározása, majd ezekbe való besorolás [4].
2 Utasi Á. és Czúni L. Kamerákra jellemző sajátképek meghatározása, felismerés ezek alapján [5]. Rejtett Markov Modellek használata [6]. A fenti módszerek azonban nem teljesen illeszkednek a feladathoz, ahol olyan modellt lenne célszerű használni, ami képes figyelembe venni az azonos kamerához tartozó szegmensek képi hasonlóságát, a periodikusságot, a szegmensek hoszszának szabályszerűségét, ill. annak bizonytalanságát. Az általunk javasolt módszer amellett, hogy rendelkezik ezekkel a kedvező tulajdonságokkal, a szegmentáláson kívül alkalmas a szokatlan állapotok (túl rövid ill. túl hosszú szegmensek), a kézi beavatkozások (pl. kamera mozgatása - PTZ: Pan-Tilt-Zoom), szabotázs vagy műszaki hibák detekciójára. 2. Rejtett, véges állapotú modellek Legyen N egy modell állapotainak száma, valamint jelölje S = {S 1, S 2,..., S N } az állapotok halmazát. Ezenkívül legyen Q egy T időtartamú diszkrét folyamat a modell által definiált rendszerben, azaz Q = q 1, q 2,..., q T. Rejtett modellek esetén a q t állapotok rejtve maradnak, azonban generálnak egy másik O = o 1, o 2,..., o T folyamatot, amely megfigyelhető. Rejtett modellek esetében az o t megfigyelést a rejtett belső állapot valamilyen valószínűségi eloszlás szerint bocsátja ki, azaz b i (o t ) = P (o t q t = S i ), (1) melyet kibocsátási valószínűségnek hívunk, ezt gyakran Mixture of Gaussian (MOG) valószínűségi eloszlással modellezik, tehát b i (o t ) = M w i,l N (o t µ i,l, Σ i,l ), (2) l=1 ahol M a komponensek (Gauss eloszlások µ i,l várható értékkel, Σ i,l kovarianciával és w i,l súllyal) száma a modellben. A kibocsátási valószínűségek halmazát jelölje B = {b i (o)}. 2.1. Megfigyeléseink Alapvető kérdés, hogy a képek milyen jellemzőjét érdemes megfigyelésnek választani. Cikkünkben nagyon egyszerű adatokkal igyekeztünk számolni, demonstrálva a Markov modell robosztusságát. Ezért megfigyelésként (o t ) az eredeti videó (320x200 méretű) képkockáinak szürkeskálás változatát használtuk, melyet egy 33 33 Gauss kernellel elmostuk, majd lekicsinyítettük 20 13-es méretre (1. ábra), azaz megfigyeléseink tere R 260 (20 13 = 260). 2.2. Rejtett Markov modell Bővítsük ki a rejtett modellünket időinvariáns Markov-i tulajdonsággal, azaz normál esetben egy állapot valószínűsége adott t időpillanatban kizárólag az
Idő-multiplexelt felvételek elemzése 3 1. ábra. A megfigyeléseket elmosás, majd kicsinyítés által nyerjük előző q t 1 állapottól függ, tehát definiálhatóak az a i,j = P (q t = S i q t 1 = S j ) (3) úgynevezett állapot-átmeneti valószínűségek, ezek halmaza A = {a i,j }. Továbbá definiáljuk annak valószínűségét, hogy a folyamat egy adott állapottal kezdődik: π i = P (q 1 = S i ), ezek halmaza pedig Π = {π i }. Az N állapotú rejtett Markov modell (HMM: Hidden Markov Model) tehát a következőképpen adható meg: λ = (Π, A, B). 2.3. Rejtett fél-markov modell Rejtett fél-markov modell esetén a i,i = 0, viszont definiálható annak valószínűsége, hogy egy állapot hányszor ismétlődik egymás után. Annak valószínűsége, hogy a folyamat egy adott időpillanatban S i állapotba kerül, majd τ idő múlva elhagyja azt: d i (τ) = P (q t 1 S i, q t = S i,..., q t+τ 1 = S i, q t+τ S i ), (4) valamint ezen időtartam valószínűségek halmazát jelölje D = {d i (τ)}. A rejtett fél-markov modell (HSMM: Hidden Semi-Markov Model) a λ = (Π, A, B, D) kifejezéssel definiálható. Az időtartam eloszlás típusától függően lehet nem paraméteres (Ferguson modell [8]), illetve paraméteres (pl. Poisson [11], gamma [12]). 3. Modell tanítás A modell paraméterek (Π, A, B valamint HSMM esetén D) meghatározásának egyik legelterjedtebb módja a tanító minta halmaz alapján elvégzett maximumlikelihood becslés, melyet HMM esetén az iteratív Baum-Welch algoritmussal [7] tudunk elvégezni. Az algoritmus némi módosítással HSMM esetén is működik, viszont a számítás sebessége jelentősen megnő. Egy lényegesen gyorsabb megvalósítást ad [9], mely így mindössze egy nagyságrenddel lassabb az eredeti HMM tanításnál [10]. Példánkban a videó négy nézetet tartalmazott, így N = 4 állapotú HMM és HSMM modelleket használtunk, valamint a kibocsátási MOG-ok komponenseinek számát M = 9 értéknek választottuk. A tanítás megkezdése előtt az egyes állapotok MOG-jának várható értékeit a videó elejéből kiválasztott képkockákkal
4 Utasi Á. és Czúni L. inicializáltuk (2. ábra). Teljesen véletlen értékekkel történő inicializálás esetén az úgynevezett Segmental k-means szegmentáló eljárás [7] használható, melytől a paraméterbecslő eljárás lényegesen lassabb lesz. (a) 0. nézet (b) 1. nézet (c) 2. nézet (d) 3. nézet 2. ábra. Tipikus kamera nézetek 3.1. Offline nézet felismerés A modell tanítás végeztével az O = o 1, o 2,..., o T megfigyeléseinket generáló Q = q 1, q 2,..., q T állapotok (melyek esetünkben a kamera nézetek) meghatározása a Viterbi algoritmussal [7,9] történik, mely mindig a legvalószínűbb állapot szekvenciát eredményezi. Az 3. ábra a HSMM által felismert állapotokat (kamera nézeteket) tartalmazza az idő függvényében. HMM esetén ugyanezt az eredményt kaptuk. 3. ábra. Kamera nézetek meghatározása a Viterbi algoritmussal HSMM esetén 4. Online felismerés, anomália detektálás A következő fejezetek különböző rendhagyó események felismerését tárgyalják. Mutatunk példát mind a HMM, mind a HSMM modell alapján történő anomália felismerésre. Dolgozatunkban három videón szemléltetjük detektoraink működését, ebből kettőt a függelék tartalmaz. A detektáláshoz a 3. fejezetben tárgyalt tanítás során kapott modelleket használtuk. A rendhagyó esemény felismeréséhez először definiálnunk kell egy adott t időpillanatban érkező megfigyelés o t valószínűségét. HMM esetén annak a valószínűsége, hogy o t megfigyelést látjuk, amit
Idő-multiplexelt felvételek elemzése 5 S i állapot generált és az előző állapot q t 1 : { aqt 1,ib P (o t, q t = S i q t 1 ) = i (o t ) q t 1 1 π i b i (o t ) q t 1 = 1, (5) ahol q t 1 = 1 az ismeretlen előző állapotot jelenti. Legyen S az az állapot, amelynél a fenti valószínűség maximális, és definiáljuk o t megfigyelésének valószínűségét a következőképpen: P λ (o t ) = P (o t, q t = S q t 1 ). (6) Rendellenes esemény detektálását egy manuálisan beállított T küszöb érték alapján végeztük. Tehát ha a megfigyelés túl kicsi valószínűségű (azaz túl nagy a negatív logaritmusa), akkor a rendszer szokatlan eseményt jelez. Amennyiben a detektált megfigyelés rendellenesnek bizonyult, a következő lépésben ismeretlen előző állapotot (q t 1 = 1) feltételeztünk. HSMM esetén nemcsak az előző állapotra van szükségünk, hanem az állapot egymás utáni ismétlődéseinek számára is. Ehhez egy számlálót használunk, mely mindig az utolsó állapotváltozástól számított ismétlődéseket számolja. Jelölje tehát (q s, τ t ) azt, hogy t τ t + 1 időpontban a rendszer q s kiindulási állapotba került, majd folyamatosan abban maradt, valamint (q s = 1, τ t ) azt, hogy ismeretlen állapotból indult a folyamat. Jelölje továbbá ˆd i az S i állapot nem nulla valószínűségű maximális időtartamát, azaz ˆd i = max {δ : d i (δ) 0}, (7) valamint legyen r i (τ) az S i állapot legvalószínűbb, τ-nál hosszabb, időtartamának valószínűsége, azaz r i (τ) = max {d i (δ) : τ < δ ˆd } i. (8) Ekkor hasonlóan az (5)-ös egyenlethez, definiáljuk az o t megfigyelés és S i aktuális állapot valószínűségét ismeretlen kiindulási állapotból: π i b i (o t ) q t 1 = 1 P (o t, q t = S i q t 1, (q s = 1, τ t 1 )) = r i (0) b i (o t ) q t 1 = S i, (9) a j,i b i (o t ) q t 1 = S j valamint, hogy a folyamat ugyanabban az állapotban (S i -ben) folytatódik: P (o t, q t = S i q t 1 = S i, (q s = S i, τ t 1 )) = P (o t, q t = S i (q s = S i, τ t 1 )) = { 0 τt 1 ˆd i r i (τ t 1 ) b i (o t ) különben, (10) valamint, hogy a folyamat állapota megváltozik (S j -ből S i -be): P (o t, q t = S i q t 1 = S j, (q s = S j, τ t 1 )) = P (o t, q t = S i (q s = S j, τ t 1 )) = { 0 dj (τ t 1 ) = 0 a j,i b i (o t ) különben. (11)
6 Utasi Á. és Czúni L. A HMM-hez hasonlóan itt is a legvalószínűbb S állapotot választjuk és definiáljuk az o t megfigyelés valószínűségét: P λ (o t ) = P (o t, q t = S q t 1, (q s, τ t 1 )). (12) Amennyiben megfigyelésünket rendellenesnek detektáltuk, úgy a következő lépésben ismeretlen előző (q t 1 =-1) és kiindulási állapotot (q s =-1) illetve 0 ismétlődést (τ t 1 = 0) feltételezünk. 4.1. Nézet kihagyása Az első kísérlet során a rendellenes esemény egy kamera nézet kihagyása volt. A tanítás után mind a HMM, mind a HSMM alapú detektor jelezte a hibát. A detektált állapotokat (S ) tartalmazza a 4. ábra, melyen jól látható, hogy a megszokott sorrendtől eltérően az 1. nézet után rögtön a 3. nézet következik, pedig a modell szerint a 2. nézetnek kellene következnie (pirossal jelölve). A 4. ábra logaritmikus skálán ábrázolja a detektor által adott (6) valószínűségeket. HSMM esetén nagyon hasonló valószínűség értékeket kaptunk. 4. ábra. Kihagyott kamera nézet detektálása HMM-mel 4.2. Manuális nézet váltás A következő kísérlet során a rendellenes esemény a nem megfelelő időben (túl korán, vagy túl későn) történő nézet váltás volt. Nyilvánvaló, hogy erre kizárólag a HSMM alkalmazható, mivel a HMM nem tartalmaz explicit információt az állapotok időtartamáról. A 5. ábra egy túl korán történő kamera váltás detektálását mutatja: a (12) által detektált állapot szekvencia (felül), valamint a kapott valószínűségek logaritmikus skálán (alul). A 6. ábra pedig a rendhagyóan hosszú ideig tartó kamera nézet detektálását szemlélteti.
Idő-multiplexelt felvételek elemzése 7 5. ábra. Rendhagyóan rövid ideig tartó kamera nézet detektálása 6. ábra. Rendhagyóan hosszú ideig tartó kamera nézet detektálása 4.3. Kézi PTZ vezérlés Végezetül megvizsgáltuk azt az esetet, amikor a kamera működésébe joystick segítségével kézzel beavatkoztak (döntés, forgatás, zoom). A detektált állapotok, a valószínűségek, valamint a rendellenes esemény néhány képkockája a 7. ábrán látható. 5. Összefoglalás Az igen nagy mennyiségben folyamatosan keletkező biztonsági videók feldolgozását és értelmezését célszerű automatikus, gépi eszközökkel végezni. Az időmultiplexelt felvételek szegmentálása nékülözhetetlen olyan feladatokhoz, mint a mozgásdetekció, elhagyott objektumok felfedezése vagy rendellenes mozgások észrevétele. A szegmentálás azonban nem teljesen egyértelmű, hiszen az egyes helyszínek képe rövid idő alatt jelentősen változhat, bizonyos szegmensek hiányozhatnak, vagy manuális kontrol közben a kamera addig ismeretlen helyeket pásztázhat. Az itt bemutatott módszer képes arra, hogy figyelembe vegye a szokásos várakozási időt, a helyszínek átlagos képét, sorrendjét. A kidolgozott módszereket több videón teszteltük, a dolgozatban 1-1 tesztfelvételen illusztrál-
8 Utasi Á. és Czúni L. 7. ábra. PTZ kézi vezérlés detektálása HMM-mel tuk. A megfigyelést jelentő vektort és egyéb statisztikákat könnyen lehet frissíteni a napszakok során, aminek a pontos kidolgozása a jövő feladata. Hivatkozások 1. Á. Utasi and L. Czúni, HMM-based Unusual Motion Detection without Tracking, in Proc. of the 19th Int. Conf. on Pattern Recognition, Tampa, FL, USA, 2008 2. I. Petrás, Z. Szlávik, L. Kovács, T. Szirányi, C. Beleznai, Y. Dedeoglu, B. U. Töreyin, U. Güdükbay, A. E. Çetin and M. Pardas, Flexible Test-bed for Unusual Behavior Detection, in Proc. of the 6th ACM Int. Conf. on Image and Video Retrieval, pp. 105 108, Amsterdam, The Netherlands, 2007 3. C. Cotsaces, N. Nikolaidis and I. Pitas, Video shot detection and condensed representation. a review, in IEEE Signal Processing Magazine, 23(2):28 37, Mar 2006 4. Y. Chang, D. J. Lee, Y. Hong and J. Archibald, Unsupervised Video Shot Detection Using Clustering Ensemble with a Color Global Scale-Invariant Feature Transform Descriptor, in Journal on Image and Video Processing, 8(2), 2008 5. K. J. Han and A. H. Tewfik, Eigen-image based video segmentation and indexing, in Proc. of the Int. Conf. on Image Processing, vol. 2, pp. 538 541, Washington, DC, USA, 26 29 Oct 1997 6. X. Huang, H. Ma and H. Yuan, A Hidden Markov Model Approach to Parsing MTV Video Shot, in Proc. of the Congress on Image and Signal Processing, vol. 2, pp. 276 280, Sanya, Hainan, China, 27 30 May 2008 7. L. R. Rabiber, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, in Proc. of the IEEE, 77(2):257 286, Feb 1989 8. J. D. Ferguson, Variable duration models for speech, in Proc. of the Symposium on the Application of HMMs to Text and Speech, pp. 143 179, Oct 1980 9. S.-Z. Yu and H. Kobayashi, An efficient forward-backward algorithm for an explicit-duration hidden Markov model, in IEEE Signal Processing Letters, 10(1):11 14, Jan 2003
Idő-multiplexelt felvételek elemzése 9 10. M. T. Johnson, Capacity and complexity of HMM duration modeling techniques, in IEEE Signal Processing Letters, 12(5):407 410, May 2005 11. M. J. Russell and R. K. Moore, Explicit modelling of state occupancy in hidden Markov models for automatic speech recognition, in IEEE Proc. of Int. Conf. on Acoustics, Speech, and Signal Processing, vol. 10, pp. 5 8, Apr 1985 12. S. E. Levinson, Continuously variable duration hidden Markov models for automatic speech recognition, in Computer Speech and Language, 1(1):29 45, 1986 A. Függelék - éjszakai felvétel Következő tesztvideónk éjszakai felvételeket tartalmaz. A HMM modellt a videó elejéből vett képkockákkal inicializáltuk (8. ábra), majd az első 1700 képkocka alapján végeztük el a tanítást. A kapott HMM modellt ezután a videó többi (a) 0. nézet (b) 1. nézet (c) 2. nézet (d) 3. nézet 8. ábra. Tipikus kamera nézetek részének felismerésére, valamint rendhagyó esemény detektálására használtuk. A rendhagyó esemény jelen esetben egy joystick-kal történő kézi vezérlés (PTZ) volt. A felismert kamera nézeteket, valamint a kapott valószínűség értékeket a 9. ábra tartalmazza. 9. ábra. Kézi vezérlés (PTZ) detektálása HMM-mel
10 Utasi Á. és Czúni L. B. Függelék - nappali felvétel A következő tesztvideó nappali felvételeket tartalmaz. A HSMM modell tanításához a videó elejéből vett 3500 képkockát használtuk. A modell inicializáláshoz használt képkockákat a 10. ábra felső sora tartalmazza. A probléma nehézsé- (a) 0. nézet (b) 1. nézet (c) 2. nézet (d) 3. nézet (e) 899. frame (f) 1777. frame (g) 3814. frame (h) 4639. frame 10. ábra. Tipikus kamera nézetek és a 0. nézet drasztikus megváltozásai gének illusztrálásához a 10. ábra alsó sora mutat néhány képkockát a 0. nézetből, melyen megfigyelhető, hogy a képi tartalom az inicializáláshoz használt képkockától (10a ábra) jelentősen eltérhet. A detektáláshoz kivágtunk a videóból egy részt, hogy túl rövid kamera nézet időtartamot szimuláljunk. A HSMM alapú detektor által adott állapot szekvenciát, valamint a kapott valószínűségek értékeit a 11. ábra tartalmazza. 11. ábra. Rövid ideig tartó kamera nézet detektálása HSMM-mel