Meserséges Inelligencia MI Valószínűségi emporális kövekezeés Dobrowiecki Tadeusz Eredics Péer, és mások BME I.E. 437, 463-28-99 dobrowiecki@mi.bme.hu, hp://www.mi.bme.hu/general/saff/ade
X - a időpillanaban nem megfigyelheő válozók halmaza E - a megfigyelheő (megfigyel) válozók halmaza X a:b = X a X a+1,, X b-1 X b - válozók halmaza X a ól X b ig (Pl. U 1:3 = U 1, U 2, U 3 válozók) Egy ikos, földalai léesímény bizonsági őre udni szerene, hogy aznap esik-e, de egyelen információja, hogy reggelenkén lája az igazgaójá, aki esernyővel vagy esernyő nélkül jön be. Minden napon az E halmaz így egyelen bizonyíék válozó, U (van-e esernyője), és X halmaz az egyelen állapoválozó R (esik-e kin). Probléma: szerkeszheő-e ilyen problémára egy valószínűségi háló? Ha igen, milyen szülőkből lehe i gazdálkodni?
Markov feléelek Markov feléel: függ az korláos részhalmazáól Elsőrendű (a) Markov folyama: Másodrendű (b) Markov folyama:, sb. Érzékelő Markov feléel: X X 0 : - 1 Sacionárius folyama: állapoámene modell és érzékelő/megfigyelés modell P( X X ) = P( X X ) 0: -1-1 P( X X ) = P( X X, X ) 0 : -1-2 -1 P( E X, E ) = P( E X ) 0 : 0: -1 P( E X ) P( X X - 1) nem függ a -ől
Dinamikus valószínűségi hálók Ha a közelíés úlságosan ponalan - lehe javíani, pl.: a Markov folyama rendjének növelésével pl. egy másodrendű modell felvéve egy Eső 2 -ő min az Eső szülője (valamivel ponosabb predikció). az állapoválozók halmazának növelésével pl. felvenni az Évszak válozó, vagy hozzáadni a Hőmérsékle, a Páraaralom és a Légnyomás válozóka...
Kövekezeés időbeli modellekben Szűrés v. ellenőrző megfigyelés: a bizonyossági, hiedelmi állapo kiszámíása = a jelenlegi állapo a poseriori eloszlása, az eddigi összes bizonyíék ismereében P( X e ) 1: Előrejelzés, jóslás: egy jövőbeli állapo a poseriori eloszlása, az eddigi összes bizonyíék ismereében. P( X e ) + k 1:, k > 0 Simíás, visszaekinés: egy múlbeli állapo a poseriori eloszlása, a jelen időponig ve összes bizonyíék ismereében., 0 k < Legvalószínűbb magyaráza: A megfigyelések ismereében megalálni az az állaposorozao, ami a leginkább valószínű, hogy az ado megfigyeléseke generála. és a munkalovak P( A) P( A ) P( X e ) 1: P( A B c) = a P( B Ac) P( A c) k arg max P( x e ) x1: 1: 1:
Szűrés P( X e ) = P( X e, e ) + 1 1: + 1 + 1 1: + 1 = a P( e X, e ) P( X e ) + 1 + 1 1: + 1 1: = a P( e X ) P( X e ) + 1 + 1 + 1 1: P( X e ) = f ( e, P( X e )) + 1 1: + 1 + 1 1: (feloszva a bizonyíéko) (a Bayes szabállyal) (a bizonyíék Markov ulajdonsága mia) rekurzív becslés P( X e ) = a P( e X ) x P( X x, e ) P( x e ) S + 1 1: + 1 + 1 + 1 + 1 1: 1: S = a P( e X ) x P( X x ) P( x e ) + 1 + 1 + 1 1: (kihasználva a Markov ul-). Lineáris rekurzív becslés m = f ( e, m ) N + 1 N + 1 N 1 m N = ( e1 + e2 +... + en ) N 1 N 1 m = m + ( e - m ) = m + e N + 1 N + 1 N + 1 N + 1 N N + 1 N N N + 1 e = a + N(0, s )
Szűrés 1. nap: az esernyő felűnik, U1 = igaz. Előrejelzés = 0-ról = 1-re: P(R1) = r0 P(R1 r0) P(r0) = <.7;.3> <.5;.5> = <.5;.5> a =1-beli bizonyíékkal való frissíés az adja, hogy P(R1 U1) = P(U1 R1) P(R1) = <.9;.2> <.5;.5> = <.45;.1> <.818;.182>. 2. nap: az esernyő felűnik, U2 = igaz. Előrejelzés =1-ről =2-re: P(R2 U1) = r1 P(R2 r1) P(r1 U1) = <.7;.3> <.818;.182> <.627;.373> a =2-beli bizonyíékkal való frissíés pedig az adja, hogy P(R2 U1,U2) = P(U2 R2) P(R2 U1) = <.9;.2><.627;.373> = <.565;.075> <.883;.117>.
Előrejelzés P X + 1 e1: x P X + 1 x P x e1: ( ) ( ) ( ) Mi örénik, ahogy egyre ávolabbra próbálunk előre jelezni a jövőben? Megmuahaó, hogy az Eső előre jelze eloszlása a <.5;.5> fix ponhoz konvergál, ami uán állandó marad a ovábbiakban. Ez az ámene modell álal meghaározo Markov folyama un. sacionárius eloszlása. Keverési idő (mixing ime) kb. a fix pon eléréséig elel idő. Gyakorlaban kudarc minden olyan kísérle, ami a keverési idő kis hányadánál nagyobb számú lépés múlva kísérli meg az akuális állapoo előrejelezni. Minél bizonyalanabb az ámenei modell, annál rövidebb a keverési idő és a jövő annál homályosabb. S P( X e ) x P( X x ) P( x e ) S + 2 1: + 1 + 2 + 1 + 1 1: = x P( X x ) x P( x x ) P( x e ) + 1 S S + 2 + 1 + 1 1:
Pozíció előrejelzése
Simíás P( X e ) = P( X e, e ) k 1: k 1: k k + 1: = a P( X e ) P( e X, e ) k 1: k k + 1: k 1: k = a P( X e ) P( e X ) k 1: k k + 1: k P( e X ) = x P( e X, x ) P( x X ) S S k + 1: k k + 1 k + 1: k k + 1 k + 1 k = x P( e x ) P( x X ) k + 1 k + 1 S k + 1: k + 1 k + 1 k = x P( e x ) P( e x ) P( x X ) k + 1 k + 1 k + 2: k + 1 k + 1 k (Bayes szabály) (a feléeles függelenség) egy egyszerű rekurzív folyamaal kiszámíhaó
előre-hára algorimus Az Eső valószínűségének simío becslése =1-nél, az 1. és 2. napi evidenciából: P(R1 U1,U2) = P(R1 U1) P(U2 R1). A korábbi szűrésből az első ényező <.818;.182>. P(U2 R1) = r2 P(U2 r2) P(Ø r2) P(r2 R1) =.9 x 1 x.7 +.2 x 1 x.3; = <.69;.41>. Az Eső simíása az 1. napon P(R1 U1,U2) = <.818;.182> <.69;.41> <.883;.117>. A simío becslés jobb, min a szűr becslés (.818). Az Esernyő a 2. napon valószínűbbé eszi, hogy ese a 2. napon, és mivel az eső arósan esik, még valószínűbbé eszi, hogy ese az 1. napon.
A legvalószínűbb soroza megalálása Vierbi algorimus Megfigyel soroza: igaz, igaz, hamis, igaz, igaz Mi a legvalószínűbb: Eső1, Eső2,..., Eső5 éréke? 2 5 = 32 leheséges soroza, de lehe egy becslés felsorolás nélkül? Fokozaos szűrések, simíások?
A legvalószínűbb soroza megalálása Vierbi algorimus A legvalószínűbb soroza =/= a legvalószínűbb állapook sorozaa!!! A legvalószínűbb soroza X + 1 -hez = a legvalószínűbb soroza valamelyik -hez és egy lépéssel ovább X max P( x, x,..., x, X e ) x,..., x 1 1 2 + 1 1: + 1 = P( e X ) max( P( X x ) max P( x, x,..., x, x e ))) + 1 + 1 + 1 1 2-1 1: x x,..., x 1-1 m1: ( i) megadja az i állapohoz vezeő pálya valószínűségé. Félfrissíésben összeg helye max szerepel. m = P( e X ) max( P( X x ) m ) 1: + 1 + 1 + 1 + 1 1: x
A legvalószínűbb soroza megalálása Vierbi algorimus
Reje Markov modell (RMM) (Hidden Markov Model, HMM) RMM egy időbeli valószínűségi modell. A folyama állapoá egyelen diszkré valószínűségi válozó írja le. A modell ulajdonsága a reje állapo, azaz a (szochaszikus) állapofejlődés és annak passzív (szochaszikus) megfigyelése. (N ulajdonság, M üne??) Kálmán-szűrő Egy fizikai rendszer állapoának becslése (pl. hely, sebesség) időben egymás köveő zajos megfigyelésekből: ámenemodell = a mozgás fizikája érzékelő modell = a mérési folyama folyonos válozók! Gauss kiinduló eloszlás, lineáris Gauss állapoámene modell és megfigyelési modell
Gauss eloszlások frissíése Ha szűrés akkor a P( X e ) 1: Gauss, és az állapoámene is Gauss, jóslás is Gauss. P( X e ) Ha a jóslás 1 1: Gauss, és a megfigyelés is az, akkor a frissíe eloszlás is Gauss. + ehá egy öbbválozós Gauss P( X e ) = a P( e X ) P( X e ) + 1 1: + 1 + 1 + 1 + 1 1: N( m, S ) minden -re. Álalános (nemlineáris, nem Gauss) folyama eseében: a poserior leírása korlálanul nő,! P( X e ) 1:
Álalános Kálmán frissíés Állapo ámenei és megfigyelés modellek: x = Fx + w + 1 e = Hx + v + 1 P( x x ) = N(F x, Σ )( x ) + 1 x + 1 P( e x ) = N(H x, Σ )( e ) e xˆ = Fxˆ + K ( e - HF xˆ ) Σ = (I - K )(FΣ F + Σ ) T + 1 + 1 + 1 + 1 + 1 x F az állapo ámenei márix; x az állapo zaj (w) kovarianciája H a megfigyelés márixa, z a megfigyelési zaj (v) kovarianciája K = 1 (F Σ T F + Σ T T T x)h (H(F Σ + F + Σ x)h + Σ e) az un. Kálmán erősíés márix -1 A K, Σ a megfigyelésekől függelenek, számíhaók off-line
2-D köveés - példa
Dinamikus Bayes háló Minden egyes szeleben eszőleges számú állapoválozója (X ) és bizonyíékválozója (E ) lehe. Egyszerűsíés: a válozók és kapcsolaaik ponosan ismélődnek szeleről szelere = elsőrendű Markov folyama, így minden válozónak csak a sajá szeleében vagy a közvelenül megelőző szeleben lehenek szülei. Minden RMM reprezenálhaó, min egy DBH egyelen állapoválozóval és egyelen bizonyíékválozóval. Minden diszkré válozós DBH reprezenálhaó, min egy RMM. A DBH összes állapoválozója összekombinálhaó egyelen állapoválozóvá, aminek az érékei az egyes állapoválozók érékeinek az együese.
Minden Kálmán-szűrő reprezenálhaó egy DBH-ban folyonos válozókkal és lineáris Gauss feléeles eloszlásokkal De nem minden DBH reprezenálhaó egyelen Kálmán-szűrő modellel. Kálmán-szűrő: az akuális állapoeloszlás mindig egy egyedülálló öbbválozós Gauss eloszlás egyelen dudor egy konkré helyen. A DBH-k ezzel szemben eszőleges eloszlás képesek modellezni 20
Egzak kövekezeés DBH-kban Naiv módszer: a háló kibonása és akármilyen egzak algorimus. Probléma: kövekezeés kölsége idővel nő. Kibonásos szűrés: +1 szele hozzáadása, szele kiösszegzése válozó eliminálással. Fakorok nagysága, felfrissíés kölsége exponenciális, nincs ponos és haékony kövekezeés. Közelíő kövekezeés DBH-kban Valószínűségi súlyozás: ponossága leromlik, ha a bizonyíékválozók lenebbiek a minavéeleze válozóknál, ekkor a minák generálására nincsen haással a bizonyíék. Egy DBH ipikus srukúrája: Az állapoválozók egyikének sincs egyelen bizonyíékválozója sem az ősei közö! Egy ado ponossági szin fennarásához, a minák számá exponenciálisan növelni kell függvényében.
Részecske szűrés (paricle filer) Kalman szűrő Részecske szűrő Állapoegy. Lineáris állapo és megfigyelési egyenle Nemlineáris állapo és megfigyelési egyenle Zaj ípusa Gauss, unimodális Akármilyen, uni- v. mulimodális Kimene xˆ Σ p x ) ( Megoldás Egzak, opimális Közelíő Számíás Gyors Lassú Egzak modell közelíő megoldása, a közelíő modell egzak megoldása helye (Sequenial) Mone Carlo filers Boosrap filers Condensaion Ineracing Paricle Approximaions Survival of he fies
Részecske szűrés (paricle filer) rekurzív szűrés P( X e ) = a P( e X ) x P( X x ) P( x e ) + 1 1: + 1 + 1 + 1 + 1 1: S frissíés evidenciával jóslás dinamikával részecskefelhő
Részecske szűrés (paricle filer) Alap algorimus: 1. Inicializálás (a priori) 2. Dinamikus frissíés (részecskék elmozdulnak) 3. Evidenciafüggő frissíés (súlymódosíás) 4. Újraminavéelezés (ha szükséges) 5. Új evidencia - goo 2
2011-2012 Meserséges c