Markov-láncok stacionárius eloszlása Adatbányászat és Keresés Csoport, MTA SZTAKI dms.sztaki.hu Kiss Tamás 2013. április 11.
Tartalom Markov láncok definíciója, jellemzése Visszatérési idők Stacionárius eloszlás Periodicitás
Sztochasztikus folyamatok, Markov láncok S állapottér, megszámlálható. n = 0, 1..., idő diszkrét. X n mindenre valószínűségi változó, S-be képez, ekkor X n sztochasztikus folyamat. X n markov lánc, ha P(X n = x n X n 1 = x n 1,..., X 0 = x 0 ) = P(X n = x n X n 1 = x n 1 )
Átmenet mátrix Markov lánc időben homogén, ha P(X n = α X n 1 = β) = P αβ, α, β S (a továbbiakban ezt feltesszük). P átmenet mátrix. X n eloszlása feĺırható a kezdeti eloszlás és az átmenetmátrix segítségével (elég ezeket vizsgálni). Pl.: P(X 1 = α) = β S P(X 1 = α X 0 = β) P(X 0 = β) P βα P(X 0 = β) β S
P tulajdonságai α, β S : P αβ 0 β S P αβ = 1 P (n) αβ := P(X j+n = β X j = α) Kolmogorov-Chapman egyenlőtlenség: P (n+m) αβ = σ S P(m) ασ P (n) σβ P (n) = P n
Példák Bolyongás a weben: S = weboldalak P ab = { 1 outdeg(a) Bolyongás Z d -n. S = Z d, ha létezik a-ból b-be él 0 egyébként P xy = 1, ha x y = 1 2 d
X n eloszlása Jelölje X 0 eloszlásvektorát µ, azaz P(X 0 = α) = µ α. Ekkor X n eloszlásvektora µ P n. π stacionárius eloszlás, ha π P = π. Kérdések: stacionárius eloszlás létezése, unicitás? Ha van konvergál-e hozzá valamilyen kezdeti eloszlásból? Milyen gyorsan?
Irreducibilis Markov láncok Egy i, j csúcspár egymással kommunikál, ha léteznek olyan n és m egészek, hogy P n ij, Pm ji > 0. Ez a reláció reflexív, szimmetrikus és tranzitív (Kolmogorov-Chapman). Tehát létezik olyan {C i, i = 1 } halmazok, hogy C i -k páronként diszjunktak, és uniójuk a teljes állapottér. Ha csak egyetlen osztály létezik, tehát minden csúcsból minden csúcsba el tudunk jutni pozitív valószínűséggel, akkor a Markov-láncot irreducibilisnek mondjuk.
Rekurrencia, tranziencia Tetszőleges i-re: τ ii := f i := P(τ ii < ) { min{n 1 : Xn = i X 0 = i}, ha X n i, n 1 Egy i állapot rekurrens, ha f i = 1, tehát egy valószínűséggel visszatér, egyébként tranziens. Ha a folyamat visszatér i-be, a Markov-tulajdonság miatt f i valószínűséggel visszatér ismét. Rekurrens i állapot esetén, a Markov-tulajdonság miatt a bolyongás egy valószínűséggel végtelen sokszor visszatér.
Tranziens eset Tfh. f i < 1. P(N i = n) = f n 1 i (1 f i ), n 1, ahol N i a visszatérések száma i-be. Tranziens állapot esetén a visszatérések száma geometriai eloszlást követ, egy valószínűséggel véges sokszor tér vissza.
Szükséges és eléges feltétel rekurrenciához N i = n=1 I {X n = i X 0 = i}, az i-be való visszatérések száma. E(N i ) = 1 1 f i E(I {X n = i X 0 = i}) = P(X n = i X 0 = i) = P n ii Monoton konvergencia tételől következik, E(N i ) = n=1 Pn ii. Azaz f i egyenlő 1-gyel (rekurrens) pontosan akkor, ha n=1 Pn ii =.
Irreducibilis halmaz ugyanazon rekurrencia osztályhoz tartozik Ha i rekurrens, és i, j kommunikálnak, akkor j is rekurrens (P (n+m+k) jj P (n) ji P (k) ii P (m) ij ). Egy osztályban lévő állapotok azonos rekurrencia típusúak. Irreducibilis Markov-lánc állapotai azonos típusúak. Ez alapján a Markov-lánc rekurrens, vagy tranziens. Véges állapottér esetén, nem lehet minden állapot tranziens (elég nagy n-re, minden csúcsban 0 valószínűséggel lennénk). Véges, irreducibilis Markov-lánc rekurrens.
Visszatérési idő várható értéke Általánosabban, τ ij := min{n 1 : X n = j X 0 = i}. Egy rekurrens i állapot pozitív rekurrens, ha E(τ ii ) <, egyébként null rekurrens. Tegyük fel hogy i j rekurrensek, és ugyanabban a kommunikációs osztályban vannak. Ekkor i és j egyszerre pozitív vagy null rekurrensek.
Stacionárius eloszlás, másik definíció Tekintsük a következő határértéket: 1 π ij = lim n n n m=1 I {X m = j X 0 = i}. Amennyiben a határérték létezik, a dominált konvergencia tétel alapján: π ij = lim n 1 n n m=1 Pm ij. Stacionárius eloszlás: ha a fenti határérték j S létezik és független i-től és j S π j = 1, akkor π = (π 0, π 1... )-t a Markov-lánc stacionárius eloszlásának nevezzük. 1 mátrixos alakban: lim n n n m=1 Pm = π π. = π 0, π 1, π 0, π 1,.
A stacionárius eloszlás egy szemléletes jelentése Legyen N egyenletes eloszlás {0, 1,..., n}-en, független X m -től és X 0 = i. Ekkor P(X N = j) = n P(X m = j X 0 = i) P(N = m) = m=1 n m=1 P m ij 1 n π j Tehát ha egy egyenletesen választott véletlen időpontban ránézünk a bolyongásra, akkor j-ben π j valószínűséggel vagyok.
Kapcsolat a visszatérési idő várható értékével Tétel Ha X n pozitív rekurrens, irreducibilis Markov-lánc, akkor létezik egyértelmű π stacionárius eloszlás, amelyre π j = 1 E(τ jj ), ha j S. Ha a folyamat null rekurrens, vagy tranziens nem létezik stacionárius eloszlás. Intuíció: #{Látogatások száma N idő alatt} #{Köztük eltelt idő} = N
Bizonyítás Tranziens esetben mivel a bolyongás csak véges sokszor tér vissza j-be, a határérték majdnem biztosan 0-hoz tart. Tegyük fel, hogy a lánc rekurrens. t 1 := min{k : X k = j} t n := min{k : X k = j k > t n 1 } Y n := t n t n 1, t n = n 1 n m=1 Y m π j = lim n n m=1 I {X m = j X 0 = i} = lim K j első elérési ideje i-ből. n n n m=1 Ym+K, ahol Az előbbi azt fejezi ki, hogy a j állapot meglátogatásának relatív gyakorisága egyenlő azzal, ahogy n aránylik az n. látogatás idejével. Ez határértékben egyenlő.
Y n eloszlása a Markov tulajdonság miatt megegyezik τ jj -vel és függetlenek is. A nagy számok erős törvényét használva: lim 1 n Ym n m=1 n + K n = 1 Eτ jj Pozitív rekurrens esetben, minden π j > 0. Null rekurrens esetben viszont azonosan 0 a határérték, nem létezik stacionárius eloszlás.
Stacionárius eloszlás számolása algebrailag Tétel Legyen X n egy irreducibilis, Markov-lánc P átmenet mátrixszal. X n pozitív rekurrens pontosan akkor, ha létezik egy nemnegatív, egyösszegű π vektor, ami megoldja πp = π egyenletet. Ekkor π a Markov-lánc egyértemű stacionárius eloszlása.
Bizonyítás Tegyük fel, hogy a lánc pozitív rekurrens, ekkor létezik stacionárius eloszlás. A mátrixos egyenlet mindkét oldalát P-vel beszorozva (majoráns kritérium használható a végtelen sorra): 1 lim n n n P (m+1) =. m=1 Az egyenlet első felét tovább alakítva: 1 lim n n n m=1 π π P P m 1 + lim n n (P(n+1) P) = π π.
Másik irány Tegyük fel, hogy π baloldali sajátvektora P-nek, nemnegatív és j S π j = 1. Ha a lánc nem pozitív rekurrens, akkor vagy tranziens vagy 1 null rekurrens. Tehát a korábbiakból: n n m=1 Pm = 0 π-vel beszorozva: 1 0 = π( lim n n n m=1 lim n P m 1 ) = lim n n n πp m m=1 ami ellentmondás. 1 lim n n n π = π m=1
Egyértelműség ˆπ legyen egy megoldása a xp = x egyenletnek, π stacionárius eloszlás. π 1 n ˆπ = ( lim ˆπP m 1 n ) = ˆπ( lim P m ) = ˆπ π n n n n m=1 m=1. Azaz ˆπ i = ( j S ˆπ j) π i De j S ˆπ j = 1. Azaz: ˆπ i = π i, i S-re. Következmény: véges állapotterű irreducibilis Markov-lánc pozitív rekurrens, és mindig létezik egyértelmű stacionárius eloszlása.
Konvergencia erősebb értelemben Következik-e a stacionárius eloszlás létezéséből a következő: lim n = j) = π j? n Pl: ( 0 ) 1 1 0 M = ( 0.5 0.5 0.5 0.5 gond: periodicitás ) (, P 2n 0 1 = 1 0 ) (, P 2n+1 1 0 = 0 1 )
Periodicitás Egy α S állapot periódusa: per(α) = lnko({n : P n αα > 0}) Azonos kommunikációs osztályba tartozó állapotok periodicitása egyenlő. Irreducibilis Markov-láncnak létezik periódusa. Ha ez nagyobb mint 1 akkor a ML periodikus, egyébként aperiodikus. Irreducibilis Markov lánc esetén a periodikusság is a csúcsok egy osztályozását adja, α relációban van β-val ha P n αβ > 0 esetén per(α) n igaz. Pozitív rekurrens, aperiodikus ML esetn lim n P(X n = j) = π j.
Konvergencia sebessége, spektrális rés Tegyük fel hogy az állapottér véges. Az átmenetmátrix sajátértékei (spektruma), legfeljebb 1 abszolútértékűek. σ spec(p) σ 1 A Markov-lánc spektrális rése: r = 1 v v = max{σ : σ < 1, σ spec(p)} Becslés a konvergencia sebességére: µp n π 1 c (1 r) n
Spektrális rés becslése Tétel Ha ɛ 0, v N olyanok hogy P (v) ij ɛ, akkor r 1 (1 2 ɛ) 1 v, azaz µp n π 1 c (1 2 ɛ) n v
Felhasznált irodalom http://www.columbia.edu/~ks20/stochastic-i/ stochastic-i-mcii.pdf Tóth Bálint jegyzete: http://www.math.bme.hu/~balint/ oktatas/sztochasztikus_folyamatok/