Markov láncok jegyzet 2009. február 18. 1. Bevezetés Tekintsünk egy megszámlálható sok csúcspontú, irányított gráfot úgy, hogy minden élre egy nemnegatív szám van írva, és minden csúcs kimen éleire írt számok összege 1. Tetsz leges csúcsból indulva, bolyonghatunk a gráfon az élekre írt valószín ségek szerint. Ez a jegyzet ilyen folyamatokkal foglalkozik. Milyen kérdésekre akarhatunk válaszolni? Honnan hová lehet eljutni? Hány lépésben? Mekkora eséllyel érünk vissza a kiindulási helyünkre? végtelen sokszor visszatérünk? Mekkora az esélye, hogy Átlagosan hány lépés alatt érünk vissza? Egy csúcsból a másikba? Vannak-e elnyel csúcsok? Ha igen, mekkora eséllyel nyel dünk el bennük? Van-e stacionárius kezdeti eloszlás? Hány? Tart-e a bolyongás egy stacionárius eloszláshoz? Milyen gyorsan? Érvényes-e valamilyen NSzT? Érvényes-e valamilyen CHT? Adhatunk-e a csúcsoknak olyan értékeket, melyekkel az aktuális értékek sorozata martingál? 2. A Markov lánc deníciója, létezése Ebben a jegyzetben diszkrét paraméter, megszámlálható állapotter, homogén Markov láncokról lesz szó, ezeket a továbbiakban egyszer en Markov láncoknak (ML) hívjuk. 1. Deníció. Az {X n }, n = 0, 1,... folyamatot Markov láncnak nevezzük, ha a következ k teljesülnek: 1
1. Minden n-re X n : Ω I valószín ségi változó, ahol (Ω, F, P ) valószín ségi mez, I pedig megszámlálható halmaz. I az állapottér, elemeit a továbbiakban i, j, k,... jelöli. (n a paraméter) 2. A folyamat Markov-tulajdonságú, azaz F n = σ(x 0, X 1,..., X n ) jelöléssel minden B I és minden m n esetén P (X m B F n ) = P (X m B X n ). (Ezt a tulajdonságot általános mérhet állapottérre is deniálhatjuk.) 3. A Markov folyamat stacionárius átmenetvalószín ség, azaz minden i, j I esetén minden olyan n-re, melyre P (X n = i) > 0, n-t l függetlenül. P (X n+1 = j X n = i) = p, Megjegyzés: Lehetne mind a paramétertér, mind az állapottér folytonos. Mi ilyenekkel nem foglalkozunk. Megjegyzés: Megszámlálható állapottér esetén az F n σ-algebra atomos, ezért a 2. tulajdonság azzal ekvivalens, hogy P (X m B X n1 = i 1,..., X nk = i k ) = P (X m B X nk = i k ), ha n 1 < < n k m. Feladat: A Markov tulajdonság ekvivalens megfogalmazásai. Mutassuk meg, hogy a Markov tulajdonság ekvivalens a következ kkel: 1. P (X n+1 B F n ) = P (X n+1 B X n ). 2. Minden A F n 1 és B F n+1 = σ{x n+1, X n+2,...} esetén P (A B X n ) = P (A X n )P (B X n ). 3. Minden F n+1 -mérhet Y -ra E(Y F n ) = E(Y X n ), ha a baloldal értelmes. A P = (p ) mátrixot átmenetmátrixnak nevezzük (nem keverend össze a valószín séggel), elemei az átmenetvalószín ségek. Az X 0 eloszlását kezdeti eloszlásnak hívjuk, és p i -vel jelöljük. Ez a két objektum már meghatározza a folyamatot, hiszen a véges dimenziós eloszlások: P (X 0 = i 0, X 1 = i 1,..., X n = i n ) = = P (X 0 = i 0 )P (X 1 = i 1 X 0 = i 0 ) P (X n = i n X 0 = i 0,..., X n 1 = i n 1 ) = = p i0 p i0 i 1 p in 1 i n a Markov-tulajdonság szerint. 2
2. Deníció. A P mátrix 1. sztochasztikus, ha p 0 és minden sor összege 1, 2. duplán sztochasztikus, ha sztochasztikus, és minden oszlop összege 1, 3. szubsztochasztikus, ha p 0 és minden sor összege legfeljebb 1. 1. Tétel. Tetsz leges I-n adott p i eloszláshoz és I I méret P sztochasztikus mátrixhoz, létezik I állapotter Markov lánc, melynek kezdeti eloszlása p i, átmenetmátrixa P. Biz (vázlat): A bizonyítás a Kolmogorov alaptételen múlik. Ez a következ t mondja ki: Legyen X teljes szeparábilis metrikus tér, B a Borel halmazok σ-algebrája, Θ pedig tetsz leges halmaz. Jelölje (X n, B (n) ) a tér n-edik hatványát. Tegyük fel, hogy minden n-re és minden θ 1,..., θ n Θ-ra adott B (n) -en a P θ1,...,θ n valószín ségi mérték, melyek eleget tesznek az alábbi konzisztenciafeltételeknek: (i) P θ1,...,θ n,θ n+1,...,θ n+m (A (n) X m ) = P θ1,...,θ n (A (n) ) minden A (n) B (n) -re, (ii) Minden π S n permutációra P θ1,...,θ n (A (n) ) = P θπ(1),...,θ π(n) (π(a (n) )). Ekkor létezik valószín ségi mez és azon X θ valószín ségi változók, melyek véges dimenziós eloszlásai az adottak. Legyen X = I, Θ = N, és P 0,1,...,n (i 0, i 1,..., i n ) = p i0 p i0 i 1 p in 1 i n, belátható, hogy ezek eleget tesznek a konzisztenciafeltételeknek. Ekkor a Kolmogorov alaptétel által garantált X n folyamat valóban Markov lánc a kívánt kezdeti eloszlással és átmenetvalószín ségekkel. 1. Állítás. Legyenek p (n) = P (X n+m = j X m = i) az n-edrend átmenetvalószín ségek (feltesszük, hogy P (X m = i) > 0), ezekre teljesül a Chapman-Kolmogorov egyenl ség: p (n+m) = k p (n) ik p(m) kj. Ez azt jelenti, hogy a P n mátrix elemei épp a p (n) mennyiségek. Biz.: P (X n+m = j X 0 = i) = P (X n+m = j, X n = k X 0 = i) = k P (X n+m = j X n = k, X 0 = i)p (X n = k X 0 = i) = k k p (m) kj p(n) ik. 3
3. Állapotok osztályozása, osztálytulajdonságok 3. Deníció. 1. Azt mondjuk, hogy az i állapotból elérhet j, (i j), ha van olyan n 0, hogy p (n) > 0. Ez reexív (p (0) ii = 1) és tranzitív (Chapman-Kolmogorov) reláció. 2. Azt mondjuk, hogy i és j közlekednek, ha i j és j i. Ez ekvivalenciareláció, tehát osztályokra bontja az állapotteret (csak az átmenetmátrixtól függ). A Markov lánc irreducibilis, ha egyetlen osztályból áll. 3. Az i állapot lényeges, ha i j esetén j i is teljesül. Az állapotokra értelmezett valamely tulajdonság osztálytulajdonság, ha egy osztálynak vagy minden eleme ilyen tulajdonságú, vagy egy sem. Triviálisan látszik, hogy a lényegesség osztálytulajdonság, azaz beszélhetünk lényeges és lényegtelen osztályokról. (Biz.: Tegyük fel, hogy i lényeges, j lényegtelen, és i j. Létezik k, hogy j k, de k j. Másrészt i j k, tehát i lényegessége miatt k i j, ami ellentmondás.) A lényeges osztályokból nem lehet kutni (mert akkor vissza is tudnánk jönni, azaz osztályon belül maradnánk), a lényegtelenekb l viszont igen: ha elhagytuk ket, akkor többé már nem térhetünk vissza. A lényegtelen osztályok között parciális rendezés van: C >> D, ha i C, j D esetén i j (tranzitív, reexív, antiszimmetrikus). 4. Deníció. A {n > 0 : p (n) ii > 0} halmaz legnagyobb közös osztója az i periódusa, jelölése d(i). Ha a halmaz üres, akkor a periódust nem értelmezzük. Ha d(i) = 1, akkor az állapot aperiodikus. 2. Állítás. Egy osztály minden állapotának ugyanannyi a periódusa. Biz: Legyen i, j C azonos osztálybeliek. Ekkor létezik n, m, hogy p (n) > 0, p (m) ji > 0. Ha valamely s-re p (s) jj > 0, akkor p (n+s+m) ii > 0, p (n+2s+m) ii > 0. Emiatt d(i) n + s + m és d(i) n + 2s + m, amib l d(i) s következik. d(i) tehát közös osztója az ilyen s számoknak, azaz d(i) d(j). Mivel i és j szerepe felcserélhet, az állítást beláttuk. 2. Tétel. (Részosztályok) Legyen C osztály d periódussal, és i C tetsz leges. C felbomlik d darab C 0 (i), C 1 (i),..., C d 1 (i) részosztályra úgy, hogy ha j C r (i) és p (n) > 0, akkor szükségképpen n r mod d. Továbbá létezik N(j) küszöbindex, hogy n N(j) esetén p (nd+r) > 0. Biz: Legyen j C. Létezik k, hogy p (k) ji d k + n és d k + m, azaz n m mod d. > 0. Ha n-re és m-re p (n) > 0 és p (m) > 0, akkor A második állításra rátérve, a legnagyobb közös osztó el áll d = K k=1 c kn k alakban, ahol c k egész, és p (n k) ii > 0. Legyen n 0 = n k, és N = n 2 0 max c k. Osszuk el az n N számot maradékosan n 0 -val: n = ln 0 + q. Ekkor nd = K (ld + qc k )n k, k=1 4
és ebben a lineáris kombinációban az együtthatók már nemnegatívak. Ezért p (nd) ii p ((n+m 0)d+r) > 0, ha p (m 0d+r) > 0. Tehát N(j) = N + m 0 jó lesz. > 0, és Megjegyzés: A részosztályok függetlenek az i állapottól, csak az indexelésük függ t le: ha j C r (i) és k C s (i), akkor k C s r (j). A fenti tétel segítségével belátható, hogy legtöbbször elég irreducibilis és aperiodikus Markov láncokat vizsgálni. A nem lényeges állapotokat elhagyva ugyanis, ha egyszer belekerülünk valamelyik osztályba, akkor végleg ott is maradunk. Ha tehát C lényeges osztály d periódussal, és P (X 0 C r ) = 1, akkor az {X nd } n=0,... egy irreducibilis, aperiodikus ML C r állapottérrel és q = p (d) átmenetvalószín ségekkel. Példa: Legyen az átmenetmátrix a következ : 0 1/4 1/4 0 0 0 1/2 0 1 0 0 0 0 0 0 0 0 1/2 0 1/2 0 0 0 0 0 0 0 0 2/3 0 0 1/3 0 0 0 0 0 1 0 0 0 0 0 0 1/2 0 1/2 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 Adjuk meg a ML osztályait, keressük meg közülük a lényegeseket! osztályok periódusa? Mennyi az egyes 4. Visszatér ség. Vezessük be a következ jelöléseket: f (0) = 0, f (n) = P (X n = j, X k j : k = 1, 2,... n 1 X 0 = i) n 1, Az f (n) mennyiség tehát annak valószín sége, hogy az i állapotból indulva a lánc el ször az n. lépésben ér el a j állapotba. Legyen még f = n=1 f (n), és g = P (X n = j végtelen sok n-re X 0 = i). 5. Deníció. Az i állapot visszatér vagy rekurrens, ha fii = 1, egyébként pedig átmeneti vagy tranziens. Ha i visszatér, akkor az átlagos visszatérési id m i = (n) n=1 nf ii. Az i állapot pozitív rekurrens, ha m i <, ha pedig m i =, akkor nulla rekurrens. 3. Állítás. 1. i j akkor és csak akkor, ha f > 0. 2. g = f g jj. 3. Ha i rekurrens állapot, akkor g ii = 1, ha pedig i tranziens, akkor g ii = 0. 4. A nem lényeges állapotok tranziensek (fordítva azonban nem igaz). 5
5. Ha g ii = 1 és f > 0, akkor g = 1. Biz.: A fenti állítások az utolsó kivételével egyszer en láthatók. 1. f (n) p (n) és p (n) n m=1 f (m), ezért sup n 1 p (n) f n=1 p(n). 2. A végtelen sok n-re kifejezésre a v.s. rövidítést használva, P (X n = j v.s. X 0 = i) = P (X n = j v.s., X k = j, X l j : l = 1,..., k 1 X 0 = i) = k=1 k=1 P (X n = j v.s. X k = j, X l j : l = 1,..., k 1, X 0 = i)f (k) = k=1 g jj f (k) = g jj f. 3. Legyen g ii (m) = P (X n = i legalább m különböz n > 0 ra X 0 = i), ha m 1. Ekkor g ii (1) = f ii, és g ii = lim m g ii (m). Viszont m 2-re g ii (m) = k=1 f (k) ii g ii (m 1) = f iig ii (m 1). Tehát g ii (m) = (f ii) m. 4. Legyen j olyan, hogy i j, de j i. Létezik olyan állapotsorozat, melyre ˆp = p ii1 p i1 i 2 p inj > 0, és a bels állapotok egyike sem i. Ekkor fii 1 ˆp. Az utolsó állítás bizonyításához tegyünk egy kis kitér t a megállási id k világába! Legyenek adva az X n valószín ségi változók, és most is F n = σ(x 0,..., X n ). A τ : Ω N valószín ségi változó megállási id, ha {τ = n} F n minden n-re. Ekkor értelmes az X τ : ω X τ(ω) (ω) valószín ségi változóról beszélni. Deniálhatjuk még azt a σ-algebrát, amely a megállás id pontjáig meggyelhet eseményekb l áll: F τ = {A F : A {τ = n} F n n}. Err l könnyen látható, hogy valóban σ-algebra. Azt mondjuk, hogy az X n folyamatra teljesül az er s Markov-tulajdonság, ha minden τ véges megállási id re, k 0-ra és B mérhet halmazra P (X τ+k B F τ ) = P (X τ+k B X τ ). (1) Vegyük észre, hogy ha P (τ = n) = 1, azaz τ determinisztikus megállási id, akkor X τ = X n és F τ = F n, azaz az er s Markov tulajdonságból következik a közönséges. Fordítva általában nem igaz ez az állítás, de a mi esetünkben igen. 3. Tétel. Az {X n } n 0 Markov láncra teljesül az er s Markov tulajdonság. 6
Bizonyítás: El ször belátjuk, hogy (1) jobb oldala F τ -mérhet, azaz σ(x τ ) F τ. {X τ B} {τ = n} = {X n B} {τ = n} F n. Másrészt, F τ is atomos, tehát elég az egyenl séget az atomokon bizonyítani. Egy atom általános alakja: C = {τ = m, X 0 = i 0,..., X m = i m }. Ezek nyilván F τ -beliek, diszjunktak, kiadják a teljes Ω-t, és ha A F τ, akkor A C = (A {τ = m}) C. Mivel a metszet els tagja F m -beli, ami atomos, van olyan Z halmaz, melyre A {τ = m} = (j0,...,j m) Z{X 0 = j 0,..., X m = j m }. Ezt C-vel elmetszve, a metszet vagy üres, vagy maga C. Azt kell tehát belátni, hogy P ((X τ+k B) C) = C I(X τ+k B)dP = P (X τ+k B X τ )dp = P (X τ+k B X τ = i m )P (C). C A pozitív valószín ség C atomon a Markov tulajdonság szerint P (X τ+k B C) = j B p (k) i mj. A fentiek szerint azt kell belátni, hogy P (X τ+k B X τ egyrészt azt kell látni, hogy = i m ) is ugyanennyi. Ehhez P (X τ+k B X τ = i m, τ = n) = j B p (k) i mj a közönséges Markov tulajdonság szerint, másrészt legyen A n = {X τ = i m, τ = n} és ezen diszjunkt események unióját jelölje A = A n = {X τ = i m }, ekkor P (X τ+k B A) = P (Xτ+k B A n )P (A n ) P (An ) = j B p (k) i mj. Vegyük észre, hogy beláttuk, hogy a τ megállási id t l a ML a múlttól függetlenül újraindul, azaz P (X τ+k = j X τ = i) = p (k). A még bizonyítandó állításra visszatérve, deniáljuk azt a τ n id pontot, amikor n- edszer térünk vissza az i állapotba. Ekkor τ n megállási id, amely 1 valószín séggel véges, és X τn = i. Legyen A n = {X τn+1, X τn+2,..., X τn+1 1 valamelyike j} F τn+1. Ekkor A n független az F τn σ-algebrától, melybe az A 1,..., A n 1 események tartoznak, mivel az er s Markov tulajdonság szerint P (A n F τn ) = P (A n X τn ) = P (A n ), 7
hiszen σ(x τn ) a triviális σ-algebra. A lánc újraindulási tulajdonságából következik, hogy P (A n ) = p > 0, n-t l függetlenül (p annak az esélye, hogy i-b l indulva el bb érünk j-be, mint vissza i-be). A Borel-Cantelli lemma szerint 1 valószín séggel az A n események közül végtelen sok következik be, azaz g = 1. Érdemes megjegyezni, hogy ekkor az is igaz, hogy f = 1 és g jj = 1, azaz a visszatér ség osztálytulajdonság. 4. Tétel. g = 0 akkor és csak akkor, ha n=0 p(n) <. A bizonyítás el tt egy nagyon hasznos kis lemmát látunk be. 1. Lemma. (Nörlund) Legyenek a n 0 és b n valós sorozatok, és lim n b n = b. Ha lim n a n / n a k = 0, akkor n lim a kb n k n n a = b. k Biz: A bizonyítást arra az esetre végezzük el, amikor b véges, a végtelen eset is hasonlóan intézhet el. Legyen B olyan, hogy b n b < B minden n-re, és adott ɛ-hoz N olyan küszöbindex, hogy n N esetén b n b < ɛ. Ebb l lim sup n n n N a k (b n k b) ( n a kb n k n a k a k )ɛ + ( b ɛ + B lim n n k=n N+1 a k )B. n k=n N+1 a k n a k = ɛ. Megjegyzés: Ha az a n sorozat korlátos, akkor biztosan teljesíti a lemma feltételét. A tétel bizonyítása: Alkalmazzuk az el z lemmát a következ szereposztással: Ekkor b = f, és a k = p (k) jj, b k = k n=1 f (n), b 0 = 0. n n 1 a k b n k = p (k) jj n k m=1 Azaz a lemma állítása szerint f (m) = k 0, m 1 1 m + k n p (k) jj f (m) = n r 1 f (r s) p (s) jj = r=1 s=0 n r=1 p (r). lim n n m=1 p(m) n m=0 p(m) jj = f. (2) Ha ezt az i = j esetre alkalmazzuk, akkor megkapjuk, hogy i akkor és csak akkor visszatér, ha n=0 p(n) ii =. Most tegyük fel, hogy i j és g = 0. Ekkor vagy f = 0, vagy g jj = 0. Az els esetben p (n) = 0 minden n-re, azaz a sor összege nulla. A második 8
esetben j tranziens állapot, ezért p (n) jj véges, és így p (n) is. Ha most g > 0, akkor g jj = 1, azaz j rekurrens, és f > 0, amib l p (n) = adódik. Egy táblázatban foglalhatjuk össze, hogy tetsz leges két állapot esetén mi mondható el az f, g, p (n) mennyiségekr l: f (n) g p i, j ugyanabban a rekurrens osztályban 1 1 i, j ugyanabban a tranziens osztályban > 0 0 < i, j különböz osztályban, i j, j tranziens > 0 0 < i, j különböz osztályban, i j, j rekurrens c > 0 c > 0 i j 0 0 0 Mindezek segítségével kiszámolható például az, hogy az egydimenziós bolyongás akkor és csak akkor visszatér, ha szimmetrikus. Példa: Bolyongás a számegyenesen. Legyen a jobbra lépés valószín sége p, a balra lépésé q = 1 p (p, q > 0). A lánc irreducibilis, periódusa 2. Vizsgáljuk a visszatér séget! Elég a 0 állapottal foglalkozni. Felírható, hogy n=0 p (2n) 00 = ( ) 2n p n (1 p) n. n ( ) 2n x n = (1 4x) 1/2, ha 0 < 4x < 1. n Ha tehát p 1/2, akkor az átmenetvalószín ségek sorösszege 1 2p 1 <, azaz a lánc tranziens. Szimmetrikus esetben viszont a lánc rekurrens (p (2n) 00 1 πn ). Tranziens esetben érdekesek az f valószín ségek. Tegyük fel el ször, hogy i > j. Nyilvánvaló, hogy f = (f10) i j. (2) szerint Mármost ezért f 10 = p (2n+1) 10 = 1 2p ( ( 2n+1 n ) 1 1 1 2p 1 1 2p f 10 = n=1 p(n) 10 n=0 p(n) 00. ) p n (1 p) n+1 = 1 ( ) 2n + 2 p n+1 (1 p) n+1, 2p n + 1 = 1 { (1 1 2p ) = 2p Hasonlóan járhatunk el, ha i < j, ehhez csak az { p/(1 p), ha p < 1/2 f01 = 1, ha p > 1/2 mennyiség kell. Végül pedig fii = f00, és { f00 n=1 = p(2n) 00 = 1 1 2p = n=0 p(2n) 00 9 1, ha p < 1/2 (1 p)/p, ha p > 1/2. 2p, ha p < 1/2 2(1 p), ha p > 1/2.
5. A p (n) sorozat konvergenciája. Az eddigiekb l az következik, hogy ha j átmeneti állapot, akkor p (n) állapot esetén mit mondhatunk err l a határértékr l? 5. Tétel. Ha i rekurrens állapot d periódussal, akkor lim n p (nd) ii = d m i. f (n) ii 0. Vajon rekurrens Biz.: Az egyszer ség kedvéért vezessük be a következ jelöléseket: p n = p (n) ii, f n =. El ször belátjuk, hogy a {n 1 : f n > 0} halmaz legnagyobb közös osztója d. Legyen ugyanis ez a legnagyobb közös osztó d f. Mivel {n 1 : f n > 0} {n 1 : p n > 0}, d d f. Másrészt, ha p n > 0, akkor n el áll n = n 1 +... + n k alakban, ahol f ni > 0. Ezért d f n, azaz d f közös osztó, és így d f d. Legyen ezután r n = k=n+1 f k, azaz annak a valószín sége, hogy az els n lépés alatt nem térünk vissza i-be. Igazak a következ összefüggések: r k = kf k = m i, k=1 n r k p n k = 1, a második összefüggés úgy adódik, hogy a lánc lehetséges meneteit az n. lépésig felbontjuk aszerint, hogy hányadik lépésben járt utoljára az i állapotban (éppen az n k. lépésben). Ha lim sup n p nd = λ, akkor válasszunk egy olyan részsorozatot, melyre Tetsz leges olyan s-re, melyre f s > 0, lim p n k d = λ. k λ = lim k p nk d = lim k (f s p nk d s + n k d ν=1,ν s f ν p nk d ν), mivel p n = n j=1 f jp n j. Tetsz leges ɛ > 0-hoz legyen N olyan nagy, hogy n=n f n < ɛ. Ekkor n k d ν=1,ν s f ν p nk d ν = n k d ν=n,ν s f ν p nk d ν + N 1 ν=1,ν s f ν p nk d ν ɛ + ( N 1 ν=1,ν s ) f ν sup p nk d ν. ν<n Felhasználva, hogy lim(a n + b n ) lim inf a n + lim sup b n, folytathatjuk a fenti sort: ( ) λ f s lim inf p n k d s + f ν λ = f s lim inf p n k d s + (1 f s )λ. k k ν=1,ν s 10
Ezt átrendezve azonnal következik, hogy lim inf k p nk d s λ, azaz lim k p nk d s = λ. Ugyanez igaz akkor is, ha s = c j s j alakú, ahol c j > 0 egész szám, és f sj > 0. Mivel minden elég nagy t esetén td felírható ilyen alakban (ezt a részosztályokról szóló tételnél bizonyítottuk), elmondhatjuk hogy t t 0 esetén lim k p (nk t)d = λ. Mármost 1 = (n k t 0 )d h=0 r h p (nk t 0 )d h = n k t 0 ν=0 r νd p (nk t 0 ν)d, hiszen p n csak akkor lehet pozitív, ha d n. Egy olyan jelleg összeg jelent meg, mint a Nörlund lemmában, azaz m k ν=0 a νb mk ν, csakhogy most a b m sorozatról nem tudjuk, hogy konvergens, csak a b mk ν sorozatokról, minden rögzített ν-re. Tegyük fel el ször, hogy ν=0 r νd =, ekkor minden N-re 1 lim k N r νd p (nk t 0 ν)d = λ ν=0 N r νd, tehát λ = 0. Ha viszont ν=0 r νd <, akkor a Nörlund lemmához hasonló bizonyítás m ködik: válasszuk N-et olyan nagyra, hogy ν=n+1 r νd < ɛ legyen. Elég nagy k-ra Tehát n k t 0 ν=0 r νd (p (nk t 0 ν)d λ) ν=0 N r νd p (nk t 0 ν)d λ +ɛ 2ɛ. ν=0 n k t 0 1 λ r νd 0, amib l λ = 1/ r νd következik (és ez a végtelen esetben is érvényes). Írjuk át a tört nevez jét: r νd = ν=0 ν=0 ν=0 νd+d 1 1 r j = 1 d d j=νd j=0 r j = m i d. Megkaptuk tehát, hogy a sorozat limsupja a kívánt érték. Ha most lim inf n p nd = η, akkor az el z gondolatmenet lemásolásával azt kapjuk, hogy η = λ, azaz lim n p nd létezik. Azt kaptuk tehát, hogy az i állapot akkor és csak akkor pozitív rekurrens, ha a lim n p (nd) ii határérték pozitív. Az is könnyen látszik, hogy a pozitivitás osztálytulajdonság: ha i és j ugyanabban a rekurrens osztályban vannak, akkor van olyan n és m, hogy p (n) > 0 és p (m) ji > 0. A p (m+kd+n) ii p (n) p(kd) jj p (m) ji kifejezésben k-val végtelenhez tartva azt kapjuk, hogy ha j pozitív állapot, akkor szükségképpen i is az. Most már könnyen bebizonyítható a következ általános tétel. 6. Tétel. Legyen i, j két tetsz leges állapot, és jelölje j periódusát d. Ekkor r = 1, 2,..., d esetén lim n p(nd+r) = f (r) d m j, ahol f (r) 0 és d r=1 f (r) = f. (Tranziens állapotra legyen m j =.) 11
Biz.: Legyen f (r) = n=0 f (nd+r) p (nd+r) =. Ekkor n f (kd+r) p (nd kd) jj. A Nörlund lemmából azonnal következik az állítás, a k = f (kd+r), b k = p (kd) jj szereposztással. Következmény: Minden i, j állapotpárra lim n 1 n k=1 p(k) = f/m j. Itt a bal oldal azt fejezi ki, hogy i-b l indulva, a lánc várhatóan a lépések hányad részét tölti a j állapotban. Példa: Az egydimenziós szimmetrikus bolyongás nulla rekurrens. Példa: Vegyünk egy bolyongást a nemnegatív számokon, a nullában egy visszaver fallal. Legyen a jobbra lépés esélye p < 1/2, a balra lépésé q = 1 p. A lánc irreducibilis, periódusa d = 2. Korábbi számolásunk alapján a lánc visszatér. A magasabb rend átmenetvalószín ségeket nem könny kiszámítani, viszont az m átlagos elérési id kre (átlagosan ennyi lépés alatt érünk i-b l j-be) fel tudunk írni egyenleteket. m 00 = 1 + m 10, m 10 = q + p(1 + m 20 ), m 20 = m 21 + m 10, m 21 = m 10. Ezeknek az egyenleteknek a végtelen is megoldása, tegyük azonban fel, hogy a mennyiségek végesek. Ekkor az m 00 = 1 + 1 1 2p, 1 m 00 = 1 2p 2 2p, d m 00 = 1 p q megoldás adódik. Ha tehát a lánc 1/4 eséllyel lép jobbra, és 3/4 eséllyel balra, akkor a nulla állapotból átlagosan 3 lépés alatt ér vissza a nullába, egy távoli páros id pontban ránézve a láncra, kb. 2/3 eséllyel lesz éppen a nulla állapotban, és a láncot sokáig futtatva, nagyjából a lépések 1/3-át tölti a nulla állapotban (és ez utóbbi nem függ a kezdeti eloszlástól). 6. Stacionárius eloszlások 6. Deníció. Legyen P egy átmenetvalószín ségmátrix. A (p i ) i I eloszlás stacionárius, ha p i = k I p kp ki minden i I-re, azaz a p i kezdeti eloszlású, P átmenetvalószín ség X n Markov láncra P (X n = i) = p i minden i I, n 0-ra. Ez utóbbi esetben azt mondjuk, hogy a Markov lánc stacionárius (ez megfelel a szokásos deníciónak, azaz hogy a véges dimenziós eloszlások eltolás-invariánsak). 7. Tétel. Legyen C lényeges osztály, és jelölje π i = 1/m i. Ekkor az u i = k C u k p ki, i C egyenletrendszer i C u i < megoldásai: u i = cπ i. 12
Biz.: El ször belátjuk, hogy ezek megoldások. Ha C átmeneti vagy nulla rekurrens, akkor π i = 0. Legyen C pozitív rekurrens, jelölje periódusát d. Tartson n végtelenhez: p (nd) ii = k C dπ i = lim p (nd) ii p (nd 1) ik p ki = k C 1 (i) azaz π i k C π kp ki. Másrészt, mivel 1 = lim p (nd+r) ezért i C π i 1. n j C r(i) k C 1 (i) p (nd 1) ik p ki. lim p (nd 1) ik p ki = lim n p(nd+r) j C r(i) k C 1 (i) = j C r(i) dπ k p ki, π i π k p ki = π k p ki = π k, i C i C k C k C i C k C ami a π i végessége miatt csak úgy lehet, ha π i = k C π kp ki minden i-re. Ezután meg kell mutatni, hogy nincs más megoldás. Legyen u i egy abszolút konvergens megoldás. Ekkor u i = u k p ki = u l p lk p ki = k C 1 (i) k C 1 (i) l C 1 (k) = l C 2 (i) u l k C 1 (i) dπ j, p lk p ki = l C 2 (i) u l p (2) li, (a szummák az abszolút konvergencia miatt felcserélhet k), ezt iterálva kapjuk, hogy minden n, r-re u i = u k p (nd+r) ki. k C r (i) Mivel az összeg tagjainak van konvergens majoránsa, határértéket véve kapjuk, hogy u i = dπ i, r. k C r (i) Ha C átmeneti vagy nulla rekurrens, akkor u i = 0, ha pedig pozitív rekurrens, akkor szükségképpen k C r (i) u k = K konstans, és u i = Kdπ i. Megjegyzés: az u i = π i megoldásra tehát visszahelyettesítéssel: π i = dπ i, azaz π k = 1 d, k C r (i) π k u k k C r (i) amib l i C π i = 1 is következik. A C pozitív osztályon tehát π i stacionárius kezdeti eloszlás. 13
8. Tétel. Legyen adott a P sztochasztikus mátrix az I állapottéren. Jelölje a pozitív osztályokat D α : α A, és legyen D = α D α a pozitív állapotok halmaza. Ekkor a p i eloszlás akkor és csak akkor stacionárius, ha { 0 ha i D, p i = λ α π i ha i D α, ahol λ α 0, α λ α = 1. Biz.: : Ha p i stacionárius eloszlás, akkor minden n-re p i = j I p jp (n) ji. Ha i D, akkor határátmenettel p i = p j lim p (n) ji = 0, j I ha pedig i D α, akkor az el z miatt p i = j D p j p (n) ji = ji, j D α p j p (n) hiszen másik pozitív osztályból nem lehet i-be jutni. Ezért minden N-re p i = 1 p j N j D α N n=1 p (n) ji, amib l határátmenettel p i = ( j D α p j )π i, azaz λ α = j D α p j. : Ha i D, akkor P (X n = i) = 0 minden n-re, hiszen a pozitív osztályokból nem lép ki a lánc. Ha viszont i D α, akkor P (X n = i) = p k p (n) ki = λ α π k p (n) ki = λ α π i = p i, k D α k D α hiszen az el z tétel bizonyításánál láttuk, hogy π i stacionárius eloszlás D α -n, azaz ha i D α, akkor π i = π k p (n) ki. k D α Összefoglalva azt kaptuk, hogy egy stacionárius Markov lánc csak pozitív osztályokból áll. Egy osztályban egyértelm en létezik stacionárius eloszlás, a Markov lánc eloszlása ezen stacionárius eloszlások keveréke. Az osztályokat még részosztályokra is szét lehet bontani (nd + r alakú id pontokban ránézve), így irreducibilis, pozitív rekurrens, aperiodikus láncokat kapunk, egyértelm stacionárius eloszlással, és tetsz leges kezdeti eloszlás esetén X n eloszlása a stacionárius eloszláshoz tart. (Tetsz leges Markov láncot tetsz leges eloszlásból elindítva vizsgálhatjuk, hogy X n eloszlása hová tart.) Példa: A most belátottak segítségével bizonyítható, hogy a korábbi példában szerepl egydimenziós bolyongás a 0-ban visszaver fallal pozitív rekurrens. Megoldhatók ugyanis a stacionárius eloszlás egyenletei, és kapjuk, hogy π 0 = 1 2p 2 2p, π i = π 0 p i 1 q i, i 1. 14
Példa: Egy érmét, melyen a fej valószín sége p, dobálva, jelölje X n, hogy az els n dobásból alkotott sorozat végén hány fej van. X n irreducibilis, aperiodikus Markov láncot alkot, P (X 0 = 0) = 1, és p k,k+1 = p, p k,0 = 1 p = q. Keressünk stacionárius eloszlást! (i) Oldjuk meg a π = πp egyenletrendszert: π 0 = q π k = q, π i = pπ i 1 = p i q, azaz a stacionárius kezdeti eloszlás Geo(q) 1. (ii) Tekintsük a p (n) ik átmenetvalószín ségek határértékét. Ha n > k, akkor p (n) ik = pk q. Ennek segítségével könnyen kiszámítható, hogy átlagosan hány dobás kell ahhoz, hogy egy k hosszú fejsorozat megjelenjen. Legyen ez a mennyiség µ k. Erre m k = m k0 + m 0k = 1/q + µ k, és mivel m k = 1/π k, kapjuk, hogy µ k = 1 pk qp k. 7. Ergodikus Markov láncok 7. Deníció. Az X n Markov lánc ergodikus, ha irreducibilis és pozitív rekurrens. 9. Tétel. Legyen X n ergodikus Markov lánc π i stacionárius eloszlással, f : I R tetsz leges függvény. Ha I(f) = i I f(i)π i sor abszolút konvergens, akkor 1 n n f(x k ) I(f) 1 valószín séggel. Megjegyzés: A Z n = f(x n ) sorozat nem feltétlenül Markov lánc. Biz.: Legyen i I tetsz leges rögzített állapot, deniáljuk azokat a megállási id ket, melyek az i-be tett látogatások id pontjait adják meg: 0 = τ 0 < τ 1 <..., τ n az n. elérési id pont. Ezek 1 valószín séggel véges megállási id k. Minden n-re deniáljuk azt az l(n) valószín ségi változót, amely megmondja, hogy az n. lépésig hányszor járt a lánc i-ben: τ l(n) n < τ l(n)+1. A Z k -k összegére a következ felbontási formulát használjuk: n Z k = τ 1 1 Z k + l(n) 1 h=1 τ h+1 1 s=τ h Z s + n k=τ l(n) Z k = Y + l(n) 1 Pozitív és negatív részre való felbontással feltehet, hogy f 0. Ekkor l(n) 1 1 Y h 1 n Z k 1 l(n) Y + Y h. l(n) l(n) l(n) h=1 15 h=1 h=1 Y h + Y (n).
Korábban már meggondoltuk, hogy az er s Markov-tulajdonság miatt az Y h változók függetlenek, és azonos eloszlásúak. Mivel 1 valószín séggel végtelen sokszor jár a lánc i-ben, l(n) 1 valószín séggel végtelenhez tart. Ezért a nagy számok er s törvénye szerint 1 l(n) l(n) Y h E(Y h ) 1 valószín séggel. h=1 Másrészt Y 1 /l(n) 0 (1 valószín séggel), tehát n l(n) Z k is tart E(Y h )-hoz 1 valószín séggel. Számítsuk ki ezt a várható értéket! Az egyszer ség kedvéért tegyük fel, hogy a lánc i-b l indul. Ekkor ( ) E(Y h ) = E Z k χ{k < τ 1 } = f(j)p (X k = j, k < τ 1 ) = f(j)u j, j I j I ahol u j = P (X k = j, k < τ 1 ), azt fejezi ki, hogy két i-ben tett látogatás között a lánc átlagosan hányszor jár j-ben (a kezd pontot beleszámítva, a végpontot nem). Ezért j I u j = m i <. Megmutatjuk, hogy u j kielégíti a stacionárius eloszlás egyenletrendszerét. u j p jl = P (X k = j, k < τ 1 )P (X k+1 = l X k = j) = j j E [P (X k+1 = l X k )χ{k < τ 1 }] = E [E(χ{X k+1 = l, k < τ 1 } X k )] = P (X k+1 = l, k < τ 1 ) = P (X k = l, k τ 1 ) Ez pedig tényleg u l, hiszen a kezd pontot kihagytuk, a végpontot viszont bevettük, de mivel mindkett ben az i állapotban van a lánc, az összeg nem változott. Ezért u j = cπ j. Ha most i = j, akkor 1 = u i = cπ i, azaz u j = π j /π i. Tehát E(Y h ) = j I f(j)u j = I(f) π i. Ha most f(j) = 1 minden j-re, akkor azt kapjuk, hogy azaz 1 n + 1 n + 1 l(n) = 1 l(n) n Z k = l(n) 1 n + 1 l(n) n Z k 1, π i k=1 n Z k I(f) 1 valószín séggel. Példa: Legyen i = (i 1,..., i k ) egy k hosszú állapotsorozat, ahol p i1 i 2 p i2 i 3 p ik 1 i k > 0. Hová tart az i sorozat relatív gyakorisága n lépésb l? Válasz: π i1 p i1 i 2 p i2 i 3 p ik 1 i k -hez. (Készítünk egy új ML-ot, melynek állapotai a k hosszú sorozatok, ez is ergodikus lesz, tehát alkalmazható rá a tétel). 16
10. Tétel. Teljesüljenek az el z tétel feltételei, és legyen V h = Y h I(f)(τ h+1 τ h ). Ha 0 < E(Vh 2 ) <, akkor n f(x k) ni(f) nπi E(Vh 2) N(0, 1). Biz.: A V h valószín ségi változók függetlenek, azonos eloszásúak, 0 várható érték ek. A felbontási formula szerint n Z k ni(f) = l(n) 1 h=1 V h + Y + Y (n) I(f)(n τ l(n) + τ 1 ). Megmutatjuk, hogy az els tag kivételével a tagok n-nel osztva sztochasztikusan 0-hoz tartanak. Y -r l ezt már tudjuk. 2. Lemma. P (n τ l(n) t) c t, ahol lim t c t = 0. Biz: Legyen n t. Jelölje az i-be való visszatérés lépésszámát τ. n P (n τ l(n) t) = P (n τ l(n) = s) = s=t n 1 P (X n s = i)p (τ > s) + P (τ 1 > n) s=t P (τ > s) + P (τ 1 > t) = c t, s=t és ez valóban 0-hoz tart, mivel mind τ várható értéke véges, τ 1 pedig 1 valószín séggel véges. 3. Lemma. Y (n) n 0 sztochasztikusan. Biz: Legyen ɛ, δ adott. Minden t-re P ( Y (n) nɛ) P (n τ l(n) > t) + P max 0<s t τ l(n) +s Z j nɛ. j=τ l(n) Ha t elég nagy, akkor az els tag < δ/2 minden n-re, ezek után ha n elég nagy, akkor a második tag is < δ/2, mivel a zárójelben egy 1 valószín séggel véges, n-t l független valószín ségi változó áll. A két lemmából következik, hogy valóban elég csak a V h -k összegével foglalkozni, azaz megmutatni, hogy l(n) 1 h=1 V h N(0, 1). nπi E(Vh 2 ) Szeretnénk a CHT-re hivatkozni, azonban itt az összegzés egy véletlen indexig történik, ett l kellene megszabadulni. 17
Legyen n = [nπ i ] + 1. Azt tudjuk, hogy n h=1 V h N(0, 1), n E(Vh 2 ) itt kellene az összegzésben n -ot l(n) 1-re cserélni. Tudjuk, hogy ezek nagy valószín séggel közel vannak egymáshoz. Legyen ɛ, δ adott, n = nπ i (1 δ), n = nπ i (1 + δ), és A m = {n < l(n) 1 < n, n m}. Ezek b vül események, és { l(n) n } π i m A m. Mivel a bal oldali esemény valószín sége 1, ezért van olyan m, melyre P (A n ) > 1 ɛ minden n m-re. Ha pedig l(n) 1 és n már közel vannak egymáshoz, akkor használhatjuk a Kolmogorov-egyenl tlenséget: r P ( max V h > c) (n n 2 )E(Vh ). n r n c 2 h=n Ezért l(n) 1 n P V h h=1 h=1 V h c n E(Vh 2) ɛ + 2δnπ ie(vh 2) c 2 n E(Vh 2) < 2ɛ, ha δ elég kicsi, és n elég nagy. Tehát l(n) 1-et n -ra cserélve, a különbség sztochasztikusan 0-hoz tart. Vajon hogyan lehet az E(Vh 2 ) mennyiséget kiszámítani? Már a NSzT-e bizonyításánál észrevehettük, hogy Y h várható értéke kiszámolásakor olyan valószín ségek bukkantak fel, hogy n lépés alatt i-b l j-be megyünk, de közben nem járunk i-ben. 8. Tabu állapotok Legyen X n ML, és H I tetsz leges. 8. Deníció. Átmenetvalószín ségek tabu állapotokkal: Jelölje H f (n) Hp (n) = P (X n = j, X m H 0 < m < n X 0 = i). = j,h p (n). Legyen Hp (0) = I(i = j, i H). Legyen még H p =, mely azt adja meg, hogy i-b l indulva, várhatóan hányszor jár a lánc j-ben, míg H-ba beér (a beérést is beszámítva). n=1 Hp (n) 4. Lemma. Alapformulák: legyen n 1, k H. Ekkor Hp (n) = k,h p (n) + n 1 s=1 k,hp (s) ik Hp (n s) kj (1A) Hp (n) = k,h p (n) + n 1 s=1 Hp (s) ik k,hp (n s) kj (2A) Hp = k,h p + k,hp ik Hp kj (1B) Hp = k,h p + Hp ik k,hp kj (2B) 18
Biz.: Az 1-es formulák a k els, a 2-esek a k utolsó elérése szerinti felbontásból adódnak, a B formulák pedig az A-k összegzésével keletkeznek. 9. Deníció. Legyen m = n=1 n Hf (n). n=1 nf (n) az átlagos elérési id, általában pedig H m = Megjegyzések: Hf : annak valószín sége, hogy i-b l indulva, a lánc el bb ér j-be, mint H-ba. H m m. Ha C pozitív osztály, akkor m < minden i, j C. 5. Lemma. Legyen i, j, k C, C pozitív osztály, és j k. Ekkor m ik + m kj m = k f (m jk + m kj ). Biz.: El ször is, k f + j fik = 1. Másrészt az (1A) formula szerint Emiatt f (n) m = k m + = j p (n) n 1 n n=1 = k m + n 1 = k,j p (n) + s=1 s=1 jf (s) ik jf (s) ik s=1 f (n s) kj = n=s+1 k,jp (s) ik Megcserélve j és k szerepét, kapjuk hogy jp (n s) kj ((n s)f (n s) kj n 1 = k f (n) + s=1 jf (s) ik f (n s) kj. + sf (n s) kj ) = k m + m kj jf ik + j m ik. m ik +m kj m = m kj +m jk kf m kj jf ik = m jk kf +m kj (1 j f ik) = k f (m jk +m kj ). 6. Lemma. Az el z lemma feltételei esetén, Biz.: Legyen az el z lemmában i = j: amib l átrendezéssel Másrészt, az (1B) formula szerint A (2B) formulából pedig A fenti kett t egymással elosztva, kp = k f jf jk kp = m ik + m kj m m jj. m jk + m kj m jj = k f jj(m jk + m kj ), m jj = (m jk + m kj )(1 k f jj) = (m jk + m kj ) j f jk. kp = j,k p + j,k p kp jj = k f (1 + k p jj). 1 = f jk = k p jk = j,k p jk + k p jj j,k p jk = j f jk(1 + k p jj). = (m ik + m kj m )/(m jk + m kj ) m jj /(m jk + m kj ) = m ik + m kj m m jj. Megjegyzés: k = i helyettesítéssel ismét megkapjuk, (amit már eddig is tudtunk), hogy i p = m ii /m jj. 19
9. E(V 2 h ) kiszámítása Visszatérve az eredeti feladathoz, a V h = Y h I(f)(τ h+1 τ h ) = τ h+1 1 n=τ h (f(x n ) I(f)) mennyiség négyzetének várható értékét keressük (emlékezzünk arra, hogy a τ h megállási id k a rögzített i állapotba tett látogatások id pontjai). Ehhez el ször a τ h+1 1 n=τ h g(x n ) mennyiség négyzetének várható értékét számoljuk ki, majd ezt a g = f I(f) függvényre alkalmazzuk. Az egyszer ség kedvéért tegyük most is fel, hogy X 0 = i. Ekkor [ (τ1 1 E n=0 g(x n) ) ] 2 = E [ ( n=0 g(x n)χ{n < τ 1 }) 2] [ = E ( n=1 g(x n)χ{n τ 1 }) 2] = E [ n=1 g2 (X n )χ{n τ 1 } + 2 n<m g(x n)g(x m )χ{m τ 1 } ] = (3) j I g2 (j) n=1 ip (n) + 2 j I,j i l I g(j)g(l) n<m ip (n) ip (m n) jl = j I g2 (j) π j π i + 2 j I,j i l I g(j)g(l) π j π i π l (m ji + m il m jl ), az utolsó lépésben a 6. Lemmát használva. Tovább számolva, [ (τ1 1 E n=0 g(x n) ) ] 2 = 1 π i [I(g 2 ) + 2 j I l I g(j)g(l)π jπ l (m ji + m il m jl ) 2g(i) ] l I g(l)π l = 1 π i [I(g 2 ) 2g(i)I(g) + 2I(g) j I g(j)π jm ji + 2I(g) l I g(l)π lm il 2 ] j I l I g(j)g(l)π jπ l m jl = 1 π i [I(g 2 ) 2g(i)I(g) + 2I(g) j I g(j)π j(m + m ji ) 2 j I l I g(j)g(l)π jπ l m jl ] 20
Ha most j = i, akkor g(j)π j (m + m ji ) = 2g(i), ha pedig j i, akkor a 5. Lemma szerint g(j)π j (m + m ji ) = g(j). Felhasználva, hogy jfji i fii = 1, kapjuk, hogy [ (τ1 1 E n=0 g(x n) ) ] 2 = 1 π i [I(g 2 ) + 2I(g) g(j) j I 2 ] jfji j I l I g(j)g(l)π jπ l m jl. Ha most g = f I(f), akkor E(V 2 h ) = 1 π i [ I { (f I(f)) 2} 2 j I ] {f(j) I(f)}{f(l) I(f)}π j π l m jl, l I amib l persze az is látszik, hogy π i E(Vh 2 ) már nem függ i-t l. A most kiszámolt képlet segítségével az i-be való visszatérési id második momentumát is megkaphatjuk. Ehhez válasszuk a g = 1 függvényt, a (3) egyenletb l és a 6. Lemmából: E(τ 2 ) = 1 π i + 2 j I,j i l I m ii + 2m ii j I,j i π j π l π i m ll ip jl = π j ip jl = m ii + 2m ii l I j I,j i π j m ji = m ii [ 2 j I m ji m jj 1 Példa: Legyen egy Markov lánc állapottere N, és a folyamat olyan, hogy 0-ból átugrunk valamelyik állapotba, geometriai eloszlású ideig ott maradunk, majd visszaugrunk 0-ba. Tehát: p 0j = α j, p j0 = β j, p jj = 1 β j, j 1, ahol α j > 0, j=1 α j = 1, 0 < β j < 1. Ez irreducibilis, aperiodikus. A lánc akkor pozitív rekurrens, ha van π j stacionárius eloszlása. Az egyenletek: ] π j = (1 β j )π j + α j π 0, j 1, π 0 = β j π j, j=1 amit a π j = α j β j π 0 számok elégítenek ki. Ez akkor lehet eloszlás, ha α j j=1 β j π 0 = 1 1 + α k, π j = α j π 0. k=1 β k β j <, és ekkor Számoljuk ki az átlagos elérési id ket! Egyrészt m jj = 1/π j, (j N), másrészt nyilván m j0 = 1/β j, (j 1) a geometriai eloszlás miatt. Felhasználva, hogy m 00 = 0 f0j(m 0j + m j0 ), kapjuk, hogy m 0j = m 00 0f 0j m j0 = 1 + α k k=1 β k α j 21 1 β j = 1 α j ( 1 + k j α k β k ).
Ha most j k, j, k 0, akkor m jk = m j0 + m 0k = 1 β j + 1 α k ( 1 + l k Most már megkaphatjuk a 0-ba való visszatérési id második momentumát: ( E(τ 2 ) = α j 1 + 1 + 2 ). β j βj 2 j=1 Mj.: ezt, és m 0j -t is ki lehet egyszer bben is számolni. 10. Reguláris mértékek, függvények Legyen C tetsz leges osztály, és jelölje P C az átmenetmátrix megszorításat a C-beli állapotokra. Legyen u = (u i ) i C sorvektor, v = (v i ) i C oszlopvektor. Azt mondjuk, hogy u reguláris (szuperreguláris, szubreguláris) mérték C-n, ha u = up C (u up C, u up C ). Hasonlóan, v reguláris (szuperreguláris, szubreguláris) függvény C-n, ha v = P C v (v P C v, v P C v). Vegyük észre, hogy a reguláris mérték a stacionárius eloszlás általánosítása. 7. Lemma. Legyen C tetsz leges osztály. Ha létezik v = (v i ) i C 0, és j C, melyre v i p ik v k + p, i C, (4) k C,k j akkor v i f minden i C-re, és a v i = f egyenl séggel teljesíti (4)-et. Megjegyzés: Ha v = (v i ) nemnegatív szuperreguláris függvény, és v j > 0, akkor a w i = v i /v j számok (a j állapottal) kielégítik a (4) rendszert. Biz.: (4) szerint v i p = f (1). Indukcióval megmutatjuk, hogy v i n m=1 f (m) minden n-re. Legyen most m 1, és i C. Az f (m+1) = p ik f (m) kj k C,k j egyenl séget felhasználva, ha az állítást n-re már tudjuk, akkor v i f (1) + Ezért v i f. Másrészt, p + k C,k j k C,k j p ik v k f (1) + p ik f kj = p + f (1) + k C,k j n p ik n m=1 m=1 k C,k j m=1 k C,k j f (m) kj = α l β l p ik f (m) kj = f (1) + p ik f (m) kj = f (1) + m=1 ). n m=1 n+1 f (m+1) = m=1 f (m). f (m+1) = f, i C. 22
11. Tétel. Ha C rekurrens osztály, akkor minden nemnegatív szuperreguláris függvény konstans. Ha C tranziens, és C 2, akkor van rajta 0 és 1 közötti nem-konstans szuperreguláris függvény. Biz.: Legyen v = (v i ) i C nemnegatív szuperreguláris függvény. Ekkor v i p ik v k p ik p kj v j = p (2) v j... p (n) ik v k, n. k C k C j C j C k C Ebb l látszik, hogy ha valamelyik v k pozitív, akkor az összes v i is az. Legyen v > 0 szuperreguláris. Ekkor a megjegyzés szerint tetsz leges j C-re w i = v i /v j a lemma szerinti függvény, tehát v i /v j f. Ha C rekurrens, akkor f = 1, ezért v i konstans. Ha most C tranziens, akkor legyen j C tetsz leges, v j = 1, és v i = f, ha i j. A lemma szerint ekkor v i = f = p ik v k, ha i j, és v j = 1 > f jj = k C,k j p ik f kj + p = k C k C,k j p jk f kj + p jj = k C p jk v k, ha i = j. Ez a függvény nem konstans, mivel ha minden i j-re f = 1 lenne, akkor fjj = 1 lenne. Térjünk rá a reguláris mértékek vizsgálatára! Vezessük be az e hi = h p hi jelölést, ez tehát azt fejezi ki, hogy két h-ban tett látogatás között a lánc átlagosan hányszor jár i-ben (a végpontot beleszámítva, a kezd pontot nem). A reguláris mértékekr l szóló tétel el tt bizonyítsunk be egy hasznos lemmát. 8. Lemma. Legyen C rekurrens osztály, i, j, k, l, h C tetsz leges állapotok. Ekkor Megjegyzések: lim N N n=0 p(n) N n=0 p(n) kl = e hj e hl. Pozitív rekurrens osztályra az állítás már korábban szerepelt. Ekkor ugyanis e hi = m h /m i és (1/N) N 0 p(n) 1/m j. Mivel h tetsz leges lehet, és e ll = 1, kapjuk, hogy azaz e hj = e hl e lj. e hj e hl = e lj e ll = e lj, Biz.: Azt már korábban láttuk, hogy tetsz leges i, j állapotpárra lim N N n=1 p(n) N n=0 p(n) jj = f. (5) 23
Ezért, mivel az osztály rekurrens, lim N N n=0 p(n) N n=0 p(n) kl = lim N err l kell belátni, hogy e lj -vel egyenl (ezt a N n=0 p(n) hh N n=0 p(n) jj N n=0 p(n) ll, taggal b vítve kapjuk az általános eredményt). A kulcslépés egy olyan hányados határértékének meghatározása, ahol a számlálóban és a nevez ben az els helyen álló állapotok egyeznek meg. A (2A) alapformulából amib l összegzéssel N n=1 p (n) lj p (n) lj = n 1 = l p (n) lj + N n=1 s=1 N 1 lp (n) lj + p (s) ll lp (n s) lj, s=1 N s p (s) ll t=1 lp (t) lj. Alkalmazzuk a Nörlund lemmát a 0 = 0, a n = p (n) ll, b n = n t=1 lp (t) lj szereposztással! lim N N n=1 p(n) lj N n=1 p(n) ll = l p lj p ll + l p lj. Mivel az osztály rekurrens, lim N N n=1 p(n) lj N n=1 p(n) ll N n=1 = lim p(n) lj N N n=0 p(n) ll = l p lj = e lj. Ebb l (5) által már következik az állítás. 12. Tétel. Legyen C rekurrens osztály, ekkor a nemnegatív reguláris mértékek általános alakja: u i = ce hi, ahol h C tetsz leges. Másrészt, az u i = e hi mérték tetsz leges osztályon szuperreguláris, és akkor és csak akkor reguláris, ha az osztály rekurrens. Megjegyzések: Rekurrens osztályban i C e hi = m hh, attól függ en véges vagy végtelen, hogy az osztály pozitív vagy nulla rekurrens. Pozitív rekurrens osztályban tehát nem kapunk új megoldást (itt e hi = π i /π h ). A multiplikatív tulajdonságból következik, hogy a különböz h választásokkal kapott mértékek csak konstans szorzóban térnek el egymástól. Feladat: mutassuk meg, hogy tetsz leges osztályban 0 < e hi <. Általánosan, ha j H (j-b l el lehet jutni H-ba), akkor H p <. 24
Biz.: El ször belátjuk, hogy u i = ce hi reguláris mérték, azaz megoldása az egyenletrendszernek. Felhasználva, hogy tetsz leges C osztályban kapjuk, hogy e hk p ki = k C k C n=1 hp (n) hk p ki = hp (n+1) hi = n=1 k C k C,k h hp (n) hk p ki = n=1 hp (n) hk p ki, ( hp (n+1) hi + h p (n) hh p hi ) = e hi h p (1) hi + h p hhp hi = e hi, mivel h p (1) hi = p hi, és h p hh = f hh = 1. Rögtön látszik, hogy ha az osztály tranziens, akkor fhh < 1 miatt k C e hkp ki < e hi, azaz a mérték szuperreguláris, de nem reguláris. Másrészt, legyen most u i 0 megoldása az egyenletrendszernek. Az egyenletrendszer iterációjával u i = k C u kp (n) ki minden n-re, azaz a mérték vagy konstans nulla, vagy szigorúan pozitív. Ez utóbbi esetben legyen q (n) = u j p (n) ji, i, j C. u i Megmutatjuk, hogy ezek egy C-n adott sztochasztikus mátrix n-dik hatványának elemei. Ehhez azt kell látni, hogy nemnegatívak (triviális), a sorok összege 1 (a regularitás miatt), és teljesül a Chapman-Kolmogorov egyenl ség: k C q ik q (n) kj = k C u k u j p ki p (n) jk u i u = u j p (n+1) ji = q (n+1). k u i A q átmenetvalószín ségekkel deniált Markov-lánc irreducibilis C-n, és rekurrens (mert q (n) ii = p (n) ii ). Ezért a lemma alapján N n=0 1 = lim q(n) N N = u N j n=0 lim p(n) ji n=0 q(n) u jj i N N = u j e ji, n=0 p(n) u jj i azaz u i = u h e hi. Rekurrens osztályban tehát konstans szorzó erejéig egyértelm en létezik nemnegatív reguláris mérték, pozitív rekurrens esetben összege véges, nulla rekurrens esetben összege végtelen. Tranziens (lényeges) osztályban véges összeg reguláris mérték nincs, végtelen összeg vagy van, vagy nincs. Példa A P mátrix duplán sztochasztikus, ha sztochasztikus, és az oszlopok összege is 1. (Tegyük fel, hogy a hozzá tartozó Markov lánc irreducibilis.) Ekkor az u i = c mérték reguláris. Az egy dimenziós egyszer bolyongás átmenetmátrixa ilyen. Ha p = 1/2, akkor a lánc rekurrens, tehát ez az egyetlen reguláris mérték. Ha viszont p 1/2, akkor az u i = (p/q) i ett l különböz reguláris mérték. 25
Kártyakeverés: tegyük fel, hogy egy pakli kártyában N lap van. Egy keverést a lapok egy átrendezése, azaz egy S N -beli permutáció határoz meg. Ha egy paklit elkezdünk keverni, az egyes keverések utáni állapotok (kártya-sorrendek) egy Markov láncot alkotnak. Tegyük fel, hogy a kever a π-szerinti átrendezést (keverést) r π valószín séggel alkalmazza. Ekkor a Markov lánc átmenetvalószín ségei: p σρ = r ρ σ 1. Ha tehát a lánc irreducibilis, akkor stacionárius eloszlása egyenletes, aperiodikus esetben sok keverés után a pakli jól meg lesz keverve. 11. Megfordított láncok 10. Deníció. Legyen P tetsz leges átmenetmátrix, és u k > 0 (k I) reguláris mérték u P -re a teljes állapottéren. Ekkor a q = p j ji u i elem Q mátrix is átmenetmátrix ugyanezen az állapottéren. Q a P u szerinti megfordítása. 4. Állítás. A magasabbrend átmenetvalószín ségekre igaz, hogy q (n) = p (n) u j ji u i. A két mátrix által meghatározott Markov láncok osztályai megegyeznek, továbbá a két láncban egyszerre nulla rekurrensek, pozitív rekurrensek, vagy tranziensek. Az u k mérték a Q által meghatározott Markov láncra is reguláris. Az állítás bizonyítása az el z szakaszban szerepelt (kivéve az utolsó állítást, ami triviális). Vegyük még észre, hogy ha most Q-t megfordítjuk u szerint, akkor visszakapjuk P -t. Tegyük fel, hogy u k > 0 stacionárius eloszlás a P átmenetmátrixra. (Ez akkor lehetséges, ha a Markov láncnak minden osztálya pozitív rekurrens.) Tegyük még fel, hogy P (X 0 = k) = u k. Ekkor P (X m = j X m+n = i) = P (X m = j, X m+n = i) P (X m+n = i) = u jp (n) ji u i = q (n), azaz minden N-re az Y n = X N n (n = 0,..., N) sorozat (véges) stacionárius Markov láncot alkot, u k kezdeti eloszlással, q átmenetvalószín ségekkel. Ehhez még látni kell, hogy a Y n -re teljesül a Markov tulajdonság: P (Y n = i n Y 0 = i 0,..., Y n 1 = i n 1 ) = P (X N n = i n,..., X N = i 0 ) P (X N n+1 = i n 1,..., X N = i 0 ) = P (X N n = i n,..., X N = i 0 )/P (X N n = i n, X N n+1 = i n 1 ) P (X N n+1 = i n 1,..., X N = i 0 )/P (X N n+1 = i n 1 ) P (X N n = i n, X N n+1 = i n 1 ) = P (X N n+1 = i n 1 ) P (X N n+2 = i n 2,..., X N = i 0 X N n = i n, X N n+1 = i n 1 ) P (X N n+2 = i n 2,..., X N = i 0 X N n+1 = i n 1 ) P (X N n = i n X N n+1 = i n 1 ) = P (Y n = i n Y n 1 = i n 1 ). Az X n Markov lánc megfordítható (u-ra nézve), ha megfordítása önmaga. Ekkor, ha X 0 eloszlása u i (tegyük fel, hogy ez eloszlás), és egymástól függetlenül indítunk el egy-egy 26
Markov láncot el re és hátra P szerint, akkor egy kétirányban végtelen stacionárius Markov láncot kapunk. Ehhez azt kell látni, hogy a Markov tulajdonság a teljes folyamatra érvényben marad, valamint, hogy az átmenetvalószín ségeket a p (n) értékek adják. Ez utóbbi külön-külön a két félegyenesen igaz, és P (X n = j X m = i) = P (X m = i, X n = j) P (X m = i) = k u kp (m) ki p (n) kj u i = k p (m) ik p(n) kj = p (n+m). Példa: egyszer bolyongás egy dimenzióban (jobbra p, balra q valószín séggel lép). Tegyük fel, hogy p 1/2. Láttuk, hogy két reguláris mérték van. Ha az u k = 1 mérték szerint fordítjuk meg a láncot, akkor q i,i+1 = p i+1,i = q, és q i,i 1 = p i 1,i = p, azaz ezzel a mértékkel a lánc nem megfordítható. Az u k = (p/q) k mértékkel megfordítva a láncot, q i,i+1 = u i+1 u i p i+1,i = p q q = p, és hasonlóan q i+1,i = q, azaz a lánc megfordítható. Példa: kártyakeverés. Az u k = 1 mértékkel megfordítva a láncot, q σρ = p ρσ = r σ ρ 1 = r (ρ σ 1 ) 1, tehát a lánc akkor megfordítható, ha r π = r π 1 minden π-re. Példa: fejek száma egy dobássorozat végén (p a fej valószín sége). Láttuk, hogy a Markov lánc irreducibilis, pozitív rekurrens. Hogy néz ki a megfordítása? u k = p k q, tehát q k+1,k = u k p k,k+1 = 1, q 0,k = u k p k,0 = p k q. u k+1 u 0 A lánc nyilván nem megfordítható. 5. Állítás. Legyen X n irreducibilis Markov lánc, melynek létezik egy u > 0 reguláris mértéke. Ekkor X n pozitív reguláris függvényei kölcsönösen egyértelm megfeleltetésben állnak az u szerint megfordított Y n Markov lánc pozitív reguláris függvényeivel. Biz.: Ha v > 0 reguláris függvény X n -re, akkor s k = u k v k pozitív reguláris mérték Y n -re: s k q kj = u j u k v k p jk = u j p jk v k = u j v j = s j. u k k k k Ugyanígy, ha s > 0 reguláris mérték Y n -re, akkor v k = s k /u k pozitív reguláris függvény X n -re. Ha az irreducibilis Markov lánc rekurrens, akkor már korábban láttuk, hogy pozitív reguláris függvényei csak a konstans függvények, pozitív reguláris mértékei pedig az u i = ce hi alakú mértékek. A fenti állítás tehát tranziens esetben érdekes. Példa: egyszer bolyongás egy dimenzióban (jobbra p, balra q valószín séggel lép). Keressük meg a pozitív reguláris függvényeket! Láttuk, hogy ha az u k = (p/q) k mértékkel fordítjuk meg a láncot, akkor önmagát kapjuk. Tehát a lánc pozitív reguláris függvényei v k = s ( ) k k q = s k u k p alakúak, ahol s k pozitív reguláris mérték. Ebb l a függvények (konstans szorzó erejéig): v k = (q/p) k, illetve v k = 1. 27
12. Elnyel dési valószín ségek Legyen X n Markov lánc, jelölje C 1, C 2,... a rekurrens osztályokat, T pedig a tranziens állapotok unióját. Tudjuk, hogy rekurrens osztályból nem lehet kilépni, tranziensb l pedig vagy lehet, vagy nem, aszerint, hogy az osztály lényeges-e. Egy tranziens állapotból indulva tehát vagy örökké tranziens állapotban marad a lánc, vagy elnyel dik valamelyik rekurrens osztályba. Jelölje σ (n) i annak valószín ségét, hogy az i (tranziens) állapotból indulva, n lépés múlva a lánc tranziens állapotban van. Ekkor σ (n) i monoton csökken, és lim n σ (n) i = σ i annak esélye, hogy i-b l indulva a lánc örökre tranziens állapotban marad. Minden n 0- ra igaz, hogy σ (n+1) i = p (n+1) = p ik p (n) kj = p ik σ (n) k. j T j T k T k T Határértéket véve kapjuk (van szummábilis majoráns), hogy σ i = k T p ik σ k i T. (6) Azaz σ reguláris függvény a tranziens állapotok halmazán. 6. Állítás. σ a legnagyobb nulla és egy közötti megoldása a (6) egyenletrendszernek. Biz.: Ha 0 x i 1 megoldás, akkor indukcióval megmutatható, hogy x i σ (n) i. n = 0-ra a feltevés szerint igaz. Ha n-re már tudjuk, akkor σ (n+1) i = k T p ik σ (n) k k T p ik x k = x i. Ebb l pedig határátmenettel x i σ i. 7. Állítás. Az X n Markov láncban legyen C valahány rekurrens osztály uniója, és jelölje θ i annak valószín ségét, hogy az i (tranziens) állapotból indulva, el bb-utóbb C-be nyel dik el a lánc. Ekkor θ i a y i = p y j + p, i T (7) j T j C egyenletrendszer minimális nemnegatív megoldása. Biz.: Jelölje θ (n) i annak valószín ségét, hogy az n. lépésig beér a lánc C-be (i-b l indulva). Ez a sorozat monoton növ, határértéke θ i. Ugyanakkor θ (n+1) i = j C p + j T p θ (n) j, amib l határátmenettel kapjuk, hogy θ i megoldása (7)-nek. Ha y i is megoldás, akkor y i j C p = θ (1) i, 28
és az indukciós lépés: θ (n+1) i = j C p + j T p θ (n) j j C p + j T p y j = y i. Példa. Legyen egy Markov lánc állapottere I = {0,..., a}. Tegyük fel, hogy a lánc martingál, azaz E(X n+1 X n ) = X n, ami azt jelenti, hogy k kp ik = i minden i-re. Mivel 0 = a kp 0k = n kp 0k, k=1 p 0k = 0, ha k 1, azaz p 00 = 1, a nulla elnyel állapot. Hasonlóan az a állapot is lenyel. Tegyük fel, hogy az {1,..., a 1} állapotok egy osztályt alkotnak, ez ekkor szükségképpen tranziens (lényegtelen) osztály. Vizsgáljuk meg, mekkorák az elnyel dési valószín ségek! = i, de p (n) ik A martingáltulajdonság miatt k kp(n) ik 0, ha k {1,..., a 1}. Ezért lim p (n) ia = i/a, azaz ekkora valószín séggel nyel dik a lánc a-ba (és a komplementer valószín séggel 0-ba). Végül lássunk még egy tételt, melynek segítségével eldönthet, hogy egy osztály rekurrense! 8. Állítás. Legyen X n irreducibilis Markov lánc. Az i állapot akkor és csak akkor rekurrens, ha az x j = p jk x k j i (8) k i egyenletrendszer egyetlen nulla és egy közötti megoldása x j = 0. Biz.: Készítsünk egy új Markov láncot, melyben p ii = 1, és a p jk (j i) valószín ségek változatlanok. Ebben a láncban i rekurrens, az összes többi állapot tranziens. A korábbi állítás szerint (8) legnagyobb nulla és egy közötti megoldása σ j, ami annak a valószín - sége, hogy j-b l indulva soha nem ér a lánc i-be, azaz σ j = 1 f ji. Ha ez minden j-re 0, akkor f ji = 1 minden j i-re, amib l f ii = 1. Fordítva, ha a lánc rekurrens, akkor f ji = 1 minden j i-re, azaz σ j = 0. 13. Véges állapotter Markov láncok Ebben a szakaszban véges állapotter Markov láncokkal foglalkozunk. Ilyenkor az átmenetmátrix egy véges, négyzetes sztochasztikus mátrix. Ezeket algebrai eszközökkel vizsgálva, újra levezethetjük a korábban kapott eredményeket, illetve megkaphatunk speciálisan erre az esetre érvényes állításokat. 9. Állítás. Legyen X n véges állapotter Markov lánc. Ekkor 1. Minden rekurrens osztály pozitív. 2. Minden tranziens osztály lényegtelen, és a lánc 1 valószín séggel el bb-utóbb elhagyja. 29