Diszkrét és folytonos paraméter Markov láncok. Csiszár Vill

Diszkrét és folytonos paraméter Markov láncok Csiszár Vill

Tartalomjegyzék 1. Bevezetés 1 I. Diszkrét paraméter Markov láncok 2 2. Visszatér ség 2 2.1. Markov-tulajdonság............................. 2 2.2. Állapotok osztályozása........................... 4 2.3. Visszatér ség................................ 6 2.4. Az átmenetvalószín ségek konvergenciája................. 12 2.5. Stacionárius eloszlás............................ 15 3. Pozitív rekurrens Markov láncok 19 3.1. Nagy számok törvénye........................... 19 3.2. Centrális határeloszlás-tétel........................ 22 3.3. Tabu állapotok............................... 24 3.4. A CHT-ben szerepl szórásnégyzet kiszámítása.............. 26 4. Reguláris mérték 28 4.1. Reguláris függvény............................. 29 4.2. Reguláris mérték.............................. 30 4.3. Megfordított láncok............................. 33 5. Elnyel dési valószín ségek 36 6. Véges állapotter Markov láncok 38 6.1. Irreducibilis, aperiodikus mátrixok..................... 40 6.2. Irreducibilis, periodikus mátrixok..................... 41 6.3. Konvergencia és sebessége......................... 43 6.4. Perron-Frobenius tétel........................... 44 6.5. A konvergenciasebesség becslése megállási id kkel............ 46 7. MCMC módszerek 48 7.1. A Hastings-Metropolis algoritmus..................... 48 7.2. Gibbs mintavételez............................ 51 i

II. Folytonos paraméter 52 8. Innitezimális generátor 52 9. Kolmogorov-féle dierenciálegyenletek 57 10.Születési-halálozási folyamatok 59 10.1. A Poisson folyamat............................. 59 10.2. Születési folyamatok............................ 60 10.3. Születési-halálozási folyamatok....................... 63 11.Visszatér ség 64 11.1. Az állapotok osztályozása......................... 64 11.2. A Markov lánc trajektóriái......................... 64 11.3. Visszatér ség................................ 66 11.4. Stacionárius eloszlás............................ 67 12.A Kolmogorov-egyenletek megoldhatóságáról 69 ii

1. BEVEZETÉS 1 1. Bevezetés Tekintsünk egy megszámlálható sok csúcspontú, irányított gráfot úgy, hogy minden élre egy nemnegatív szám van írva, és minden csúcs kimen éleire írt számok összege 1 (hurokél is megengedett). Ezen a gráfon bolyongunk az élekre írt valószín ségek szerint. Ha egységnyi id közönként lépünk akkor diszkrét paraméter Markov láncot kapunk. Ha pedig egy adott csúcsból exponenciális eloszlású id elteltével lépünk tovább (ahol az eloszlás paramétere a csúcsra jellemz ), akkor folytonos paraméter Markov láncunk lesz. Mindkét esetben igaz, hogy a lánc jöv beli fejl dése csak a pillanatnyi állapottól függ, a múlttól nem. Ilyen jelleg folyamattal számos helyen találkozhatunk, például tömegkiszolgálási rendszerekben, populációk fejl désének vizsgálatánál, diúziós modelleknél. A folyamat általánosítása, ha a jöv beli fejl dés csak a mostani és az el z néhány állapottól függ. Ez az általánosítás még szélesebb kör alkalmazásokat tesz lehet vé, pl. az írott nyelvek is tanulmányozhatók így. A folyamattal kapcsolatban a következ kérdések merülhetnek fel: Honnan hová lehet eljutni? Mekkora eséllyel érünk vissza a kiindulási helyünkre? Mekkora az esélye, hogy végtelen sokszor visszatérünk? Átlagosan mennyi id alatt érünk vissza a kiindulási helyre, vagy általánosabban egy másik csúcsba? Vannak-e elnyel csúcsok? Ha igen, mekkora eséllyel nyel dünk el bennük? Van-e stacionárius kezdeti eloszlás? Hány? Tart-e a bolyongás egy stacionárius eloszláshoz? Milyen gyorsan? Érvényes-e valamilyen NSzT? Érvényes-e valamilyen CHT? Ebben a jegyzetben el ször a diszkrét, majd a folytonos paraméter Markov láncokkal foglalkozva próbálunk meg válaszolni a fenti kérdésekre. A tárgyhoz kapcsolódó további ajánlott irodalom: 1. W. Feller: Bevezetés a valószín ségszámításba és alkalmazásaiba (I. kötet), 15., 16., 17. fejezet. 2. S. Karlin, H. M. Taylor: Sztochasztikus folyamatok. 2., 3., 4. fejezet. 3. K. L. Chung: Markov Processes with Stationary Transition Probabilities. 4. Barczy Mátyás, Pap Gyula: Sztochasztikus folyamatok példatár és elméleti kiegészítések II. rész (diszkrét idej Markov-láncok). 5. Pap Gyula: Sztochasztikus folyamatok.

2 I. rész Diszkrét paraméter Markov láncok 2. Visszatér ség Ebben a fejezetben arra keressük a választ, hogy a lánc milyen gyakran tér vissza a kezdeti állapotba, illetve milyen s r n látogatja meg a különböz állapotokat. Megkérdezhetjük, hogy átlagosan mennyi ideig tart, míg egy adott állapotból a lánc el ször eljut egy másik adott állapotba (ha egyáltalán eljut). Rokon kérdés, hogy egy távoli id pontban mekkora eséllyel lesz a lánc az egyes állapotokban. 2.1. Markov-tulajdonság Deniáljuk el ször pontosan a Markov láncot! 2.1. Deníció. Legyen adott az {X n } n N folyamat, ahol X n : Ω I valószín ségi változók az (Ω, F, P ) valószín ségi mez n, I pedig megszámlálható halmaz. A folyamatot diszkrét paraméter homogén Markov láncnak nevezzük, ha A folyamat Markov-tulajdonságú, azaz F n = σ(x 0, X 1,..., X n ) jelöléssel minden B I és minden m n esetén P (X m B F n ) = P (X m B X n ). (Ezt a tulajdonságot általános mérhet állapottérre is deniálhatjuk.) A Markov folyamat stacionárius (vagy homogén) átmenetvalószín ség, azaz minden i, j I esetén minden olyan n-re, melyre P (X n = i) > 0, P (X n+1 = j X n = i) = p ij, n-t l függetlenül.

2. VISSZATÉRŽSÉG 3 I az állapottér, elemeit a továbbiakban i, j, k,... jelöli. Esetünkben az F n σ-algebra atomos, ezért a Markov-tulajdonság azzal ekvivalens, hogy P (X m B X n1 = i 1,..., X nk = i k ) = P (X m B X nk = i k ), ha n 1 < < n k m. Feladat: A Markov-tulajdonság ekvivalens megfogalmazásai. Mutassuk meg, hogy a Markov-tulajdonság ekvivalens a következ kkel: 1. P (X n+1 B F n ) = P (X n+1 B X n ). 2. Minden A F n 1 és B F n+1 = σ{x n+1, X n+2,...} esetén P (A B X n ) = P (A X n )P (B X n ). 3. Minden F n+1 -mérhet Y -ra E(Y F n ) = E(Y X n ), ha a baloldal értelmes. A P = (p ij ) mátrixot átmenetmátrixnak nevezzük (nem keverend össze a valószín séggel), elemei az átmenetvalószín ségek. Az X 0 eloszlását kezdeti eloszlásnak hívjuk, és p = (p i )-vel jelöljük. Ez a két objektum már meghatározza a folyamatot, hiszen a véges dimenziós eloszlásokat a Markov-tulajdonságot felhasználva kapjuk: P (X 0 = i 0, X 1 = i 1,..., X n = i n ) = = P (X 0 = i 0 )P (X 1 = i 1 X 0 = i 0 ) P (X n = i n X 0 = i 0,..., X n 1 = i n 1 ) = = p i0 p i0 i 1 p in 1 i n. 2.2. Deníció. A P mátrix 1. sztochasztikus, ha p ij 0 és minden sor összege 1, 2. duplán sztochasztikus, ha sztochasztikus, és minden oszlop összege 1, 3. szubsztochasztikus, ha p ij 0 és minden sor összege legfeljebb 1. 2.3. Tétel. Tetsz leges I-n adott p eloszláshoz és I I méret P sztochasztikus mátrixhoz, létezik I állapotter Markov lánc, melynek kezdeti eloszlása p, átmenetmátrixa P.

2. VISSZATÉRŽSÉG 4 Bizonyítás. (vázlat) A bizonyítás a Kolmogorov alaptételen múlik. Ez a következ t mondja ki: Legyen X teljes szeparábilis metrikus tér, B a Borel halmazok σ-algebrája, Θ pedig tetsz leges halmaz. Jelölje (X n, B (n) ) a tér n-edik hatványát. Tegyük fel, hogy minden n-re és minden θ 1,..., θ n Θ-ra adott B (n) -en a P θ1,...,θ n valószín ségi mérték, melyek eleget tesznek az alábbi konzisztenciafeltételeknek: (i) P θ1,...,θ n,θ n+1,...,θ n+m (A (n) X m ) = P θ1,...,θ n (A (n) ) minden A (n) B (n) -re, (ii) Minden π S n permutációra P θ1,...,θ n (A (n) ) = P θπ(1),...,θ π(n) (π(a (n) )). Ekkor létezik valószín ségi mez és azon X θ valószín ségi változók, melyek véges dimenziós eloszlásai az adottak. Legyen X = I, Θ = N, és P 0,1,...,n (i 0, i 1,..., i n ) = p i0 p i0 i 1 p in 1 i n, belátható, hogy ezek eleget tesznek a konzisztenciafeltételeknek. Ekkor a Kolmogorov alaptétel által garantált X n folyamat valóban Markov lánc a kívánt kezdeti eloszlással és átmenetvalószín ségekkel. 2.4. Állítás. Legyenek p (n) ij = P (X n+m = j X m = i) az n-edrend átmenetvalószín ségek (feltesszük, hogy P (X m = i) > 0), ezekre teljesül a Chapman-Kolmogorov egyenl ség: p (n+m) ij = k p (n) ik p(m) kj. Ez azt jelenti, hogy a a p (n) ij mennyiségek éppen a P n mátrix megfelel elemei. Bizonyítás. P (X n+m = j X 0 = i) = P (X n+m = j, X n = k X 0 = i) = k P (X n+m = j X n = k, X 0 = i)p (X n = k X 0 = i) = k k p (m) kj p(n) ik. 2.2. Állapotok osztályozása 2.5. Deníció. 1. Azt mondjuk, hogy az i állapotból elérhet j, (i j), ha van olyan n 0, hogy p (n) ij > 0. Ez reexív (p (0) ii = 1) és tranzitív (Chapman-

2. VISSZATÉRŽSÉG 5 Kolmogorov) reláció. 2. Azt mondjuk, hogy i és j közlekednek, ha i j és j i. Ez ekvivalenciareláció, tehát osztályokra bontja az állapotteret (csak az átmenetmátrixtól függ). A Markov lánc irreducibilis, ha egyetlen osztályból áll. 3. Az i állapot lényeges, ha i j esetén j i is teljesül. Az állapotokra értelmezett valamely tulajdonság osztálytulajdonság, ha egy osztálynak vagy minden eleme ilyen tulajdonságú, vagy egy sem. Triviálisan látszik, hogy a lényegesség osztálytulajdonság, azaz beszélhetünk lényeges és lényegtelen osztályokról. (Biz.: Tegyük fel, hogy i lényeges, j lényegtelen, és i j. Létezik k, hogy j k, de k j. Másrészt i j k, tehát i lényegessége miatt k i j, ami ellentmondás.) A lényeges osztályokból nem lehet kijutni (mert akkor vissza is tudnánk jönni, azaz osztályon belül maradnánk), a lényegtelenekb l viszont igen: ha elhagytuk ket, akkor többé már nem térhetünk vissza. A lényegtelen osztályok között parciális rendezés van: C >> D, ha i C, j D esetén i j (tranzitív, reexív, antiszimmetrikus). 2.6. Deníció. Az {n > 0 : p (n) ii > 0} halmaz legnagyobb közös osztója az i periódusa, jelölése d(i). Ha a halmaz üres, akkor a periódust nem értelmezzük. Ha d(i) = 1, akkor az állapot aperiodikus. 2.7. Állítás. Egy osztály minden állapotának ugyanannyi a periódusa. Bizonyítás. Legyen i, j C azonos osztálybeliek. Ekkor létezik n, m, hogy p (n) ij > > 0, p (m) ji > 0. Ha valamely s-re p (s) jj > 0, akkor p (n+s+m) ii > 0, p (n+2s+m) ii > 0. Emiatt d(i) n+s+m és d(i) n+2s+m, amib l d(i) s következik. d(i) tehát közös osztója az ilyen s számoknak, azaz d(i) d(j). Mivel i és j szerepe felcserélhet, az állítást beláttuk. 2.8. Tétel. (Részosztályok) Legyen C osztály d periódussal, és i C tetsz leges. Ekkor C felbomlik d darab C 0 (i), C 1 (i),..., C d 1 (i) részosztályra úgy, hogy ha j C r (i) és p (n) ij > 0, akkor szükségképpen n r mod d. Továbbá létezik N(j) küszöbindex, hogy n N(j) esetén p (nd+r) ij > 0. Bizonyítás. Legyen j C. Létezik k, hogy p (k) ji p (m) ij > 0, akkor d k + n és d k + m, azaz n m mod d. > 0. Ha n-re és m-re p (n) ij > 0 és

2. VISSZATÉRŽSÉG 6 A második állításra rátérve, a legnagyobb közös osztó el áll d = K k=1 c kn k alakban, ahol c k egész, és p (n k) ii > 0. Legyen n 0 = n k, és N = n 2 0 max c k. Osszuk el az n N számot maradékosan n 0 -val: n = ln 0 + q. Ekkor nd = K (ld + qc k )n k, k=1 és ebben a lineáris kombinációban az együtthatók már nemnegatívak. Ezért p (nd) ii > 0, és p ((n+m 0)d+r) ij > 0, ha p (m 0d+r) ij > 0. Tehát N(j) = N + m 0 jó lesz. Vegyük észre, hogy a részosztályok függetlenek az i állapottól, csak az indexelésük függ t le: ha j C r (i) és k C s (i), akkor k C s r (j). A fenti tétel segítségével belátható, hogy legtöbbször elég irreducibilis és aperiodikus Markov láncokat vizsgálni. A nem lényeges állapotokat elhagyva ugyanis, ha egyszer belekerülünk valamelyik osztályba, akkor végleg ott is maradunk. Ha tehát C lényeges osztály d periódussal, és P (X 0 C r ) = 1, akkor az {X nd } n=0,... egy irreducibilis, aperiodikus ML C r állapottérrel és q ij = p (d) ij átmenetvalószín ségekkel. 2.9. Példa. Legyen az átmenetmátrix a következ : 0 1/4 1/4 0 0 0 1/2 0 1 0 0 0 0 0 0 0 0 1/2 0 1/2 0 0 0 0 0 0 0 0 2/3 0 0 1/3 0 0 0 0 0 1 0 0 0 0 0 0 1/2 0 1/2 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 Adjuk meg a ML osztályait, keressük meg közülük a lényegeseket! Mennyi az egyes osztályok periódusa? 2.3. Visszatér ség Vezessük be a következ jelöléseket: f (0) ij = 0, f (n) ij = P (X n = j, X k j : k = 1,2,... n 1 X 0 = i) n 1,

2. VISSZATÉRŽSÉG 7 Az f (n) ij mennyiség tehát annak valószín sége, hogy az i állapotból indulva a lánc el ször az n. lépésben ér el a j állapotba. Legyen még f ij = n=1 f (n) ij, és g ij = P (X n = j végtelen sok n-re X 0 = i). 2.10. Deníció. Az i állapot visszatér vagy rekurrens, ha f ii = 1, egyébként pedig átmeneti vagy tranziens. Ha i visszatér, akkor az átlagos visszatérési id m i = = (n) n=1 nf ii. Az i állapot pozitív rekurrens, ha m i <, ha pedig m i =, akkor nulla rekurrens. 2.11. Állítás. 1. i j akkor és csak akkor, ha f ij > 0. 2. g ij = f ijg jj. 3. Ha i rekurrens állapot, akkor g ii = 1, ha pedig i tranziens, akkor g ii = 0. 4. A nem lényeges állapotok tranziensek (fordítva azonban nem igaz). 5. Ha g ii = 1 és f ij > 0, akkor g ij = 1. Bizonyítás. A fenti állítások az utolsó kivételével egyszer en láthatók. 1. f (n) ij p (n) ij és p (n) ij n m=1 f (m) ij, ezért sup n 1 p (n) ij f ij n=1 p(n) ij. 2. A végtelen sok n-re kifejezésre a v.s. rövidítést használva, g ij = P (X n = j v.s. X 0 = i) = P (X n = j v.s., X k = j, X l j : l = 1,..., k 1 X 0 = i) = k=1 k=1 P (X n = j v.s. X k = j, X l j : l = 1,..., k 1, X 0 = i)f (k) ij = k=1 g jj f (k) ij = g jj f ij. 3. Legyen g ii (m) = P (X n = i legalább m különböz n > 0 ra X 0 = i), ha m 1. Ekkor g ii (1) = f ii, és g ii = lim m g ii (m). Viszont m 2-re g ii (m) = k=1 f (k) ii g ii (m 1) = f iig ii (m 1).

2. VISSZATÉRŽSÉG 8 Tehát g ii (m) = (f ii) m. 4. Legyen j olyan, hogy i j, de j i. Létezik olyan állapotsorozat, melyre ˆp = p ii1 p i1 i 2 p inj > 0, és a bels állapotok egyike sem i. Ekkor f ii 1 ˆp. Az utolsó állítás bizonyításához tegyünk egy kis kitér t a megállási id k világába! Legyenek adva az X n valószín ségi változók, és most is F n = σ(x 0,..., X n ). A τ : Ω N valószín ségi változó megállási id, ha {τ = n} F n minden n-re. Ekkor értelmes az X τ : ω X τ(ω) (ω) valószín ségi változóról beszélni. Deniálhatjuk még azt a σ-algebrát, amely a megállás id pontjáig meggyelhet eseményekb l áll: F τ = {A F : A {τ = n} F n n}. Err l könnyen látható, hogy valóban σ-algebra. Azt mondjuk, hogy az X n folyamatra teljesül az er s Markov-tulajdonság, ha minden τ véges megállási id re, k 0-ra és B mérhet halmazra P (X τ+k B F τ ) = P (X τ+k B X τ ). (1) Vegyük észre, hogy ha P (τ = n) = 1, azaz τ determinisztikus megállási id, akkor X τ = X n és F τ = F n, azaz az er s Markov tulajdonságból következik a közönséges. Fordítva általában nem igaz ez az állítás, de a mi esetünkben igen. 2.12. Tétel. Az {X n } n 0 Markov láncra teljesül az er s Markov tulajdonság. Bizonyítás. El ször belátjuk, hogy (1) jobb oldala F τ -mérhet, azaz σ(x τ ) F τ. {X τ B} {τ = n} = {X n B} {τ = n} F n. Másrészt, F τ is atomos, tehát elég az egyenl séget az atomokon bizonyítani. Egy atom általános alakja: C = {τ = m, X 0 = i 0,..., X m = i m }. Ezek nyilván F τ -beliek, diszjunktak, kiadják a teljes Ω-t, és ha A F τ, akkor A C = = (A {τ = m}) C. Mivel a metszet els tagja F m -beli, ami atomos, van olyan Z halmaz, melyre A {τ = m} = (j0,...,j m) Z{X 0 = j 0,..., X m = j m }.

2. VISSZATÉRŽSÉG 9 Ezt C-vel elmetszve, a metszet vagy üres, vagy maga C. Azt kell tehát belátni, hogy P ((X τ+k B) C) = C I(X τ+k B)dP = P (X τ+k B X τ )dp = P (X τ+k B X τ = i m )P (C). C A pozitív valószín ség C atomon a Markov tulajdonság szerint P (X τ+k B C) = j B p (k) i mj. A fentiek szerint azt kell belátni, hogy P (X τ+k B X τ = i m ) is ugyanennyi. Ehhez egyrészt azt kell látni, hogy P (X τ+k B X τ = i m, τ = n) = j B p (k) i mj a közönséges Markov tulajdonság szerint, másrészt legyen A n = {X τ = i m, τ = n} és ezen diszjunkt események unióját jelölje A = A n = {X τ = i m }, ekkor P (X τ+k B A) = P (Xτ+k B A n )P (A n ) P (An ) = j B p (k) i mj. Vegyük észre, hogy beláttuk, hogy a τ megállási id t l a ML a múlttól függetlenül újraindul, azaz P (X τ+k = j X τ = i) = p (k) ij. A még bizonyítandó állításra visszatérve, deniáljuk azt a τ n id pontot, amikor n-edszer térünk vissza az i állapotba. Ekkor τ n megállási id, amely 1 valószín séggel véges, és X τn = i. Legyen A n = {X τn+1, X τn+2,..., X τn+1 1 valamelyike j} F τn+1. Ekkor A n független az F τn σ-algebrától, melybe az A 1,..., A n 1 események tartoznak, mivel az er s Markov tulajdonság szerint P (A n F τn ) = P (A n X τn ) = P (A n ), hiszen σ(x τn ) a triviális σ-algebra. A lánc újraindulási tulajdonságából következik, hogy P (A n ) = p > 0, n-t l függetlenül (p annak az esélye, hogy i-b l indulva el bb

2. VISSZATÉRŽSÉG 10 érünk j-be, mint vissza i-be). A Borel-Cantelli lemma szerint 1 valószín séggel az A n események közül végtelen sok következik be, azaz g ij = 1. Érdemes megjegyezni, hogy ekkor az is igaz, hogy f ij = 1 és g jj = 1, azaz a visszatér ség osztálytulajdonság. 2.13. Tétel. g ij = 0 akkor és csak akkor, ha n=0 p(n) ij <. A bizonyítás el tt egy nagyon hasznos kis lemmát látunk be, mely a Toeplitz szummációs tétel speciális esete. 2.14. Lemma. (Nörlund) Legyenek a n 0 és b n valós sorozatok, és lim n b n = b. Ha lim n a n / n k=0 a k = 0, akkor n lim k=0 a kb n k n n k=0 a k Bizonyítás. A bizonyítást arra az esetre végezzük el, amikor b véges, a végtelen eset is hasonlóan intézhet el. Legyen B olyan, hogy b n b < B minden n-re, és adott = b. ɛ-hoz N olyan küszöbindex, hogy n N esetén b n b < ɛ. n k=0 n N a k (b n k b) ( k=0 a k )ɛ + ( n k=n N+1 a k )B. Ebb l lim sup n n k=0 a kb n k n k=0 a k b ɛ + B lim n n k=n N+1 a k n k=0 a k = ɛ. Megjegyzés: Ha az a n sorozat korlátos, akkor biztosan teljesíti a lemma feltételét. Bizonyítás. (2.13 Tételé.) ahol n r=1 p (r) ij = n r 1 r=1 k=0 n 1 f (r k) ij p (k) jj = a k = p (k) jj, b k = k=0 k s=1 Ekkor az el z lemmát alkalmazva, b = f ij, és p (k) jj n k s=1 f (s) ij = f (s) ij, b 0 = 0. n a k b n k, k=0 lim n n m=1 p(m) ij n m=0 p(m) jj = f ij. (2)

2. VISSZATÉRŽSÉG 11 Ha ezt az i = j esetre alkalmazzuk, akkor megkapjuk, hogy i akkor és csak akkor visszatér, ha n=0 p(n) ii =. Most tegyük fel, hogy i j és g ij = 0. Ekkor vagy fij = 0, vagy g jj = 0. Az els esetben p (n) ij = 0 minden n-re, azaz a sor összege nulla. A második esetben j tranziens állapot, ezért p (n) jj véges, és így p (n) ij is. Ha most g ij > 0, akkor g jj = 1, azaz j rekurrens, és fij > 0, amib l p (n) ij = adódik. Egy táblázatban foglalhatjuk össze, hogy tetsz leges két állapot esetén mi mondható el az fij, g ij, p (n) ij mennyiségekr l: f ij g ij p (n) ij i, j ugyanabban a rekurrens osztályban 1 1 i, j ugyanabban a tranziens osztályban > 0 0 < i, j különböz osztályban, i j, j tranziens > 0 0 < i, j különböz osztályban, i j, j rekurrens c > 0 c > 0 i j 0 0 0 Mindezek segítségével kiszámolható például az, hogy az egydimenziós bolyongás akkor és csak akkor visszatér, ha szimmetrikus. 2.15. Példa. Bolyongás a számegyenesen. Legyen a jobbra lépés valószín sége p, a balra lépésé q = 1 p (p, q > 0). A lánc irreducibilis, periódusa 2. Vizsgáljuk a visszatér séget! Elég a 0 állapottal foglalkozni. Felírható, hogy n=0 p (2n) 00 = ( ) 2n p n (1 p) n. n ( ) 2n x n = (1 4x) 1/2, ha 0 < 4x < 1. n Ha tehát p 1/2, akkor az átmenetvalószín ségek sorösszege 1 2p 1 <, azaz a lánc tranziens. Szimmetrikus esetben viszont a lánc rekurrens (p (2n) 00 1 πn ). Tranziens esetben érdekesek az fij valószín ségek. Tegyük fel el ször, hogy i > j. Nyilvánvaló, hogy f ij = (f 10) i j. (2) szerint f 10 = n=1 p(n) 10 n=0 p(n) 00.

2. VISSZATÉRŽSÉG 12 Mármost p (2n+1) 10 = ( 2n+1 n ) p n (1 p) n+1 = 1 ( ) 2n + 2 p n+1 (1 p) n+1, 2p n + 1 ezért f 10 = 1 2p ( ) 1 1 1 2p 1 1 2p { = 1 (1 1 2p ) = 2p 1, ha p < 1/2 (1 p)/p, ha p > 1/2. Hasonlóan járhatunk el, ha i < j, ehhez csak az f 01 = mennyiség kell. Végül pedig f ii = f 00, és f 00 = n=1 p(2n) 00 n=0 p(2n) 00 { p/(1 p), ha p < 1/2 = 1 1 2p = 1, ha p > 1/2 { 2p, ha p < 1/2 2(1 p), ha p > 1/2. 2.4. Az átmenetvalószín ségek konvergenciája Az eddigiekb l az következik, hogy ha j átmeneti állapot, akkor p (n) ij rekurrens állapot esetén mit mondhatunk err l a határértékr l? 0. Vajon 2.16. Tétel. Ha i rekurrens állapot d periódussal, akkor lim n p (nd) ii = d m i. Bizonyítás. Az egyszer ség kedvéért vezessük be a következ jelöléseket: p n = p (n) f n = f (n) ii. El ször belátjuk, hogy a {n 1 : f n > 0} halmaz legnagyobb közös osztója d. Legyen ugyanis ez a legnagyobb közös osztó d f. Mivel {n 1 : f n > 0} {n 1 : p n > 0}, d d f. Másrészt, ha p n > 0, akkor n el áll n = n 1 +... + n k alakban, ahol f ni > 0. Ezért d f n, azaz d f közös osztó, és így d f d. Legyen ezután r n = k=n+1 f k, azaz annak a valószín sége, hogy az els n lépés ii,

2. VISSZATÉRŽSÉG 13 alatt nem térünk vissza i-be. Igazak a következ összefüggések: r k = k=0 kf k = m i, k=1 n r k p n k = 1, k=0 a második összefüggés úgy adódik, hogy a lánc lehetséges meneteit az n. lépésig felbontjuk aszerint, hogy hányadik lépésben járt utoljára az i állapotban (éppen az n k. lépésben). Ha lim sup n p nd = λ, akkor válasszunk egy olyan részsorozatot, melyre Tetsz leges olyan s-re, melyre f s > 0, lim p n k d = λ. k λ = lim k p nk d = lim k (f s p nk d s + n k d ν=1,ν s f ν p nk d ν), mivel p n = n j=1 f jp n j. Tetsz leges ɛ > 0-hoz legyen N olyan nagy, hogy n=n f n < ɛ. Ekkor n k d ν=1,ν s f ν p nk d ν = n k d ν=n,ν s f ν p nk d ν + N 1 ν=1,ν s f ν p nk d ν ɛ + ( N 1 ν=1,ν s ) f ν sup p nk d ν. ν<n Felhasználva, hogy lim(a n + b n ) lim inf a n + lim sup b n, folytathatjuk a fenti sort: ( λ f s lim inf k p n k d s + ν=1,ν s f ν ) λ = f s lim inf k p n k d s + (1 f s )λ. Ezt átrendezve azonnal következik, hogy lim inf k p nk d s λ, azaz lim k p nk d s = λ. Ugyanez igaz akkor is, ha s = c j s j alakú, ahol c j > 0 egész szám, és f sj > 0. Mivel minden elég nagy t esetén td felírható ilyen alakban (ezt a részosztályokról szóló tételnél bizonyítottuk), elmondhatjuk hogy t t 0 esetén lim k p (nk t)d = = λ. Mármost 1 = (n k t 0 )d h=0 r h p (nk t 0 )d h = n k t 0 ν=0 r νd p (nk t 0 ν)d,

2. VISSZATÉRŽSÉG 14 hiszen p n csak akkor lehet pozitív, ha d n. Egy olyan jelleg összeg jelent meg, mint a Nörlund lemmában, azaz m k ν=0 a νb mk ν, csakhogy most a b m sorozatról nem tudjuk, hogy konvergens, csak a b mk ν sorozatokról, minden rögzített ν-re. Tegyük fel el ször, hogy ν=0 r νd =, ekkor minden N-re 1 lim k N r νd p (nk t 0 ν)d = λ ν=0 N r νd, tehát λ = 0. Ha viszont ν=0 r νd <, akkor a Nörlund lemmához hasonló bizonyítás m ködik: válasszuk N-et olyan nagyra, hogy ν=n+1 r νd < ɛ legyen. Elég nagy k-ra ν=0 n k t 0 ν=0 r νd (p (nk t 0 ν)d λ) N r νd p (nk t 0 ν)d λ +ɛ 2ɛ. ν=0 Tehát n k t 0 1 λ r νd 0, amib l λ = 1/ r νd következik (és ez a végtelen esetben is érvényes). Írjuk át a tört nevez jét: ν=0 r νd = ν=0 ν=0 νd+d 1 1 r j = 1 d d j=νd j=0 r j = m i d. Megkaptuk tehát, hogy a sorozat limsupja a kívánt érték. Ha most lim inf n p nd = η, akkor az el z gondolatmenet lemásolásával azt kapjuk, hogy η = = λ, azaz lim n p nd létezik. Azt kaptuk tehát, hogy az i állapot akkor és csak akkor pozitív rekurrens, ha a lim n p (nd) ii határérték pozitív. Az is könnyen látszik, hogy a pozitivitás osztálytulajdonság: ha i és j ugyanabban a rekurrens osztályban vannak, akkor van olyan n és m, hogy p (n) ij > 0 és p (m) ji > 0. A p (m+kd+n) ii p (n) ij p(kd) jj p (m) ji kifejezésben k-val végtelenhez tartva azt kapjuk, hogy ha j pozitív állapot, akkor szükségképpen i is az. Most már könnyen bebizonyítható a következ általános tétel. 2.17. Tétel. Legyen i, j két tetsz leges állapot, és jelölje j periódusát d. Ekkor r = = 1,2,..., d esetén lim n p(nd+r) ij = f ij(r) d m j,

2. VISSZATÉRŽSÉG 15 ahol f ij(r) 0 és d r=1 f ij(r) = f ij. (Tranziens állapotra legyen m j =.) Bizonyítás. Legyen f ij(r) = n=0 f (nd+r) ij p (nd+r) ij = n k=0. Ekkor f (kd+r) ij p (nd kd) jj. A Nörlund lemmából azonnal következik az állítás, a k szereposztással. = f (kd+r) ij, b k = p (kd) jj 2.18. Következmény. Minden i, j állapotpárra lim n 1 n k=1 p(k) ij = fij/m j. Itt a bal oldal azt fejezi ki, hogy i-b l indulva, a lánc várhatóan a lépések hányad részét tölti a j állapotban. 2.19. Példa. Az egydimenziós szimmetrikus bolyongás nulla rekurrens. 2.20. Példa. Vegyünk egy bolyongást a nemnegatív számokon, a nullában egy visszaver fallal. Legyen a jobbra lépés esélye p < 1/2, a balra lépésé q = 1 p. A lánc irreducibilis, periódusa d = 2. Korábbi számolásunk alapján a lánc visszatér. A magasabb rend átmenetvalószín ségeket nem könny kiszámítani, viszont az m ij átlagos elérési id kre (átlagosan ennyi lépés alatt érünk i-b l j-be) fel tudunk írni egyenleteket. m 00 = 1 + m 10, m 10 = q + p(1 + m 20 ), m 20 = m 21 + m 10, m 21 = m 10. Ezeknek az egyenleteknek a végtelen is megoldása, tegyük azonban fel, hogy a mennyiségek végesek. Ekkor az m 00 = 1 + 1 1 2p, 1 m 00 = 1 2p 2 2p, d m 00 = 1 p q megoldás adódik. Ha tehát a lánc 1/4 eséllyel lép jobbra, és 3/4 eséllyel balra, akkor a nulla állapotból átlagosan 3 lépés alatt ér vissza a nullába, egy távoli páros id pontban ránézve a láncra, kb. 2/3 eséllyel lesz éppen a nulla állapotban, és a láncot sokáig futtatva, nagyjából a lépések 1/3-át tölti a nulla állapotban (és ez utóbbi nem függ a kezdeti eloszlástól). 2.5. Stacionárius eloszlás 2.21. Deníció. Legyen P egy átmenetvalószín ségmátrix. A (p i ) i I eloszlás stacionárius, ha p i = k I p kp ki minden i I-re, azaz a p i kezdeti eloszlású, P átmenetva-

2. VISSZATÉRŽSÉG 16 lószín ség X n Markov láncra P (X n = i) = p i minden i I, n 0-ra. Ez utóbbi esetben azt mondjuk, hogy a Markov lánc stacionárius (ez megfelel a szokásos deníciónak, azaz hogy a véges dimenziós eloszlások eltolás-invariánsak). 2.22. Tétel. Legyen C lényeges osztály, és jelölje π i = 1/m i. Ekkor az u i = u k p ki, i C k C egyenletrendszer i C u i < megoldásai: u i = cπ i. Bizonyítás. El ször belátjuk, hogy ezek megoldások. Ha C átmeneti vagy nulla rekurrens, akkor π i = 0. Legyen C pozitív rekurrens, jelölje periódusát d. Tartson n végtelenhez: p (nd) ii = k C dπ i = lim p (nd) ii p (nd 1) ik p ki = k C 1 (i) azaz π i k C π kp ki. Másrészt, mivel 1 = lim n j C r(i) p (nd+r) ij k C 1 (i) p (nd 1) ik p ki. lim p (nd 1) ik p ki = lim n p(nd+r) j C r(i) k C 1 (i) ij = j C r(i) dπ k p ki, dπ j, ezért i C π i 1. π i π k p ki = π k p ki = π k, i C i C k C k C i C k C ami a π i végessége miatt csak úgy lehet, ha π i = k C π kp ki minden i-re. Ezután meg kell mutatni, hogy nincs más megoldás. Legyen u i egy abszolút konvergens megoldás. Ekkor u i = k C 1 (i) u k p ki = k C 1 (i) l C 1 (k) u l p lk p ki = l C 2 (i) u l k C 1 (i) p lk p ki = l C 2 (i) u l p (2) li, (a szummák az abszolút konvergencia miatt felcserélhet k), ezt iterálva kapjuk, hogy

2. VISSZATÉRŽSÉG 17 minden n, r-re u i = k C r (i) u k p (nd+r) ki. Mivel az összeg tagjainak van konvergens majoránsa, határértéket véve kapjuk, hogy u i = k C r (i) u k dπ i, r. Ha C átmeneti vagy nulla rekurrens, akkor u i = 0, ha pedig pozitív rekurrens, akkor szükségképpen k C r (i) u k = K konstans, és u i = Kdπ i. Megjegyzés: az u i = π i megoldásra tehát visszahelyettesítéssel: π i = k C r (i) π k dπ i, azaz k C r (i) π k = 1 d, amib l i C π i = 1 is következik. A C pozitív osztályon tehát π i stacionárius kezdeti eloszlás. 2.23. Tétel. Legyen adott a P sztochasztikus mátrix az I állapottéren. Jelölje a pozitív osztályokat D α : α A, és legyen D = α D α a pozitív állapotok halmaza. Ekkor a p i eloszlás akkor és csak akkor stacionárius, ha ahol λ α 0, α λ α = 1. p i = { 0 ha i D, λ α π i ha i D α, Bizonyítás. : Ha p i stacionárius eloszlás, akkor minden n-re p i = j I p jp (n) ji. Ha i D, akkor határátmenettel p i = j I p j lim p (n) ji = 0, ha pedig i D α, akkor az el z miatt p i = j D p j p (n) ji = ji, j D α p j p (n)

2. VISSZATÉRŽSÉG 18 hiszen másik pozitív osztályból nem lehet i-be jutni. Ezért minden N-re p i = 1 p j N j D α N n=1 p (n) ji, amib l határátmenettel p i = ( j D α p j )π i, azaz λ α = j D α p j. : Ha i D, akkor P (X n = i) = 0 minden n-re, hiszen a pozitív osztályokból nem lép ki a lánc. Ha viszont i D α, akkor P (X n = i) = p k p (n) ki = λ α π k p (n) ki = λ α π i = p i, k D α k D α hiszen az el z tétel bizonyításánál láttuk, hogy π i stacionárius eloszlás D α -n, azaz ha i D α, akkor π i = ki. k D α π k p (n) Összefoglalva azt kaptuk, hogy egy stacionárius Markov lánc csak pozitív osztályokból áll. Egy osztályban egyértelm en létezik stacionárius eloszlás, a Markov lánc eloszlása ezen stacionárius eloszlások keveréke. Az osztályokat még részosztályokra is szét lehet bontani (nd + r alakú id pontokban ránézve), így irreducibilis, pozitív rekurrens, aperiodikus láncokat kapunk, egyértelm stacionárius eloszlással, és tetsz leges kezdeti eloszlás esetén X n eloszlása a stacionárius eloszláshoz tart. (Tetsz leges Markov láncot tetsz leges eloszlásból elindítva vizsgálhatjuk, hogy X n eloszlása hová tart.) 2.24. Példa. A most belátottak segítségével bizonyítható, hogy a korábbi példában szerepl egydimenziós bolyongás a 0-ban visszaver fallal pozitív rekurrens. Megoldhatók ugyanis a stacionárius eloszlás egyenletei, és kapjuk, hogy π 0 = 1 2p 2 2p, π i = π 0 p i 1 q i, i 1. 2.25. Példa. Egy érmét, melyen a fej valószín sége p, dobálva, jelölje X n, hogy az els n dobásból alkotott sorozat végén hány fej van. X n irreducibilis, aperiodikus Markov láncot alkot, P (X 0 = 0) = 1, és p k,k+1 = p, p k,0 = 1 p = q. Keressünk stacionárius eloszlást!

3. POZITíV REKURRENS MARKOV LÁNCOK 19 (i) Oldjuk meg a π = πp egyenletrendszert: π 0 = q π k = q, π i = pπ i 1 = p i q, k=0 azaz a stacionárius kezdeti eloszlás Geo(q) 1. (ii) Tekintsük a p (n) ik átmenetvalószín ségek határértékét. Ha n > k, akkor p (n) ik = pk q. Ennek segítségével könnyen kiszámítható, hogy átlagosan hány dobás kell ahhoz, hogy egy k hosszú fejsorozat megjelenjen. Legyen ez a mennyiség µ k. Erre m k = m k0 + m 0k = 1/q + µ k, és mivel m k = 1/π k, kapjuk, hogy µ k = 1 pk qp k. 3. Pozitív rekurrens Markov láncok 3.1. Deníció. Nevezzük az X n Markov láncot ergodikusnak, ha irreducibilis és pozitív rekurrens. (Figyelem: az irodalomban nem feltétlenül ezt nevezik ergodikusnak!!) Láttuk, hogy az ilyen Markov láncok hosszú távú viselkedését különösen egyszer leírni (ha még aperiodikusak is, akkor ez még inkább igaz). 3.1. Nagy számok törvénye 3.2. Tétel. Legyen X n ergodikus Markov lánc π i stacionárius eloszlással, és f : I R tetsz leges függvény. Ha I(f) = i I f(i)π i sor abszolút konvergens, akkor 1 n n f(x k ) I(f) 1 valószín séggel. k=0 Megjegyzés: A Z n = f(x n ) sorozat nem feltétlenül Markov lánc. Bizonyítás. Legyen i I tetsz leges rögzített állapot, deniáljuk azokat a megállási id ket, melyek az i-be tett látogatások id pontjait adják meg: 0 = τ 0 < τ 1 <...,

3. POZITíV REKURRENS MARKOV LÁNCOK 20 τ n az n. elérési id pont. Ezek 1 valószín séggel véges megállási id k. Minden n-re deniáljuk azt az l(n) valószín ségi változót, amely megmondja, hogy az n. lépésig hányszor járt a lánc i-ben: τ l(n) n < τ l(n)+1. A Z k -k összegére a következ felbontási formulát használjuk: n Z k = k=0 τ 1 1 k=0 Z k + l(n) 1 h=1 τ h+1 1 s=τ h Z s + n k=τ l(n) Z k = Y + l(n) 1 Pozitív és negatív részre való felbontással feltehet, hogy f 0. Ekkor l(n) 1 1 Y h 1 l(n) l(n) h=1 n k=0 h=1 Z k 1 l(n) Y + l(n) h=1 Y h Y h + Y (n). Korábban már meggondoltuk, hogy az er s Markov-tulajdonság miatt az Y h változók függetlenek, és azonos eloszlásúak. Mivel 1 valószín séggel végtelen sokszor jár a lánc i-ben, l(n) 1 valószín séggel végtelenhez tart. Ezért a nagy számok er s törvénye szerint 1 l(n) l(n) Y h E(Y h ) 1 valószín séggel. h=1 Másrészt Y /l(n) 0 (1 valószín séggel), tehát 1 l(n) n k=0 Z k is tart E(Y h )-hoz 1 valószín séggel. Számítsuk ki ezt a várható értéket! Az egyszer ség kedvéért tegyük fel, hogy a lánc i-b l indul. Ekkor ( ) E(Y h ) = E Z k χ{k < τ 1 } = k=0. f(j)p (X k = j, k < τ 1 ) = f(j)u j, j I j I k=0 ahol u j = k=0 P (X k = j, k < τ 1 ), azt fejezi ki, hogy két i-ben tett látogatás között a lánc átlagosan hányszor jár j-ben (a kezd pontot beleszámítva, a végpontot nem). Ezért j I u j = m i <. Megmutatjuk, hogy u j kielégíti a stacionárius eloszlás

3. POZITíV REKURRENS MARKOV LÁNCOK 21 egyenletrendszerét. u j p jl = P (X k = j, k < τ 1 )P (X k+1 = l X k = j) = j j k=0 E [P (X k+1 = l X k )χ{k < τ 1 }] = E [P (X k+1 = l F k )χ{k < τ 1 }], k=0 k=0 ahol az utolsó lépésben a Markov tulajdonságot használtuk. Felhasználva, hogy χ{k < < τ 1 } F k -mérhet, folytathatjuk: u j p jl = j E [E(χ{X k+1 = l, k < τ 1 } F k )] = k=0 P (X k+1 = l, k < τ 1 ) = k=0 P (X k = l, k τ 1 ). k=1 Ez pedig tényleg u l, hiszen a kezd pontot kihagytuk, a végpontot viszont bevettük, de mivel mindkett ben az i állapotban van a lánc, az összeg nem változott. Ezért u j = cπ j. Ha most i = j, akkor 1 = u i = cπ i, azaz u j = π j /π i. Tehát E(Y h ) = j I f(j)u j = I(f) π i. Ha most f(j) = 1 minden j-re, akkor azt kapjuk, hogy n + 1 l(n) = 1 l(n) n Z k 1, π i k=0 azaz 1 n + 1 n Z k = l(n) 1 n + 1 l(n) k=0 n Z k I(f) 1 valószín séggel. k=0 3.3. Példa. Legyen i = (i 1,..., i k ) egy k hosszú állapotsorozat, ahol p i1 i 2 p i2 i 3 p ik 1 i k > > 0. Hová tart az i sorozat relatív gyakorisága n lépésb l? Válasz: π i1 p i1 i 2 p i2 i 3 p ik 1 i k -hez. (Készítünk egy új ML-ot, melynek állapotai a k hosszú sorozatok, ez is ergodikus lesz, tehát alkalmazható rá a tétel).

3. POZITíV REKURRENS MARKOV LÁNCOK 22 3.2. Centrális határeloszlás-tétel Ugyanabban a felállásban, mint az el bb, vizsgáljuk, hogy a részletösszegeket hogyan kell normálni, hogy normális határeloszlást kapjunk. Két lemmára lesz szükségünk. 3.4. Lemma. P (n τ l(n) t) c t, ahol lim t c t = 0. Bizonyítás. Legyen n t. Jelölje az i-be való visszatérés lépésszámát τ. n P (n τ l(n) t) = P (n τ l(n) = s) = s=t n 1 P (X n s = i)p (τ > s) + P (τ 1 > n) s=t P (τ > s) + P (τ 1 > t) = c t, s=t és ez valóban 0-hoz tart, mivel mind τ várható értéke véges, τ 1 pedig 1 valószín séggel véges. 3.5. Lemma. A felbontási formula jelölésével, Y (n) n 0 sztochasztikusan. Bizonyítás. Legyen ɛ, δ adott. Minden t-re P ( Y (n) nɛ) P (n τ l(n) > t) + P max 0<s t τ l(n) +s Z j nɛ. j=τ l(n) Ha t elég nagy, akkor az els tag < δ/2 minden n-re, ezek után ha n elég nagy, akkor a második tag is < δ/2, mivel a zárójelben egy 1 valószín séggel véges, n-t l független valószín ségi változó áll. Bizonyítás nélkül idézzük fel a Kolmogorov egyenl tlenséget! 3.6. Lemma. Legyenek V i független, nulla várható érték, véges szórású valószín ségi változók. Ekkor minden c > 0-ra k P ( max V i c) 1 k n i=1 n i=1 D2 (V i ) c 2.

3. POZITíV REKURRENS MARKOV LÁNCOK 23 3.7. Tétel. Teljesüljenek az el z tétel feltételei, és legyen V h = Y h I(f)(τ h+1 τ h ). Ha 0 < E(V 2 h ) <, akkor n k=0 f(x k) ni(f) nπi E(V 2 h ) N(0,1). Bizonyítás. A V h valószín ségi változók függetlenek, azonos eloszásúak, 0 várható érték ek. A felbontási formula szerint n Z k ni(f) = k=0 l(n) 1 h=1 V h + Y + Y (n) I(f)(n τ l(n) + τ 1 ). Azt már tudjuk, hogy Y / n sztochasztikusan 0-hoz tart. A 3.4 lemma szerint ugyanez igaz az (n τ l(n) )/ n tagra, a 3.5 lemma miatt pedig Y (n)/ n is sztochasztikusan 0- hoz tart. A Cramér-Szlujkij lemma szerint ezért elég csak a V h -k összegével foglalkozni, azaz megmutatni, hogy l(n) 1 h=1 V h nπi E(V 2 h ) N(0,1). Szeretnénk a CHT-re hivatkozni, azonban itt az összegzés egy véletlen indexig történik, ett l kellene megszabadulni. Legyen n = [nπ i ]. Azt tudjuk, hogy n h=1 V h n E(V 2 h ) N(0,1), itt kellene az összegzésben n -ot l(n) 1-re cserélni. Tudjuk, hogy ezek nagy valószín séggel közel vannak egymáshoz. Legyen ɛ, δ adott, n = nπ i (1 δ), n = nπ i (1 + δ), és A m = {n < l(n) 1 < n, n m}. Ezek b vül események, és { l(n) n } π i m A m. Mivel a bal oldali esemény valószín sége 1, ezért van olyan m, melyre P (A n ) > 1 ɛ minden n m-re. Ha pedig l(n) 1 és n már közel vannak egymáshoz, akkor

3. POZITíV REKURRENS MARKOV LÁNCOK 24 használhatjuk a Kolmogorov-egyenl tlenséget. l(n) 1 n P V h h=1 h=1 V h c n E(Vh 2) ɛ + 2δnπ ie(vh 2) c 2 n E(Vh 2) < 2ɛ, ha δ elég kicsi, és n elég nagy. Tehát l(n) 1-et n -ra cserélve, a különbség sztochasztikusan 0-hoz tart, így a Cramér-Szluckij lemmára való ismételt hivatkozással készen vagyunk. Vajon hogyan lehet az E(Vh 2 ) mennyiséget kiszámítani? Már a NSzT-e bizonyításánál észrevehettük, hogy Y h várható értéke kiszámolásakor olyan valószín ségek bukkantak fel, hogy n lépés alatt i-b l j-be megyünk, de közben nem járunk i-ben. 3.3. Tabu állapotok Legyen X n ML, és H I tetsz leges. 3.8. Deníció. Átmenetvalószín ségek tabu állapotokkal: Hp (n) ij = P (X n = j, X m H 0 < m < n X 0 = i). Jelölje H f (n) ij = j,h p (n) ij. Legyen Hp (0) ij = I(i = j, i H). Legyen még H p ij = n=1 Hp (n) ij, mely azt adja meg, hogy i-b l indulva, várhatóan hányszor jár a lánc j-ben, míg H-ba beér (a beérést is beszámítva). 3.9. Lemma. Alapformulák: legyen n 1, k H. Ekkor Hp (n) ij = k,h p (n) ij + n 1 s=1 k,hp (s) ik Hp (n s) kj (1A) Hp (n) ij = k,h p (n) ij + n 1 s=1 Hp (s) ik k,hp (n s) kj (2A) Hp ij = k,h p ij + k,hp ik Hp kj (1B) Hp ij = k,h p ij + Hp ik k,hp kj (2B) Bizonyítás. Az 1-es formulák a k els, a 2-esek a k utolsó elérése szerinti felbontásból adódnak, a B formulák pedig az A-k összegzésével keletkeznek. 3.10. Deníció. Legyen m ij = (n) n=1 nf ij Hm ij = n=1 n Hf (n) ij. az átlagos elérési id, általában pedig

3. POZITíV REKURRENS MARKOV LÁNCOK 25 Megjegyzések: H f ij : annak valószín sége, hogy i-b l indulva, a lánc el bb ér j-be, mint H-ba. H m ij m ij. Ha C pozitív osztály, akkor m ij < minden i, j C. 3.11. Lemma. Legyen i, j, k C, C pozitív osztály, és j k. Ekkor kf ij = m jk + m kj m ik + m kj m ij, továbbá kp ij = m ik + m kj m ij m jj. Bizonyítás. El ször is, k f ij + j f ik = 1. Másrészt az (1A) formula szerint f (n) ij = j p (n) ij n 1 = k,j p (n) ij + s=1 k,jp (s) ik jp (n s) kj n 1 = k f (n) ij + s=1 jf (s) ik f (n s) kj. Emiatt m ij = k m ij + n 1 n n=1 = k m ij + s=1 s=1 jf (s) ik jf (s) ik f (n s) kj = n=s+1 ((n s)f (n s) Megcserélve j és k szerepét, kapjuk hogy kj + sf (n s) kj ) = k m ij + m kj jf ik + j m ik. m ik +m kj m ij = m kj +m jk kf ij m kj jf ik = m jk kf ij+m kj (1 j f ik) = k f ij(m jk +m kj ), ami az els bizonyítandó formula. Ebb l speciális esetként kapjuk, hogy Másrészt, az (1B) formula szerint jf jk = m jj m jk + m kj. A (2B) formulából pedig kp ij = j,k p ij + j,k p ij kp jj = k f ij(1 + k p jj). 1 = f jk = k p jk = j,k p jk + k p jj j,k p jk = j f jk(1 + k p jj).

3. POZITíV REKURRENS MARKOV LÁNCOK 26 A fenti kett t egymással elosztva, kp ij = k f ij jf jk = (m ik + m kj m ij )/(m jk + m kj ) m jj /(m jk + m kj ) = m ik + m kj m ij m jj. Megjegyzés: k = i helyettesítéssel ismét megkapjuk, (amit már eddig is tudtunk), hogy i p ij = m ii /m jj. 3.4. A CHT-ben szerepl szórásnégyzet kiszámítása Visszatérve az eredeti feladathoz, a V h = Y h I(f)(τ h+1 τ h ) = τ h+1 1 n=τ h (f(x n ) I(f)) mennyiség négyzetének várható értékét keressük (emlékezzünk arra, hogy a τ h megállási id k a rögzített i állapotba tett látogatások id pontjai). Ehhez el ször a τ h+1 1 n=τ h g(x n ) mennyiség négyzetének várható értékét számoljuk ki, majd ezt a g = f I(f) függvényre alkalmazzuk. Az egyszer ség kedvéért tegyük most is fel, hogy X 0 = i. Ekkor E E [ (τ1 1 n=0 g(x n) ) 2 ] = [ ( n=0 g(x n)χ{n < τ 1 }) 2] [ = E ( n=1 g(x n)χ{n τ 1 }) 2] = E [ n=1 g2 (X n )χ{n τ 1 } + 2 n<m g(x n)g(x m )χ{m τ 1 } ] = (3) j I g2 (j) n=1 ip (n) ij + 2 j I,j i l I g(j)g(l) n<m ip (n) ij ip (m n) jl = j I g2 (j) π j π i + 2 j I,j i l I g(j)g(l) π j π i π l (m ji + m il m jl ),

3. POZITíV REKURRENS MARKOV LÁNCOK 27 a 3.11. Lemmát használva. Tovább számolva, π i E ( τ1 1 ) 2 g(x n ) = n=0 I(g 2 ) + 2 g(j)g(l)π j π l (m ji + m il m jl ) 2g(i) g(l)π l = j I l I l I I(g 2 ) 2g(i)I(g) + 2I(g) j I Ha most g = f I(f), akkor π i E(V 2 h ) = I { (f I(f)) 2} 2 j I g(j)π j m ji + 2I(g) l I 2 j I g(l)π l m il g(j)g(l)π j π l m jl. l I {f(j) I(f)}{f(l) I(f)}π j π l m jl. l I A most kiszámolt képlet segítségével az i-be való visszatérési id második momentumát is megkaphatjuk. Ehhez válasszuk a g = 1 függvényt, a (3) egyenletb l és a 3.11. Lemmából: E(τ 2 ) = 1 π i + 2 m ii + 2m ii j I,j i l I j I,j i π j π i ip jl = π j ip jl = m ii + 2m ii l I j I,j i π j m ji = m ii [ 2 j I m ji m jj 1 3.12. Példa. Legyen egy Markov lánc állapottere N, és a folyamat olyan, hogy 0-ból átugrunk valamelyik állapotba, geometriai eloszlású ideig ott maradunk, majd visszaugrunk 0-ba. Tehát: p 0j = α j, p j0 = β j, p jj = 1 β j, j 1, ahol α j > 0, j=1 α j = 1, 0 < β j < 1. Ez irreducibilis, aperiodikus. A lánc akkor pozitív rekurrens, ha van π j stacionárius eloszlása. Az egyenletek: ] π j = (1 β j )π j + α j π 0, j 1, π 0 = β j π j, j=1

4. REGULÁRIS MÉRTÉK 28 amit a π j = α j β j π 0 számok elégítenek ki. Ez akkor lehet eloszlás, ha α j j=1 β j ekkor 1 π 0 = 1 + α k, π j = α j π 0. k=1 β k β j <, és Számoljuk ki az átlagos elérési id ket! Egyrészt m jj = 1/π j, (j N), másrészt nyilván m j0 = 1/β j, (j 1) a geometriai eloszlás miatt. Felhasználva, hogy m 00 = 0 f 0j(m 0j + + m j0 ), kapjuk, hogy m 0j = m 00 0f 0j Ha most j k, j, k 0, akkor m j0 = 1 + α k k=1 β k α j m jk = m j0 + m 0k = 1 β j + 1 α k ( 1 β j = 1 α j ( 1 + l k 1 + k j Most már megkaphatjuk a 0-ba való visszatérési id második momentumát: E(τ 2 ) = j=1 ( α j 1 + 1 + 2 ). β j βj 2 Mj.: ezt, és m 0j -t is ki lehet egyszer bben is számolni. α l β l ). α k β k ). 4. Reguláris mérték A (nemnegatív) reguláris mértékek a stacionárius eloszlások általánosításai. Eleget tesznek a stacionárius eloszlásra vonatkozó egyenletrendszernek, de nem követeljük meg, hogy végesek legyenek. Legyen C tetsz leges osztály, és jelölje P C az átmenetmátrix megszorításat a C-beli állapotokra. Legyen u = (u i ) i C sorvektor, v = (v i ) i C oszlopvektor. Azt mondjuk, hogy u reguláris (szuperreguláris, szubreguláris) mérték C-n, ha u = up C (u up C, u up C ). Hasonlóan, v reguláris (szuperreguláris, szubreguláris) függvény C-n, ha v = P C v (v P C v, v P C v).

4. REGULÁRIS MÉRTÉK 29 4.1. Reguláris függvény 4.1. Lemma. Legyen C tetsz leges osztály. Ha létezik v = (v i ) i C 0, és j C, melyre v i k C,k j p ik v k + p ij, i C, (4) akkor v i f ij minden i C-re, és a v i = f ij egyenl séggel teljesíti (4)-et. Vegyük észre, hogy ha a v = (v i ) nemnegatív szuperreguláris függvény, és v j > 0, akkor a w i = v i /v j számok (a j állapottal) kielégítik a (4) rendszert. Bizonyítás. (4) szerint v i p ij = f (1) ij. Indukcióval megmutatjuk, hogy v i n m=1 f (m) ij minden n-re. Legyen most m 1, és i C. Az f (m+1) ij = k C,k j p ik f (m) kj egyenl séget felhasználva, ha az állítást n-re már tudjuk, akkor v i f (1) ij + Ezért v i f ij. Másrészt, p ij + k C,k j k C,k j p ik v k f (1) ij + p ik f kj = p ij + f (1) ij + k C,k j n p ik m=1 k C,k j m=1 k C,k j n m=1 f (m) kj = p ik f (m) kj = f (1) ij + p ik f (m) kj = f (1) ij + m=1 n m=1 n+1 f (m+1) ij = m=1 f (m) ij. f (m+1) ij = f ij, i C. 4.2. Tétel. Ha C rekurrens osztály, akkor minden nemnegatív szuperreguláris függvény konstans. Ha C tranziens, és C 2, akkor van rajta 0 és 1 közötti nem-konstans szuperreguláris függvény. Bizonyítás. Legyen v = (v i ) i C nemnegatív szuperreguláris függvény. Ekkor v i p ik v k p ik p kj v j = k C k C j C j C p (2) ij v j... p (n) ik v k, n. k C

4. REGULÁRIS MÉRTÉK 30 Ebb l látszik, hogy ha valamelyik v k pozitív, akkor az összes v i is az. Legyen v > 0 szuperreguláris. Ekkor a megjegyzés szerint tetsz leges j C-re w i = v i /v j a lemma szerinti függvény, tehát v i /v j fij. Ha C rekurrens, akkor fij = 1, ezért v i konstans. Ha most C tranziens, akkor legyen j C tetsz leges, v j = 1, és v i = fij, ha i j. A lemma szerint ekkor v i = fij = p ik fkj + p ij = p ik v k, ha i j, k C,k j k C és v j = 1 > fjj = p jk fkj + p jj = p jk v k, ha i = j. k C,k j k C Ez a függvény nem konstans, mivel ha minden i j-re fij = 1 lenne, akkor fjj = 1 lenne. 4.2. Reguláris mérték Térjünk rá a reguláris mértékek vizsgálatára! Vezessük be az e hi = h p hi jelölést, ez tehát azt fejezi ki, hogy két h-ban tett látogatás között a lánc átlagosan hányszor jár i-ben (a végpontot beleszámítva, a kezd pontot nem). A reguláris mértékekr l szóló tétel el tt bizonyítsunk be egy hasznos lemmát. 4.3. Lemma. Legyen C rekurrens osztály, i, j, k, l, h C tetsz leges állapotok. Ekkor Megjegyzések: lim N N n=0 p(n) ij N n=0 p(n) kl = e hj e hl. Feladat: mutassuk meg, hogy tetsz leges osztályban 0 < e hi <. Általánosan, ha j H (j-b l el lehet jutni H-ba), akkor H p ij <. Pozitív rekurrens osztályra az állítás már korábban szerepelt. Ekkor ugyanis e hi = = m h /m i és (1/N) N 0 p(n) ij 1/m j. Mivel h tetsz leges lehet, és e ll = 1, kapjuk, hogy azaz e hj = e hl e lj. e hj e hl = e lj e ll = e lj,

4. REGULÁRIS MÉRTÉK 31 Bizonyítás. Azt már korábban láttuk, hogy tetsz leges i, j állapotpárra Ezért, mivel az osztály rekurrens, lim N N n=1 p(n) ij N n=0 p(n) jj = f ij. (5) lim N N n=0 p(n) ij N n=0 p(n) kl = lim N N n=0 p(n) jj N n=0 p(n) ll err l kell belátni, hogy e lj -vel egyenl (ezt a N n=0 p(n) hh taggal b vítve kapjuk az általános eredményt). A kulcslépés egy olyan hányados határértékének meghatározása, ahol a számlálóban és a nevez ben az els helyen álló állapotok egyeznek meg. A (2A) alapformulából amib l összegzéssel N n=1 p (n) lj p (n) lj = n 1 = l p (n) lj + N n=1 s=1 N 1 lp (n) lj + p (s) ll lp (n s) lj, s=1 N s p (s) ll t=1, lp (t) lj. Alkalmazzuk a Nörlund lemmát a 0 = 0, a n = p (n) ll, b n = n t=1 lp (t) lj szereposztással! lim N N n=1 p(n) lj N n=1 p(n) ll = l p lj p ll + l p lj. Mivel az osztály rekurrens, lim N N n=1 p(n) lj N n=1 p(n) ll Ebb l (5) által már következik az állítás. N n=1 = lim p(n) lj N N n=0 p(n) ll = l p lj = e lj. 4.4. Tétel. Legyen C rekurrens osztály, ekkor a nemnegatív reguláris mértékek általános alakja: u i = ce hi, ahol h C tetsz leges. Másrészt, az u i = e hi mérték tetsz leges osztályon szuperreguláris, és akkor és csak akkor reguláris, ha az osztály rekurrens.

4. REGULÁRIS MÉRTÉK 32 Megjegyzések: Rekurrens osztályban i C e hi = m hh, attól függ en véges vagy végtelen, hogy az osztály pozitív vagy nulla rekurrens. Pozitív rekurrens osztályban tehát nem kapunk új megoldást (itt e hi = π i /π h ). A multiplikatív tulajdonságból következik, hogy a különböz h választásokkal kapott mértékek csak konstans szorzóban térnek el egymástól. Bizonyítás. El ször belátjuk, hogy u i = ce hi reguláris mérték, azaz megoldása az egyenletrendszernek. Felhasználva, hogy tetsz leges C osztályban kapjuk, hogy e hk p ki = k C k C n=1 hp (n) hk p ki = hp (n+1) hi = n=1 k C k C,k h hp (n) hk p ki = n=1 hp (n) hk p ki, ( hp (n+1) hi + h p (n) hh p hi ) = e hi h p (1) hi + h p hhp hi = e hi, mivel h p (1) hi = p hi, és h p hh = f hh = 1. Rögtön látszik, hogy ha az osztály tranziens, akkor fhh < 1 miatt k C e hkp ki < e hi, azaz a mérték szuperreguláris, de nem reguláris. Másrészt, legyen most u i 0 megoldása az egyenletrendszernek. Az egyenletrendszer iterációjával u i = k C u kp (n) ki minden n-re, azaz a mérték vagy konstans nulla, vagy szigorúan pozitív. Ez utóbbi esetben legyen q (n) ij = u j p (n) ji, i, j C. u i Megmutatjuk, hogy ezek egy C-n adott sztochasztikus mátrix n-dik hatványának elemei. Ehhez azt kell látni, hogy nemnegatívak (triviális), a sorok összege 1 (a regularitás miatt), és teljesül a Chapman-Kolmogorov egyenl ség: k C q ik q (n) kj = k C u k u j p ki p (n) jk u i u = u j p (n+1) ji = q (n+1) ij. k u i A q ij átmenetvalószín ségekkel deniált Markov-lánc irreducibilis C-n, és rekurrens

4. REGULÁRIS MÉRTÉK 33 (mert q (n) ii azaz u i = u h e hi. = p (n) ii ). Ezért a lemma alapján N n=0 1 = lim q(n) ij N N n=0 q(n) jj = u j u i lim N N n=0 p(n) ji N n=0 p(n) jj = u j u i e ji, Rekurrens osztályban tehát konstans szorzó erejéig egyértelm en létezik nemnegatív reguláris mérték, pozitív rekurrens esetben összege véges, nulla rekurrens esetben összege végtelen. Tranziens (lényeges) osztályban véges összeg reguláris mérték nincs, végtelen összeg vagy van, vagy nincs. 4.5. Példa. A P mátrix duplán sztochasztikus, ha sztochasztikus, és az oszlopok összege is 1. (Tegyük fel, hogy a hozzá tartozó Markov lánc irreducibilis.) Ekkor az u i = c mérték reguláris. Az egy dimenziós egyszer bolyongás átmenetmátrixa ilyen. Ha p = 1/2, akkor a lánc rekurrens, tehát ez az egyetlen reguláris mérték. Ha viszont p 1/2, akkor az u i = (p/q) i ett l különböz reguláris mérték. 4.6. Példa. Kártyakeverés: tegyük fel, hogy egy pakli kártyában N lap van. Egy keverést a lapok egy átrendezése, azaz egy S N -beli permutáció határoz meg. Ha egy paklit elkezdünk keverni, az egyes keverések utáni állapotok (kártya-sorrendek) egy Markov láncot alkotnak. Tegyük fel, hogy a kever a π-szerinti átrendezést (keverést) r π valószín séggel alkalmazza. Ekkor a Markov lánc átmenetvalószín ségei: p σρ = r ρ σ 1. Ha tehát a lánc irreducibilis, akkor stacionárius eloszlása egyenletes, aperiodikus esetben sok keverés után a pakli jól meg lesz keverve. 4.3. Megfordított láncok 4.7. Deníció. Legyen P tetsz leges átmenetmátrix, és u k > 0 (k I) reguláris u mérték P -re a teljes állapottéren. Ekkor a q ij = p j ji u i elem Q mátrix is átmenetmátrix ugyanezen az állapottéren. Q a P u szerinti megfordítása. 4.8. Állítás. A magasabbrend átmenetvalószín ségekre igaz, hogy q (n) ij = p (n) u j ji u i. A két mátrix által meghatározott Markov láncok osztályai megegyeznek, továbbá a két láncban egyszerre nulla rekurrensek, pozitív rekurrensek, vagy tranziensek. Az u k mérték a Q által meghatározott Markov láncra is reguláris.

4. REGULÁRIS MÉRTÉK 34 Az állítás bizonyítása az el z szakaszban szerepelt (kivéve az utolsó állítást, ami triviális). Vegyük még észre, hogy ha most Q-t megfordítjuk u szerint, akkor visszakapjuk P -t. Tegyük fel, hogy u k > 0 stacionárius eloszlás a P átmenetmátrixra. (Ez akkor lehetséges, ha a Markov láncnak minden osztálya pozitív rekurrens.) Tegyük még fel, hogy P (X 0 = k) = u k. Ekkor P (X m = j X m+n = i) = P (X m = j, X m+n = i) P (X m+n = i) = u jp (n) ji u i = q (n) ij, azaz minden N-re az Y n = X N n (n = 0,..., N) sorozat (véges) stacionárius Markov láncot alkot, u k kezdeti eloszlással, q ij átmenetvalószín ségekkel. (Mivel a Markov tulajdonság azzal ekvivalens, hogy a jelenre nézve a múlt és a jöv feltételesen független, az Y n sorozat is Markov tulajdonságú.) Azt mondjuk, hogy az X n Markov lánc megfordítható (u-ra nézve), ha megfordítása önmaga. Tegyük most fel ismét, hogy u i > 0 stacionárius eloszlás, és a Markov lánc megfordítható. Sorsoljuk ki az X 0 értékét az u i eloszlás szerint. Ezután egymástól függetlenül indítsunk el egy-egy Markov láncot el re és hátra P szerint. Ekkor egy kétirányban végtelen stacionárius Markov láncot kapunk. Ehhez azt kell látni, hogy a Markov tulajdonság a teljes folyamatra érvényben marad (feladat: lássuk be!), valamint, hogy az átmenetvalószín ségeket a p (n) ij értékek adják. Ez utóbbi külön-külön a két félegyenesen igaz, és P (X n = j X m = i) = P (X m = i, X n = j) P (X m = i) = k u kp (m) ki p (n) kj u i = k p (m) ik p(n) kj = p (n+m) ij. 4.9. Példa. Egyszer bolyongás egy dimenzióban (jobbra p, balra q valószín séggel lép). Tegyük fel, hogy p 1/2. Láttuk, hogy két reguláris mérték van. Ha az u k = 1 mérték szerint fordítjuk meg a láncot, akkor q i,i+1 = p i+1,i = q, és q i,i 1 = p i 1,i = p, azaz ezzel a mértékkel a lánc nem megfordítható. Az u k = (p/q) k mértékkel megfordítva a láncot, q i,i+1 = u i+1 u i p i+1,i = p q q = p, és hasonlóan q i+1,i = q, azaz a lánc megfordítható.