Diszkrét és folytonos idej Markov-láncok. Csiszár Vill

Diszkrét és folytonos idej Markov-láncok Csiszár Vill

Tartalomjegyzék 1. Bevezetés 1 2. Diszkrét idej Markov-láncok 3 2.1. Markov tulajdonság............................. 3 2.2. Az állapotok osztályozása......................... 6 2.3. Visszatér ség................................ 8 2.4. Az átmenetvalószín ségek konvergenciája................. 13 2.5. Stacionárius eloszlás............................ 17 2.6. Pozitív rekurrens Markov-láncok...................... 21 2.6.1. Tabu állapotok........................... 26 2.7. Reguláris mérték.............................. 30 2.8. Véges állapotter Markov-láncok..................... 34 2.8.1. Perron-Frobenius tételkör..................... 35 2.8.2. MCMC módszerek......................... 39 2.8.3. A konvergenciasebesség becslése megállási id kkel........ 41 3. Folytonos idej Markov-láncok 44 3.1. Innitezimális generátor.......................... 44 3.2. Kolmogorov-féle dierenciálegyenletek................... 48 3.3. Születési folyamatok............................ 49 3.4. Minimális megoldás, minimális Markov-lánc............... 53 3.5. Az állapotok osztályozása, visszatér ség.................. 59 3.6. Stacionárius eloszlás, az átmenetvalószín ségek konvergenciája..... 61 3.7. Születési-halálozási folyamatok....................... 63 i

1. Bevezetés Tekintsünk egy megszámlálható sok csúcsú, irányított gráfot (hurokél is megengedett) úgy, hogy minden élre egy nemnegatív szám van írva, és minden csúcs kimen éleire írt számok összege 1. Ezen a gráfon bolyongunk az élekre írt valószín ségek szerint, azaz ha egy adott csúcsban vagyunk, akkor a csúcsból kimen élek közül kiválasztunk egyet a rájuk írt valószín ségek szerint, és azon él mentén lépünk tovább. Ha egységnyi id közönként lépünk, akkor diszkrét idej (vagy paraméter ) Markovláncot kapunk. Ha pedig egy adott csúcsból exponenciális eloszlású id elteltével lépünk tovább (ahol az eloszlás paramétere a csúcsra jellemz ), akkor folytonos idej (paraméter ) Markov-láncunk lesz. Mindkét esetben igaz, hogy a lánc jöv beli fejl dése csak a pillanatnyi állapottól függ, a múlttól nem: ez az úgynevezett Markov tulajdonság. Ilyen jelleg folyamattal számos helyen találkozhatunk, például tömegkiszolgálási rendszerekben, populációk fejl désének vizsgálatánál, diúziós modelleknél. A folyamat általánosítása, ha a jöv beli fejl dés csak a mostani és az el z néhány állapottól függ. Ez az általánosítás még szélesebb kör alkalmazásokat tesz lehet vé, pl. az írott nyelvek is tanulmányozhatók így. A folyamattal kapcsolatban a következ kérdések merülhetnek fel: Honnan hová lehet eljutni? Hány lépésben? Mekkora eséllyel érünk el egy adott állapotot? Mekkora eséllyel érünk vissza a kiindulási helyre? Mekkora az esélye, hogy végtelen sokszor visszatérünk? Átlagosan mennyi id alatt érünk vissza a kiindulási helyre, vagy általánosabban egy másik csúcsba? Vannak-e elnyel csúcsok? Ha igen, mekkora eséllyel nyel dünk el bennük? Van-e stacionárius kezdeti eloszlás? Hány? Tart-e a bolyongás egy stacionárius eloszláshoz? Milyen gyorsan? Érvényes-e valamilyen NSzT? Érvényes-e valamilyen CHT? Ebben a jegyzetben el ször a diszkrét, majd a folytonos idej Markov-láncokkal foglalkozva próbálunk meg válaszolni a fenti kérdésekre. 1

A tárgyhoz kapcsolódó további ajánlott irodalom: 1. W. Feller: Bevezetés a valószín ségszámításba és alkalmazásaiba (I. kötet), 15., 16., 17. fejezet. 2. S. Karlin, H. M. Taylor: Sztochasztikus folyamatok. 2., 3., 4. fejezet. 3. Barczy Mátyás, Pap Gyula: Sztochasztikus folyamatok példatár és elméleti kiegészítések II. rész (diszkrét idej Markov-láncok). 4. Pap Gyula: Sztochasztikus folyamatok. 5. K. L. Chung: Markov Processes with Stationary Transition Probabilities. 6. J. R. Norris: Markov Chains. 2

2. Diszkrét idej Markov-láncok 2.1. Markov tulajdonság El ször fogalmazzuk meg a Markov tulajdonságot olyan formában, mely diszkrét és folytonos idej folyamatokra is érvényes. Legyen (Ω, F, P) valószín ségi mez, (I, B) mérhet tér, és T vagy a természetes számok halmaza, vagy a nemnegatív valós számok halmaza (ennek jelentése legtöbbször id, így is fogunk rá hivatkozni). Sztochasztikus folyamatnak nevezzük az X t : Ω I (t T ) valószín ségi változók összességét. Deniáljuk még minden t T id pontra az F t = σ(x s : s t) σ-algebrákat. 2.1. Deníció. A sztochasztikus folyamat Markov tulajdonságú, ha minden B B halmazra és minden t > s esetén P(X t B F s ) = P(X t B X s ). A Markov tulajdonságú folyamatokat röviden Markov folyamatoknak hívjuk. Ha az I állapottér megszámlálható, akkor Markov-láncról beszélünk. Ekkor persze B az I összes részhalmazából áll, és a Markov tulajdonság ekvivalens megfogalmazása a következ : minden i I állapotra és minden t > s esetén P(X t = i F s ) = P(X t = i X s ). Ebben a jegyzetben csak Markov-láncokról lesz szó (folytonos állapotter Markov folyamat például a Wiener folyamat). A Markov-lánc deníciójához azt is hozzá fogjuk érteni, hogy az átmenetvalószín - ségek stacionáriusak (vagy homogének), azaz minden i, j I esetén és minden t > s id pontpárra P(X t = j X s = i) = p ij (t s). Vagyis az egyik állapotból a másik állapotba való átmenet valószín sége csak attól függ, hogy a két id pont között mennyi id telt el. A Markov-láncok számos tulajdonsága vizsgálható egységesen diszkrét, illetve folytonos id ben, de mi most térjünk át a diszkrét id esetére. Ha elérünk a folytonos idej láncokhoz, majd megvizsgáljuk, mely eredmények maradnak érvényben (és bizonyíthatók lényegében ugyanúgy). 3

Els ként vegyük észre, hogy diszkrét id ben a Markov tulajdonság egyszer bben is megfogalmazható, nincs szükség a feltételes várható érték absztrakt fogalmára. Ebben az esetben ugyanis az F n = σ(x 0, X 1,..., X n ) σ-algebra atomos, vagyis az Ω eseménytér felbomlik megszámlálható sok atomra, melyek generálják F n -et. Esetünkben egy általános atom: C = {X 0 = i 0, X 1 = i 1,..., X n = i n }. Ezért a denícióban szerepl két feltételes várható érték egyenl sége azzal ekvivalens, hogy m > n esetén a P(X m = i X 0 = i 0, X 1 = i 1..., X n = i n ) = P(X m = i X n = i n ) egyenl ség teljesül a közönséges feltételes valószín ségekre, minden i, i 0,..., i n I választásra. S t, könnyen belátható, hogy a fentit elegend az m = n + 1 id pontra megkövetelni. Legyen most P(X n+1 = j X n = i) = p ij az egylépéses átmenetvalószín ség az i állapotból a j állapotba. A P = (p ij ) i,j I mátrixot átmenetmátrixnak nevezzük, elemei az átmenetvalószín ségek. Véges állapottér esetén az I elemeit valahogyan sorbarendezve, ez egy véges, I I méret négyzetes mátrix (természetesen az állapotokat a sorokban és az oszlopokban egyformán soroljuk fel). Amennyiben az állapottér megszámlálhatóan végtelen, a jelölések egyszer sége érdekében akkor is használjuk a mátrix jelölést. Az X 0 valószín ségi változó eloszlását kezdeti eloszlásnak hívjuk, és µ = (µ i ) i I -vel jelöljük, tehát µ i = P(X 0 = i). A kezdeti eloszlás és az átmenetmátrix már meghatározza a folyamatot, hiszen a véges dimenziós eloszlásokat a Markov tulajdonságot felhasználva a következ képpen kapjuk: P(X 0 = i 0, X 1 = i 1,..., X n = i n ) = = P(X 0 = i 0 )P(X 1 = i 1 X 0 = i 0 ) P(X n = i n X 0 = i 0,..., X n 1 = i n 1 ) = = µ i0 p i0 i 1 p in 1 i n. 2.2. Deníció. A P mátrix 1. sztochasztikus, ha p ij 0 és minden sor összege 1, 2. duplán sztochasztikus, ha sztochasztikus, és minden oszlop összege 1, 3. szubsztochasztikus, ha p ij 0 és minden sor összege legfeljebb 1. 4

P nyilvánvalóan sztochasztikus mátrix. Adódik a kérdés, hogy tetsz leges sztochasztikus mátrix lehet-e egy Markov-lánc átmenetmátrixa? 2.3. Tétel. Tetsz leges I-n adott µ eloszláshoz és I I méret P sztochasztikus mátrixhoz létezik I állapotter Markov-lánc, melynek kezdeti eloszlása µ, átmenetmátrixa P. Bizonyítás. (vázlat) A bizonyítás a Kolmogorov alaptételen múlik. Ez a következ t mondja ki: Legyen X teljes szeparábilis metrikus tér, B a Borel-halmazok σ-algebrája, Θ pedig tetsz leges paraméterhalmaz. Jelölje (X n, B (n) ) a tér n-edik hatványát. Tegyük fel, hogy minden n-re és minden θ 1,..., θ n Θ-ra adott B (n) -en a P θ1,...,θ n valószín ségi mérték, melyek eleget tesznek az alábbi konzisztenciafeltételeknek: (i) P θ1,...,θ n,θ n+1,...,θ n+m (A (n) X m ) = P θ1,...,θ n (A (n) ) minden A (n) B (n) -re, (ii) Minden π S n permutációra P θ1,...,θ n (A (n) ) = P θπ(1),...,θ π(n) (π(a (n) )). Ekkor létezik valószín ségi mez és azon X θ valószín ségi változók, melyek véges dimenziós eloszlásai az adottak. Legyen X = I, Θ = N, és P 0,1,...,n (i 0, i 1,..., i n ) = µ i0 p i0 i 1 p in 1 i n. Belátható, hogy ezek eleget tesznek a konzisztenciafeltételeknek. Ekkor a Kolmogorov alaptétel által garantált X n (n 0) folyamat valóban Markov-lánc a kívánt kezdeti eloszlással és átmenetvalószín ségekkel. 2.4. Tétel. Legyenek p (n) ij = P(X n+m = j X m = i) az n-lépéses átmenetvalószín - ségek. Ezekre teljesül a Chapman-Kolmogorov egyenl ség: p (n+m) ij = k I p (n) ik p(m) kj. Ez azt jelenti, hogy a a p (n) ij mennyiségek éppen a P n mátrix megfelel elemei. Bizonyítás. P(X n+m = j X 0 = i) = P(X n+m = j, X n = k X 0 = i) = k P(X n = k X 0 = i)p(x n+m = j X n = k, X 0 = i) = k k p (n) ik p(m) kj. 5

2.2. Az állapotok osztályozása 2.5. Deníció. 1. Azt mondjuk, hogy az i állapotból elérhet j (i j), ha van olyan n 0, hogy p (n) ij > 0. Ez reexív (p (0) ii = 1) és tranzitív (Chapman- Kolmogorov) reláció. 2. Azt mondjuk, hogy i és j közlekednek, ha i j és j i. Ez ekvivalenciareláció, tehát osztályokra bontja az állapotteret (csak az átmenetmátrixtól függ). A Markov-lánc irreducibilis, ha egyetlen osztályból áll. 3. Az i állapot lényeges, ha i j esetén j i is teljesül. Az állapotokra értelmezett valamely tulajdonság osztálytulajdonság, ha egy osztálynak vagy minden eleme ilyen tulajdonságú, vagy egy sem. Triviálisan látszik, hogy a lényegesség osztálytulajdonság, azaz beszélhetünk lényeges és lényegtelen osztályokról. (Biz.: Tegyük fel, hogy i lényeges, j lényegtelen, és i j. Létezik k, hogy j k, de k j. Másrészt i j k, tehát i lényegessége miatt k i j, ami ellentmondás.) A lényeges osztályokból nem lehet kijutni (mert akkor vissza is tudnánk jönni, azaz osztályon belül maradnánk), ezért ezeket zárt osztályoknak is hívhatjuk. A nem lényeges osztályokból ki lehet jutni: ha elhagytuk ket, akkor többé már nem térhetünk vissza. A lényegtelen osztályok között parciális rendezés van: C >> D, ha i C, j D esetén i j (tranzitív, reexív, antiszimmetrikus). Ha p ii = 1, akkor i-t elnyel állapotnak hívjuk. 2.6. Deníció. Az {n > 0 : p (n) ii > 0} halmaz legnagyobb közös osztója az i periódusa, jelölése d(i). Ha a halmaz üres, akkor a periódust nem értelmezzük. Ha d(i) = 1, akkor az állapot aperiodikus. 2.7. Állítás. Egy osztály minden állapotának ugyanannyi a periódusa. Bizonyítás. Legyen i, j C azonos osztálybeliek. Ekkor létezik n, m, hogy p (n) ij > 0 és p (m) ji > 0. Ha valamely s-re p (s) jj > 0, akkor p (n+m) ii > 0 és p (n+s+m) ii > 0. Emiatt d(i) n + m és d(i) n + s + m, amib l d(i) s következik. d(i) tehát közös osztója az ilyen s számoknak, azaz d(i) d(j). Mivel i és j szerepe felcserélhet, az állítást beláttuk. 2.8. Tétel. (Részosztályok) Legyen C osztály d periódussal, és i C tetsz leges. Ekkor C felbomlik d darab C 0 (i), C 1 (i),..., C d 1 (i) részosztályra úgy, hogy ha j C r (i) és p (n) ij > 0, akkor szükségképpen n r mod d. Továbbá létezik N(j) küszöbindex, hogy n N(j) esetén p (nd+r) ij > 0. 6

Bizonyítás. Legyen j C. Létezik k, hogy p (k) ji > 0. Ha n-re és m-re p (n) ij p (m) ij > 0, akkor d k + n és d k + m, azaz n m mod d. A második állításra rátérve, a legnagyobb közös osztó el áll d = K > 0 és k=1 c kn k alakban, > 0. Legyen n 0 = n k, és N = n 2 0 max c k. Osszuk el az n N ahol c k egész, és p (n k) ii számot maradékosan n 0 -val: n = ln 0 + q. Ekkor K K nd = ldn 0 + qd = ld n k + c k n k q = k=1 k=1 K (ld + qc k )n k, k=1 és ebben a lineáris kombinációban az együtthatók már nemnegatívak. Ezért p (nd) ii > 0, és p ((n+m)d+r) ij > 0, ha p (md+r) ij > 0. Tehát N(j) = N + m jó lesz. Vegyük észre, hogy a részosztályok függetlenek az i állapottól, csak az indexelésük függ t le: ha j C r (i) és k C s (i), akkor k C s r (j). A fenti tétel segítségével belátható, hogy legtöbbször elég irreducibilis és aperiodikus Markov-láncokat vizsgálni. A nem lényeges állapotokat elhagyva ugyanis, ha egyszer belekerülünk valamelyik osztályba, akkor végleg ott is maradunk. Ha tehát C lényeges osztály d periódussal, és P(X 0 C r ) = 1, akkor az {X nd } n=0,... egy irreducibilis, aperiodikus Markov-lánc C r állapottérrel és q ij = p (d) ij átmenetvalószín ségekkel. 2.9. Példa. Legyen adott a következ sztochasztikus mátrix: 0 1/4 1/4 0 0 0 1/2 0 1 0 0 0 0 0 0 0 0 1/2 0 1/2 0 0 0 0 0 0 0 0 2/3 0 0 1/3 0 0 0 0 0 1 0 0 0 0 0 0 1/2 0 1/2 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 Adjuk meg a hozzá tartozó Markov-lánc osztályait, keressük meg közülük a lényegeseket! Mennyi az egyes osztályok periódusa? Ha az állapottér I = {1, 2, 3, 4, 5, 6, 7, 8}, akkor az osztályok: {1, 2, 3}: lényegtelen, aperiodikus {4}: lényegtelen, periódusa nincs deniálva 7

{5, 6}: lényegtelen, periódusa 2 {7}: lényeges, aperiodikus (elnyel állapot) {8}: lényeges, aperiodikus (elnyel állapot) 2.3. Visszatér ség Vezessük be a következ jelöléseket: f (0) ij = 0, f (n) ij = P(X n = j, X k j : k = 1, 2,..., n 1 X 0 = i) n 1. Az f (n) ij mennyiség tehát annak valószín sége, hogy az i állapotból indulva a lánc el ször az n-edik lépésben ér el a j állapotba. Legyen még fij = n=1 f (n) ij annak valószín - sége, hogy az i állapotból indulva, a lánc el bb-utóbb elér a j állapotba, és g ij annak valószín sége, hogy az i állapotból indulva, a lánc végtelen sokszor meglátogatja a j állapotot. 2.10. Deníció. Az i állapot visszatér vagy rekurrens, ha f ii = 1, egyébként pedig átmeneti vagy tranziens. Ha i visszatér, akkor az átlagos visszatérési id m i = = (n) n=1 nf ii. Az i állapot pozitív rekurrens, ha m i <, ha pedig m i =, akkor nulla rekurrens. 2.11. Tétel. Igazak a következ összefüggések: 1. Legyen i j. i j akkor és csak akkor, ha f ij > 0. 2. A nem lényeges állapotok tranziensek (fordítva azonban nem feltétlenül igaz). 3. g ij = f ijg jj. 4. Ha i rekurrens állapot, akkor g ii = 1, ha pedig i tranziens, akkor g ii = 0. 5. Ha g ii = 1 és f ij > 0, akkor g ij = 1. (És a 3. pont miatt ekkor f ij = 1 és g jj = 1.) Bizonyítás. A fenti állítások az utolsó kivételével egyszer en láthatók. 1. f (n) ij p (n) ij és p (n) ij n m=1 f (m) ij, ezért sup n 1 p (n) ij f ij n=1 p(n) ij. 2. Legyen j olyan, hogy i j, de j i. Létezik olyan állapotsorozat, melyre ˆp = p ii1 p i1 i 2 p inj > 0, és a bels állapotok egyike sem i. Ekkor f ii 1 ˆp. 8

3. A bizonyítás ötlete, hogy azt az eseményt, hogy a lánc végtelen sokszor jár j-ben, felbontjuk az els elérés id pontja szerint. A végtelen sok n-re kifejezésre a v.s. rövidítést használva, g ij = P(X n = j v.s. X 0 = i) = P(X n = j v.s., X k = j, X l j : l = 1,..., k 1 X 0 = i) = k=1 k=1 P(X n = j v.s. X k = j, X l j : l = 1,..., k 1, X 0 = i)f (k) ij = k=1 g jj f (k) ij = g jj f ij. 4. Legyen g ii (m) = P(X n = i legalább m különböz n > 0 ra X 0 = i), ha m 1. Ekkor g ii (1) = f ii, és g ii = lim m g ii (m). m 2 esetén azt az eseményt, hogy a lánc legalább m alkalommal jár j-ben, ismét az els elérés id pontja szerint bonthatjuk fel: g ii (m) = k=1 f (k) ii g ii (m 1) = f iig ii (m 1). Tehát g ii (m) = (fii) m. 5. Az utolsó állítás bizonyításához szükségünk lesz az er s Markov tulajdonságra. Azt mondjuk, hogy az X t (t T ) folyamatra teljesül az er s Markov tulajdonság, ha minden τ véges megállási id re, s > 0-ra és B mérhet halmazra P(X τ+s B F τ ) = P(X τ+s B X τ ). Emlékeztet ül, a τ : Ω T valószín ségi változó véges megállási id, ha minden t-re {τ t} F t. A megállás id pontjáig meggyelhet eseményekb l álló σ- algebra pedig F τ = {A F : A {τ t} F t t}. Vegyük észre, hogy ha P(τ = t) = 1, azaz τ determinisztikus megállási id, akkor X τ = X t és F τ = F t, azaz az er s Markov tulajdonságból következik a közönséges. Fordítva általában nem igaz ez az állítás, de a mi esetünkben igen. 9

S t, kiszámolható, hogy a τ megállási id t l kezdve a Markov-lánc a múlttól függetlenül újraindul, azaz P(X τ+k = j X τ = i) = p (k) ij. A még bizonyítandó állításhoz deniáljuk azt a τ n id pontot, amikor n-edszer térünk vissza az i állapotba. Ekkor τ n megállási id, amely 1 valószín séggel véges, és X τn = i. Legyen A n = {X τn+1, X τn+2,..., X τn+1 1 valamelyike j} F τn+1. Ekkor A n független az F τn σ-algebrától, melybe az A 1,..., A n 1 események tartoznak, mivel az er s Markov tulajdonság szerint P(A n F τn ) = P(A n X τn ) = P(A n ), hiszen σ(x τn ) a triviális σ-algebra. A lánc újraindulási tulajdonságából következik, hogy P(A n ) = p > 0, n-t l függetlenül (p annak az esélye, hogy i-b l indulva el bb érünk j-be, mint vissza i-be). A Borel-Cantelli lemma szerint 1 valószín séggel az A n események közül végtelen sok következik be, azaz g ij = 1. Mivel ekkor g jj = 1, ezért a visszatér ség osztálytulajdonság, továbbá ha i és j ugyanabban a visszatér osztályban vannak, akkor f ij = 1. 2.12. Tétel. Az {X n } n 0 Markov-láncra teljesül az er s Markov tulajdonság. Bizonyítás. Diszkrét idej Markov-lánc esetén az F τ σ-algebra is atomos, egy atom általános alakja: C = {τ = m, X 0 = i 0,..., X m = i m }. Ezért az er s Markov tulajdonsághoz azt kell belátni, hogy P(X τ+k = j τ = m, X 0 = i 0,..., X m 1 = i m 1, X m = i) = P(X τ+k = j X τ = i) teljesül minden m és k > 0 esetén, a képletben szerepl állapotok tetsz leges választása mellett. Mivel a baloldali feltételes valószín ség feltételében álló esemény F m -beli, ezért a közönséges Markov tulajdonság miatt a baloldal értéke p (k) ij. A jobboldali feltételes valószín séget pedig bontsuk fel τ értéke szerint: P(X τ+k = j X τ = i) = P(X τ+k = j X τ = i, τ = n)p(τ = n X τ = i) = n=0 p (k) ij n=0 P(τ = n X τ = i) = p (k) ij. 10

2.13. Tétel. g ij = 0 akkor és csak akkor, ha n=0 p(n) ij <. A bizonyítás el tt egy nagyon hasznos lemmát látunk be, mely a Töplitz szummációs tétel speciális esete. 2.14. Lemma. (Töplitz) Legyenek a n 0 és b n valós sorozatok, és lim n b n = b. Ha lim n a n / n k=0 a k = 0, akkor n lim k=0 a kb n k n n k=0 a k Bizonyítás. A bizonyítást arra az esetre végezzük el, amikor b véges, a végtelen eset is hasonlóan intézhet el. Legyen B olyan, hogy b n b < B minden n-re, és adott ɛ-hoz = b. N olyan küszöbindex, hogy n N esetén b n b < ɛ. Ebb l lim sup n n k=0 n N a k (b n k b) ( n k=0 a kb n k n k=0 a k k=0 a k )ɛ + ( b ɛ + B lim n n k=n N+1 a k )B. n k=n N+1 a k n k=0 a k Megjegyzés: Ha az a n sorozat korlátos, akkor biztosan teljesíti a lemma feltételét. Bizonyítás. (2.13 Tételé.) Tekintsük a p (r) ij valószín séget, ez tehát annak az eseménynek a valószín sége, hogy r lépés alatt az i állapotból a j állapotba jutunk. Ezt az eseményt felbonthatjuk aszerint, hogy hányadik lépésben értük el el ször a j állapotot, legyen ennek a lépésnek a sorszáma (r k). Tehát: ahol n r=1 p (r) ij = n r 1 r=1 k=0 n 1 f (r k) ij p (k) jj = a k = p (k) jj, b k = k=0 k s=1 Ekkor a Töplitz lemmát alkalmazva, b = f ij, és p (k) jj n k s=1 f (s) ij = f (s) ij, b 0 = 0. = ɛ. n a k b n k, k=0 lim n n m=1 p(m) ij n m=0 p(m) jj = f ij. (1) 11

Ha ezt az i = j esetre alkalmazzuk, akkor megkapjuk, hogy i akkor és csak akkor visszatér, ha n=0 p(n) ii =. Most tegyük fel, hogy i j és g ij = 0. Ekkor vagy fij = 0, vagy g jj = 0. Az els esetben p (n) ij = 0 minden n-re, azaz a sor összege nulla. A második esetben j tranziens állapot, ezért p (n) jj véges, és így p (n) ij is. Ha most g ij > 0, akkor g jj = 1, azaz j rekurrens, és fij > 0, amib l p (n) ij = adódik. Egy táblázatban foglalhatjuk össze, hogy tetsz leges két állapot esetén mi mondható el az fij, g ij, p (n) ij mennyiségekr l: f ij g ij p (n) ij i, j ugyanabban a rekurrens osztályban 1 1 i, j ugyanabban a tranziens osztályban > 0 0 < i, j különböz osztályban, i j, j tranziens > 0 0 < i, j különböz osztályban, i j, j rekurrens c > 0 c > 0 i j 0 0 0 Mindezek segítségével kiszámolható például az, hogy az egydimenziós bolyongás akkor és csak akkor visszatér, ha szimmetrikus. 2.15. Példa. Bolyongás a számegyenesen. Legyen a jobbra lépés valószín sége p, a balra lépésé q = 1 p (p, q > 0). A lánc irreducibilis, periódusa 2. Vizsgáljuk a visszatér séget! Elég a 0 állapottal foglalkozni. p (2n) 00 = ( ) 2n p n (1 p) n. n Felírható, hogy ugyanis n=0 ( ) 2n x n = (1 4x) 1/2, ha 0 < 4x < 1, n (1 4x) 1/2 = n=0 ( ) 1/2 ( 4x) n = n n=0 n=0 x n 1 n! 4n 2 3 2 2n 1 = 2 n=0 ( 1 1 ) ( 12 ) n! 2 1 ( 12 ) n + 1 ( 4) n x n = x n n! n! 2n n! 1 3 (2n 1) = n=0 x n n! n! (2n)! = n=0 ( ) 2n x n. n Ha tehát p 1/2, akkor az átmenetvalószín ségek sorösszege 1 2p 1 <, azaz a lánc tranziens. Szimmetrikus esetben viszont a lánc rekurrens (A Stirling formula 12

szerint n! 2πn( n e )n, és ebb l p (2n) 00 1 πn ). Tranziens esetben érdekesek az f ij valószín ségek. Tegyük fel el ször, hogy i > j. Nyilvánvaló, hogy f ij = (f 10) i j. (1) szerint Mármost p (2n+1) 10 = ( 2n+1 n f 10 = n=1 p(n) 10 n=0 p(n) 00. ) p n (1 p) n+1 = 1 ( ) 2n + 2 p n+1 (1 p) n+1, 2p n + 1 ezért f 10 = 1 2p ( ) 1 1 1 2p 1 1 2p { = 1 (1 1 2p ) = 2p 1, ha p < 1/2 (1 p)/p, ha p > 1/2. Hasonlóan járhatunk el, ha i < j, ehhez csak az f 01 = mennyiség kell. Végül pedig f ii = f 00, és f 00 = n=1 p(2n) 00 n=0 p(2n) 00 { p/(1 p), ha p < 1/2 = 1 1 2p = 1, ha p > 1/2 { 2p, ha p < 1/2 2(1 p), ha p > 1/2. 2.4. Az átmenetvalószín ségek konvergenciája Az eddigiekb l az következik, hogy ha j átmeneti állapot, akkor p (n) ij 0. Ha tehát a Markov-lánc már jó ideje fut, akkor elhanyagolható valószín séggel tartózkodik a tranziens j állapotban, függetlenül attól, hogy melyik i állapotból indult. Vajon rekurrens állapot esetén mit mondhatunk err l a határértékr l? 2.16. Tétel. Ha i rekurrens állapot d periódussal, akkor lim n p (nd) ii = d m i. Bizonyítás. Vegyük el ször észre, hogy elég a d = 1 esetet igazolni. Ha ugyanis a periódus d > 1, akkor az {X 0, X d, X 2d,...} láncra áttérve, ott már i aperiodikus állapot lesz, és az átlagos visszatérési id nyilván az eredetinek d-edrésze. Az egyszer ség kedvéért vezessük be a következ jelöléseket: p n = p (n) ii, f n = f (n) ii. El ször belátjuk, hogy d f. = lnko{n 1 : fn > 0} = 1. 13

Ha ugyanis p n > 0, akkor n el áll n = n 1 +... + n k alakban, ahol f ni > 0, tehát d f n. Korábban azonban megmutattuk, hogy minden elég nagy n-re p n > 0, így d f = 1. Legyen ezután r n = k=n+1 f k, azaz annak a valószín sége, hogy az els n lépés alatt nem térünk vissza i-be. Igazak a következ összefüggések: r k = k=0 kf k = m i, k=1 n r k p n k = 1, k=0 a második összefüggés úgy adódik, hogy a lánc lehetséges meneteit az n. lépésig felbontjuk aszerint, hogy hányadik lépésben járt utoljára az i állapotban (éppen az n k. lépésben). Ha tudnánk, hogy p n konvergens, akkor a Töplitz lemma alapján a határértékére azonnal adódna 1/m i. Azonban nem tudjuk, hogy a sorozat konvergens, ezért többet kell dolgoznunk a bizonyítással. Ha lim sup n p n = λ, akkor válasszunk egy olyan részsorozatot, melyre lim k p nk = = λ. Tudjuk, hogy p n = n j=1 f jp n j. Vegyünk egy olyan s-et, melyre f s > 0, és válasszuk le ezt a tagot a szummából: λ = lim k p nk = lim k (f s p nk s + n k ν=1,ν s f ν p nk ν). (2) Ezt szeretnénk felülr l becsülni, felhasználva, hogy lim(a n +b n ) lim inf a n +lim sup b n. Tehát a második tag limszupját kell felülr l becsülnünk. Tetsz leges ɛ > 0-hoz legyen N olyan nagy, hogy n=n f n < ɛ. Ekkor n k ν=1,ν s f ν p nk ν = n k ν=n,ν s f ν p nk ν + ɛ + N 1 ν=1,ν s ( N 1 ν=1,ν s f ν p nk ν Mivel lim sup k sup ν<n p nk ν λ, ezért (2)-ból: λ f s lim inf k ) f ν sup p nk ν ɛ + (1 f s ) sup p nk ν. ν<n ν<n p n k s + (1 f s )λ. Ezt átrendezve azonnal következik, hogy lim inf k p nk s λ, azaz lim k p nk s = λ. Ugyanez igaz akkor is, ha s = c j s j alakú, ahol c j > 0 egész szám, és f sj > 0. Mivel minden elég nagy t felírható ilyen alakban (ezt a részosztályokról szóló 14

tételnél bizonyítottuk), elmondhatjuk hogy t t 0 esetén lim k p nk t = λ. Mármost 1 = n k t 0 h=0 r h p nk t 0 h. Egy olyan jelleg összeg jelent meg, mint a Töplitz lemmában, azaz m k h=0 a hb mk h, csakhogy most a b m sorozatról nem tudjuk, hogy konvergens, csak a b mk h sorozatokról, minden rögzített h-ra. Tegyük fel el ször, hogy h=0 r h =, ekkor minden N-re 1 lim k N r h p nk t 0 h = λ h=0 N r h, tehát λ = 0. Ha viszont h=0 r h <, akkor a Töplitz lemmához hasonló bizonyítás m ködik: válasszuk N-et olyan nagyra, hogy h=n+1 r h < ɛ legyen. Elég nagy k-ra h=0 n k t 0 h=0 r h (p nk t 0 h λ) N r h p nk t 0 h λ +ɛ 2ɛ. h=0 Tehát n k t 0 1 λ r h 0, amib l λ = 1/ r h következik (és ez a végtelen esetben is érvényes). Megkaptuk tehát, hogy a sorozat limsupja a kívánt érték. Ha most h=0 lim inf n p n = η, akkor az el z gondolatmenet lemásolásával azt kapjuk, hogy η = λ, azaz lim n p n létezik. Azt kaptuk tehát, hogy az i állapot akkor és csak akkor pozitív rekurrens, ha a lim n p (nd) ii határérték pozitív. Az is könnyen látszik, hogy a pozitivitás osztálytulajdonság: ha i és j ugyanabban a rekurrens osztályban vannak, akkor van olyan n és m, hogy p (n) ij > 0 és p (m) ji > 0. A p (n+kd+m) ii p (n) ij p(kd) jj p (m) ji kifejezésben k-val végtelenhez tartva azt kapjuk, hogy ha j pozitív állapot, akkor szükségképpen i is az. Most már könnyen bebizonyítható a következ általános tétel. 2.17. Tétel. Legyen i, j két tetsz leges állapot, és jelölje j periódusát d. Ekkor r = = 1,2,..., d esetén lim n p(nd+r) ij = f ij(r) d m j, 15

ahol f ij(r) 0 és d r=1 f ij(r) = f ij. (Tranziens állapotra legyen m j =.) Bizonyítás. Legyen f ij(r) = n=0 f (nd+r) ij p (nd+r) ij = n k=0. Ekkor f (kd+r) ij p (nd kd) jj. A Töplitz lemmából azonnal következik az állítás, a k szereposztással. = f (kd+r) ij, b k = p (kd) jj 2.18. Következmény. Minden i, j állapotpárra lim n 1 n k=1 p(k) ij = fij/m j. Itt a bal oldal azt fejezi ki, hogy i-b l indulva, a lánc hosszú távon várhatóan a lépések hányad részét tölti a j állapotban. Nézzük meg az általános tételünk néhány speciális esetét! Ha j tranziens vagy nulla rekurrens, akkor p (n) ij 0. Ha i és j ugyanabban az aperiodikus, pozitív rekurrens osztályban vannak, akkor p (n) ij 1 m j. Ha i és j ugyanabban a d periódusú, pozitív rekurrens osztályban vannak, méghozzá j C r (i), akkor p (nd+r) ij d m j. Adott µ kezdeti eloszlásból kiindulva annak valószín sége, hogy n lépés múlva a j állapotban lesz a lánc: P(X n = j) = i µ i p (n) ij. Ha n végtelenhez tart, akkor a dominált konvergencia tétel miatt a limesz és a szumma felcserélhet, így ha j tranziens vagy nulla rekurrens, akkor lim n P(X n = j) = = 0. Másrészt, ha a Markov-lánc irreducibilis, pozitív rekurrens és aperiodikus, akkor tetsz leges kezdeti eloszlás esetén lim n P(X n = j) = 1/m j. 2.19. Példa. Az egydimenziós szimmetrikus bolyongás nulla rekurrens. 2.20. Példa. Tegyük fel, hogy egy társasjátékban minden körben annyi mez t ugrik el re a bábunk, ahányat egy dobókockával dobtunk. Jelölje p n annak esélyét, hogy rálépünk az n-edik mez re. Mutassuk meg, hogy p n 2/7. 16

2.5. Stacionárius eloszlás Ebben a szakaszban azt vizsgáljuk, hogy megadható-e a Markov-láncnak olyan kezdeti eloszlása, mely id ben nem változik. Ha X 0 eloszlása µ, akkor X 1 -é: P(X 1 = i) = k µ k p ki. Amennyiben X 1 eloszlása is µ, akkor persze X n eloszlása is µ minden n-re, és ekkor azt mondjuk, hogy a Markov-lánc stacionárius (ez megfelel a szokásos deníciónak, azaz hogy a véges dimenziós eloszlások eltolás-invariánsak). 2.21. Deníció. Legyen P egy átmenetmátrix. A (µ i ) i I eloszlás stacionárius, ha µ i = = k I µ kp ki minden i I-re. A továbbiakban használjuk a π i = 1/m i jelölést az átlagos visszatérési id reciprokára. Amennyiben az i állapot tranziens vagy nulla rekurrens, akkor ezt úgy értelmezzük, hogy π i = 0. 2.22. Tétel. Legyen C lényeges osztály. Ekkor az u i = k C u k p ki, i C egyenletrendszer abszolút konvergens megoldásai: 1. Ha C tranziens vagy nulla rekurrens, akkor csak az u i = 0 triviális megoldás. 2. Ha C pozitív rekurrens, akkor a (π i ) i C konstansszorosai. Bizonyítás. El ször belátjuk, hogy ezek megoldások. A konstans nulla nyilván megoldás. Az is világos, hogy egy megoldás konstansszorosa is megoldás. Legyen most C pozitív rekurrens, jelölje periódusát d. Ekkor p (nd) ii = k C p (nd 1) ik p ki = k C 1 (i) p (nd 1) ik p ki. Tartson n végtelenhez: dπ i = lim p (nd) ii k C 1 (i) lim p (nd 1) ik p ki = k C 1 (i) dπ k p ki, 17

azaz π i k C π kp ki. Másrészt, mivel 1 = lim n j C r(i) p (nd+r) ij lim n p(nd+r) j C r(i) ij = j C r(i) ezért i C π i 1. A két sorral feljebb álló egyenl tlenségeket összegezve kapjuk, hogy π i π k p ki = π k p ki = π k, i C i C k C k C i C k C dπ j, ami a π i végessége miatt csak úgy lehet, ha π i = k C π kp ki minden i-re. Ezután meg kell mutatni, hogy nincs más megoldás. Legyen {u i } i C egy abszolút konvergens megoldás. Ekkor u i = k C 1 (i) u k p ki = k C 1 (i) l C 1 (k) u l p lk p ki = l C 2 (i) u l k C 1 (i) p lk p ki = l C 2 (i) u l p (2) li, (a szummák az abszolút konvergencia miatt felcserélhet k), ezt iterálva kapjuk, hogy minden n-re és r-re u i = k C r (i) u k p (nd+r) ki. Mivel az összeg tagjainak van konvergens majoránsa, n határértéket véve kapjuk, hogy minden rögzített r esetén u i = k C r (i) u k dπ i. Ha C átmeneti vagy nulla rekurrens, akkor u i = 0, ha pedig pozitív rekurrens, akkor szükségképpen k C r (i) u k = K r-t l független konstans, és u i = Kdπ i. Pozitív rekurrens osztály esetén a bizonyítás utolsó képletébe visszahelyettesítve az u i = π i megoldást, kapjuk, hogy π i = k C r (i) π k dπ i, azaz k C r (i) π k = 1 d, amib l i C π i = 1 is következik. A C pozitív osztályon tehát {π i } i C kezdeti eloszlás. stacionárius 18

2.23. Tétel. Legyen adott a P sztochasztikus mátrix az I állapottéren. Jelölje a pozitív osztályokat D α : α A, és legyen D = α D α a pozitív állapotok halmaza. Ekkor a µ eloszlás akkor és csak akkor stacionárius, ha ahol λ α 0, α λ α = 1. µ i = { 0 ha i D, λ α π i ha i D α, Bizonyítás. : Ha µ stacionárius eloszlás, akkor minden n-re µ i = j I µ jp (n) ji. Ha i D, akkor határátmenettel (3) µ i = j I µ j lim p (n) ji = 0, ha pedig i D α, akkor az el z miatt µ i = j D µ j p (n) ji = ji, j D α µ j p (n) hiszen másik pozitív osztályból nem lehet i-be jutni. Ezért minden N-re µ i = 1 µ j N j D α N n=1 p (n) ji, amib l határátmenettel µ i = ( j D α µ j )π i, azaz µ tényleg (3)-beli alakú, mégpedig λ α = j D α µ j választással. : Legyen most µ (3)-beli alakú. Ha i D, akkor P(X 1 = i) = 0, hiszen a pozitív osztályokból nem lép ki a lánc. Ha viszont i D α, akkor P(X 1 = i) = µ k p ki = λ α π k p ki = λ α π i = µ i, k D α k D α hiszen {π i } i Dα stacionárius eloszlás D α -n. 2.24. Példa. Vegyünk egy bolyongást a nemnegatív számokon, ahol a nullában egy visszaver fal van. Legyen a jobbra lépés esélye p < 1/2, a balra lépésé q = 1 p. A lánc irreducibilis, periódusa d = 2. Korábbi számolásunk alapján a lánc visszatér. Belátjuk, hogy pozitív rekurrens. Megoldhatók ugyanis a stacionárius eloszlás egyenletei (vagy: 19

használjuk a példa utáni észrevételt A = {0, 1,..., i} választással), és kapjuk, hogy µ 0 = 1 2p 2 2p, µ i = µ 0 p i 1 q i, i 1. A stacionárius eloszlás egyenletrendszerének megoldását néha egyszer síti a következ észrevétel. 2.25. Tétel. Ha µ stacionárius eloszlás, akkor minden A I esetén Bizonyítás. Legyen ux(a, B) = i A,j A i A,j B El ször is, mivel µ stacionárius eloszlás, µ i p ij = i A,j A µ j p ji. µ i p ij = P µ (X 0 A, X 1 B). ux({i}, I) = µ i = j I µ j p ji = ux(i, {i}). Mivel a uxus nyilvánvalóan mindkét argumentumában additív a diszjunkt unióra, ebb l következik, hogy minden A I esetén ux(a, I) = ux(i, A). Ebb l ux(a, A) + ux(a, A c ) = ux(a, I) = ux(i, A) = ux(a, A) + ux(a c, A), azaz ux(a, A c ) = ux(a c, A), amit bizonyítani kellett. 2.26. Példa. (Ehrenfest diúziós modell) Képzeljünk el egy tartályt, benne N darab molekulát. A tartályt képzeletben két egyenl részre osztjuk, és azt vizsgáljuk, hogy hány molekula van a két félben. A diúziót úgy modellezzük, hogy minden lépésben egy véletlenszer en választott molekula átmegy a másik felébe a tartálynak. Jelölje X n, hogy n lépés után hány molekula van a tartály els felében. Ez nyilván irreducibilis Markov-lánc a {0, 1,..., N} állapottéren, tehát pozitív rekurrens is. Az átmenetvalószín ségek: p i,i 1 = i N, p i,i+1 = N i N. 20

Legyen A = {0, 1,..., i 1}, ekkor ux(a, A c ) = µ i 1 N i + 1 N = µ i i N = ux(ac, A), ami a µ i = N i+1 µ i i 1 rekurziót adja. Ennek megoldása éppen az N rend, 1/2 paraméter binomiális eloszlás. 2.27. Példa. Egy érmét, melyen a fej valószín sége p, dobálva, jelölje X n, hogy az els n dobásból alkotott sorozat végén hány fej van. X n irreducibilis, aperiodikus Markovláncot alkot, P(X 0 = 0) = 1, és p k,k+1 = p, p k,0 = 1 p = q. Keressünk stacionárius eloszlást! (i) Oldjuk meg a µ = µp egyenletrendszert: µ 0 = q µ k = q, µ i = pµ i 1 = p i q, k=0 azaz a stacionárius kezdeti eloszlás Geo(q) 1. (ii) Mivel aperiodikus a lánc, a p (n) ik átmenetvalószín ségek tartanak a stacionárius eloszláshoz. Vegyük észre, hogy ha n > k, akkor p (n) ik = pk q, azaz π k = lim p (n) n ik = pk q. Ennek segítségével könnyen kiszámítható, hogy átlagosan hány dobás kell ahhoz, hogy egy k hosszú fejsorozat megjelenjen. Legyen ez a mennyiség ν k. Erre m k = m k0 + m 0k = 1/q + ν k, és mivel m k = 1/π k, kapjuk, hogy ν k = 1 pk qp k. 2.6. Pozitív rekurrens Markov-láncok Az irreducibilis és pozitív rekurrens Markov-láncok hosszú távú viselkedését különösen egyszer leírni (ha még aperiodikusak is, akkor ez még inkább igaz). 2.28. Tétel. Legyen {X n } n 0 irreducibilis és pozitív rekurrens Markov-lánc π stacionárius eloszlással, és f : I R tetsz leges függvény. Ha az I(f) = i I f(i)π i sor 21

abszolút konvergens, akkor 1 n n f(x k ) I(f) 1 valószín séggel. k=0 Megjegyzés: A Z n = f(x n ) sorozat nem feltétlenül Markov-lánc. Tekintsük például az I = {0,1,2} állapotteret, ezen a bolyongást (p 01 = p 21 = 1, p 10 = p 12 = 1/2). Legyen a kezdeti eloszlás P(X 0 = 0) = P(X 0 = 1) = 1/2. Deniáljuk az f függvényt úgy, hogy f(0) = 0, f(1) = f(2) = 1, és legyen Z n = f(x n ). Ekkor könnyen adódik, hogy 1/2 = P(Z 2 = 0 Z 1 = 1, Z 0 = 0) P(Z 2 = 0 Z 1 = 1, Z 0 = 1) = 0, azaz Z n nem Markov-lánc. Bizonyítás. Legyen i I tetsz leges rögzített állapot, deniáljuk azokat a megállási id ket, melyek az i-be tett látogatások id pontjait adják meg: 0 = τ 0 < τ 1 <..., τ n az n. elérési id pont. Ezek 1 valószín séggel véges megállási id k. Minden n-re deniáljuk azt az l(n) valószín ségi változót, amely megmondja, hogy az n. lépésig hányszor járt a lánc i-ben: τ l(n) n < τ l(n)+1. A Z k -k összegére a következ felbontási formulát használjuk: n Z k = k=0 τ 1 1 k=0 Z k + l(n) 1 h=1 τ h+1 1 s=τ h Z s + n k=τ l(n) Z k = Y + l(n) 1 Pozitív és negatív részre való felbontással feltehet, hogy f 0. Ekkor l(n) 1 1 Y h 1 l(n) l(n) h=1 n k=0 h=1 Z k 1 l(n) Y + l(n) h=1 Y h Y h + Y (n). Korábban már meggondoltuk, hogy az er s Markov tulajdonság miatt az Y h változók függetlenek, és azonos eloszlásúak. Mivel 1 valószín séggel végtelen sokszor jár a lánc. 22

i-ben, l(n) 1 valószín séggel végtelenhez tart. Ezért a nagy számok er s törvénye szerint l(n) 1 Y h E(Y h ) 1 valószín séggel. l(n) h=1 Másrészt Y /l(n) 0 (1 valószín séggel), tehát 1 l(n) n k=0 Z k is tart E(Y h )-hoz 1 valószín séggel. Számítsuk ki ezt a várható értéket! Az egyszer ség kedvéért tegyük fel, hogy a lánc i-b l indul. Ekkor ( ) E(Y h ) = E Z k χ{k < τ 1 } = k=0 f(j)p(x k = j, k < τ 1 ) = f(j)u j, j I j I k=0 ahol u j = k=0 P(X k = j, k < τ 1 ), azt fejezi ki, hogy két i-ben tett látogatás között a lánc átlagosan hányszor jár j-ben (a kezd pontot beleszámítva, a végpontot nem). Ezért j I u j = m i <. Megmutatjuk, hogy u j kielégíti a stacionárius eloszlás egyenletrendszerét. u j p jl = P(X k = j, k < τ 1 )P(X k+1 = l X k = j) = j j k=0 E [P(X k+1 = l X k )χ{k < τ 1 }] = E [P(X k+1 = l F k )χ{k < τ 1 }], k=0 ahol az utolsó lépésben a Markov tulajdonságot használtuk. A χ{k < τ 1 } F k - mérhet ségét felhasználva, folytathatjuk: k=0 u j p jl = j E [E(χ{X k+1 = l, k < τ 1 } F k )] = k=0 P(X k+1 = l, k < τ 1 ) = k=0 P(X k = l, k τ 1 ). k=1 Ez pedig tényleg u l, hiszen a kezd pontot kihagytuk, a végpontot viszont bevettük, de mivel mindkett ben az i állapotban van a lánc, az összeg nem változott. Ezért u j = cπ j. Ha most i = j, akkor 1 = u i = cπ i, azaz u j = π j /π i. Tehát E(Y h ) = j I f(j)u j = I(f) π i. 23

Ha most f(j) = 1 minden j-re, akkor azt kapjuk, hogy n + 1 l(n) = 1 l(n) n Z k 1, π i k=0 azaz 1 n + 1 n Z k = l(n) 1 n + 1 l(n) k=0 n Z k I(f) 1 valószín séggel. k=0 2.29. Példa. Ha f olyan függvény, mely egy állapotra 1, a többire nulla (pl. f(i) = = 1 és f(j) = 0, ha j i), akkor azt kaptuk, hogy az i állapot relatív gyakorisága az els n lépésb l tart π i -hez. Ezt általánosíthatjuk állapotsorozatokra is: legyen i = = (i 1,..., i k ) egy k hosszú állapotsorozat. Ekkor az i sorozat relatív gyakorisága a π i1 p i1 i 2 p i2 i 3 p ik 1 i k szorzathoz tart. (Ehhez készítenünk kell egy új Markov-láncot, melynek állapotai a k hosszú sorozatok, ez is irreducibilis és pozitív rekurrens lesz a megfelel állapottéren, tehát alkalmazható rá a tétel). Ugyanabban a felállásban, mint az el bb, megmutatható, hogy a részletösszegeket alkalmasan normálva, normális határeloszlást kapunk. 2.30. Tétel. Teljesüljenek a 2.28. Tétel feltételei, és használjuk az annak bizonyításában bevezetett jelöléseket. Legyen V h = Y h I(f)(τ h+1 τ h ). Ha 0 < D 2 (V h ) <, akkor n k=0 f(x k) ni(f) nπi D 2 (V h ) N(0,1). Vegyük észre, hogy V h = τ h+1 1 s=τ h g(x s ), ahol g(j) = f(j) I(f), és E(V h ) = 0. A bizonyításhoz két lemmára lesz szükségünk. 2.31. Lemma. P(n τ l(n) t) c t, ahol lim t c t = 0. Bizonyítás. Legyen n t. Jelölje az i-be való visszatérés lépésszámát τ. n P(n τ l(n) t) = P(n τ l(n) = s) = s=t n 1 P(X n s = i)p(τ > s) + P(τ 1 > n) P(τ > s) + P(τ 1 > t) = c t, s=t s=t és ez valóban 0-hoz tart, mivel mind τ várható értéke véges, τ 1 pedig 1 valószín séggel véges. 24

2.32. Lemma. A felbontási formula jelölésével, Y (n) n 0 sztochasztikusan. Bizonyítás. Legyen ɛ, δ adott. Minden t-re P( Y (n) nɛ) P(n τ l(n) > t) + P max 0<s t τ l(n) +s Z j nɛ. j=τ l(n) Ha t elég nagy, akkor az els tag < δ/2 minden n-re, ezek után ha n elég nagy, akkor a második tag is < δ/2, mivel a zárójelben egy 1 valószín séggel véges, n-t l független valószín ségi változó áll. Bizonyítás nélkül idézzük fel a Kolmogorov egyenl tlenséget! 2.33. Lemma. Legyenek V i független, nulla várható érték, véges szórású valószín ségi változók. Ekkor minden c > 0-ra k P( max V i c) 1 k n i=1 n i=1 D2 (V i ) c 2. Bizonyítás. (2.30. Tételé) A V h valószín ségi változók függetlenek, azonos eloszásúak, 0 várható érték ek. A felbontási formula szerint n Z k ni(f) = k=0 l(n) 1 h=1 V h + Y + Y (n) I(f)(n τ l(n) + τ 1 ). Azt már tudjuk, hogy Y / n sztochasztikusan 0-hoz tart. A 2.31 lemma szerint ugyanez igaz az (n τ l(n) )/ n tagra, a 2.32 lemma miatt pedig Y (n)/ n is sztochasztikusan 0-hoz tart. A Cramér- Szluckij lemma szerint ezért elég csak a V h -k összegével foglalkozni, azaz megmutatni, hogy l(n) 1 h=1 V h nπi E(V 2 h ) N(0,1). Szeretnénk a CHT-re hivatkozni, azonban itt az összegzés egy véletlen indexig történik, ett l kellene megszabadulni. Legyen n = [nπ i ]. Azt tudjuk, hogy n h=1 V h n E(V 2 h ) N(0,1), itt kellene az összegzésben n -ot l(n) 1-re cserélni. Tudjuk, hogy ezek nagy valószín séggel közel vannak egymáshoz. Legyen ɛ, δ adott, n = nπ i (1 δ), n = nπ i (1 + δ), és A m = {n < l(n) 1 < n, n m}. Ezek b vül események, és { } l(n) n π i m A m. 25

Mivel a bal oldali esemény valószín sége 1, ezért van olyan m, melyre P(A n ) > 1 ɛ minden n m-re. Ha pedig l(n) 1 és n már közel vannak egymáshoz, akkor használhatjuk a Kolmogorovegyenl tlenséget. P l(n) 1 h=1 V h n h=1 V h c n E(Vh 2) ɛ + 2δnπ ie(vh 2) c 2 n E(Vh 2) < 2ɛ, ha δ elég kicsi, és n elég nagy. Tehát l(n) 1-et n -ra cserélve, a különbség sztochasztikusan 0-hoz tart, így a Cramér-Szluckij lemmára való ismételt hivatkozással készen vagyunk. 2.6.1. Tabu állapotok Vajon hogyan lehet V h szórásnégyzetét kiszámítani? Már az NSzT bizonyításánál észrevehettük, hogy Y h várható értéke kiszámolásakor olyan valószín ségek bukkantak fel, hogy n lépés alatt i-b l j-be megyünk, de közben nem járunk i-ben. Ezt általánosítjuk most, tehát úgy számolunk ki átmenetvalószín ségeket, hogy el írjuk, hogy bizonyos állapotokban nem járhat a lánc. 2.34. Deníció. (Átmenetvalószín ségek tabu állapotokkal.) Legyen H I tetsz leges. Az i-b l j-be men n lépéses átmenetvalószín ség a H tabuhalmazzal: Hp (n) ij = P(X n = j, X m H 0 < m < n X 0 = i) ha n 1. Jelölje H f (n) ij = j,h p (n) ij. Legyen még Hp ij = n=1 Hp (n) ij, mely azt adja meg, hogy i-b l indulva, várhatóan hányszor jár a lánc j-ben, míg H-ba beér (a beérést is beszámítva). Legyen m ij = (n) n=1 nf ij az átlagos elérési id, általában pedig H m ij = n=1 n Hf (n) ij. Megjegyzések: H f ij : annak valószín sége, hogy i-b l indulva, a lánc el bb ér j-be, mint H-ba. H m ij m ij. Ha C pozitív osztály, akkor m ij < minden i, j C. 2.35. Lemma. Alapformulák: legyen n 1, k H. Ekkor Hp (n) ij = k,h p (n) ij + n 1 s=1 k,hp (s) ik Hp (n s) kj (1A) Hp (n) ij = k,h p (n) ij + n 1 s=1 Hp (s) ik k,hp (n s) kj (2A) Hp ij = k,h p ij + k,hp ik Hp kj (1B) Hp ij = k,h p ij + Hp ik k,hp kj (2B) Bizonyítás. Az 1-es formulák a k els, a 2-esek a k utolsó elérése szerinti felbontásból adódnak, a B formulák pedig az A-k összegzésével keletkeznek. 26

2.36. Lemma. Legyen C pozitív osztály, i, j, k C, és j k. Ekkor annak valószín sége, hogy i-b l indulva a lánc el bb ér j-be, mint k-ba: kf ij = m ik + m kj m ij m jk + m kj, továbbá i-b l indulva a j-ben tett látogatások számának várható értéke, miel tt a lánc k-ba ér: kp ij = m ik + m kj m ij m jj. Bizonyítás. Az (1A) formula szerint (k els elérése szerinti felbontás) f (n) ij = j p (n) ij n 1 = k,j p (n) ij + s=1 k,jp (s) ik jp (n s) kj Beszorozva n-nel, majd összegezve egyt l végtelenig m ij = k m ij + n 1 n n=1 = k m ij + s=1 s=1 jf (s) ik jf (s) ik f (n s) kj = n=s+1 ((n s)f (n s) kj n 1 = k f (n) ij + s=1 jf (s) ik f (n s) kj. + sf (n s) kj ) = k m ij + m kj jf ik + j m ik, ahol az utolsó lépésben felhasználtuk, hogy fkj kivonva a kett t egymásból kapjuk hogy = 1. Megcserélve j és k szerepét, majd m ik +m kj m ij = m kj +m jk kf ij m kj jf ik = m jk kf ij+m kj (1 j f ik) = k f ij(m jk +m kj ), mivel k fij + j fik = 1. Ezzel megkaptuk az els bizonyítandó formulát. Ebb l speciális esetként kapjuk, hogy jfjk m jj =. m jk + m kj Másrészt megadhatjuk, hogy i-b l indulva, mi lesz a j-ben tett látogatások számának eloszlása, miel tt a lánc beér k-ba. Ha ugyanis a lánc el bb ér k-ba, mint j-be (ennek valószín sége j fik ), akkor ez a szám 0, ha viszont el bb ér j-be, mint k-ba (ennek valószín sége k f ij), akkor a j-ben tett látogatások száma geometriai eloszlású j f jk paraméterrel. Ezért a várható érték: kp ij = j f ik 0 + k f ij 1 jf jk = m ik + m kj m ij m jj. 27

Máshogy, formálisan bizonyítva, használjuk az összegre vonatkozó formulákat. Az (1B) formula szerint kp ij = j,k p ij + j,k p ij kp jj = k fij(1 + k p jj). A (2B) formulából pedig 1 = f jk = k p jk = j,k p jk + k p jj j,k p jk = j f jk(1 + k p jj). A fenti kett t egymással elosztva, kp ij = k f ij jf jk = (m ik + m kj m ij )/(m jk + m kj ) m jj /(m jk + m kj ) = m ik + m kj m ij m jj. Megjegyzés: k = i helyettesítéssel ismét megkapjuk, (amit már eddig is tudtunk), hogy i p ij = m ii /m jj. Konkrét (véges állapotter ) Markov-láncra az m ij mennyiségek egy lineáris egyenletrendszer megoldásával kaphatók meg. Visszatérve az eredeti feladathoz, a V h = Y h I(f)(τ h+1 τ h ) = τ h+1 1 n=τ h (f(x n ) I(f)) mennyiség négyzetének várható értékét keressük (emlékezzünk arra, hogy a τ h megállási id k a rögzített i állapotba tett látogatások id pontjai). Ehhez el ször a τ h+1 1 n=τ h g(x n ) mennyiség négyzetének várható értékét számoljuk ki, majd ezt a g = f I(f) függvényre alkalmazzuk. Az egyszer ség kedvéért tegyük most is fel, hogy X 0 = i. Ekkor E ) 2 ( ) 2 ( ) 2 g(x n ) = E g(x n )χ{n < τ 1 } = E g(x n )χ{n τ 1 } = ( τ1 1 n=0 E n=0 [ n=1 g 2 (X n )χ{n τ 1 } + 2 n<m n=1 g(x n )g(x m )χ{m τ 1 } ]. 28

Vegyünk tagonként várható értéket, és írjuk tovább: g 2 (j) j I n=1 ip (n) ij + 2 j I,j i l I g 2 (j) i p ij + 2 j I j I g(j)g(l) ip (n) ij ip (m n) jl = n<m g(j)g(l) i p ijip jl = j I,j i l I g 2 (j) π j π i + 2 a 2.36. Lemmát használva. Tovább számolva, π i E ( τ1 1 ) 2 g(x n ) = n=0 j I,j i l I g(j)g(l) π j π i π l (m ji + m il m jl ), (4) I(g 2 ) + 2 g(j)g(l)π j π l (m ji + m il m jl ) 2g(i) g(l)π l = j I l I l I I(g 2 ) 2g(i)I(g) + 2I(g) j I Ha most g = f I(f), akkor I(g) = 0, és π i D 2 (V h ) = I { (f I(f)) 2} 2 j I g(j)π j m ji + 2I(g) l I 2 j I g(l)π l m il g(j)g(l)π j π l m jl. l I {f(j) I(f)}{f(l) I(f)}π j π l m jl. l I Véges állapottér esetén ugyanezt vektorok és mátrixok segítségével is felírhatjuk. Legyen az állapotok száma s, a lánc átmenetmátrixa P. Legyenek I s, A, Π, Π dg s s méret mátrixok, I s az egységmátrix, A minden eleme 1, Π-nek pedig minden sorába a stacionárius eloszlást írjuk, azaz (i, j)-edik eleme π j. Továbbá Π dg legyen diagonális mátrix, f átlójába a stacionárius elolszást írjuk, a többi eleme 0. Legyen Z = (I s P + Π) 1 az úgynevezett fundamentális mátrix. Végül legyen f = (f(i)) i I oszlopvektor. Ekkor π i D 2 (V h ) = f T Π dg (2Z I s Π)f. 29

Megjegyezzük még, hogy π T = 1 T (I s P + A) 1. A most kiszámolt képlet segítségével az i-be való visszatérési id második momentumát is megkaphatjuk. Ehhez válasszuk a g = 1 függvényt, a (4) egyenlet középs sorából: E(τ 2 ) = m ii + 2 m ii + 2m ii j I,j i l I j I,j i m ii m jj ip jl = 1 ip jl = m ii + 2m ii m jj l I j I,j i m ji m jj = m ii (Felhasználtuk, hogy i p ij = m ii /m jj, j ip ij = m ii, és l ip jl = m ji.) [ 2 j I m ji m jj 1 ] 2.7. Reguláris mérték A (nemnegatív) reguláris mértékek a stacionárius eloszlások általánosításai. Eleget tesznek a stacionárius eloszlásra vonatkozó egyenletrendszernek, de nem követeljük meg, hogy végesek legyenek. Az egyszer ség kedvéért tegyük fel mostantól, hogy a Markov-lánc irreducibilis. 2.37. Deníció. Az u = (u i ) i I nemnegatív elem sorozat reguláris mérték, ha u i = j I u j p ji i I. Vezessük be az e ji = j p ji jelölést, ez tehát azt fejezi ki, hogy két j-ben tett látogatás között a lánc átlagosan hányszor jár i-ben (a végpontot beleszámítva, a kezd pontot nem). A reguláris mértékekr l szóló tétel el tt bizonyítsunk be egy hasznos lemmát. 2.38. Lemma. Legyenek i, j, k, l egy irreducibilis, rekurrens Markov-lánc tetsz leges állapotai. Ekkor Megjegyzések: lim N N n=0 p(n) ij N n=0 p(n) kl = e lj. Megmutatható, hogy tetsz leges osztályban 0 < e ji <. Általánosan, ha j H (j-b l el lehet jutni H-ba), akkor H p ij <. 30

Pozitív rekurrens osztályra az állítás már korábban szerepelt. Ekkor ugyanis e ji = = m j /m i és (1/N) N 0 p(n) ij 1/m j. Bizonyítás. Azt már korábban láttuk, hogy tetsz leges Markov-láncban i, j állapotpárra lim N N n=1 p(n) ij N n=0 p(n) jj = f ij. Mivel most a Markov-lánc rekurrens, fij = 1, továbbá n=1 p(n) ij =, tehát mindegy, hogy az összegzéseket n = 1-t l vagy n = 0-tól kezdjük. Ezért lim N N n=0 p(n) ij N n=0 p(n) kl err l kell belátni, hogy e lj -vel egyenl. N n=0 = lim p(n) jj N N n=0 p(n) ll = lim N N n=0 p(n) lj N n=0 p(n) ll A kulcslépés tehát egy olyan hányados határértékének meghatározása, ahol a számlálóban és a nevez ben az els helyen álló állapotok egyeznek meg. A (2A) alapformulából amib l összegzéssel N n=1 p (n) lj p (n) lj = n 1 = l p (n) lj + N n=1 s=1 N 1 lp (n) lj + p (s) ll lp (n s) lj, s=1 N s p (s) ll t=1 lp (t) lj. Alkalmazzuk a Töplitz lemmát a 0 = 0, a n = p (n) ll, b 0 = 0, b n = n t=1 lp (t) lj szereposztással! lim N mivel a rekurrencia miatt p ll =. N n=1 p(n) lj N n=1 p(n) ll = l p lj p ll + l p lj = e lj, 2.39. Tétel. Irreducibilis, rekurrens Markov-láncban a nemnegatív reguláris mértékek általános alakja: u i = ce ji, ahol j tetsz leges rögzített állapot. Bizonyítás. Azt, hogy u i = ce ji reguláris mérték, azaz megoldása az egyenletrendszernek, már láttuk a nagy számok törvényének bizonyításánál. Tegyük most fel, hogy u i 0 megoldása az egyenletrendszernek. Iterálva, u i = = k u kp (n) ki minden n-re, amib l következik, hogy a mérték vagy konstans nulla, vagy, 31

szigorúan pozitív. Ez utóbbi esetben legyen q (n) ij = u j u i p (n) ji. Megmutatjuk, hogy ezek egy sztochasztikus mátrix n-dik hatványának elemei. Ehhez azt kell látni, hogy nemnegatívak (triviális), a sorok összege 1 (a regularitás miatt), és teljesül a Chapman-Kolmogorov egyenl ség: k I q ik q (n) kj = k I u k u j p ki p (n) jk u i u = u j p (n+1) ji = q (n+1) ij. k u i A q ij átmenetvalószín ségekkel deniált Markov-lánc irreducibilis és rekurrens (mert q (n) ii = p (n) ii ). Ezért a lemma alapján azaz u i = u j e ji. Megjegyzések: N n=0 1 = lim q(n) ij N N n=0 q(n) jj = u j u i lim N Az el z tétel bizonyításánál láttuk, hogy N n=0 p(n) ji N n=0 p(n) jj = u j u i e ji, N n=0 lim p(n) ii N N n=0 p(n) jj = e ji, ezt a p (n) kk valószín ségek összegével b vítve kapjuk, hogy e ji = e jk e ki. Ebb l a multiplikatív tulajdonságból következik, hogy a különböz j választásokkal kapott mértékek csak konstans szorzóban térnek el egymástól. Rekurrens Markov-láncban i e ji = m jj, ez attól függ en véges vagy végtelen, hogy a lánc pozitív vagy nulla rekurrens. Pozitív rekurrens esetben tehát nem kapunk új megoldást (itt e ji = π i /π j ). Rekurrens Markov-láncban tehát konstans szorzó erejéig egyértelm en létezik nemnegatív reguláris mérték, pozitív rekurrens esetben összege véges, nulla rekurrens esetben összege végtelen. Tranziens Markov-láncban véges összeg reguláris mérték nincs, végtelen összeg vagy van, vagy nincs. 32

2.40. Példa. A P mátrix duplán sztochasztikus, ha sztochasztikus, és az oszlopok összege is 1. (Tegyük fel, hogy a hozzá tartozó Markov-lánc irreducibilis.) Ekkor az u i = c mérték reguláris. Az egy dimenziós egyszer bolyongás átmenetmátrixa ilyen. Ha p = 1/2, akkor a lánc rekurrens, tehát ez az egyetlen reguláris mérték. Ha viszont p 1/2, akkor az u i = (p/q) i ett l különböz reguláris mérték. Legyen P tetsz leges átmenetmátrix, és u i > 0 (i I) reguláris mérték P -re a teljes u állapottéren. Ekkor a q ij = p j ji u i elem Q mátrix is átmenetmátrix ugyanezen az állapottéren. Q-t a P u szerinti megfordításának nevezzük. A magasabbrend átmenetvalószín ségekre igaz, hogy q (n) ij = p (n) u j ji u i. A két mátrix által meghatározott Markovláncok osztályai megegyeznek, továbbá a két láncban egyszerre nulla rekurrensek, pozitív rekurrensek, vagy tranziensek. Az u i mérték a Q által meghatározott Markov-láncra is reguláris. Vegyük még észre, hogy ha most Q-t megfordítjuk u szerint, akkor visszakapjuk P -t. A megfordításnak pozitív rekurrens esetben a következ jelentése van. Legyen P irreducibilis, pozitív rekurrens Markov-lánc átmenetmátrixa, ekkor u = π a stacionárius eloszlás, legyen ez a kezdeti eloszlás: P(X 0 = i) = u i. Ekkor P(X m = j X m+n = i) = P(X m = j, X m+n = i) P(X m+n = i) = u jp (n) ji u i = q (n) ij, azaz minden N-re az Y n = X N n (n = 0,..., N) sorozat (véges) stacionárius Markov-láncot alkot, u kezdeti eloszlással, q ij átmenetvalószín ségekkel. (Mivel a Markov tulajdonság azzal ekvivalens, hogy a jelenre nézve a múlt és a jöv feltételesen független, az Y n sorozat is Markov tulajdonságú.) Sorsoljuk most ki az X 0 értékét az u eloszlás szerint. Ezután egymástól függetlenül indítsunk el egy-egy Markov-láncot el re P szerint és hátra Q szerint. Ekkor egy kétirányban végtelen stacionárius Markov-láncot kapunk. Ehhez azt kell látni, hogy a Markov tulajdonság a teljes folyamatra érvényben marad (feladat: lássuk be!), valamint, hogy az átmenetvalószín ségeket a p (n) ij értékek adják. Ez utóbbi külön-külön a két félegyenesen igaz, és P(X n = j X m = i) = P(X m = i, X n = j) P(X m = i) = k u kq (m) ki p (n) kj = u i k p (m) ik p(n) kj = p (n+m) ij. Azt mondjuk, hogy az {X n } n=0,1,... Markov-lánc megfordítható (u-ra nézve), ha megfordítása önmaga. Pozitív rekurrens Markov-lánc akkor és csak akkor megfordítható, 33