Legyen adott egy S diszkrét halmaz. Leggyakrabban S az egész számoknak egy halmaza, például S = {0, 1, 2,..., N}, {0, 1, 2,... }.

Hasonló dokumentumok
Markov-láncok stacionárius eloszlása

(Diszkrét idejű Markov-láncok állapotainak

12. előadás - Markov-láncok I.

0,424 0,576. f) P (X 2 = 3) g) P (X 3 = 1) h) P (X 4 = 1 vagy 2 X 2 = 2) i) P (X 7 = 3, X 4 = 1, X 2 = 2 X 0 = 2) j) P (X 7 = 3, X 4 = 1, X 2 = 2)

előadás Diszkrét idejű tömegkiszolgálási modellek Poisson-folyamat Folytonos idejű Markov-láncok Folytonos idejű sorbanállás

Véletlen szám generálás

Gauss-Seidel iteráció

Barczy Mátyás és Pap Gyula. Sztochasztikus folyamatok. (Diszkrét idejű Markov-láncok)

A következő feladat célja az, hogy egyszerű módon konstruáljunk Poisson folyamatokat.

minden x D esetén, akkor x 0 -at a függvény maximumhelyének mondjuk, f(x 0 )-at pedig az (abszolút) maximumértékének.

Mérhetőség, σ-algebrák, Lebesgue Stieltjes-integrál, véletlen változók és eloszlásfüggvényeik

KOVÁCS BÉLA, MATEMATIKA I.

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Matematika A2 vizsga mgeoldása június 4.

Bevezetés az algebrába 2

Valószínűségi változók. Várható érték és szórás

Funkcionálanalízis. n=1. n=1. x n y n. n=1

Saj at ert ek-probl em ak febru ar 26.

Alap fatranszformátorok II

Diszkrét matematika 2.

6. Előadás. Megyesi László: Lineáris algebra, oldal. 6. előadás Bázis, dimenzió

f(x) vagy f(x) a (x x 0 )-t használjuk. lim melyekre Mivel itt ɛ > 0 tetszőlegesen kicsi, így a a = 0, a = a, ami ellentmondás, bizonyítva

6. gyakorlat. Gelle Kitti. Csendes Tibor Somogyi Viktor. London András. jegyzetei alapján

Diszkrét matematika 2. estis képzés

azonosságot minden 1 i, l n, 1 j k, indexre teljesítő együtthatókkal, amelyekre érvényes a = c (j) i,l l,i

15. LINEÁRIS EGYENLETRENDSZEREK

A sorozat fogalma. függvényeket sorozatoknak nevezzük. Amennyiben az értékkészlet. az értékkészlet a komplex számok halmaza, akkor komplex

Diszkrét matematika I., 12. előadás Dr. Takách Géza NyME FMK Informatikai Intézet takach november 30.

Relációk Függvények. A diákon megjelenő szövegek és képek csak a szerző (Kocsis Imre, DE MFK) engedélyével használhatók fel!

1. előadás: Halmazelmélet, számfogalom, teljes

ismertetem, hogy milyen probléma vizsgálatában jelent meg ez az eredmény. A kérdés a következő: Mikor mondhatjuk azt, hogy bizonyos események közül

I. VEKTOROK, MÁTRIXOK

E.4 Markov-láncok E.4 Markov-láncok. Sok sorbanállási hálózat viselkedése leírható "folytonos idejű Markovláncok " segítségével.

1. Homogén lineáris egyenletrendszer megoldástere

Lineáris leképezések (előadásvázlat, szeptember 28.) Maróti Miklós, Kátai-Urbán Kamilla

Diszkrét matematika 2.C szakirány

Halmaz: alapfogalom, bizonyos elemek (matematikai objektumok) Egy halmaz akkor adott, ha minden objektumról eldönthető, hogy

Nagy Gábor compalg.inf.elte.hu/ nagy

ALAPFOGALMAK 1. A reláció az program programfüggvénye, ha. Azt mondjuk, hogy az feladat szigorúbb, mint az feladat, ha

Formális nyelvek és automaták

Diszkrét matematika 1. estis képzés

Vektorok, mátrixok, lineáris egyenletrendszerek

Sorozatok, sorok, függvények határértéke és folytonossága Leindler Schipp - Analízis I. könyve + jegyzetek, kidolgozások alapján

26. MINIMÁLIS KÖLTSÉGŰ UTAK MINDEN CSÚCSPÁRRA

Diszkrét matematika 2. estis képzés

Diszkrét matematika I.

Itt és a továbbiakban a számhalmazokra az alábbi jelöléseket használjuk:

Nagy Gábor compalg.inf.elte.hu/ nagy ősz

Oktatási Hivatal. 1 pont. A feltételek alapján felírhatók az. összevonás után az. 1 pont

Klasszikus algebra előadás. Waldhauser Tamás április 14.

KOVÁCS BÉLA, MATEMATIKA I.

Nagy Gábor compalg.inf.elte.hu/ nagy

Markov modellek

Számsorok. 1. Definíció. Legyen adott valós számoknak egy (a n ) n=1 = (a 1, a 2,..., a n,...) végtelen sorozata. Az. a n

összeadjuk 0-t kapunk. Képletben:

Nagy Gábor compalg.inf.elte.hu/ nagy ősz

Bevezetés az algebrába 2 Differencia- és differenciálegyenlet-rendszerek

Diszkrét matematika I.

út hosszát. Ha a két várost nem köti össze út, akkor legyen c ij = W, ahol W már az előzőekben is alkalmazott megfelelően nagy szám.

Diszkrét matematika II., 5. előadás. Lineáris egyenletrendszerek

Tömegkiszolgálás. Dr. Györfi László Győri Sándor Dr. Pintér Márta

x, x R, x rögzített esetén esemény. : ( ) x Valószínűségi Változó: Feltételes valószínűség: Teljes valószínűség Tétele: Bayes Tétel:

Egészrészes feladatok

Egyenletek, egyenlőtlenségek VII.

Egyenletek, egyenlőtlenségek X.

17. előadás: Vektorok a térben

Gráfelmélet. I. Előadás jegyzet (2010.szeptember 9.) 1.A gráf fogalma

3. Előadás. Megyesi László: Lineáris algebra, oldal. 3. előadás Lineáris egyenletrendszerek

Első zárthelyi dolgozat megoldásai biomatematikából * A verzió

Nagy Gábor compalg.inf.elte.hu/ nagy ősz

Diszkrét matematika 2.C szakirány

1.9. B - SPLINEOK B - SPLINEOK EGZISZTENCIÁJA. numerikus analízis ii. 34. [ a, b] - n legfeljebb n darab gyöke lehet. = r (m 1) n = r m + n 1

Analízis I. Vizsgatételsor

Mátrixok 2017 Mátrixok

Hidden Markov Model. March 12, 2013

8. Előadás. Megyesi László: Lineáris algebra, , oldal. 8. előadás Mátrix rangja, Homogén lineáris egyenletrendszer

Nagy Gábor compalg.inf.elte.hu/ nagy ősz

Függvény határérték összefoglalás

A fontosabb definíciók

tudjuk-e osztani a Markov-lánc állapotterét annak alapján, hogy mely állapotból

9. Előadás. Megyesi László: Lineáris algebra, oldal. 9. előadás Mátrix inverze, Leontyev-modell

10. Előadás. 1. Feltétel nélküli optimalizálás: Az eljárás alapjai

GPK M1 (BME) Interpoláció / 16

Gazdasági matematika II. tanmenet

Gauss elimináció, LU felbontás

Matematikai logika és halmazelmélet

4. Fuzzy relációk. Gépi intelligencia I. Fodor János NIMGI1MIEM BMF NIK IMRI

Készítette: Fegyverneki Sándor

Számelméleti alapfogalmak

2010. október 12. Dr. Vincze Szilvia

Vektorterek. Wettl Ferenc február 17. Wettl Ferenc Vektorterek február / 27

Abszolút folytonos valószín ségi változó (4. el adás)

Eötvös Loránd Tudományegyetem Természettudományi Kar Valószínűségelméleti és Statisztika Tanszék. Csatolás

Formális nyelvek - 9.

Boros Zoltán február

Algebra es sz amelm elet 3 el oad as Nevezetes sz amelm eleti probl em ak Waldhauser Tam as 2014 oszi f el ev

22. GRÁFOK ÁBRÁZOLÁSA

Diszkrét matematika 2.

Miért fontos számunkra az előző gyakorlaton tárgyalt lineáris algebrai ismeretek

RE 1. Relációk Függvények. A diákon megjelenő szövegek és képek csak a szerző (Kocsis Imre, DE MFK) engedélyével használhatók fel!

Átírás:

. Markov-láncok. Definíció és alapvető tulajdonságok Legyen adott egy S diszkrét halmaz. Leggyakrabban S az egész számoknak egy halmaza, például S = {0,,,..., N}, {0,,,... }.. definíció. S értékű valószínűségi változók egy X 0, X, X,... végtelen sorozatát Markov-láncnak hívjuk, ha a valószínűségi változók között a következő összefüggés fennáll. Minden n 0 egész szám, és j, i, i 0,,...,i n S állapotok esetén teljesül a P(X n+ = j X n = i, X n = i n,..., X = i, X 0 = i 0 ) = P(X n+ = j X n = i) () egyenlőség. A Markov-lánc időben homogén, ha P(X n+ = j X n = i) = P(X = j X 0 = i), minden n 0 esetén. Leggyakrabban az indexre úgy gondolunk, mint az idő paramétere. időben változó véletlen jelenséget ír le. Így egy Markov-lánc valamilyen Fontos következménye a definíciónak, pontosabban a () egyenlőségnek, hogy P(X n+m = j m,...,x n+ = j, X n+ = j X n = i, X n = i n,..., X = i, X 0 = i 0 ) = = P(X n+m = j m,...,x n+ = j, X n+ = j = j X n = i). Ez az egyenlőség azt jelenti, hogy ha a jelen az n időindexnél van, és a jelen értékét ismerjük, X n = i, akkor a Markov-lánc jövője, (X n+m = j m,...,x n+ = j, X n+ = j ), független a múlttól, az (X n = i n,...,x = i, X 0 = i 0 ) eseménytől. Ezentúl S-et a Markov-lánc állapottérnek hívjuk. Ezentúl csak időben homogén Markov-láncokkal foglalkozunk, és elhagyjuk az időben homogén jelzőt. Minden Markov-lánc fejlődését meghatározza a P(X n+ = j X n = i) egylépéses átmenetvalószínűség, ha ez adott minden j, i S esetén. Ezeket az átmenet valószínűségeket egy S -szer S -es P mátrixba gyűjtjük, ahol a mátrix ij indexű helyén a P ij = P(X n+ = j X n = i) valószínűség áll. Ha S végtelen, akkor P egy végtelen mátrix. A P mátrix neve átmenetvalószínűség mátrix, vagy egylépéses átmenetvalószínűség mátrix. Legyen adott állapotok egy véges hosszú sorozata: i, i,..., i n, i n. Fontos tulajdonsága a Markovláncoknak, hogy egyszerűen fel tudjuk írni annak a valószínűségét, hogy mi annak a valószínűsége, hogy a Markov-lánc egymás utáni lépéseiben pont ezeket az állapotokat veszi fel: P(X n = i n, X n = i n..., X = i, X = i X = i 0 ) = P i0i P ii... P in i n () Ennek az a következménye, hogy minden Markov-láncot egyértelműen meg lehet feleltetni egy irányított, súlyozott gráfon való véletlen bolyongásnak. Legyenek a gráf pontjai az S halmazzal indexelve. Az i j irányított él be van húzva, ha a P ij egy lépéses átmenet pozitív, az él súly a P ij értéke. Ekkor a gráfon való bolyongás úgy néz ki, hogy ha n-dik lépésben a bolyongás az i állapotba ugrott, akkor a j-be ugrás valószínűsége éppen P ij. példa. Az. ábrán lévő Markov-lánc esetén annak a valószínűsége, hogy az 5-ből indulva sorrendben meglátogatja az állapotokat. Annak a valószínűsége, hogy 5-ből indulva sorrendben meglátogatja az 6 állapotokat 0.

6 5 0 9 7 8 / / / 0 0 0 0 0 0 0 / / / 0 0 0 0 0 0 0 / 0 / 0 0 0 0 0 0 0 0 0 0 0 / / 0 0 0 0 P = / 0 0 0 0 / 0 0 0 / 0 0 0 / 0 / 0 0 0 0 0 0 0 0 0 0 0 / 0 / 0 0 0 0 0 0 0 / / 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Figure.: Markov-lánc gráf reprezentációja és átmenetvalószínűség mátrixa Többlépéses átmenetvalószínűségek. Legyen P (n) a P átmenetvalószínűség mátrixszal meghatározott Markov-lánc egylépéses átmenetvalószínűség mátrixa. Pontosabban, P (n) ij koordinátájú helyén a P (n) ij = P(X n = j X 0 = i), i, j S valószínűség áll, azaz annak valószínűsége, hogy a Markov-lánc n lépése alatt az i állapotból eljut a j állapotba. Fontos összefüggés, hogy az n lépéses átmenetvalószínűség mátrix felírható az egylépéses átmenetvalószínűség mátrix n-dik hatványaként:. állítás. P (n) = P n. példa. A. ábrában definiált Markov-lánc esetén annak a valószínűsége, hogy 5-ból indulva lépés múlva a -es állapotban van megegyezik a [P ] 5 elemmel. Ez megegyezik az 5 5 utak valószínűségének összegével. Eddig mindig feltettük, hogy a Markov-lánc valamilyen i 0 állapotból indul, és úgy néztük a későbbi lépések valószínűségét. Most P(X 0 = i 0, X = i ), vagy P(X n = i n ) kifejezésekhez hasonló valószínűségeket szeretnénk meghatározni mindenféle feltétel nélkül. Ezt úgy tudjuk megtenni, hogy feltesszük, hogy a 0 időben adott valamilyen kiindulási eloszlás, azaz adott az X 0 -nak az eloszlása. Ezt az eloszlást kezdeti eloszlásnak nevezzük. A kezdeti eloszlás megadását technikailag úgy tesszük meg, hogy megadunk egy sorvektort, a-t, azaz a = [a i, i S], úgy, hogy az i-dik elem éppen annak a valószínűsége, hogy a 0 időben a Markov-lánc az i állapotban van: P(X 0 = i) = a i, i S.. példa. Például, ha P(X 0 = i 0 ) =, akkor ez azt jelenti, hogy a Markov-lánc az i 0 állapotból indul. Vagy tekintsük a. ábrában definiált Markov-láncot. Ha feltesszük, hogy kezdetben minden állapot ugyanolyan valószínű, azaz a i = 0, i =,,...,0, akkor( annak a valószínűsége, hogy az első lépés után a -as állapotban van az a P + a P + a P = 0 + + ) = 0. Ekkor a () egyenlőséghez hasonlóan (immáron feltétel nélkül) P(X n = i n, X n = i n...,x = i, X = i X = i 0 ) = P(X 0 = i 0 )P i0i P ii...p in i n azaz P(X 0 = i 0 ) = a i0 miatt P(X n = i n, X n = i n..., X = i, X = i X = i 0 ) = a i0 P i0i P ii... P in i n. példa. Tekintsük a. ábrában definiált Markov-láncot. Ha feltesszük, hogy kezdetben a i = i i =,,...,0, akkor annak a valószínűsége, hogy sorrendben az 5 utat teszi meg az 5 55. Most már, hogy adott egy a kezdeti eloszlás, képesek vagyunk meghatározni X n eloszlását. Tehát meg kell adnunk P(X n = j)-t minden j S esetén. A teljes valószínűség tételét használva: P(X n = j) = i S P(X n = j X 0 = i)p(x 0 = i) = i S a i P (n) ij. 55,

Mivel ennek az összegnek ugyanolyan a struktúrája, mint a mátrix szorzásnak ezért ezért P(X n = j) = i S a i P (n) ij = [ap n ] j, azaz amit kapunk az a ap n sorvektor j-dik eleme. Tehát X n eloszlását egy sorvektorként képzelhetjük el, ahol a sorvektor j-dik koordinátája a P(X n = j) valószínűség. Ez függ a kezdeti eloszlástól. Ha jelölni szeretnénk a kezdeti eloszlástól való függést, akkor a P a (X n = j) kifejezést írjuk.. Markov-lánc állapoteres felbontása A Markov-lánc állapotterét szeretnénk felbontani olyan osztályokra, amelyek ha nagyon sokáig nézzük a lánc fejlődését, akkor lényegesen máshogy viselkednek. Ehhez először definiáljunk két relációt.. definíció. j elérhető az i állapotból, jelben i j, ha létezik pozitíva valószínűségű út ib-ől j-be, azaz létezik egy n, hogy P(X n = j X 0 = i) > 0.. definíció. i érintkezik a j állapottal, jelben i j, ha i elérhető jből, és j is elérhető az i-ből. állítás. Az érintkezési reláció ekvivalencia reláció, azaz, () reflexív i i, () szimmetrikus i j j i, és () tranzitív i j és j k i k. Ennek az a következménye, hogy az egymással érintkező állapotok egy osztályba tartoznak. A. ábrán definiált Markov-lánc esetén osztály van: C = {,, }, C = {, 5, 6}, C = {7, 8, 9, 0}.. definíció. Ha egy osztályból nem megy ki pozitív valószínűségű út, akkor zártnak nevezzük. A példában a C és a C osztály zárt. Minden osztályra megmondható az, hogy mi a periódusa, és az, hogy visszatérő-e. Ezeket definiáljuk most. 5. definíció. Az i állapot periódusa d(i) a {n : P(X n = i X 0 = i) > 0} halmaz legnagyobb közös osztója. Ha a periódus, azaz d(i) =, akkor azt mondjuk, hogy az i állapot aperiodikus. Bebizonyítható, hogy ha egy i állapot periódusa d(i) = d, akkor elegendően sok idő után minden n számra teljesül, hogy P (nd) ii > 0, azaz, d lépésenként mindig visszatér pozitív valószínűséggel, ha az i állapotból indult a Markov-lánc. Természetesen ha d(i) =, akkor ez azt jelenti, hogy egy idő után mindig pozitív valószínűséggel (lehet, hogy egyre csökkenő) tartózkodik az i állapotban, ha az i állapotból indult a Markovlánc. 6. definíció. Egy i állapot visszatérő, ha i-ből indulva valószínűséggel visszatér, azaz Egy állapot átmeneti, ha nem visszatérő. P( nx n = i X 0 = i) =.. állítás. A periódus és a visszatérőség osztálytulajdonság. Azaz, az egy osztályban lévő állapotoknak ugyanaz a periódusa. Továbbá, az egy osztályban lévő állapotok vagy mind visszatérők, vagy mind átmenetiek. A. ábrán definiált Markov-lánc esetén a C és a C osztály periódusa, míg a C osztály periódusa. Továbbá, a C és a C osztály visszatérő, míg a C osztály átmeneti. Ennek a következő az oka.. állítás. Ha egy véges sok elemből álló osztály zárt, akkor visszatérő. Ha megy ki belőle pozitív valószínűségű út, akkor visszatérő.

Ez utóbbi állítás azért igaz szemléletesen, mert egy ilyen pozitív valószínűségű út kipumpálja az ott tartózkodás valószínűségét az osztályból. Az is bebizonyítható, hogy egy véges elemből álló átmeneti osztályban tartózkodás valószínűsége exponenciálisan csökken. Pontosabban, ha C egy véges átmeneti osztály és i C akkor, P(X n C X 0 = i) Kδ n, ahol K > 0 és 0 < δ <. Általában az S állapottér felbontható S = T T C C... osztályok uniójára, ahol T i osztályok jelölik az átmeneti osztályokat, és C i jelölik a visszatérő osztályokat. 7. definíció. Ha a Markov-lánc egy osztályból álla, akkor azt mondjuk, hogy irreducibilis (felbonthatatlan). A visszatérő osztályok zártak, nem megy ki belőlük él. Ha a Markov-lánc egy zárt osztályból indul, akkor végig abban az osztályban marad. Ha a Markov-lánc egy átmeneti osztályból indul, akkor véges sok lépés alatt valószínűséggel elhagyja.. Stacionárius eloszlás 8. definíció. Egy X 0, X,... Markov-láncot (erősen) stacionárius folyamatnak nevezünk, ha minden n, m, és i 0, i,..., i n S állapotsorozat esetén P(X 0 = i 0, X = i,..., X n = i n ) = P(X m = i 0, X m+ = i,..., X m+n = i n ). Ez azt jelenti, hogy egy véges trajektória (i 0, i,..., i n ) valószínűsége minden időben ugyanaz 9. definíció. Ha π sorvektor az S állapottéren adott egy eloszlás (π = [, i S]), akkor stacionárius eloszlásnak hívjuk, ha πp = π. () Figyeljük meg, hogy ez azt jelenti, hogy X 0 eloszlása (P(X n = j) = π j, miden j S) megegyezik X eloszlásával (P(X n = j) = [πp] j, miden j S) Ennek az a következménye, hogy minden n-re X n -nek ugyanaz az eloszlása: P(X n = j) = π j, n 0, j S, ugyanis, ahogy már korábban felírtuk X n eloszlása felírható πp n sorvektor alakban. Továbbá, a ()-ból az következik, hogy nem csak egy hatványra, hanem tetszőleges n-re igaz, hogy Bizonyítható a πp n = π. 5. állítás. Ha π stacionárius eloszlás, és ez a Markov-lánc kezdeti eloszlása (a = π), akkor az X 0, X,... Markov-lánc stacionárius. Érdekes, hogy ha. tétel. Ha egy Markov-lánc irreducibilis és aperiodikus, akkor az sajátérték egyenletnek létezik egyetlen megoldása. Két egymást kizáró eset lehetséges: yp = y () Ha az y sorvektor elemeinek az összege véges, azaz i S y i <, akkor létezik egyetlen stacionárius eloszlás π, ahol y j π j = i S y i pozitív szám.

() Ha az y sorvektor elemeinek az összege véges, azaz i S y i =, akkor nem létezik stacionárius eloszlás.. megjegyzés. Fontos megjegyzés, hogy ha az állapottér véges, akkor az i S y i összeg automatikusan véges, így minden irreducibilis és aperiodikus Markov-láncnak létezik stacionárius eloszlása. 5. példa. Tekintsük a. ábrán definiált Markov-láncot megszorítva a C osztályra. Ez egy irreducibilis, aperiodikus Markov-lánc. Határozzuk meg a stacionárius eloszlását. Ehhez meg kell oldani az / / / [π π π ] / / / = [π π π ] / 0 / π + π + π = egyenletrendszert. Azt kapjuk, hogy π = 9, π = 9, π = 9. 6. példa. Legyen S = {0,,,... }. Legyen adott egy p, p,... sorozat, ahol 0 < p i < teljesül minden i =,,... számra. Tekintsük a következő Markov-láncot az S állapottéren. P i,i+ = p i, P i,i = p i =: q i, ha i =,,... és P 0 =. Határozzuk meg, hogy mikor létezik a Markov-láncnak stacionárius eloszlása. Írjuk fel a stacionárius eloszlást. Megoldás: Az. tétel alapján az yp = y egyenletet kell megoldani első lépésben. Azt kapjuk, hogy y 0 = y q y j = y j+ q j+ + y j p j, j. Ebből egy rekurziót lehet kapni y j -kre. p j + q j = miatt azt kapjuk, hogy y j+ q j+ y j p j = y j q j y j p j, j. A szomszédos sorokat összeadva, majd egyszerűsítve azt kapjuk, hogy amiből a rekurzió az y j+ q j+ = y j p j, j 0, y j+ = p 0p... p j q q...q j+ y 0, j 0 y 0 p 0 = y q alakot ölti. Ekkor a. tétel szerint pontosan akkor van stacionárius eloszlás, ha y j -k összege véges, azaz p 0 p...p j y j /y 0 = <. q q... q j+ j=0 Abban a speciális esetben, mikor p i = p rögzített szám (q i = q := p), akkor ez a feltétel az j=0 p j=0 ( ) j p = p q p q <. alakot ölti. Ez akkor teljesül, ha p <. Ekkor a stacionárius eloszlás ahol ρ = p q. π j = ρ j π 0, 5

. tétel. Ha egy Markov-lánc irreducibilis és aperiodikus és létezik stacionárius eloszlása, akkor X n eloszlása n növekedésével konvergál a stacionárius eloszláshoz függetlenül attól, hogy mi a kezdeti eloszlás. Pontosabban, vagy mátrixosan megfogalmazva P a (X n = j) π j, n, ap n π, n, ahol a sorvektorok konvergenciája azt jelenti, hogy minden koordinátában konvergál. Nagyon fontos tulajdonsága véges állapotterű Markov-láncoknak, hogy a fenti konvergencia exponenciálisan gyors, azaz. tétel. Ha egy véges állapotterű Markov-lánc irreducibilis és aperiodikus (ekkor létezik stacionárius eloszlása), akkor Pa (X n = j) π j Cδ n, ahol C > 0 és 0 < δ <. Vagy mátrixosan megfogalmazva, minden j S állapotra [ap n ] j π j Cδ n.. megjegyzés. A fenti exponenciális konvergencia nem csak véges állapotterű Markov-láncokra igaz. Bizonyos feltételek mellett végtelen állapotterű Markov-láncokra is teljesül.. Ergod-tétel Markov-láncokra Legyen X 0, X,... egy Markov-lánc S állapottérrel. Továbbá, adott egy valós értékű f költségfüggvény az állapotokon értelmezve: f : S R Ha a Markov-láncnak adott egy i 0 i... i n trajektóriája, akkor ennek a trajektóriának a költsége f(i 0 ) + f(i ) + + f(i n ). Ha nem határozzuk meg a trajektóriát, akkor az első n + állapot költsége egy valószínűségei változó Ekkor egy lépésre jutó átlagos költség f(x 0 ) + f(x ) + + f(x n ). f(x 0 ) + f(x ) + + f(x n ). n + Arra vagyunk kíváncsiak, hogyha a Markov-láncot végtelen sokáig futtatjuk, akkor mi lesz az egy lépésre jutó költség, vagy másként a hosszútávú átlagos költség: Erre a választ a következő tétel adja meg. f(x 0 ) + f(x ) + + f(x n ) lim n n +. tétel. Legyen X 0, X,... egy irreducibilis, aperiodikus Markov-lánc, amelynek létezik stacionárius eloszlása, π. Továbbá legyen adott egy f : S R költségfüggvény úgy, hogy a stacionárius eloszlás szerinti átlaga véges, f(i) <. i S Ekkor a hosszútávú átlagos költség egyszerűen számolható, f(x 0 ) + f(x ) + + f(x n ) lim = f(i). n n + i S 7. példa. Tekintsük a. ábrán definiált Markov-láncot megszorítva a C osztályra. Vezessük be a következő költségfüggvényt: f() = 0, f() = 0, f() = 0. Határozzuk meg a Markov-lánc lépéseinek hosszútávú átlagos költségét. Az. tételből következik, hogy ehhez ki kell számolni a stacionárius eloszlást. Az 5. példában ezt kiszámoltuk. Tehát a. tétel alapján a válasz 0 9 + 0 9 + 0 9. 6

5. Reverzibilis Markov-láncok A. tételbeli gyors konvergenciát felhasználhatjuk arra, hogy egy tetszőleges, véges S halmazon adott π eloszlásból generáljunk mintát. A Később majd ejtünk róla szót, hogy miért fontos, hogy meg tudjunk oldani ilyen típusú feladatokat. Azt fogjuk tenni, hogy megadunk egy Markov-láncot, amelynek a stacionárius eloszlása éppen π. Ehhez először reverzibilis/megfordítható Markov-láncokat tanulmányozzuk. 0. definíció. Egy X 0, X,...,X T Markov-lánc megfordítása az X 0, X,..., X T folyamat, ahol X t = X T t 6. állítás. Az X 0, X,...,X T folyamat Markov-lánc. Bizonyítás. A megfordítás definíciója szerint: P(X t+ = j X t = i, X t = i t,..., X 0 = i 0) = = P(X T (t+) = j X T t = i, X T (t ) = i t,..., X T = i 0 ). Mivel adott jelen, X T t = i, mellett a Markov lánc jövője (X T (t ) = i t,...,x T = i 0 ) és a múltja (X T (t+) = j) függetlenek, ezért a jobboldal egyenlő P(X T (t+) = j X T t = i) valószínűséggel, ami pedig éppen P(X(t+) = j X t = i). Azaz a megfordított folyamat is Markov-lánc. 7. állítás. Ha az X 0, X,...,X T Markov-lánc stacionárius, akkor a megfordított Markov-lánc is stacionárius, átmenetvalószínűséggel, ahol π az eredeti Markov-lánc stacionárius eloszlása. P ij = P jiπ j () Proof. A Bayes-tételt használva, majd azt, hogy a Markov-lánc a stacionárius eloszlásból indul, így minden n-re P(X n = j) = π j. Pij = P(X t+ = j X t = i) = P(X T t = j X T t = i) = P(X T t = jx T t = i) = P(X T t = i) = P(X T t = i X T t = j)p(x T t = j) P(X T t = i) = P jiπ j. Ezek után definiáljuk ezen alfejezet legfontosabb fogalmát. definíció. Egy X 0, X,..., X T Markov-láncot megfordíthatónak nevezünk, ha eloszlása megegyezik a megfordításának eloszlásával, azaz Pij = P ij. A () egyenletből következik, hogy a megfordítható Markov-lánc átmenetvalószínűségére fenáll másképpen P ij = P jiπ j = P ij, π j P ji = P ij, minden i, j S. (5) Ha ez az egyenlőség fennáll egy Markov-láncra, akkor a Markov-lánc megfordítható. A megfordítható Markov-láncok reprezentálhatók egy irányítatlan súlyozott gráfon való bolyongással a következőképpen. Legyen adott egy gráf, ahol a csúcspontok az S halmazzal vannak indexelve. Ha az i j él be van húzva, akkor az él súlya legyen w ij = w ji > 0. Ekkor a bolyongás a következőképpen fejlődik. Ha az n-dik lépésben az i állapotban van, akkor P ij = w ij w i valószínűséggel lép a j állapotba a következő lépésben, ahol w i = i j él be van húzva w ij 7

Így egy Markov-láncot definiáltunk, amelynek a stacionárius eloszlása ahol π j = w j w, w = i S w i a súlyok összege. Azt, hogy ez a stacionárius eloszlás, látszik a következő állítás bizonyításából. 8. állítás. A fent definiált Markov-lánc reverzibilis. Proof. Elég ellenőrizni a (5) egyenlőség meglétét. Ez viszont teljesül: π j P ji = w j w w ji = w ji w j w = w ij w = w i w ij = P ij. w w i 8. példa. Mutassuk meg, hogy az 6. példában definiált Markov-lánc reverzibilis. Markov chain Monte Carlo (MCMC). Ebben a pontba írjuk le az alfejezet kiindulási problémájának megoldását. Tehát, ha adott egy S állapottér és egy π eloszlás S-en, akkor készítünk egy reverzibilis Markovláncot, amelynek a stacionárius eloszlása éppen π. Mivel S véges, a lépések (n) számának növelésével a Markov-lánc n időben vett eloszlása exponenciálisan gyorsan konvergál a stacionárius eloszlásához, π-hez. Tehát, hogyan konstruálunk ilyen reverzibilis Markov-láncot? Meg kell határozni P-t, az átment valószínűség mátrixot. Induljunk ki (5) karakterizációból, azaz az ismeretlen P ij -nek ki kell elégíteni a egyenlőséget. Vegyük a logaritmusát: Átrendezve azt kapjuk, hogy továbbá P ij P ji = π j log P ij log P ji = log π j log. log P ij = log P ji + log π j log, log P ij (log π j log ) = log P ji + (log π j log ) log P ij (log π j log ) = log P ji (log log π j ). (6) Legyen S egy S S mátrix, amelynek az ij-dik eleme legyen S ij := log P ij (log π j log ), ha i j. Ekkor az (6) egyenlőség alapján S szimmetrikus mátrix (i és j felcserélésével ugyanazt a számot kapjuk). Ekkor az ismeretlen P ij átmenetvalószínűségekre teljesül a log P ij = S ij + (log π j log ) = S ij (log log π j ), ha i j. egyenlőség. Ekkor bevezetve az S szimmetrikus mátrixot, amelyet az S ij = e S ij egyenlőség definiál minden ij párra, azt kapjuk, hogy π P ij = S ij e i, ha i j. π j 8

Most meg kell választanunk P ii átmenet valószínűségeket, i S. Arra kell vigyáznunk, hogy ne legyen j:j i P ij >. Mivel S ij -k helyett tetszőleges δ > 0 számszorosa is jó szimmetrikus mátrixnak, ezért legyenek S ij -k (i, j S) akkorák, hogy P ij, j:j i Ekkor már definiálhatjuk P ii -t, legyen azaz S ij e. π j j:j i P ii := P ij. j:j i Szokásos választás, ha az S mátrixnak az incidencia mátrix C, valamely δ-szorosát vesszük (δ > 0). Emlékeztetőül, a incidencia mátrix egy négyzetes mátrix, amely a csúcsok közötti kapcsolatot írja le úgy, hogy { ha az i j él be van húzva, C ij = 0 különben. Ekkor P ij = δc ij π j. 9