(Diszkrét idejű Markov-láncok állapotainak

Átírás

1 (Diszkrét idejű Markov-láncok állapotainak osztályozása) March 21, 2019

2 Markov-láncok A Markov-láncok anaĺızise főként a folyamat lehetséges realizációi valószínűségeinek kiszámolásával foglalkozik. Ezekben a számításokban központi szerepet játszik az n-lépéses átmenetvalószínűség-mátrix. Azt a feltételes valószínűséget, hogy X n+m a j állapotban van, feltéve, hogy X m az i állapotban van, n-lépéses átmenetvalószínűségnek nevezzük, azaz P n ij = P(X n+m = j X m = i), i, j = 0, 1, 2,.... Továbbá, az n-lépéses átmenetvalószínűségekből álló P (n) = (P n ij ) mátrixot az {X n n = 0, 1, 2,...} folyamat n-lépéses átmenetvalószínűségmátrixának nevezzük. Vegyük észre, hocs csak olyan folyamatokkal fogunk foglalkozni, melyeknek az átmenetvalószínűségei stacionáriusak. (Egyébként a bal oldal m-től is függne.)

3 Markov-láncok Megjegyzés A Markov-tulajdonság miatt a P n ij kifejezhető P = (P ij ) segítségével. Tétel (Chapman-Kolmogorov egyenletek) Ha a Markov-lánc egylépéses átmenetvalószínűség-mátrixa P = (P ij ), akkor (1) P n ij = k=0 P r ikp s kj tetszőleges rögzített r és s nemnegatív szám esetén, melyekre r + s = n, ahol { Pij 0 1, ha i = j = 0, ha i j.

4 Markov-láncok Megjegyzés Az (1) képlet nem más, mint a mátrix-szorzás szabálya, így P (n) = P n. A Chapman-Kolmogorov egyenletek bizonyításának vázlata Az n = 2 esetre igazoljuk az álĺıtást, azaz amikor két lépés alatt az i állapotból a j-be jutunk. Ehhez vezessük be az A k, k = 0, 1, 2,... eseményeket, ahol A k azt jelöli, hogy az i állapotból először egy közbülső k állapotba megyünk (k = 0, 1, 2,...), majd a második átmenet alatt a k állapotból a j állapotba lépünk át. Ekkor az A k, k = 0, 1, 2,... mind egymást kizáró megvalósításai a szóban forgó eseménynek. Másrészt, a Markov-tulajdonság miatt a második átlépés valószínűsége P kj, az elsőé pedig P ik. Ha felhasználjuk a teljes valószínűség tételét, akkor adódik az (1) egyenlőség az n = 2 és r = s = 1 esetre.

5 Állapotok osztályozása Azt mondjuk, hogy a j állapot elérhető az i állapotból, ha létezik olyan n 0 egész, melyre P n ij > 0: azaz, ha pozitív annak a valószínűsége, hogy véges számú átlépés után az i állapotból indulva eljutunk a j állapotba. Jelölés: i j. Az i és j állapotot kapcsolódónak nevezzük, ha kölcsönösen elérhetőek egymásból. Jelölés: i j. Megjegyzés Ha az i és j állapotok nem kapcsolódóak, akkor P n ij = 0, minden n 0 egész esetén vagy P n ji = 0, minden n 0 egész esetén.

6 Kapcsolódás tulajdonsága Álĺıtás A kapcsolódás egy ekvivalenciarelációt definiál az állapotok halmazán. Bizonyítás (R) : Rögtön következik a Pij 0 definíciójából: { Pij 0 1, ha i = j = 0, ha i j. (Sz) : Triviális. (T) : Tegyük fel, hogy i j és j k. Ekkor meg kell mutatni, hogy i k is teljesül. Mivel i j és j k így léteznek olyan n, m nemnegatív egészek, hogy Pij n > 0 és Pjk m > 0. Ekkor a Chapman- Kolmogorov egyenlőségeket és a valószínűségek nemnegativitását felhasználva kapjuk, hogy P n+m ik = Pir n Prk m Pij n Pjk m > 0. r=0

7 Markov-láncok jellemzése Bizonyítás folytatása (T) : Következésképpen, i k. Hasonlóan megmutatható, hogy létezik egy olyan l nemnegatív egész is, melyre P l ki > 0, azaz k i. Ezen megállapításokból pedig adódik, hogy i és k kapcsolódóak. Megjegyzés Az állapotok ekvivalenciaosztályokra bonthatóak. A fenti ekvivalenciareláció által indukált osztályokat kommunikációs osztályoknak nevezzük. A Markov-lánc irreducibilis, ha egyetlen kommunikációs osztályba sorolható az összes állapot, azaz minden állapot kapcsolódik mindegyik állapottal.

8 Osztálytulajdonságok Az állapotok valamely tulajdonságát osztálytulajdonságnak nevezzük, ha egy osztályon belül minden állapot rendelkezik vele, vagy egyik sem. Egy i állapotot lényegesnek nevezünk, ha az i-ből elérhető állapotokból vissza lehet térni i-be (azaz i j maga után vonja, hogy j i). Ellenkező esetben az i-t lényegtelennek nevezzük. Álĺıtás A lényeges és lényegtelen tulajdonságok osztálytulajdonságok. Bizonyítás Elegendő belátni, hogy lényeges állapotból csak lényeges állapot érhető el. Legyen tehát i lényeges és i j. Legyen k a j-ből elérhető tetszőleges állapot: j k. Mivel i lényeges és i j k, így k i. De ekkor k-ból visszatérhetünk j-be a k i j úton, azaz a j is lényeges állapot.

9 Példák (1) P = P 1 0 = 0 P Ekkor könnyen látszik, hogy két osztályunk van: Az első osztályhoz az első két állapot tartozik, míg a második osztályhoz a harmadik, negyedik és ötödik állapotok. (2) Az alábbi átmenetvalószínűség-mátrixhoz 3 osztály tartozik: q 0 p q 0 p P = q 0 p

10 Markov-láncok periodicitása Az i állapot periódusán azon n 1 egész számoknak a legnagyobb közös osztóját értjük, amelyekre P n ii > 0. Ha P n ii = 0 minden n esetén, akkor az i állapot periódusa. Jelölés: d(i). Példa Az alábbi átmenetvalószínűség-mátrix-szal rendelkező Markov-lánc n állapotú, melyben minden állapot periódusa n: P =

11 Markov-láncok periodicitása Tétel Ha i j, akkor d(i) = d(j), azaz egy kommunikációs osztályon belül minden állapotnak azonos a periódusa. Bizonyítás Legyen i és j egyazon osztályban. Így létezik n, m N, hogy Pij m > 0 és Pji n > 0. Legyen s tetszőleges pozitív egész, melyre Pii s > 0. Ekkor > 0 is teljesül. Másrészt, P 2s ii Hasonlóan P n+s+m jj P n ji P s iip m ij > 0. P n+2s+m jj > 0 is igaz. Ezekből d(j) n + s + m és d(j) n + 2s + m, amiből d(j) s. Így d(j) osztója az összes olyan s-nek, melyre P s ii > 0, azaz d(j) osztója az ilyen s-ek legnagyobb közös osztójának is, tehát d(j) d(i). Másrészt, i és j szerepének felcserélésével d(i) d(j). Tehát d(i) = d(j).

12 Markov-láncok periodicitása Tétel Ha az i állapot periódusa d(i), akkor létezik olyan, i-től függő N egész, hogy minden n N egész esetén P nd(i) ii > 0. Ez a tétel azt jelenti, hogy a d(i) periódus minden elég nagy többszörösekor vissza elehet térni az i állapotba. Következmény Ha P m ji > 0, akkor P m+nd(i) ji > 0 minden elég nagy n esetén. Egy állapotot aperiodikusnak nevezünk, ha periódusa 1. Az olyan Markov-láncot, amelyben minden állapotnak 1 a periódusa, aperiodikusnak nevezzük.

13 Irodalom Fazekas István: Markov-láncok és alkalmazásaik, egyetemi jegyzet, mobidiák könyvtár, Debreceni Egyetem. Samuel Karlin, Howard M. Taylor: Sztochasztikus folyamatok, Academic Press, Inc. (1975).