(Diszkrét idejű Markov-láncok állapotainak osztályozása) March 21, 2019
Markov-láncok A Markov-láncok anaĺızise főként a folyamat lehetséges realizációi valószínűségeinek kiszámolásával foglalkozik. Ezekben a számításokban központi szerepet játszik az n-lépéses átmenetvalószínűség-mátrix. Azt a feltételes valószínűséget, hogy X n+m a j állapotban van, feltéve, hogy X m az i állapotban van, n-lépéses átmenetvalószínűségnek nevezzük, azaz P n ij = P(X n+m = j X m = i), i, j = 0, 1, 2,.... Továbbá, az n-lépéses átmenetvalószínűségekből álló P (n) = (P n ij ) mátrixot az {X n n = 0, 1, 2,...} folyamat n-lépéses átmenetvalószínűségmátrixának nevezzük. Vegyük észre, hocs csak olyan folyamatokkal fogunk foglalkozni, melyeknek az átmenetvalószínűségei stacionáriusak. (Egyébként a bal oldal m-től is függne.)
Markov-láncok Megjegyzés A Markov-tulajdonság miatt a P n ij kifejezhető P = (P ij ) segítségével. Tétel (Chapman-Kolmogorov egyenletek) Ha a Markov-lánc egylépéses átmenetvalószínűség-mátrixa P = (P ij ), akkor (1) P n ij = k=0 P r ikp s kj tetszőleges rögzített r és s nemnegatív szám esetén, melyekre r + s = n, ahol { Pij 0 1, ha i = j = 0, ha i j.
Markov-láncok Megjegyzés Az (1) képlet nem más, mint a mátrix-szorzás szabálya, így P (n) = P n. A Chapman-Kolmogorov egyenletek bizonyításának vázlata Az n = 2 esetre igazoljuk az álĺıtást, azaz amikor két lépés alatt az i állapotból a j-be jutunk. Ehhez vezessük be az A k, k = 0, 1, 2,... eseményeket, ahol A k azt jelöli, hogy az i állapotból először egy közbülső k állapotba megyünk (k = 0, 1, 2,...), majd a második átmenet alatt a k állapotból a j állapotba lépünk át. Ekkor az A k, k = 0, 1, 2,... mind egymást kizáró megvalósításai a szóban forgó eseménynek. Másrészt, a Markov-tulajdonság miatt a második átlépés valószínűsége P kj, az elsőé pedig P ik. Ha felhasználjuk a teljes valószínűség tételét, akkor adódik az (1) egyenlőség az n = 2 és r = s = 1 esetre.
Állapotok osztályozása Azt mondjuk, hogy a j állapot elérhető az i állapotból, ha létezik olyan n 0 egész, melyre P n ij > 0: azaz, ha pozitív annak a valószínűsége, hogy véges számú átlépés után az i állapotból indulva eljutunk a j állapotba. Jelölés: i j. Az i és j állapotot kapcsolódónak nevezzük, ha kölcsönösen elérhetőek egymásból. Jelölés: i j. Megjegyzés Ha az i és j állapotok nem kapcsolódóak, akkor P n ij = 0, minden n 0 egész esetén vagy P n ji = 0, minden n 0 egész esetén.
Kapcsolódás tulajdonsága Álĺıtás A kapcsolódás egy ekvivalenciarelációt definiál az állapotok halmazán. Bizonyítás (R) : Rögtön következik a Pij 0 definíciójából: { Pij 0 1, ha i = j = 0, ha i j. (Sz) : Triviális. (T) : Tegyük fel, hogy i j és j k. Ekkor meg kell mutatni, hogy i k is teljesül. Mivel i j és j k így léteznek olyan n, m nemnegatív egészek, hogy Pij n > 0 és Pjk m > 0. Ekkor a Chapman- Kolmogorov egyenlőségeket és a valószínűségek nemnegativitását felhasználva kapjuk, hogy P n+m ik = Pir n Prk m Pij n Pjk m > 0. r=0
Markov-láncok jellemzése Bizonyítás folytatása (T) : Következésképpen, i k. Hasonlóan megmutatható, hogy létezik egy olyan l nemnegatív egész is, melyre P l ki > 0, azaz k i. Ezen megállapításokból pedig adódik, hogy i és k kapcsolódóak. Megjegyzés Az állapotok ekvivalenciaosztályokra bonthatóak. A fenti ekvivalenciareláció által indukált osztályokat kommunikációs osztályoknak nevezzük. A Markov-lánc irreducibilis, ha egyetlen kommunikációs osztályba sorolható az összes állapot, azaz minden állapot kapcsolódik mindegyik állapottal.
Osztálytulajdonságok Az állapotok valamely tulajdonságát osztálytulajdonságnak nevezzük, ha egy osztályon belül minden állapot rendelkezik vele, vagy egyik sem. Egy i állapotot lényegesnek nevezünk, ha az i-ből elérhető állapotokból vissza lehet térni i-be (azaz i j maga után vonja, hogy j i). Ellenkező esetben az i-t lényegtelennek nevezzük. Álĺıtás A lényeges és lényegtelen tulajdonságok osztálytulajdonságok. Bizonyítás Elegendő belátni, hogy lényeges állapotból csak lényeges állapot érhető el. Legyen tehát i lényeges és i j. Legyen k a j-ből elérhető tetszőleges állapot: j k. Mivel i lényeges és i j k, így k i. De ekkor k-ból visszatérhetünk j-be a k i j úton, azaz a j is lényeges állapot.
Példák (1) 1 1 2 2 0 0 0 1 3 4 4 0 0 0 P = 0 0 0 1 0 P 1 0 = 0 P 2. 1 1 0 0 2 0 2 0 0 0 1 0 Ekkor könnyen látszik, hogy két osztályunk van: Az első osztályhoz az első két állapot tartozik, míg a második osztályhoz a harmadik, negyedik és ötödik állapotok. (2) Az alábbi átmenetvalószínűség-mátrixhoz 3 osztály tartozik: 1 0 0 0 0... 0 q 0 p 0 0... 0 0 q 0 p 0... 0 P =..... 0 0... 0 q 0 p 0 0... 0 0 0 1
Markov-láncok periodicitása Az i állapot periódusán azon n 1 egész számoknak a legnagyobb közös osztóját értjük, amelyekre P n ii > 0. Ha P n ii = 0 minden n esetén, akkor az i állapot periódusa. Jelölés: d(i). Példa Az alábbi átmenetvalószínűség-mátrix-szal rendelkező Markov-lánc n állapotú, melyben minden állapot periódusa n: 0 1 0 0... 0 0 0 1 0... 0 P =......... 0 0 0 0... 1 1 0 0 0... 0
Markov-láncok periodicitása Tétel Ha i j, akkor d(i) = d(j), azaz egy kommunikációs osztályon belül minden állapotnak azonos a periódusa. Bizonyítás Legyen i és j egyazon osztályban. Így létezik n, m N, hogy Pij m > 0 és Pji n > 0. Legyen s tetszőleges pozitív egész, melyre Pii s > 0. Ekkor > 0 is teljesül. Másrészt, P 2s ii Hasonlóan P n+s+m jj P n ji P s iip m ij > 0. P n+2s+m jj > 0 is igaz. Ezekből d(j) n + s + m és d(j) n + 2s + m, amiből d(j) s. Így d(j) osztója az összes olyan s-nek, melyre P s ii > 0, azaz d(j) osztója az ilyen s-ek legnagyobb közös osztójának is, tehát d(j) d(i). Másrészt, i és j szerepének felcserélésével d(i) d(j). Tehát d(i) = d(j).
Markov-láncok periodicitása Tétel Ha az i állapot periódusa d(i), akkor létezik olyan, i-től függő N egész, hogy minden n N egész esetén P nd(i) ii > 0. Ez a tétel azt jelenti, hogy a d(i) periódus minden elég nagy többszörösekor vissza elehet térni az i állapotba. Következmény Ha P m ji > 0, akkor P m+nd(i) ji > 0 minden elég nagy n esetén. Egy állapotot aperiodikusnak nevezünk, ha periódusa 1. Az olyan Markov-láncot, amelyben minden állapotnak 1 a periódusa, aperiodikusnak nevezzük.
Irodalom Fazekas István: Markov-láncok és alkalmazásaik, egyetemi jegyzet, mobidiák könyvtár, Debreceni Egyetem. Samuel Karlin, Howard M. Taylor: Sztochasztikus folyamatok, Academic Press, Inc. (1975).