Barczy Mátyás és Pap Gyula. Sztochasztikus folyamatok. (Diszkrét idejű Markov-láncok)

Barczy Mátyás és Pap Gyula Sztochasztikus folyamatok Példatár és elméleti kiegészítések II Rész (Diszkrét idejű Markov-láncok) mobidiák könyvtár

Barczy Mátyás és Pap Gyula Sztochasztikus folyamatok Példatár és elméleti kiegészítések II Rész (Diszkrét idejű Markov-láncok)

mobidiák könyvtár SOROZATSZERKESZTŐ Fazekas István

Barczy Mátyás és Pap Gyula Debreceni Egyetem Sztochasztikus folyamatok Példatár és elméleti kiegészítések II Rész (Diszkrét idejű Markov-láncok) Egyetemi jegyzet mobidiák könyvtár Debreceni Egyetem

Szerzők Barczy Mátyás egyetemi tanársegéd Debreceni Egyetem Informatikai Kar 400 Debrecen, Pf 2 barczy@infunidebhu Pap Gyula egyetemi tanár Debreceni Egyetem Informatikai Kar 400 Debrecen, Pf 2 papgy@infunidebhu Lektor Ispány Márton egyetemi adjunktus Debreceni Egyetem Informatikai Kar 400 Debrecen, Pf 2 Copyright c Barczy Mátyás és Pap Gyula, 2006 Copyright c elektronikus közlés mobidiák könyvtár, 2006 mobidiák könyvtár Debreceni Egyetem Informatikai Kar 400 Debrecen, Pf 2 http://mobidiakinfunidebhu A mű egyéni tanulmányozás céljára szabadon letölthető Minden egyéb felhasználás csak a szerzők előzetes írásbeli engedélyével történhet A mű,,a mobidiák önszervező mobil portál (IKTA, OMFB-00373/2003)) projekt keretében készült Barczy Mátyás az OTKA F04606/2004 pályázat támogatásában is részesült

Bevezetés Jelen munka a Debreceni Egyetem alkalmazott matematikus és matematikus szakos hallgatói részére tartott Sztochasztikus folyamatok Gyakorlat anyagát öleli fel A gyakorlathoz kapcsolódó előadás anyagának gerincét Dr Pap Gyula: Sztochasztikus folyamatok című jegyzete [6] adta, így főként az ott szereplő elméleti részekhez kapcsolódó feladatokat tárgyalunk A gyakorló feladatokon kívül szerepelnek példatárunkban az előadás anyagához kapcsolódó elméleti részek, kiegészítések is Sheldon M Ross: Introduction to Probability Models című könyvének [7] negyedik fejezetéből sok, diszkrét idejű Markov-láncokra vonatkozó ott (részben) kidolgozott példát és megoldásra kitűzött feladatot szerepeltetünk Ezúton is szeretnénk köszönetet mondani Ispány Mártonnak figyelmes, lelkiismeretes lektori munkájáért Észrevételeit, kiegészítéseit figyelembe véve a jegyzetet sok helyen pontosítottuk A példatárban N, illetve Z + halmazát jelöli a pozitív egész számok, illetve a nemnegatív egész számok 6

Tartalomjegyzék Alapfogalmak, állapotok osztályozása 7 2 Periodikusság, visszatérőség 30 3 Frobenius Perron tétel 57 4 Ergodikusság, stacionárius eloszlás 7 5 Első lépés analízis, elnyelődési problémák, visszatérési idők 0 6 Időmegfordítható Markov-láncok 54 7 Markov döntési folyamatok 67 8 Markov-láncok és a szimplex algoritmus 75 9 Egyéb példák 84 Hivatkozások 204 Alapfogalmak, állapotok osztályozása Feladat Legyenek X, X 2, független, azonos eloszlású valószínűségi változók (ugyanazon a valószínűségi mezőn értelmezettek) Igaz-e, hogy ekkor {X n : n } diszkrét idejű Markov-lánc? Megoldás A válasz: Nem Indoklás: Mert nem biztos, hogy az értékkészletek megszámlálhatóak 2 Feladat Legyenek X, X 2, független valószínűségi változók (ugyanazon a valószínűségi mezőn értelmezettek), mindegyikük értékkészlete {0, } Igaz-e, hogy ekkor {X n : n } diszkrét idejű homogén Markov-lánc? Megoldás A válasz: Nem Indoklás: Nem biztos, hogy homogén 3 Feladat Legyenek X, X 2, független, azonos eloszlású valószínűségi változók (ugyanazon a valószínűségi mezőn értelmezettek), mindegyikük értékkészlete R 8 természetes bázisa Igaz-e, hogy ekkor {X n : n } diszkrét idejű homogén Markov-lánc? Megoldás A válasz: Igen 7

Az alábbiakban Markov-láncokra nézünk példákat 4 Példa (Időjárás előrejelzés) [Ross [7], Chapter 4, Example a] Tegyük fel, hogy az, hogy holnap esni fog vagy nem csak attól függ, hogy ma esik vagy nem és nem függ a korábbi időjárási viszonyoktól Feltételezzük, hogy ha ma esik, akkor holnap α, ha ma nem esik, akkor holnap β valószínűséggel fog esni Tekintsük azt az {X n : n N} sztochasztikus folyamatot, hogy X n = 0, ha az n-edik napon esik és X n =, ha az n-edik napon nem esik Ekkor {X n : n N} (homogén) Markov-lánc, melynek állapottere a {0, } halmaz és egylépéses átmenetvalószínűségi mátrixa P = ( 0 ) 0 α α β β 5 Példa (Jelfeldolgozó rendszer) [Ross [7], Chapter 4, Example b] Tekintsünk egy jelfeldolgozó rendszert, aminek inputja és outputja is a {0, } jelhalmaz A jelfeldolgozó rendszer számos alegységből áll és minden alegység esetén p annak a valószínűsége, hogy az egy hozzá beérkező jelet változatlanul továbbít Tekintsük azt az {X n : n N} sztochasztikus folyamatot, ahol X n az n-edik alegységhez beérkező jel Ekkor {X n : n N} Markovlánc, melynek állapottere a {0, } halmaz és egylépéses átmenetvalószínűségi mátrixa P = ( 0 0 p p p p ) 6 Példa (Hangulatjelentés) [Ross [7], Chapter 4, Example c] Józsi kedélyállapotát vizsgáljuk Józsit minden nap (kedélyállapota szerint) vagy jókedvűnek vagy semlegesnek (so-so) vagy mogorvának ítéljük meg Ha Józsi ma jókedvű, akkor holnap 05, 04 ill 0 valószínűséggel lesz jókedvű, semleges ill mogorva Ha Józsi ma semleges, akkor holnap 03, 04 ill 03 valószínűséggel lesz jókedvű, semleges ill mogorva Ha Józsi ma mogorva, akkor holnap 02, 03 ill 05 valószínűséggel lesz jókedvű, semleges ill mogorva Jelöljük Józsi fenti kedélyállapotait 0, ill 2-vel és tekintsük azt az {X n : n N} sztochasztikus folyamatot, ahol X n Józsi kedélyállapota az n-edik nap Ekkor {X n : n N} Markov-lánc, melynek fázistere a {0,, 2} halmaz és egylépéses átmenetvalószínűségi mátrixa 0 2 0 05 04 0 P = 03 04 03 2 02 03 05 8

7 Példa (Markov-lánccá transzformálás) [Ross [7], Chapter 4, Example d] Tegyük fel, hogy az, hogy holnap esni fog vagy nem csak a mai és a tegnapi nap időjárási viszonyaitól függ Feltételezzük, hogy ha ma és tegnap esett, akkor holnap 07 valószínűséggel esik; ha ma esett, de tegnap nem, akkor holnap 05 valószínűséggel esik; ha ma nem esett, de tegnap igen, akkor holnap 04 valószínűséggel esik; ha ma és tegnap sem esett, akkor holnap 02 valószínűséggel esik Ha az {X n : n N} sztochasztikus folyamatot úgy definiálnánk, hogy X n aszerint lenne 0 vagy, hogy az n-edik napon esett vagy nem, úgy nem kapnánk Markov-láncot Azonban lehetséges Markov-láncra épülő modellt felállítani oly módon, hogy a lánc minden egyes időpontbeli állapotát az határozza meg együttesen, hogy aznap és az azt megelőző nap esett-e az eső vagy nem Matematikailag tekintsük azt az {X n : n N} sztochasztikus folyamatot, melyre minden n esetén X n = 0 ha az n-edik és az (n )-edik napon is esett, X n = ha az n-edik napon esett, de az (n )-edik napon nem, X n = 2 X n = 3 ha az n-edik napon nem esett, de az (n )-edik napon igen, ha sem az n-edik, sem az (n )-edik napon nem esett Leellenőrizzük, hogy {X n : n N} Markov-lánc, melynek fázistere a {0,, 2, 3} halmaz Tetszőleges olyan n N és i, i 2,, i n, i n+ {0,, 2, 3} esetén, melyekre P (X n = i n,, X = i ) > 0, fennáll, hogy P (X n+ = i n+ X n = i n, X n = i n,, X = i ) = P (X n+ = i n+ X n = i n ), hiszen az {X n+ = i n+ } esemény az (n + ) és n napi időjárási viszonyokról szól, az {X n = i n, X n = i n,, X = i } pedig az n, (n ),, napi időjárási viszonyokról, és feltételezésünk miatt ezek közül csak az n és (n ) napiról szóló információ számít, az (n+) napi időjárás szempontjából Az n és (n ) napi időjárási viszonyokról szóló információ pedig nemmás, mint az {X n = i n } esemény Az egylépéses átmenetvalószínűségi mátrix: 0 2 3 0 07 0 03 0 05 0 05 0 P = 2 0 04 0 06 3 0 02 0 08 Hiszen például, a P = (p i,j ) 0 i,j 3 jelöléssel, p 0,0 annak a valószínűsége, hogy feltéve, hogy ma és tegnap esett a holnapi napra az lesz igaz, hogy aznap és tegnap is esett, ez pedig nem más, mint annak a valószínűsége, hogy feltéve, hogy ma és tegnap is esett holnap is esni fog, ami pedig 07 Hasonlóan p 0, annak a valószínűsége, hogy feltéve, hogy ma és tegnap esett a holnapi napra az lesz igaz, hogy aznap esik, de tegnap nem esett, s mivel ezek egymást kizáró események, így p 0, = 0 A Markov-lánccá transzformálást más jelölésrendszert használva is leírhatjuk Minden 9

n esetén legyen Y n = 0 Y n = Vezessük be minden n esetén a Z n := ha az n-edik napon esett, ha az n-edik napon nem esett [ Yn Y n ] jelölést Ekkor {Z n : n N} Markov-lánc, melynek fázistere a {[ ] [ ] [ ] [ ]} 0 0,,, 0 0 halmaz és egylépéses átmenetvalószínűségi mátrixa P = [0, 0] [0, ] [, 0] [, ] [0, 0] 07 0 03 0 [0, ] 05 0 05 0 [, 0] 0 04 0 06 [, ] 0 02 0 08 8 Példa (Véletlen bolyongás Z-n) Tekintsünk egy kis egérkét, aki a számegyenes egész koordinátájú pontjain ugrál oly módon, hogy minden egyes pontból ugrania kell egységnyi hosszúnyit és jobbra p, balra p valószínűséggel ugorhat, ahol 0 < p < Minden n N esetén jelölje X n az egérke helyét az n ugrása után, továbbá X 0 Z az egérke kiindulási helyét jelöli Ekkor {X n : n = 0,, 2, } Markov-lánc, melynek fázistere Z = {0, ±, ±2, } Azt mondjuk, hogy {X n : n = 0,, 2, } véletlen bolyongás Z-n Nyilván, minden n = 0,, 2, esetén P (X n+ = i + X n = i) = p = P (X n+ = i X n = i), i Z Azaz az egylépéses átmenetvalószínűségi mátrix egy olyan ( )-es mátrix melynek főátlója feletti sorában p-k, főátlója alatti sorában ( p)-k állnak, a többi helyen pedig nullák 9 Példa (Egy szerencsejáték modell) Tekintsünk egy játékost, aki egy olyan játékot játszik, melynek minden egyes fordulójában p valószínűséggel nyer Ft-ot és p valószínűséggel veszít Ft-ot Feltételezzük, hogy játékosunk akkor hagyja abba a játékot, ha tönkremegy (azaz 0 Ft-ja lesz) vagy vagyona elér egy előre adott N összeget Ha X n jelöli a játékos vagyonát az n-edik játék után, akkor {X n : n N} Markov-lánc, melynek fázistere {0,,, N} és az egylépéses átmenetvalószínűségek p i,i+ = p = p i,i, i =,, N, p 0,0 = p N,N = 0

Azaz az egylépéses átmenetvalószínűségi mátrix P = 0 2 3 N 2 N N 0 0 0 0 0 0 0 p 0 p 0 0 0 0 2 0 p 0 p 0 0 0 0 p 0 N 0 0 0 0 p 0 p N 0 0 0 0 0 0 A 0 és N állapotok ún elnyelő állapotok, mert ha egyszer beléjük lépünk nem tudjuk őket elhagyni ( valószínűséggel) Ekkor {X n : n N}-et hívhatjuk véges állapotterű véletlen bolyongásnak 0 és N elnyelő falakkal Tudjuk, hogy egy homogén Markov-lánc n-lépéses átmenetvalószínűségi mátrixa megegyezik az -lépéses átmenetvalószínűségi mátrixa n-edik hatványával A továbbiakban Markov-láncon mindig homogén Markov-láncot értünk, hacsak az ellenkezőjét nem hangsúlyozzuk 0 Feladat [Ross [7], Chapter 4, Example 2a] Tekintsük az 4 Példát (időjárás előrejelzés) Legyen α = 07 és β = 04 Feltéve, hogy ma esik mi a valószínűsége, hogy négy nap múlva is esik? Megoldás P (4) 0,0 -t kell kiszámítani, ahol P (4) a 4-lépéses átmenetvalószínűségi mátrix Mivel a kérdéses Markov-lánc homogén, így P (4) = P 4 Ekkor P 2 = ( ) ( ) 07 03 07 03 04 06 04 06 = ( ) 06 039, 052 048 ezért P 4 = ( ) ( ) 06 039 06 039 052 048 052 048 = ( ) 05749 0425 05668 04332 Így P (4) 0,0 = (P 4 ) 0,0 = 05749 Feladat [Ross [7], Chapter 4, Example 2b] Tekintsük az 7 Példát (Markovlánccá transzformálás) Feltéve, hogy hétfőn és kedden esett mi a valószínűsége, hogy ezen a héten csütörtökön is esik? Megoldás Mivel annak a valószínűsége, hogy csütörtökön esik (a megfelelő feltétel mellett) megegyezik annak a valószínűségével, hogy csütörtökön a Markov-lánc a 0 vagy az állapotban van feltéve, hogy kezdetben a 0 állapotban volt, kapjuk, hogy a keresett feltételes valószínűség P (X 4 {0, } X 2 = 0) = P (X 4 = 0 X 2 = 0) + P (X 4 = X 2 = 0) = P (2) 0,0 + P (2) 0,

Meghatározzuk most a 2-lépéses átmenetvalószínűségi mátrixot Mivel a Markov-lánc homogén, így P (2) = P 2 Ezért 07 0 03 0 07 0 03 0 049 02 02 08 P (2) = P 2 05 0 05 0 05 0 05 0 = 0 04 0 06 0 04 0 06 = 035 02 05 03 02 02 02 048 0 02 0 08 0 02 0 08 0 06 0 064 Így P (X 4 {0, } X 2 = 0) = (P 2 ) 0,0 + (P 2 ) 0, = 049 + 02 = 06 2 Feladat Tekintsük az 4 Példát (időjárás előrejelzés) Legyen α = 07 és β = 04 Feltételezzük, hogy hétfőn kezdjük az időjárási megfigyeléseinket és annak a valószínűsége, hogy hétfőn esik 04 Mi a valószínűsége, hogy (ezen a héten) pénteken esik? Mi a valószínűsége, hogy (ezen a héten) pénteken esik, feltéve, hogy hétfőn esik? Megoldás Először a P (X 5 = 0) valószínűséget keressük és a feltételek alapján P (X = 0) = 04 és P (X = ) = 06 (Az nap felel meg hétfőnek) Így P (X 5 = 0) = P (X 5 = 0 X = 0)P (X = 0) + P (X 5 = 0 X = )P (X = ) = P (4) 0,0 04 + P (4),0 06 = (P 4 ) 0,0 04 + (P 4 ),0 06 = 05749 04 + 05668 06 = 057004 Másodjára, a P (X 5 = 0 X = 0) feltételes valószínűséget keressük, mely a fentiek alapján 05749 3 Feladat [Ross [7], Chapter 4, Problem 7] Tekintsünk két érmét Az elsővel dobva 07, a másodikkal dobva 06 valószínűséggel kapunk fejet Ha egy napon fejet dobunk valamelyik érmével, akkor másnap az első érmével dobunk, ha írást, akkor a második érmével dobunk másnap Ha az első nap feldobott érme egyenlő valószínűséggel lehet az első vagy a második érme, mi a valószínűsége, hogy a 4 nap az első érmével dobunk? Megoldás Minden n esetén legyen X n = vagy X n = 2, ha az n-edik napon az első vagy a második érmével dobunk Ekkor {X n : n } Markov-lánc, melynek átmenetvalószínűségi mátrixa ( 2 P = 07 03 2 06 04 Például p 2, = 06, mert ha ma a 2 érmével dobunk, akkor holnap akkor dobunk az érmével, ha ma a 2 érmével fejet dobunk, ennek a valószínűsége pedig 06 ) 2

Mi a P (X 4 = ) valószínűséget keressük Feltételt véve az első dobás kimenetele szerint kapjuk, hogy P (X 4 = ) = P (X 4 = X = )P (X = ) + P (X 4 = X = 2)P (X = 2) = p (3), 2 + p(3) 2, 2, ahol P (3) = (p (3) i,j ) i,j=,2 a 3-lépéses átmenetvalószínűségi mátrix Mivel P (3) = P 3, így kiszámolható, hogy ( ) 0667 0333 P (3) = P 3 =, 0666 0334 így P (X 4 = ) = 0667 + 0666 2 = 06665 4 Feladat [Szevasztyanov Csisztyakov Zubkov [9], 54 Feladat] Legyenek ξ n, n N, független, azonos eloszlású valószínűségi változók úgy, hogy P (ξ = ) = P (ξ = ) = p, (0 < p < ) Vizsgáljuk meg, hogy a következő sorozatok Markov-láncot alkotnak-e, és ha igen írjuk fel az átmenetvalószínűségi mátrixukat (i) X n := ξ n ξ n+, n (ii) X n := ξ ξ n, n (iii) X n := F (ξ n, ξ n+ ), n, ahol F (, ) =, F (, ) = 2, F (, ) = 3, F (, ) = 4 Megoldás (i) A megadott sztochasztikus folyamat fázistere {, } lesz Számoljuk ki a P (X 3 = X 2 = ) és a P (X 3 = X =, X 2 = ) feltételes valószínűségeket Az nyilván igaz, hogy X, X 2, azonos eloszlásúak, hiszen P (X n = ) = P (ξ n ξ n+ = ) = P (ξ n =, ξ n+ = ) + P (ξ n =, ξ n+ = ) = p 2 + ( p) 2, P (X n = ) = P (ξ n =, ξ n+ = ) + P (ξ n =, ξ n+ = ) = 2p( p) Azonban az már nem igaz, hogy X, X 2, függetlenek lennének Továbbá P (X 3 = X 2 = ) = P (X 3 =, X 2 = ) P (X 2 = ) = P (ξ 2 =, ξ 3 =, ξ 4 = ) + P (ξ 2 =, ξ 3 =, ξ 4 = ) 2p( p) = p( p)2 + ( p)p 2 = 2p( p) 2 3

Hasonlóan P (X 3 = X =, X 2 = ) = P (X 3 =, X =, X 2 = ) P (X =, X 2 = ) = P (ξ =, ξ 2 =, ξ 3 =, ξ 4 = ) + P (ξ =, ξ 2 =, ξ 3 =, ξ 4 = ) P (ξ =, ξ 2 =, ξ 3 = ) + P (ξ =, ξ 2 =, ξ 3 = ) = p2 ( p) 2 + p 2 ( p) 2 p 2 ( p) + ( p) 2 p = 2p( p) Ebből látjuk, hogy ha p /2, akkor /2 2p( p) miatt biztosan nem kapunk Markov-láncot Vizsgáljuk most a p = /2 esetet Megmutatjuk, hogy ekkor {X n : n } Markov-lánc Legyenek n és i, i 2,, i n+ {, } tetszőlegesek, azt kell megmutatni, hogy P (X n+ = i n+ X n = i n,, X = i ) = P (X n+ = i n+ X n = i n ) A baloldal P (X n+ = i n+, X n = i n,, X = i ) P (X n = i n,, X = i ) = P (ξ ξ 2 = i, ξ 2 ξ 3 = i 2,, ξ n+ ξ n+2 = i n+ ) P (ξ ξ 2 = i,, ξ n ξ n+ = i n ) Ha ξ adott, úgy ξ 2,, ξ n+2 már egyértelműen meghatározott a ξ ξ 2 = i,, ξ n+ ξ n+2 = i n+ feltétel által és a p = /2 feltétel miatt Így a teljes valószínűség tétele miatt P (ξ j = ) = P (ξ j = ) =, j 2 P (ξ ξ 2 = i, ξ 2 ξ 3 = i 2,, ξ n+ ξ n+2 = i n+ ) = P (ξ = ) = ( ) n+ 2 ( ) n+ ( ) n+ + P (ξ = ) 2 2 Ezért P (X n+ = i n+ X n = i n,, X = i ) = ( 2) n+ ( 2) n = 2 Leellenőrizzük, hogy P (X n+ = i n+ X n = i n ) = P (X n+ = i n+, X n = i n ) P (X n = i n ) = 2, ami alapján kapjuk, hogy a Markov-tulajdonság teljesül Ha i n = és i n+ =, akkor P (X n+ = i n+ X n = i n ) = P (ξ n =, ξ n+ =, ξ n+2 = ) + P (ξ n =, ξ n+ =, ξ n+2 = ) p 2 + ( p) 2 = p3 + ( p) 3 p 2 + ( p) = + 2 3 2 3 2 + = 2, 2 2 2 2 4

ha i n = és i n+ =, akkor P (X n+ = i n+ X n = i n ) = P (ξ n =, ξ n+ =, ξ n+2 = ) + P (ξ n =, ξ n+ =, ξ n+2 = ) p 2 + ( p) 2 ha i n = és i n+ =, akkor = p2 ( p) + ( p) 2 p p 2 + ( p) 2 = 2, P (X n+ = i n+ X n = i n ) = P (ξ n =, ξ n+ =, ξ n+2 = ) + P (ξ n =, ξ n+ =, ξ n+2 = ) 2p( p) = p( p)2 + ( p)p 2 = 2p( p) 2, és ha i n = és i n+ =, akkor P (X n+ = i n+ X n = i n ) = P (ξ n =, ξ n+ =, ξ n+2 = ) + P (ξ n =, ξ n+ =, ξ n+2 = ) 2p( p) ( p)p( p) + p( p)p = = 2p( p) 2 Továbbá, az átmenetvalószínűségi mátrix (/2 ) /2 /2 /2 (ii) Mivel X n+ = ξ ξ n+ = X n ξ n+, így X n+ értéke csak X n értékétől függ (X,, X n értékétől nem), így Markov-láncot kapunk A fázistér {, } és P (X n+ = X n = ) = P (ξ ξ n =, ξ ξ n+ = ) P (ξ ξ n = ) = P (ξ n+ = ) = p Hasonló számolások alapján az átmenetvalószínűségi mátrix P = ( p p p p ) = P (ξ ξ n = )P (ξ n+ = ) P (ξ ξ n = ) (iii) Először megmutatjuk, hogy {X n, n } Markov-lánc A fázistér {, 2, 3, 4} Legyen n és i, i 2,, i n+ {, 2, 3, 4} tetszőlegesek Azt kell igazolni, hogy () P (X n+ = i n+ X n = i n,, X = i ) = P (X n+ = i n+ X n = i n ) Tetszőleges j N és i j {, 2, 3, 4} esetén, az {X n = i j } esemény maga után vonja, hogy ξ n és ξ n+ értéke egyértelműen meghatározott Így a fenti egyenlőség baloldala: P (X n+ = i n+, X n = i n,, X = i ) P (X n = i n,, X = i ) = P (ξ = j,, ξ n = j n, ξ n+ = j n+, ξ n+2 = j n+2 ) P (ξ = j,, ξ n = j n, ξ n+ = j n+ ) = P (ξ = j ) P (ξ n+ = j n+ )P (ξ n+2 = j n+2 ) P (ξ = j ) P (ξ n+ = j n+ ) = P (ξ n+2 = j n+2 ) 5

alkalmas j,, j n+, j n+2 {, } esetén Hasonlóan, a fenti egyenlőség jobboldala: P (X n+ = i n+, X n = i n ) P (X n = i n ) = P (ξ n = j n, ξ n+ = j n+, ξ n+2 = j n+2 ) P (ξ n = j n, ξ n+ = j n+ ) = P (ξ n+2 = j n+2 ) alkalmas j n, j n+, j n+2 {, } esetén Továbbá, Így kapjuk, hogy () teljesül p, = P (X n+ = X n = ) = P (ξ n =, ξ n+ =, ξ n+2 = ) P (ξ n =, ξ n+ = ) = ( p)3 ( p) 2 = p és p,2 = P (X n+ = 2 X n = ) = P (ξ n =, ξ n+ =, ξ n+2 = ) P (ξ n =, ξ n+ = ) = ( p)2 p ( p) 2 = p, valamint Hasonló számolások alapján p,3 = P (X n+ = 3 X n = ) = 0 ( p) 2 = 0 P = 2 3 4 p p 0 0 2 0 0 p p 3 p p 0 0 4 0 0 p p 5 Feladat Legyen {X n : n } egy olyan sztochasztikus folyamat, hogy P (X n = ) = P (X n = ) = p, n N, ahol 0 < p < Igaz-e, hogy ekkor {X n : n } Markov-lánc? Megoldás A válasz: Nem Indoklás: Az 4 Feladat (i) része ellenpéldát szolgáltat (bizonyítást is nézni) 6 Feladat [Szűcs Gábor feladatsorából [0]] Három fehér és három fekete golyót osztunk szét egyenlően két urnába Egy lépés abból fog állni, hogy véletlenszerűen kiveszünk egy golyót az első urnából, beledobjuk a másodikba, majd kiveszünk egy golyót a második urnából, és beletesszük az elsőbe Jelölje X n az első urnában található fehér golyók számát az n lépés után (i) Mutassuk meg, hogy {X n : n N} Markov-lánc! Adjuk meg az egylépéses átmenetvalószínűségi mátrixát! 6

(ii) Oldjuk meg a feladatot azzal a módosítással, hogy egy lépésben egyszerre veszünk ki egy-egy golyót a két urnából és kicseréljük őket Megoldás(i): A szóban forgó {X n : n N} sztochasztikus folyamat azért Markov-lánc, mert az, hogy az n lépés után hány fehér golyó lesz az első urnában csak attól függ, hogy milyen cserét hajtottunk végre az aktuális lépésben, és hány fehér golyó volt az első urnában a csere előtt Tehát a múltnak nincs szerepe az (egylépéses) átmenetvalószínűségekben Az állapottér nyilván I = {0,, 2, 3} Az (egylépéses) átmenetvalószínűségek n értékétől is függetlenek, hiszen az a tény, hogy az aktuális lépés előtt már hány cserét hajtottunk végre nem befolyásolja az egyik állapotból a másikba kerülés esélyét Meghatározzuk most az egylépéses átmenetvalószínűségeket Ha X 0 = 0, úgy (kezdetben) az első urnában 3 fekete és 0 fehér golyó, míg a második urnában 3 fehér és 0 fekete golyó van Így az első urnából húzva csak fekete golyót tudunk húzni, amit áttéve a második urnába 3 fehér és fekete golyó lesz ott Ezért a 0 állapotból -lépéssel csak a 0 állapotba vagy az állapotba lehetséges átmenet, továbbá p 00 = P (X = 0 X 0 = 0) = P (3 fehér és fekete golyó közül fehéret húzunk) = 4, p 0 = P (X = X 0 = 0) = P (3 fehér és fekete golyó közül feketét húzunk) = 3 4, p 02 = p 03 = 0 Ha X 0 =, úgy (kezdetben) az első urnában 2 fekete és fehér golyó, míg a második urnában 2 fehér és fekete golyó van Így az első urnából húzva, majd azt áttéve a második urnába két eset lehetséges I urna II urna fehéret húzunk az I urnából 2 fekete, 0 fehér fekete, 3 fehér feketét húzunk az I urnából fekete, fehér 2 fekete, 2 fehér Ezért az állapotból -lépéssel a 0, vagy 2 állapotokba lehetséges átmenet, továbbá p 0 = P (X = 0 X 0 = ) = P (fehéret húzunk az I urnából) P (feketét húzunk a II urnából fehéret húzunk az I urnából) = P (2 fekete és fehér golyó közül fehéret húzunk) P ( fekete és 3 fehér golyó közül feketét húzunk) = 3 4 = 2 7

Teljesen hasonlóan, illetve p = P (X = X 0 = ) = P (fehéret húzunk az I urnából) P (fehéret húzunk a II urnából fehéret húzunk az I urnából) + P (feketét húzunk az I urnából) P (feketét húzunk a II urnából feketét húzunk az I urnából) = P (2 fekete és fehér golyó közül fehéret húzunk) P ( fekete és 3 fehér golyó közül fehéret húzunk) + P (2 fekete és fehér golyó közül feketét húzunk) P (2 fekete és 2 fehér golyó közül feketét húzunk) = 3 4 = 2, p 2 = P (X = 2 X 0 = ) = P (feketét húzunk az I urnából) P (fehéret húzunk a II urnából feketét húzunk az I urnából) = P (2 fekete és fehér golyó közül feketét húzunk) P (2 fekete és 2 fehér golyó közül fehéret húzunk) = 2 3 2 = 3 = 4 2 Ha X 0 = 2, úgy (kezdetben) az első urnában fekete és 2 fehér golyó, míg a második urnában fehér és 2 fekete golyó van Így az első urnából húzva, majd azt áttéve a második urnába két eset lehetséges I urna II urna fehéret húzunk az I urnából fekete, fehér 2 fekete, 2 fehér feketét húzunk az I urnából 0 fekete, 2 fehér 3 fekete, fehér Ezért a 2 állapotból -lépéssel az, 2 vagy 3 állapotokba lehetséges átmenet, továbbá p 2 = P (X = X 0 = 2) = P (fehéret húzunk az I urnából) P (feketét húzunk a II urnából fehéret húzunk az I urnából) = P ( fekete és 2 fehér golyó közül fehéret húzunk) P (2 fekete és 2 fehér golyó közül feketét húzunk) = 2 3 2 = 3 = 4 2 8

Teljesen hasonlóan, illetve p 22 = P (X = 2 X 0 = 2) = P (fehéret húzunk az I urnából) P (fehéret húzunk a II urnából fehéret húzunk az I urnából) + P (feketét húzunk az I urnából) P (feketét húzunk a II urnából feketét húzunk az I urnából) = P ( fekete és 2 fehér golyó közül fehéret húzunk) P (2 fekete és 2 fehér golyó közül fehéret húzunk) + P ( fekete és 2 fehér golyó közül feketét húzunk) P (3 fekete és fehér golyó közül feketét húzunk) = 2 3 2 4 + 3 3 4 = 7 2, p 23 = P (X = 3 X 0 = 2) = P (feketét húzunk az I urnából) P (fehéret húzunk a II urnából feketét húzunk az I urnából) = P ( fekete és 2 fehér golyó közül feketét húzunk) P (3 fekete és fehér golyó közül fehéret húzunk) = 3 4 = 2 Végezetül, ha X 0 = 3, úgy (kezdetben) az első urnában 0 fekete és 3 fehér golyó, míg a második urnában 0 fehér és 3 fekete golyó van Így az első urnából húzva csak fehér golyót tudunk húzni, amit áttéve a második urnába 3 fekete és fehér golyó lesz ott Ezért a 3 állapotból -lépéssel csak a 2 állapotba vagy a 3 állapotba lehetséges átmenet, továbbá p 32 = P (X = 2 X 0 = 3) = P (3 fekete és fehér golyó közül feketét húzunk) = 3 4, p 33 = P (X = 3 X 0 = 3) = P (3 fekete és fehér golyó közül fehéret húzunk) = 4, p 3 = p 30 = 0 Így az egylépéses átmenetvalószínűségi mátrix 3 0 0 4 4 7 4 0 2 2 2 4 7 0 2 2 2 3 0 0 4 4 (ii): Ugyanúgy, ahogy az (i) részben indokoltuk, a szóban forgó {X n : n N} sztochasztikus folyamat Markov-lánc, az (egylépéses) átmenetvalószínűségek azonban megváltoznak 9

Meghatározzuk most az egylépéses átmenetvalószínűségeket Ha X 0 = 0, úgy (kezdetben) az első urnában 3 fekete és 0 fehér golyó, míg a második urnában 3 fehér és 0 fekete golyó van Így az első urnából húzva csak fekete golyót tudunk húzni, a második urnából pedig csak fehéret Megcserélve a két golyót, az első urnában 2 fekete és fehér, a második urnában 2 fehér és fekete golyó lesz Ezért a 0 állapotból -lépéssel csak az állapotba lehetséges átmenet, továbbá p 0 = P (X = X 0 = 0) =, p 00 = p 02 = p 03 = 0 Ha X 0 =, úgy (kezdetben) az első urnában 2 fekete és fehér golyó, míg a második urnában 2 fehér és fekete golyó van Ezért az állapotból -lépéssel a 0,, 2 állapotokba lehetséges átmenet Vezessük az alábbi 4 eseeményt: A := {az urnából fehéret, a 2urnából fehéret húzunk}, A 2 := {az urnából fehéret, a 2urnából feketét húzunk}, A 3 := {az urnából feketét, a 2urnából fehéret húzunk}, A 4 := {az urnából feketét, a 2urnából feketét húzunk} Ekkor p 0 = P (X = 0 X 0 = ) = P (A 2 ) = 3 3 = 9, p = P (X = X 0 = ) = P (A A 4 ) = 3 2 3 + 2 3 3 = 4 9, p 2 = P (X = 2 X 0 = ) = P (A 3 ) = 2 3 2 3 = 4 9, p,3 = 0 Ha X 0 = 2, úgy (kezdetben) az első urnában fekete és 2 fehér golyó, míg a második urnában fehér és 2 fekete golyó van Ezért a 2 állapotból -lépéssel az, 2, 3 állapotokba lehetséges átmenet Továbbá, p 2 = P (X = X 0 = 2) = P (A 2 ) = 2 3 2 3 = 4 9, p 22 = P (X = 2 X 0 = 2) = P (A A 4 ) = 2 3 3 + 3 2 3 = 4 9, p 23 = P (X = 3 X 0 = 2) = P (A 3 ) = 3 3 = 9, p 2,0 = 0 Végezetül, ha X 0 = 3, úgy (kezdetben) az első urnában 0 fekete és 3 fehér golyó, míg a második urnában 0 fehér és 3 fekete golyó van Így az első urnából húzva csak fehér golyót tudunk húzni, a második urnából pedig csak feketét Megcserélve a két golyót, az első urnában fekete és 2 fehér, a második urnában fehér és 2 fekete golyó lesz Ezért a 3 20

állapotból -lépéssel csak a 2 állapotba lehetséges átmenet, továbbá p 32 = P (X = 2 X 0 = 3) =, p 33 = p 3 = p 30 = 0 Így az egylépéses átmenetvalószínűségi mátrix 0 0 0 4 4 0 9 9 9 0 4 4 9 9 9 0 0 0 7 Feladat Legyen {X n : n 0} egy Markov-lánc, melynek fázistere I, átmenetvalószínűségi mátrixa P = (p i,j ) i,j I Legyen r I tetszőlegesen rögzített állapot és m, i I olyan állapotok, hogy r m és r i Tekintsük a P (X n = m X 0 = i, X k r, k =,, n ) := q (n) i,m feltételes valószínűségeket Igaz-e, hogy ezek a feltételes valószínűségek egy olyan Markovláncnak az n-lépéses átmenetvalószínűségei, melynek fázistere I \ {r} és -lépéses átmenetvalószínűségei ) Q = (q i,j ) i,j I\{r} = ( pi,j p i,r i,j I\{r} (q i,j definíciója heurisztikusan érthető, a feltételes valószínűség definíciójára gondolva) Megoldás Nem igaz Konstruálunk egy ellenpéldát Tekintsünk egy olyan {X n : n 0} Markov-láncot, melynek fázistere {0,, 2} Legyen r = Tegyük fel, hogy igaz az állítás egy {0, 2} fázisterű, feladatbeli átmenetvalószínűségű Markov-láncra Ekkor q (2) 0,2 = P (X 2 = 2 X 0 = 0, X ) = P (X 2 = 2, X 0 = 0, X ) P (X 0 = 0, X ) = P (X 2 = 2, X X 0 = 0)P (X 0 = 0) P (X X 0 = 0)P (X 0 = 0) = P (X 2 = 2, X X 0 = 0) P (X X 0 = 0) = P (X 2 = 2, X = 0 X 0 = 0) + P (X 2 = 2, X = 2 X 0 = 0) P (X = 0 X 0 = 0) + P (X = 2 X 0 = 0) A Markov-lánc definíciója alapján és így P (X 2 = i, X = j X 0 = k) = P (X 2 = i X = j, X 0 = k)p (X = j X 0 = k) = P (X 2 = i X = j)p (X = j X 0 = k) = p j,i p k,j, q (2) 0,2 = p 0,2p 0,0 + p 2,2 p 0,2 p 0,0 + p 0,2 2

Mivel feltételeztük, hogy igaz az állítás egy {0, 2} fázisterű, feladatbeli átmenetvalószínűségű Markov-láncra, így igaz kell, hogy legyen ahol Q = q (2) 0,2 = (Q 2 ) 0,2, ( 0 2 ) 0 q 0,0 q 0,2 2 q 2,0 q 2,2 Mivel (Q 2 ) 0,2 = q 0,0 q 0,2 + q 0,2 q 2,2, kapjuk, hogy fenn kell, hogy álljon q (2) 0,2 = q 0,0 q 0,2 + q 0,2 q 2,2 Így q i,j definíciója alapján Ezért annak kell igaznak lennie, hogy q (2) 0,2 = p 0,0p 0,2 ( p 0, ) 2 + p 0,2 p 2,2 ( p 0, )( p 2, ) p 0,0 p 0,2 + p 0,2 p 2,2 p 0,0 + p 0,2 = p 0,0p 0,2 ( p 0, ) 2 + p 0,2 p 2,2 ( p 0, )( p 2, ) Ha például akkor a baloldal A jobboldal pedig P = 0 2 0 /3 /3 /3 0 /2 /2, 2 /4 /4 /2 + 3 3 3 2 + 3 3 = 5 2 3 3 ( 3 ) 2 + ( 3 3 2 ) ( ) = 4 + 3 = 7 2 4 Így látjuk, hogy általában nem teljesül a kívánt egyenlőség 8 Feladat Legyen {X n : n 0} egy Markov-lánc, melynek fázistere N Tegyük fel, hogy X m = i valamilyen m 0-ra, ahol i N Legyen Z k := X m+k, k 0 Mutassuk meg, hogy {Z k : k 0} Markov-lánc, mely i-ből indul ki! Megoldás Legyen k és i, i 2,, i k, i k+ N tetszőlegesek Ekkor P (Z k+ = i k+ Z 0 = i, Z r = i r, r k) = P (X m+k+ = i k+ X m = i, X m+r = i r, r k) 22 = P (X m+k+ = i k+ X m+k = i k ),

mert {X n : n 0} Markov-lánc Mivel P (X m+k+ = i k+ X m+k = i k ) = P (Z k+ = i k+ Z k = i k ), kapjuk, hogy {Z k : k 0} Markov-lánc 9 Feladat Legyenek X, X 2, független valószínűségi változók közös értékkészlettel, mely egy I megszámlálható halmaz (Feltételezzük, hogy a valószínűségi változók ugyanazon a valószínűségi mezőn vannak definiálva) Mutassuk meg, hogy {X n : n } Markov-lánc! Adjunk meg egy elégséges feltételt, mely mellett {X n : n } homogén Markov-lánc! Megoldás Mivel X, X 2, függetlenek, minden j, i,, i n I esetén P (X n+ = j X = i,, X n = i n ) = P (X n+ = j), így {X n : n } Markov-lánc Ha X, X 2, függetlenek és azonos eloszlásúak is, akkor a Markov-lánc homogén is 20 Feladat Minden n esetén jelölje X n egy szabályos dobókockával az első n dobás során a legnagyobb addig előforduló dobás eredményét Mutassuk meg, hogy {X n : n } Markov-lánc és határozzuk meg a P (X n = j X = i), i, j =,, 6, n-lépéses átmenetvalószínűségeket! Megoldás Minden n esetén jelölje Y n az n-edik dobás eredményét Ekkor X n+ = max{x n, Y n+ } és 0 ha j < i, p i,j = P (X n+ = j X n = i) = i/6 ha i = j, /6 ha j > i, ahol i, j 6 Ugyanis, ha j < i, úgy p i,j = 0, mert az első n + dobás során a maximum nem lehet kisebb, mint az első n dobás során a maximum Ha i = j, úgy p i,i = i/6, mert az első n + dobás során akkor lesz a maximum egyenlő az első n dobás során vett maximummal (i-vel), ha az (n+)-edik dobásra az,, i számok valamelyikét dobjuk, így i/6 Hasonlóan következik a j > i eset is Végiggondolható az is, hogy p (n) i,j = P (X n+ = j X = i) = 0 ha j < i, ) n ha j = i Az utóbbi például abból következik, hogy egy adott dobás után akkor lesz még n lépés múlva is ugyanaz a maximum (i), ha ezen n lépés során mindig csak az,, i számjegyek valamelyikét dobjuk Mivel a dobások függetlenek, így ( ) n i a keresett valószínűség 6 23 ( i 6

Ha j > i, úgy p (n) i,j = P (Z n = j), ahol Z n = max{y,, Y n }, ugyanis egy adott dobás utáni n dobás során kell a maximumnak j-nek lennie Így P (Z n = j) = P ({Z n j} \ {Z n j }) = P ({Z n j}) P ({Z n j }) = P (Y i j, i =,, n) P (Y i j, i =,, n) ( ) n ( ) n j j = P (Y j) n P (Y j ) n = 6 6 Tehát, ha j > i, úgy p (n) i,j = ( ) n j 6 ( ) n j, n 6 2 Feladat Legyenek ξ, ξ 2, független, azonos eloszlású valószínűségi változók úgy, hogy P (ξ = ) = P (ξ = ) = p, ahol 0 < p < Legyen S n := ξ + + ξ n, n és S 0 := 0 Tanultuk, hogy {S n : n 0} Markov-lánc! (i) Mutassuk meg, hogy {X n := S n : n 0} Markov-lánc! Határozzuk meg az átmenetvalószínűségi mátrixát! (ii) Legyen M n := max 0 k n S k, n 0 Mutassuk meg, hogy {Y n := M n S n : n 0} Markov-lánc! Megoldás (i) Legyen i Ha X n = i, úgy S n = i vagy S n = i, ezért S n+ {i, i +, i, i + } Emiatt X n+ = S n+ {i, i + } Legyen B = {X r = i r, 0 r < n}, ahol i 0, i,, i n Z + = {0,, 2 } Ekkor P (X n+ = i + X n = i, B) Nyilván = P (X n+ = i +, S n = i X n = i, B) + P (X n+ = i +, S n = i X n = i, B) = P (X n+ = i + S n = i, X n = i, B)P (S n = i X n = i, B) + P (X n+ = i + S n = i, X n = i, B)P (S n = i X n = i, B) = P (X n+ = i + S n = i, B)P (S n = i X n = i, B) + P (X n+ = i + S n = i, B)P (S n = i X n = i, B) P (X n+ = i + S n = i, B) = p, P (X n+ = i + S n = i, B) = p Legyen l := max{r < n : i r = 0}, 24

azaz l az n időpont előtt az {X r = i r, 0 r < n} trajektória 0-ba való utolsó visszatérésének időpontja Ha S n = i, úgy minden l + j n esetén S j > 0, ha pedig S n = i, úgy minden l + j n esetén S j < 0 Ekkor Legyen Ekkor P (S n = i X n = i, B) = P (S n = i, X n = i, B) = P (S n = i, B) P (X n = i, B) P (X n = i, B) P (S n = i, B) = P (X n = i, S n = i, B) + P (X n = i, S n = i, B) P (S n = i, B) = P (S n = i, B) + P (S n = i, B) A := {S n = i, S m = i m 0, l < m n, S l = 0, X r = i r, 0 r < l}, A 2 := {S n = i, S m = i m 0, l < m n, S l = 0, X r = i r, 0 r < l}, A 3 := {S n = i, S m = i m 0, l < m n }, A 4 := {S n = i, S m = i m 0, l < m n }, A 5 := {S l = 0, X r = i r, 0 r < l} P (S n = i X n = i, B) = A Markov-tulajdonság miatt kapjuk, hogy Legyen D (n l) i D (n l) i P (S n = i X n = i, B) = P (A ) P (A ) + P (A 2 ) = P (A 3 A 5 )P (A 5 ) P (A 3 A 5 )P (A 5 ) + P (A 4 A 5 )P (A 5 ) P (A 3 S l = 0) P (A 3 S l = 0) + P (A 4 S l = 0) := {a véletlen bolyongás 0-ból indulva n l lépés alatt eljut i-be úgy, hogy az előre adott i l+,, i n pályát követi, mely seholsem 0}, := {a véletlen bolyongás 0-ból indulva n l lépés alatt eljut i-be úgy, Ekkor l értelmezése miatt hogy az előre adott i l+,, i n pályát követi, mely seholsem 0} P (S n = i X n = i, B) = P (D (n l) i P (D (n l) i ) ) + P (D (n l) i ) Kiszámoljuk most, hogy 0-ból n l lépés alatt i-be (ill i-be) eljutva hány lépést kell tenni felfelé és hányat lefelé Jelölje x a felfelé lépések számát, így n l x lépést teszünk lefelé Mivel a 0-ból indulunk x (n l x) = i, ezért x = (n l + i)/2, (ill 25

x = (n l i)/2) Felhasználva, hogy D (n l) i -ben a felfelé, ill lefelé lépések sorrendje már rögzített, kapjuk, hogy Hasonlóan Ezért Hasonlóan Ezért P (S n = i X n = i, B) = P (D (n l) i ) = p (n l+i)/2 ( p) (n l i)/2 P (D (n l) i ) = p (n l i)/2 ( p) (n l+i)/2 = p (n l+i)/2 ( p) (n l i)/2 p (n l+i)/2 ( p) (n l i)/2 + p (n l i)/2 ( p) (n l+i)/2 p i/2 ( p) i/2 p i/2 ( p) i/2 + p i/2 ( p) i/2 = P (S n = i X n = i, B) = P (X n+ = i + X n = i, B) = pi+ + ( p) i+ p i + ( p) i, ( p)i p i + ( p) i P (X n+ = i X n = i, B) = pi+ + ( p) i+ Az i = 0 esetet külön kezelve, p i + ( p) i = p( p) pi + ( p) i p i + ( p) i P (X n+ = X n = 0, B) = p i p i + ( p) i = pi ( p) + ( p) i p p i + ( p) i Ezek az eredmények már azt is bizonyítják, hogy {X n : n 0} Markov-lánc, mert a fenti feltételes valószínűségek értéke csak X n értékétől függ Az átmenetvalószínűségek tehát p i,i+ = pi+ + ( p) i+ p i + ( p) i, i, p i,i = p( p) pi + ( p) i p i + ( p) i, i, p 0, = (ii) M n értelmezése miatt Y n 0, n 0 és Y n Y n+ = M n S n (M n+ S n+ ) = M n M n+ + S n+ S n = ξ n+ + M n M n+ Így, ha Y n > 0, azaz M n > S n, úgy P (ξ n+ {, }) = miatt M n S n+ Ezért M n = M n+, és emiatt Y n Y n+ = ξ n+ Azaz, ha Y n > 0, akkor Y n+ = Y n ξ n+ 26

Ha pedig Y n = 0, azaz M n = S n, akkor Y n+ = M n+ S n+ miatt P (Y n+ = 0) = p és P (Y n+ = ) = p Mindkét esetben azt kaptuk, hogy Y n+ a múlttól csak Y n -en keresztül függ, ezért {Y n : n 0} Markov-lánc Az átmenetvalószínűségek pedig p 0,0 = p és p 0, = p Valamint, ha i, úgy az Y n > 0 esetre érvényes Y n+ = Y n ξ n+ képlet alapján p i,i = p, p i,i+ = p 22 Feladat Legyenek {X n : n 0} és {Y n : n 0} Markov-láncok, mindkettő fázistere Z Igaz-e, hogy ekkor {X n + Y n : n 0} mindig Markov-lánc? Megoldás A válasz: Nem Indoklás: Tekintsük az 2 Feladatban definiált {S n : n 0} és {Y n : n 0} Markov-láncokat Ezekre S n +Y n = M n Megmutatjuk, hogy {M n : n 0} nem Markov-lánc Elég például azt leellenőrizni, hogy P (M 4 = M 3 =, M 2 = 0) P (M 4 = M 3 = ) Ekkor P (M 4 = M 3 = ) = P (M 4 =, M 3 = ) P (M 3 = ) = 4/6 3/8 = 2 3, ugyanis 3 db olyan 3-hosszúságú út van, mely a 0-ból indul, eléri az -szintet, viszont fölé nem jut, illetve 4 db olyan 4-hosszúságú út van, mely a 0-ból indul, eléri az -szintet az első 3 lépés során, viszont fölé nem jut a 4 lépés során Hasonlóan, P (M 4 = M 3 =, M 2 = 0) = P (M 4 =, M 3 =, M 2 = 0) P (M 3 =, M 2 = 0) = /6 /8 = 2 Így P (M 4 = M 3 =, M 2 = 0) P (M 4 = M 3 = ) Ezért {M n : n 0} nem Markov-lánc 23 Feladat Legyen {S n : n 0} a szimmetrikus véletlen bolyongás a számegyenesen, melyre S 0 = 0 Legyen M n := max 0 k n S k, n 0 Igaz-e, hogy ekkor {M n : n 0} Markov-lánc? Megoldás A válasz: Nem Indoklás: Lásd az előző feladat indoklását A továbbiakban egy Markov-lánc i és j állapotai esetén i j jelöli, ha az i állapotból elérhető a j állapot, illetve módon jelöljük, ha az i és j állapotok kölcsönösen elérhetőek egymásból 27

24 Feladat [Ross [7], Chapter 4, Example 3a] Legyen {X n : n N} egy homogén Markov-lánc, melynek fázistere {0,, 2} és egylépéses átmenetvalószínűségi mátrixa /2 /2 0 /2 /4 /4 0 /3 2/3 Mutassuk meg, hogy {X n : n N} egy irreducibilis Markov-lánc! Megoldás Azt kell megmutatni, hogy minden állapot kölcsönösen elérhető minden állapotból Példaként megnézzük, hogy 0 2 és 2 0 teljesül Azt kell ehhez belátni, hogy n, m 0 : P (n) 0,2 > 0 és P (m) 2,0 > 0 Az átmenetvalószínűségi mátrixból P () 0, = /2 és P (),2 = /4, ezért a Chapman Kolmogorov egyenletek alapján így n választható 2-nek P (2) 0,2 = 2 k=0 P () 0,k P () () k,2 P 0, P (),2 = 2 4 > 0, Hasonlóan P () 2, = /3 és P (),0 = /2, ezért P (2) 2,0 > 0, így m is választható 2-nek Felhasználva tranzitivitását, egyszerűbben is okoskodhatunk Ekkor P () 0, = 2 P (),2 = 4 P () 2, = 3 P (),0 = 2 > 0 miatt 0, > 0 miatt 2, > 0 miatt 2, > 0 miatt 0 Így tranzitivitása miatt a {0,, 2} állapotok kölcsönösen elérhetőek egymásból Látható, hogy a fentiek alapján algoritmus adható az osztályok meghatározására tetszőleges Markov-lánc esetén: kiindulunk egy tetszőleges i 0 állapotból, vesszük az olyan j i 0 állapotokat, melyekre P () i 0,j > 0, a kapott állapotokra az előző lépést csináljuk, ha ismétlődik egy állapot, akkor találtunk egy osztályt, választva egy olyan állapotot, mely nincs benne a már megtalált osztályban, előlről kezdjük az eljárást, ha nem ismétlődik egyetlen állapot sem, akkor lényegtelen állapotok végtelen osztályáról van szó 28

25 Feladat [Ross [7], Chapter 4, Example 3b] Legyen {X n : n N} egy homogén Markov-lánc, melynek fázistere {0,, 2, 3} és egylépéses átmenetvalószínűségi mátrixa /2 /2 0 0 /2 /2 0 0 P = /4 /4 /4 /4 0 0 0 Határozzuk meg ezen Markov-lánc osztályait! Megoldás Az osztályok a következők {0, }, {2} és {3} A 2 állapotból elérhető a 0 állapot, megfordítva azonban nem igaz, így a 0 és 2 nem lehet azonos osztályban (Hasonló igaz -re is) A 3 állapot ún elnyelő állapot, mert p 3,3 =, azaz rajta kívül semmilyen más állapot sem érhető el belőle 26 Feladat Legyen {X n : n 0} egy véges állapotterű Markov-lánc Mutassuk meg, hogy létezik legalább darab zárt osztály a fázisterében Megoldás Tegyük fel indirekt, hogy nem létezik zárt osztály Tekintsünk egy tetszőleges i I állapotot Ekkor az indirekt feltevés miatt az i-t tartalmazó osztály nem zárt Ezért létezik olyan j I állapot, hogy i j és j i Ugyanis, ha minden olyan j I állapotra, melyre i j, az teljesülne, hogy j i, akkor az i osztálya (definíció alapján) lényeges osztály lenne Azonban egy előadásbeli tétel miatt, lényeges osztály az minimális zárt halmaz, tehát ellentmondást kapnánk (Nyilván i j, mert i i) Ezt a gondolatmenetet ismételve kapjuk, hogy létezik állapotoknak olyan i, i 2, sorozata, hogy i n i n+ és i n+ i n, n =, 2, Megmutatjuk, hogy i j i j2, ha j j 2 Az alábbi gondolatmenetet kell induktíve ismételni Legyenek i, i 2, i 3 olyan állapotok, hogy i i 2, i 2 i, i 2 i 3 és i 3 i 2 Ekkor i i 2 és i 2 i 3 Ha i = i 3 lenne, úgy i 2 i 3 miatt i 2 i, ami ellentmondás Így azt kapjuk, hogy az állapottér nem lehet véges, legalább megszámlálhatóan végtelen Ami ellentmondás 27 Feladat Legyen {X n : n 0} egy véges állapotterű Markov-lánc Igaz-e, hogy ekkor létezik legalább darab zárt osztály a fázisterében? Megoldás A válasz: Igen Indoklás: Az 26 Feladatban leírva 29

2 Periodikusság, visszatérőség 2 Feladat Legyen {X n : n N} egy homogén Markov-lánc, melynek fázistere {, 2, 3, 4, 5} és egylépéses átmenetvalószínűségi mátrixa 0 0 0 0 /4 /2 /4 0 0 P = 0 0 0 0 0 0 0 /2 /2 0 0 0 /2 /2 Határozzuk meg ezen Markov-lánc osztályait és az osztályok periódusát! Irreducibilis-e a Markov-lánc? Megoldás Az osztályok a következők {, 3}, {4, 5} és {2} Valóban, mivel 3, 4 5 és 4, kapjuk, hogy és 3 ugyanazon osztályban vannak, illetve 4 és 5 is ugyanabban az osztályban vannak, mely osztályok egymástól különbözőek Továbbá, 2, illetve 4 2 miatt 2 nincs benne sem az {, 3}, sem a {4, 5} osztályában Mivel már minden állapotot sorravettünk, kapjuk, hogy 2 önmaga alkot egy osztályt, illetve, hogy {, 3} és {4, 5} egy-egy osztály Mivel egynél több osztály van a Markov-lánc nem irreducibilis Az állapot periodikus, hiszen innen indulva pontosan páros sok lépés után térhetünk vissza, tehát p (n) > 0 pontosan akkor teljesül, ha n páros Így az állapot periódusa d = lnko{n N : p (n) > 0} = lnko{2, 4, 6, } = 2 Mivel a periódusság osztálytulajdonság és {, 3} egy osztály, kapjuk, hogy a 3 állapot periódusa is 2 Továbbá, mivel mind a 2, mind a 4, mind az 5 állapotból indulva lépéssel visszatérhetünk oda ahonnan indultunk, kapjuk, hogy a 2, 4 és 5 állapotok periódusa, azaz d i = lnko{n N : p (n) ii > 0} = lnko{, 2, 3, 4, } =, i {2, 4, 5} 22 Feladat Legyen {X n : n N} egy homogén Markov-lánc, melynek fázistere {, 2, 3, 4} és egylépéses átmenetvalószínűségi mátrixa 0 0 0 0 0 0 P = /2 /2 0 0 0 0 0 Határozzuk meg ezen Markov-lánc osztályait és az osztályok periódusát! Irreducibilis-e a Markov-lánc? Megoldás Az átmenetvalószínűségi mátrix alapján 4 3, 30

és így 3, illetve 4, azaz ugyanazon osztályhoz tartoznak Ezért, 3, és 4 kölcsönösen elérhetőek egymásból Továbbá, 2 4 3 2, és így 2 3 Ezért az osztály definíciója miatt az egész állapottér {, 2, 3, 4} egyetlen lényeges osztály, azaz a Markov-lánc irreducibilis Azt, hogy a Markov-lánc irreducibilis indokolhattuk volna úgy is, hogy 4 3 2 4 3 (lásd az 24 Feladat megoldásának végén írottakat) Mivel a periódikusság osztálytulajdonság, elég egy állapot periódusát meghatározni, az összes többi állapot periódusa is ugyanannyi lesz Az állapot periódusát határozzuk meg Minden n N esetén jelölje Cn az állapotból n lépéssel elérhető állapotok halmazát Az átmenetvalószínűségi mátrix alapján C = {4}, C2 = {3}, C3 = {, 2}, C4 = {4}, C5 = {3}, C6 = {, 2}, és így tovább Hasonlóan, ha Ĉn akkor jelöli a 4 állapotból n lépéssel elérhető állapotok halmazát, Ĉ = {3}, Ĉ 2 = {, 2}, Ĉ 3 = {4}, Ĉ 4 = {3}, és így tovább Vegyük észre, hogy indexezéstől eltekintve ugyanazokat a halmazokat kaptuk, mint az előbb, így az alosztályok C 0 = {3}, C = {4} és C 2 = {, 2} Ezért d = lnko{n N : p (n) > 0} = lnko{3, 6, 9, } = 3 Így a Markov-lánc irreducibilis, periódikus, 3-periódussal 23 Feladat Legyen {X n : n Z + } egy homogén Markov-lánc, I fázistérrel, i I pedig egy olyan állapot, hogy létezik olyan n i N, hogy p (n i) ii > 0 (i) Mutassuk meg, hogy periódusát d i min{n : p (n) ii > 0}, ahol d i jelöli az i állapot (ii) Mutassuk példát arra, hogy d i < min{n : p (n) ii > 0} Megoldás (i): Felhasználva d i definícióját, kapjuk, hogy d i osztója az összes olyan n N-nek, melyre p (n) ii > 0 Így d i osztója min{n : p (n) ii > 0}-nek is Ezért d i min{n : p (n) ii > 0} (ii): Legyen I := {, 2, 3, 4} és az egylépéses átmenetvalószínűségi mátrix P := 2 3 4 0 0 0 2 0 0 0 3 0 /2 0 /2 4 0 0 0 3

Ekkor 2 3 4 miatt {, 2, 3, 4} egyetlen osztály, és így a lánc irreducibilis Minden n N esetén jelölje C n az állapotból n lépéssel elérhető állapotok halmazát Ekkor és így tovább Ezért C = {2}, C2 = {3}, C3 = {2, 4}, C4 = {3, }, C 5 = {2, 4}, C6 = {3, }, C7 = {2, 4}, C8 = {3, }, p = 0, p (2) = 0, p (3) = 0, p (4) > 0, p (5) = 0, p (6) > 0, p (7) = 0, p (8) > 0, és így tovább Ezért d = lnko{n N : p (n) > 0} = lnko{4, 6, 8, } = 2, azonban min{n : p (n) > 0} = 4 A fentiekből az is következik, hogy a két alosztály C 0 = { j {, 2, 3, 4} n 0, n 0 C = { j {, 2, 3, 4} n 0, n 0 mod (2) : p (n) j > 0 } = {, 3}, mod (2) : p (n) j > 0 } = {2, 4} 24 Feladat Legyenek r,, r s pozitív egész számok, hogy a legnagyobb közös osztójuk Mutassuk meg, hogy létezik olyan N N, hogy minden n N előállítható n = s k= a (n) k r k alakban, ahol a (n) k, k =,, s, alkalmas pozitív egész számok A feladat állítása átfogalmazható az alábbi pénzváltási problémára: adva s fajta pénzérmét, r Ft-osokat, r 2 Ft-osokat,, r s Ft-osokat, létezik olyan pénzösszeg (N), hogy minden ennél nagyobb vagy egyenlő pénzösszeg (n) előállítható a megadott fajta pénzérmék felhasználásával úgy, hogy minden fajta érmét felhasználunk (a (n) k N, k =,, s) Megoldás A legnagyobb közös osztóról tanultaknak megfelelően, léteznek olyan (nem szükségképpen pozitív) c k, k =,, s, egész számok, hogy c r + + c s r s = Legyen R := r + + r s Ekkor bármilyen n Z egyértelműen állítható elő n = x n R + y n alakban, ahol x n, y n Z és 0 y n < R Így n = s (x n + c k y n )r k, k= és itt az összes együttható pozitív lesz, ha ( ) x n > max c k R k=,,s 32

Valóban, ekkor ( ) x n + c k y n > max c k R + c k y n c k R + c k y n ( c k + c k )y n 0 k=,,s Így élhetünk például az N := ((max k=,,s c k ) R + ) R választással 25 Feladat Legyen {X n : n N} egy irreducibilis, aperiódikus homogén Markov-lánc, I fázistérrel Mutassuk meg, hogy tetszőleges i, j I esetén létezik olyan N(i, j) N, hogy p (n) ij > 0 minden n N(i, j) esetén! Megoldás Mivel j aperiódikus, kapjuk, hogy létezik olyan s N és léteznek olyan n,, n s pozitív egészek, hogy a legnagyobb közös osztójuk és p (n k) jj > 0, k =,, s A 24 Feladat alapján létezik olyan N N, hogy minden n N előállítható s n = a (n) k n k k= alakban, ahol a (n) k, k =,, s, alkalmas pozitív egész számok A Kolmogorov-Chapman egyenletek alapján, p (n) jj ( p (n ) jj ) a (n) ( p (ns) jj ) a (n) s > 0, n N Így p (n) jj > 0 minden n N esetén Mivel a Markov-lánc irreducibilis, kapjuk, hogy létezik olyan n ij nemnegatív egész szám, hogy p (n ij) ij > 0 Így, újra a Kolmogorov-Chapman egyenletek alapján, p (n+n ij) ij Ezért élhetünk az N(i, j) := N + n ij p (n ij) ij p (n) ij > 0, n N választással Megjegyezzük, hogy általánosabban is igaz a feladatban szereplő állítás Nevezetesen, ha i és j azonos kommunikációs osztályba tartozó állapotok és a szóban forgó osztály periódusa d N, akkor létezik egy olyan N(i, j) N, hogy n > N(i, j) esetén p (n) i,j > 0 pontosan akkor teljesül, ha n d(i, j) mod(d), ahol d(i, j) {0,, d } 26 Feladat [Grimmett and Stirzaker [3], Problem 654] Legyenek {X n : n Z + } és {Y n : n Z + } független, homogén Markov-láncok ugyanazzal az I fázistérrel és P átmenetvalószínűségi mátrixxal (i) Mutassuk meg, hogy {Z n := (X n, Y n ) : n Z + } is Markov-lánc (ii) Mutassuk meg, hogy ha {X n : n Z + } és {Y n : n Z + } irreducibilisek és aperiódikusak is, úgy {Z n : n Z + } is irreducibilis és aperiódikus (iii) Ellenpéldát adva mutassuk meg, hogy a (ii) részben az aperiódikusság feltétele nem hagyható el, azaz léteznek olyan független, irreducibilis {X n : n Z + } és {Y n : n Z + } Markov-láncok (ugyanazon fázistérrel és átmenetvalószínűségi mátrixxal), hogy {Z n : n Z + } nem irreducibilis 33

Megoldás (i): Tetszőleges n N és (i 0, j 0 ),, (i n, j n ) I I esetén P (Z n = (i n, j n ) Z n = (i n, j n ),, Z 0 = (i 0, j 0 )) = P (X n = i n, Y n = j n X n = i n, Y n = j n,, X 0 = i 0, Y 0 = j 0 ) = P (X n = i n, Y n = j n, X n = i n, Y n = j n,, X 0 = i 0, Y 0 = j 0 ) P (X n = i n, Y n = j n,, X 0 = i 0, Y 0 = j 0 ) = P (X n = i n, X n = i n,, X 0 = i 0 )P (Y n = j n, Y n = j n,, Y 0 = j 0 ) P (X n = i n,, X 0 = i 0 )P (Y n = j n,, Y 0 = j 0 ) = P (X n = i n X n = i n,, X 0 = i 0 )P (Y n = j n Y n = j n,, Y 0 = j 0 ) = P (X n = i n X n = i n )P (Y n = j n Y n = j n ) = P (X n = i n, X n = i n ) P (X n = i n ) P (Y n = j n, Y n = j n ) P (Y n = j n ) = P (X n = i n, Y n = j n, X n = i n, Y n = j n ) P (X n = i n, Y n = j n ) = P (Z n = (i n, j n ), Z n = (i n, j n )) P (Z n = (i n, j n )) = P (Z n = (i n, j n ) Z n = (i n, j n )) Így {Z n : n Z + } homogén Markov-lánc, fázistere I I, egylépéses átmenetvalószínűségei pedig az {X n : n Z + } és {Y n : n Z + } Markov-láncok megfelelő egylépéses átmenetvalószínűségeinek szorzatai, azaz P (Z n = (i n, j n ) Z n = (i n, j n )) = (P ) in,i n (P ) jn,j n (ii): A 25 Feladat alapján tetszőleges (i, r), (j, s) I I esetén létezik olyan N(i, r) N és N(j, s) N, hogy P (X n = r X 0 = i) > 0, P (Y n = s Y 0 = j) > 0, n N(i, r), n N(j, s) Így, az (i) rész megoldásában írottakat is felhasználva P (Z n = (r, s) Z 0 = (i, j)) = P (X n = r X 0 = i)p (Y n = s Y 0 = j) > 0, tetszőleges n max(n(i, r), N(j, s)) esetén Így {Z n : n Z + } irreducibilis és aperiódikus (iii): Legyen I := {0, } és P := ( 0 ) 0 0 0 0 Ekkor az {X n : n Z + } és {Y n : n Z + } Markov-láncok irreducibilisek és periodikusak, periódusuk 2 Továbbá, az (i) rész alapján {Z n : n Z + } Markov-lánc, fázistere 34

{(0, 0), (0, ), (, 0), (, )} és egylépéses átmenetvalószínűségi mátrixa (0, 0) (0, ) (, 0) (, ) (0, 0) 0 0 0 0 (0, ) 0 0 0 0 (, 0) 0 0 0 = (, ) 0 0 0 0 (0, 0) (0, ) (, 0) (, ) (0, 0) 0 0 0 (0, ) 0 0 0 (, 0) 0 0 0 (, ) 0 0 0 Így a {Z n : n Z + } Markov-lánc osztályai {(0, 0), (, )} és {(, 0), (0, )}, azaz nem irreducibilis {Z n : n Z + } A fenti átmenetmátrix nemmás, mint P -nek önmagával vett Kronecker szorzata 27 Megjegyzés (visszatérőség) Felidézzük, hogy mit értünk visszatérő (recurrent) és átmeneti (transient) állapoton Legyen tetszőleges i és j állapotok és n esetén f (n) i,j := P (X n = j, X t j, t n X 0 = i), azaz f (n) i,j annak a valószínűsége, hogy n lépés alatt jutunk el először i-ből j-be Legyen f i,j := n= f (n) i,j, azaz f i,j annak a valószínűsége, hogy i-ből indulva a lánc eljut j-be Az i állapotot visszatérőnek nevezzük, ha f i,i =, átmenetinek, ha f i,i < Azaz egy i állapot akkor visszatérő, ha a lánc i-ből indulva valószínűséggel visszajut oda Az alábbiakban heurisztikus gondolatmenetek nyomán igaz összefüggésekhez jutunk Tegyük fel, hogy egy Markov-lánc az i állapotból indul ki és i visszatérő állapot Ekkor a lánc valószínűséggel visszatér i-be A Markov-lánc definíciója miatt minden újra indul, úgy mintha a lánc újból i-ből indulna És ily módon a lánc újra visszatér valószínűséggel i-be Egy kicsit precízebben ezt a következőképpen indokolhatjuk meg Vezessük be az i állapot első elérési idejét: { n ha Xn = i és X t i, t n, τ i := + ha X t i, t Mivel az i állapot visszatérő, P (τ i < + ) = Továbbá, mivel P (X 0 = i) =, kapjuk, hogy {X τi +n : n = 0,, 2, } is Markov-lánc, melyre P (X τi = i) =, és a szóban forgó Markov-lánc egylépéses átmenetvalószínűségi mátrixa és kezdeti eloszlása megegyezik {X n : n = 0,, 2, } egylépéses átmenetvalószínűségi mátrixával, illetve kezdeti eloszlásával (Az átmenetvalószínűségi mátrixok egyezőségének hátterében az erős Markov-tulajdonság áll) A fenti gondolatmenetet ismételve kapjuk, hogy ha egy Markov-lánc egy visszatérő állapotból indul ki, akkor valószínűséggel végtelen sokszor visszatér oda Most azt tegyük fel, hogy a Markov-lánc az i állapotból indul ki és i átmeneti állapot Ekkor minden egyes alkalommal, mikor a lánc belép i-be pozitív, nevezetesen fi,i annak 35