Véges Markov-láncok. Eötvös Loránd Tudományegyetem Természettudományi Kar. Fáy Renáta. BSc Szakdolgozat. Matematikai elemz szakirány.

Átírás

1 Eötvös Loránd Tudományegyetem Természettudományi Kar Véges Markov-láncok BSc Szakdolgozat Fáy Renáta Matematikai elemz szakirány Témavezet : Michaletzky György Valószín ségelméleti és Statisztika Tanszék Budapest, 207

2 Tartalomjegyzék Bevezetés 4. Véges Markov láncok 5.. Véges Markov-láncok bevezetése Állapotok osztályozása Elnyel Markov-láncok Az alapmátrix Gráfokon való bolyongás Ittas ember a házban Egy ház zárt ajtókkal Ház nyitott ajtóval Létrák és csúszdák Az átmenetvalószín ség-mátrix Létra vagy csúszda hozzáadása A start mez variálása Összefoglalás 38 2

3 Köszönetnyilvánítás Els sorban szeretném megköszönni Michaletzky Györgynek, hogy elvállalta a konzulensi feladatokat, illetve hogy tanácsaival, észrevételeivel és türelmével segítette szakdolgozatomat, valamint hogy bármikor fordulhattam hozzá kérdéseimmel. Még szeretném megköszönni családomnak és barátaimnak, hogy mellettem álltak és mindvégig biztattak, Fáki Annának és Horváth Lucának külön köszönöm a dolgozat lektorálását. Köszönöm Mester Dávidnak, hogy érdekl déssel kísérte a szakdolgozatom és megjegyzéseivel hozzájárult az elkészültéhez. 3

4 Bevezetés A Markov-láncok alapjait Andrej Andrejevics Markov, orosz matematikus alkotta meg 907-ben. Azóta az elmélete rengeteget fejl dött és sok területen hasznosították. A matematika több területe is foglalkozik ezekkel a folyamatokkal, mint például az algebra, a gráfelmélet és a valószín ségelmélet. Szakdolgozatomban a legutóbbi matematikai terület kapja a hangsúlyt. A Markovfolyamatokon belül a véges Markov-láncokkal foglalkozom valamint azzal, hogy néhány körülmény hogyan tudja befolyásolni a folyamatot. Például, hogy milyen hatással van rá egy kezdeti eloszlás vektor, egy elnyel állapot hozzáadása vagy az átmenetvalószín ség mátrix megváltozása. Az els fejezetben leírom a dolgozat további részéhez szükséges elméleti hátteret, a második fejezetben egy példán keresztül részletesen bemutatom az alkalmazását és megnézek néhány befolyásoló tényez t egy fán történ bolyongásnál, majd a harmadik fejezetben a Létrák és Csúszdák nevezet társasjátékot, és annak különböz módosításait vizsgálom. 4

5 . fejezet Véges Markov láncok Ehhez a fejezethez az Irodalomjegyzékb l az []-es és [2]-es forrást vettem segítségül... Véges Markov-láncok bevezetése Olyan folyamatokat szeretnénk vizsgálni, amelyek jöv beli eloszlásához nincs szükség a múltbeli eloszlásokhoz, mert nem függ t lük, csak a jelenlegit l.... Deníció. Legyen adott az {X n } n N folyamat, ahol X n : Ω I valószín ségi változók az (Ω, A, P ) valószín ségi mez n, I pedig véges halmaz. A folyamat véges Markov-tulajdonságú, ha A n = σ(x 0, X, X n ) jelöléssel minden B I és minden m n esetén P (X m B A n ) = P (X m B X n ). Ha egy folyamat Markov-tulajdonságú, akkor az, hogy az n. lépésb l hogyan jutok el az m. lépésbe feltételesen független az ezt megel z n lépést l. A továbbiakban ezeket a folyamatokat Markov-folyamatoknak fogjuk nevezni. Tehát rögzítve az X n értékét van két feltételesen független eseményünk: a folyamat története az n. lépés el tt a folyamat az n. lépésb l eljut az m. lépésbe (m n). Most nézzük meg, mit lehet elmondani a valószín ségükr l...2. Deníció. Egy Markov-folyamat átmenetvalószín sége az n-edik lépésben: p ij (n) = P (X n = j X n = i), ahol i, j I. 5

6 A kés bbiekben olyan folyamatok fognak szerepelni, amik a Markov-folyamatok egy speciális esetei, a Markov-láncok...3. Deníció. Egy olyan véges Markov-folyamatot, aminek az állapottere diszkrét, véges Markov-láncnak nevezünk. Egy ún. homogén Markov-lánc esetén az átmenetvalószín ség p ij (n) nem függ n-t l, ezért a p ij (n) = p ij jelölést használjuk. Ez azt jelenti, hogy az ilyen Markovláncok esetén nem számít az, hogy hányadik lépésben vagyunk, csak az, hogy hány lépés alatt akarunk eljutni az egyik állapotból a másikba...4. Példa. A könnyebb érthet ség kedvéért nézzük meg a Blackjack nevezet kártyajátékot, ami homogén Markov-lánc (ha eltekintünk attól, hogy a látott lapoknak van hatása a következ húzott lap értékére (például, ha egy kör hármas van a kezünkben, akkor már nem húzhatunk kör hármast), emiatt feltételezzük, hogy minden lapból végtelen sok van a pakliban). Ahhoz, hogy összesen 2 értékben legyen kártyalap a játékos kezében, teljesen mindegy, hogy hány lépésben jut el a játékos addig, hogy a lapok összege például 4 legyen. Csak az a lényeg, hogy erre milyen lapokat húz. (Ez a példa az [5]-ös forrásra épül.)..5. Deníció. Legyen P az a mátrix, ahol az i. sor j. eleme a p ij valószín ség. Ezt a P négyzetes mátrixot nevezzük átmenetvalószín ség mátrixnak. A létrejött mátrix egy sztochasztikus mátrix lesz (tehát minden sorában az elemek összege : j p ij = ), hiszen annak a valószín sége, hogy a folyamat a következ lépésben az állapottér elemei közül az egyikben lesz, egyenl -gyel. Természetesen befolyásolja a láncot az, hogy melyik állapotból indul ki a folyamat, erre vezetjük be a következ deníciót:..6. Deníció. Egy Markov-lánc kezdeti eloszlása az a vektor, amely megadja hogy milyen valószín séggel és melyik állapotból indul ki a folyamat. Ezt a π 0 = p (0) p (0) vektorral jelöljük. 2. 6

7 Az átmenetvalószín ség mátrix és a kezdeti eloszlás vektor segítségével ki lehet számolni azt a vektort, ami megadja, hogy n lépés múlva milyen valószín séggel és melyik állapotban lesz a folyamat...7. Tétel. Legyen π n az eloszlása egy véges Markov-láncnak, aminek a kezdeti eloszlása π 0 és az átmenetvalószín ség mátrixa P. Ekkor π n = π 0 P n. Ugyanis annak a valószín sége, hogy az i. állapotból n lépés alatt eljut a folyamat a j. állapotba (P n ) ij (kés bb megmutatjuk, hogy ez valóban igaz). Ennek a mátrixnak a sorai pedig (tehát azok az állapotok, amikb l kiindulunk) a megfelel kezdeti valószín séggel vannak súlyozva (hogy milyen valószín séggel kezd a folyamat az adott állapotban)..2. Állapotok osztályozása A fejezet végére az állapotteret osztályokra bontjuk, amelynek segítségével a következ részben deniáljuk az elnyel állapotot és az elnyel láncot..2.. Deníció. Az i állapotból j állapot elérhet, ha. Ha valamely n lépésre pozitív valószín séggel lehet eljutni i-b l j-be, vagy 2. i = j. Ez egy tranzitív reláció, tehát ha i-b l elérhet j, és j-b l elérhet k állapot, akkor a k állapot i-b l is elérhet. Ugyanis ha i-b l elérhet a j. állapot n lépésb l, j-b l pedig a k. állapot m lépésb l, akkor az i. állapotból elérhet lesz a k. állapot n + m lépésb l Deníció. Ha i és j állapot oda-vissza elérhet ek egymásból, akkor azt mondjuk hogy érintkeznek. Ez ekvivalencia reláció, tehát osztályokra bontja az állapotteret. Ha két állapot érintkezik, akkor egy ekvivalencia osztályba soroljuk ket, ha pedig nem akkor különböz be tartoznak. 7

8 Az elérhet ség és az érintkezés deníciója segítségével az állapottér elemeit két típusra oszthatjuk, lényeges és lényegtelen állapotokra Deníció. Az i állapot lényeges, ha. minden olyan j-re, ami elérhet i-b l arra teljesül, hogy i is elérhet bel lük, tehát érintkeznek és 2. az el bbi tulajdonság teljesül i = j esetén is. Ha egy állapot nem lényeges, akkor lényegtelennek nevezzük Tétel. Egy érintkezési osztályon belül vagy lényeges vagy lényegtelen állapotok vannak, de a két típus egyszerre egy osztályban nem tartózkodhat. Bizonyítás. Ez a tétel a denícióból következik. Tegyük fel, hogy egy i lényeges állapotból elérünk egy j lényegtelen állapotot. Ekkor ha a lényegtelenb l is elérnénk a lényegest (tehát érintkeznének), akkor a lényegtelen állapot valójában lényeges lenne. Eszerint ez osztálytulajdonság. Ez alapján az osztályokat fel lehet címkézni a benne lév állapotok típusa szerint, így beszélhetünk lényeges osztályokról és lényegtelen osztályokról. A tételb l látszik, hogy ha egy folyamat elhagy egy lényegtelen osztályt, akkor oda sohasem tér már vissza (ugyanis ha visszatérne, akkor lenne benne egy lényeges állapot, ami az.2.4-es tétel szerint nem lehetséges), valamint ha belép egy lényeges osztályba, akkor onnan sohasem fog kilépni (hiszen minden i állapotból elérhet j állapotról elmondható, hogy abból elérhet i is, azaz i és j érintkeznek)..3. Elnyel Markov-láncok A Markov-láncoknak is több típusa van, a következ kben az elnyel Markovláncokhoz kapcsolódó deníciókról, tételekr l, tulajdonságokról lesz szó. El ször is az el z szakaszban leírt fogalmak segítségével deniáljuk, hogy mit hívunk elnyel állapotnak: 8

9 .3.. Deníció. Elnyel állapotnak nevezünk egy lényeges osztályt, ha egyetlen állapotból áll. A denícióból következik ez a tétel:.3.2. Tétel. Egy állapot akkor és csak akkor elnyel, ha p ii =. Ugyanis, ha a folyamat belép egy lényeges osztályba, akkor azt már nem hagyja el. Ha ez az osztály egyetlen állapotból áll, akkor a folyamat valószín séggel marad a lényeges, azaz elnyel állapotban. Ha az osztály több állapotból állna, akkor azok érintkeznének, tehát nem maradna valószín séggel az adott állapotban a folyamat. Ha egy Markov-láncban minden lényeges állapot egyben elnyel állapot, akkor azt elnyel Markov-láncnak nevezzük Tétel. Bármelyik véges Markov-láncban annak a valószín sége, hogy a folyamat n lépés után egy lényeges osztályban lesz, tart az -hez, ha n tart a végtelenhez. Eszerint nem lehet örökké bolyongani a lényegtelen osztályokban, el bb utóbb az elnyel folyamat biztosan belép egy lényeges osztályba. Ha ez a lényeges osztály egy elnyel állapot, akkor a folyamat egy id után abban az állapotban "ragad", azaz elnyel dik. Kényelmesebb és hasznosabb is, ha az átmenetvalószín ség mátrixnak a kanonikus formáját csoportosított formában nézzük, azaz külön bontjuk a lényeges és a lényegtelen osztályokat. Ekkor a mátrix a következ képpen fog kinézni (ha k darab lényeges és l darab lényegtelen állapotból áll): ( ) S O R Q R (k+l) (k+l), ahol S R k k részmátrixban azoknak a lépéseknek a valószín ségeik vannak, amelyeknél lényeges osztályban marad a folyamat (az elnyel állapotokhoz tartozó rész mátrix nyilván egy egységmátrix lesz), 9

10 O R l k -ban azoknak a lépéseknek a valószín ségeik vannak, amelyeknél a folyamat lényegesb l lényegtelenbe megy (már láttuk, hogy ilyen nem létezik, ez a részmátrix csupa nullából áll), R R k l -ben azoknak a lépéseknek a valószín ségeik vannak, amelyeknél a folyamat lényegtelenb l lényeges osztályba megy, Q R l l -ban pedig azoké, amelyeknél lényegtelen osztályban marad. Tehát a kanonikus formát ha minden lényeges állapot egyben elnyel állapot is, ezentúl így írhatjuk (I az egységmátrixot jelöli): ( ) I 0 R Q A négy részmátrix közül a Q fog szerepelni még a kés bbiekben, ennek a mátrixnak a segítségével számolhatóak ki többek között a számunkra érdekes várható értékek és a szórásnégyzetek is..4. Az alapmátrix A várható érték és a szórás kiszámításához szükségünk van az úgynevezett alapmátrixra (vagy fundamentális mátrixra):.4.. Deníció. Egy elnyel Markov-lánc alapmátrixa az N = (I Q) mátrix. Azt, hogy (I Q)-nak valóban létezik inverze a következ tétel biztosítja:.4.2. Tétel. (I Q) minden elnyel lánc esetén invertálható és (I Q) = Q k. k=0 Vezessünk be egy függvényt, ami megadja, hogy egy folyamat hányszor volt a j. lényegtelen állapotban (lényeges állapotokkal itt most nem foglalkozunk): n j : I R. 0

11 Most már tudunk foglalkozni a lényegtelen osztályok meglátogatásának várható értékével is:.4.3. Tétel. Legyenek i és j lényegtelen állapotok egy véges állapotter Markovláncban. Ekkor E(n j X k = i) = N ij valamilyen k 0 számra. Tehát az alapmátrix megmutatja, hogy várhatóan hányszor megy az i állapotból a j állapotba a folyamat (csak lényegtelen osztályokra, lényegessel még mindig nem foglalkoztunk). Néhány jelölést deniálunk el ször és utána megmutatjuk, mire használhatóak:.4.4. Deníció. Legyenek az N 2 R l l, τ R l, τ 2 R l a következ k: N 2 = N(2N dg I) N sq, ahol N dg az N mátrix diagonálisa, az N sq pedig az a mátrix, ahol N elemeit a négyzetre emeljük. τ = j N ij τ 2 = (2N I)τ τ sq, ahol τ sq a τ elemeinek a négyzetre emelésével keletkezik. Ezek segítségével tudjuk kiszámolni a lényegtelen állapotok meglátogatásának várható értékét és szórásnégyzetét, a következ módokon:.4.5. Tétel. Ha i és j lényegtelen állapotok, akkor D 2 (n j X k = i) = (N 2 ) ij. Ez azt jelenti, hogy N 2 az a mátrix, ami megadja az alapmátrix által megadott várható értékt l való átlagos eltérések négyzetét. Ismeretes, hogy a szórásnégyzet képlete a következ : D 2 (t) = E[(t E(t)) 2 ] = E(t 2 ) E 2 (t) Az N 2 mátrixot deníciójában ezeknek megfelel rész: E(n 2 j X k = i) = N(2N dg I) E 2 (n j X k = i) = N sq.4.6. Tétel. Ha t : I R az a függvény ami megadja, hogy egy folyamat hányszor van lényegtelen állapotban a kiinduló állapottal együtt, akkor E(t X k = i) = τ, D 2 (t X k = i) = τ 2, k 0.

12 Tehát τ vektor i. eleme, (τ) i annak a várható értéke, hogy ha i lényegtelen állapotból indul ki a folyamat, akkor mennyi id t tölt lényegtelen állapotokban. τ 2 elemei pedig a várható értékt l való eltérés négyzetét mutatják. τ 2 -nél az.4.5 tételhez hasonlóan észrevehet : E(t 2 X k = i) = (2N I)τ E 2 (t X k = i) = τ sq Természetesen ezeket az értékeket nagyban befolyásolja a kezdeti eloszlás vektor is, amir l eddig még nem esett szó. A várható érték és szórásnégyzet kiszámításához, az el z tételben leírt képleteket kell megszorozni a kezdeti eloszlás vektorral, azaz az adott j. állapothoz tartozó értékeket a megfelel kezdeti súlyokkal kell összeadni Következmény. Ha π a kezdeti eloszlás vektora egy elnyel Markov-láncnak, π az utolsó s db komponense π-nek és k 0, akkor E(n j π 0 = π) = (π N) j D 2 (n j π 0 = π) = (π N(2N dg I)) j ((π N) sq ) j E(t π 0 = π) = π τ D 2 (t π 0 = π) = π (2N I)τ (π τ) sq. A következményben kiszámoltuk a várható értékét és szórását annak, hogy a folyamat hányszor látogatja meg a j. lényegtelen állapotot/hányszor látogat meg lényegtelen osztályokat összesen, feltéve hogy a kezdeti eloszlás vektor π..5. Gráfokon való bolyongás Ez a fejezet az Irodalomjegyzékb l a [3]-as és [4]-es forrásokra épül. Minden Markov-láncot tudunk ábrázolni egy irányított gráal, ahol az éleket súlyokkal (valószín ségekkel) látjuk el. Ha a Markov-lánc megfordítható, akkor irányítatlan gráfokkal lehet ábrázolni. A G = (V, E) gráal ábrázolt Markov-láncnál, V jelöli az állapotteret, E pedig az átmeneteket az állapotok között. 2

13 Nézzünk egy G = (V, E) súlyozatlan, irányítatlan gráfot és vegyünk rajta egy bolyongást: Ha a t. lépésben a v t csúcsban vagyunk, akkor annak az esélye, hogy az egyik szomszédjára tovább megyünk, ahol d(v d(v t) t) a v t csúcs fokát jelöli. Ebb l következik, hogy az M = (p ij ) i,j V V V méret átmenetvalószín ség mátrixot így kapjuk meg: p ij = { d(i), ha ij E 0, egyébként. Abban az esetben, ha a gráf irányított, akkor az M = (p ij ) i,j V átmenetvalószín ség mátrix, ami szintén V V méret, a hasonló módon adható meg (kimeno(i) jelölje az i-b l kimen élek számát): p ij = {, kimeno(i) ha i j E 0, egyébként. Most tegyük fel, hogy G = (V, E) egy irányított és súlyozott gráal ábrázoljuk a Markov-láncunkat. Ekkor p ij = w ij k,ik E w. ik Tehát a v i csúcsból v j csúcsba men él súlya megegyezik annak a valószín ségével, hogy v i csúcsból a folyamatunk a v j csúcsba megy tovább a következ lépésben. 3

14 2. fejezet Ittas ember a házban Tegyük fel, hogy van egy ittas ember egy házban, aki elég sok rövid italt megivott és ezáltal összevissza bolyong. Ha bemegy egy szobába ugyanolyan valószín séggel megy át bármelyik másik szobába (akár abba amelyikb l jött), ahova vezet ajtó, mert nem emlékszik honnan jött és hova szeretne menni. Ekkor tegyük fel a következ kérdéseket:. Mennyi a valószín sége, hogy az ittas ember n lépés alatt eljut a hálószobából a konyháig? ( lépés= szobaváltás) 2. Valószín leg melyik helyiségben lesz a részeg ember n lépés után? 3. Várhatóan hányszor látogatja meg ezeket a helyiségeket? 4. A 2. és 3. kérdésre adott válasznál mekkora a várható eltérés? Ezekre a kérdésekre különböz környezetben (zárt kertajtó, nyitott kertajtó, melyik helyiségben kezdi az ivást) különböz válaszok adhatóak. 4

15 2.. Egy ház zárt ajtókkal El ször nézzük azt az esetet, amikor a házban minden kertajtó be van csukva, tehát nem tud "megszökni" az ittas ember. Vegyük egy ilyen ház alaprajzát: 2.. ábra. Alaprajz Az részeg ember útja megfeleltethet egy gráfon való bolyongásnak, a folyamat pedig egy diszkrét idej Markov-lánc. Az állapottér elemei a ház 2 helyisége lesz: Ω = {H n : 0 n 2} ={El szoba, Tároló, Konyha, Fürd szoba, Étkez, Szoba, Szoba 2, Fürd szoba 2, Nappali, Szoba 4, Szoba 3, Fürd szoba 3} Készítsük el az alaprajznak megfelel gráfot: H H 3 H 4 H 2 H 6 H 5 H 9 H H 8 H 7 H 0 H 2 5

16 Most pedig nézzük { meg az átmenetvalószín ség mátrixot, amit M = (p ij )-vel jelölünk, ahol p ij =, ha H ih j E d(i) : 0, egyébként H H 2 H 3 H 4 H 5 H 6 H 7 H 8 H 9 H 0 H H 2 H H H H H H H H H H H H Ha ezt a mátrixot az n. hatványra emeljük, akkor (p ij ) n mátrixban p ij annak a valószín sége, hogy pontosan n lépéssel az H i helyiségb l a H j helyiségbe jut a részeg emberünk. Ezt indirekt bizonyítjuk: Bizonyítás. El ször írjuk fel a mátrixszorzás szabályát: (AB) ij = l A it B tj t= Így az m m-es M átmeneti mátrixot n. hatványára emelve azt kapjuk, hogy M n = m t= M n it M tj, ha t 2 Innent l kezdjük az indirekt bizonyítást, n = 0-ra és n = -re igaz, ugyanis bármilyen M R m m mátrixnak a nulladik hatványa az egységmátrix, tehát 0 lépéssel valószín séggel maradunk a helyünkön, ami igaz. Az els hatványa pedig önmaga, ami pont az lépéses esetet mutatja meg. Tegyük fel, hogy n = k-ra igaz az állítás, tehát az i-b l induló t-be végz d k hosszú utak valószín sége (p it ) k. Vegyük az összes olyan t csúcsot, amit el tudok érni i-b l 6

17 pontosan k lépéssel. Annak a valószín sége, hogy az egyikb l eljutok j-be még egy lépéssel p tj, tehát annak, hogy k+ lépéssel ott vagyok i-b l j-be t-n keresztül p it p tj. Ezt alkalmazzuk az összes lehetséges t-re és megkapjuk a mátrixszorzást: m (p ij ) k+ = p k itp tj. Azokat a t-ket amiket nem érint a k + hosszú út azért vehettük bele, mert 0 a valószín ségük. t= 2.2. ábra. Az átmenetvalószín ség mátrix páros hatványai Az ábra azt sugallná, hogy 50 lépés után már beáll a pillanatnyi eloszlás határeloszlása. Azonban az a gráf, amin az ittas ember bolyong egy fa, tehát körmentes. Emiatt páros lépésszámmal csak azokat a helyiségeket tudja meglátogatni, amik páros távolságra vannak t le. Ebb l következik, hogy általános kezdeti eloszlás esetén nincsen határeloszlás, és az is hogy a 2.2-es ábrán látható eloszlástól különböz t kapunk, ha a páratlan hatványokat nézzük. Ezek a 2.3-as ábrákon vannak ábrázolva. 7

18 Látszik, hogy a konvergálás sebessége nem változik, viszont a hatványok eloszlása valóban eltér. Tehát határeloszlása magának a folyamatnak nincs, csak a részfolyamatainak ábra. Az átmenetvalószín ség mátrix páratlan hatványai Ha a konyha és a nappali között lenne egy ajtó, tehát a H 3 és H 9 csúcsok között futna él, akkor már létezne (egyértelm ) határeloszlása, ami egyben a stacionárius eloszlása is lenne a módosult gráfon történ bolyongásnak (mivel ezáltal minden helyiséget el tud érni páros és páratlan lépésszám alatt). A konvergálási id t is befolyásolja, 00 lépést kell tenni, hogy beálljon a határeloszlás ábra. Páratlan körrel is rendelkez gráf átmenetvalószín ség mátrixának 00. és 0. hatványa 8

19 Visszatérve a ház eredeti alaprajzához, ha a kezdeti eloszlás vektorral megszorozzuk átmenet-valószín ség mátrixunkat, majd az oszlopainak az elemeit összeadjuk és beletesszük egy vektorba, akkor megkapjuk, hogy n lépés után milyen valószín - séggel és hol lesz a részeg ember. A mi példánkra nézve m = 2. Vegyünk egy kezd vektort, melyet a következ k alapján generáltunk: Annak a valószín sége, hogy a fürd szobában kezd el inni és ott lerészegedik: 0, Az italokat a tárolóban tartja, és nagy valószín séggel már a tárolóban, vagy esetleg az el szobában lerészegedik, Ritka esetekben el fordul, hogy még a teljes részegsége el tt eljut a többi helyiségekbe is (kivéve a fürd szobákba). Ezek alapján: π 0 = p (0) p (0) 2 p (0) 3 p (0) 4 p (0) 5 p (0) 6 p (0) 7 p (0) 8 p (0) 9 p (0) 0 p (0) p (0) 2 0, 56 0, 4 0, 005 0, 0 0, 005 0, 005 = 0, , 005 0, 005 0, 0 0 Ez a π 0 vektor adja meg, hogy milyen valószín séggel és hol fog lerészegedni az emberünk (tehát melyik állapotból indul ki a folyamat). Most már a kezdeti eloszlás vektorral és a hatványozott átmenetvalószín ség mátrixszal ki lehet számolni azt a vektort, ami megadja, hogy n lépés után melyik helyiségben milyen valószín séggel fog tartózkodni az ittas ember a házban. 9

20 2.5. ábra. A vektorok, amik megadják hol és milyen valószín séggel lesz az emberünk 2,5,0,55,00,0 lépés után. Ezen az ábrán is látszik, hogy páros hatványoknál 50 lépésnél és 00 lépésnél (páratlan hatványoknál 55 lépésnél és 0 lépésnél) az eloszlás már megegyezik, viszont a páratlan és páros lépéseknél az ittas ember tartózkodásának az eloszlása nem egyezik meg. Habár a kezdeti eloszlás vektorban közel egyforma valószín ségekkel szerepel a H -es és a H 2 -es helyiség, amik távolságra vannak egymástól (tehát bármelyik helyiséget el tudom érni páros lépés alatt, ha a kett közül valamelyikb l indulok ki), ett l még a két határeloszlás nem fog "összeolvadni". Az étkez nél és a H 6 -os szobánál már 2 lépés után is er sen közelíti a határeloszlást (mindkét esetben), de a többi helyiségnél még eléggé befolyásolja a π 0 az eloszlást (még 0 lépés után is érezhet a hatása a kezdeti eloszlásvektornak), például annak a valószín sége, hogy 2 lépés után az el szobában lesz a részeg ember π 0 torzító hatása miatt ilyen magas Ház nyitott ajtóval Tegyük fel, hogy az egyik szobában nyitva maradt az egyik ajtó, ami a kertre néz és ha az emberünk sok rövid ital után kijut a kertbe, akkor már nem jut vissza a házba, mert eltéved. 20

21 2.6. ábra. Alaprajz Az alaprajz gráfját is felrajzoljuk, ugyanis az is változott egy kicsit. H H 3 H 4 H 3 H 2 H 6 H 5 H 9 H H 8 H 7 H 0 H 2 A változás a gráfban a zárt kertajtós esethez képest az, hogy b vült egy csúccsal, a H 3 -mal, valamint irányított lett. Erre azért volt szükség, mert ha az ittas ember egyszer ki tudott jutni a házból, akkor nem tud visszajutni, ahogy azt a fejezet elején feltettük. 2

22 Tekintsük meg az átmenetvalószín ség mátrixát is: H H 2 H 3 H 4 H 5 H 6 H 7 H 8 H 9 H 0 H H 2 H 3 H H H H H H H H H H H H H Eddig a folyamatban egy darab lényeges osztály volt, de a H 3 -as állapot bevezetésével az állapottér elemei már két osztályba esnek: egy lényegesbe (ebben van H -H 2 ) és egy lényegtelenbe (ebben a H 3 -as állapot van). Ilyenkor beszélhetünk elnyel Markov-láncról, mivel ha a Markov-láncunk az H 3 -as állapotba ér, akkor -valószín séggel marad ott, tehát ez az állapot elnyel lesz. Annak az eloszlása, hogy n lépés múlva hol fog tartózkodni a részeg emberünk er sen befolyásolva van az elnyel állapot miatt, ahogy az a 2.7-es ábrán is látható. Ugyanis el bb vagy utóbb a részeg ember a kertben fog kikötni, emiatt a határeloszlás a H 3 -as elnyel állapotra fog koncentrálódni. 2 lépés és 0 lépés után még hasonlítanak az eloszlások, de 50 lépésnél már érezni lehet az el bb említett lényegtelen állapot hatását. Pont ennél a két eloszlásnál volt hatása a kezdeti eloszlás vektornak is. A másik észrevétel, hogy jelent sen lecsökkent a határeloszláshoz való konvergálási id, míg az el z fejezetben 50 lépés után már elértük, most 200 lépés után is csak közeledünk, az ahhoz szükséges lépésszám, hogy beálljon a stacionárius eloszlás 450 lépésre n tt a H 3 -as állapot bevezetésével. 22

23 2.7. ábra. Az átmenetvalószín ség mátrix hatványai A konvergálási id nagysága azt jelenti, hogy 450 lépés múlva már valószín - séggel kint lesz a kertben az ittas ember. Mivel el bb utóbb úgy is a kertben fog kikötni, ezért ebben az esetben felvet dnek kérdések, hogy mennyi id t tölt (hány lépést tesz meg) az ittas ember a házában (lényegtelen osztályokban) miel tt kijut a kertbe (lényeges osztályba). Ahhoz, hogy erre tudjunk válaszolni, el ször meg kell nézni az átmenet-valószín ség 23

24 mátrix kanonikus formáját (a blokkokat elválasztóvonalakkal jelölve): ( I 0 R Q ) = H 3 H H 2 H 3 H 4 H 5 H 6 H 7 H 8 H 9 H 0 H H 2 H H H H H H H H H H H H H Most, hogy blokkokra lett szedve az átmenetvalószín ség mátrix, már ki lehet számítani az alapmátrixot és annak segítségével lehet várható értéket és szórást is számolni arra, hogy a házban merre fog kikötni az emberünk. Az els fejezetben említett képletet fogjuk alkalmazni ennek a kiszámítására: N = (I Q) = H H 2 H 3 H 4 H 5 H 6 H 7 H 8 H 9 H 0 H H H H H H H H H H H H H H

25 N megmutatja a várható értékét annak, hogy összesen hányszor megy a részeg ember a H i lényegtelen állapotból (helyiségb l) az H j lényegtelen állapotba (helyiségbe). Ha arra a várható értékre vagyunk kíváncsiak, hogy egy lényegtelen helyiségben hányszor tartózkodik összesen a részeg ember, akkor a kezdeti eloszlás vektort meg kell szorozni az átmenetvalószín ség mátrixszal, aminek a MATLAB által számolt eredménye a lenti ábrán látható ábra. π N MATLAB által számolt eredménye A π N vektor elemeit összeadva megkapjuk, hogy várhatóan hányszor lesz a részeg emberünk lényegtelen állapotban, ami most a megfelel alaprajzzal és kezdeti eloszlás vektorral négy tizedesjegyre kerekítve 53, Ennek az értéknek a nagysága annak köszönhet, hogy az alkoholizálás kezdete nagy valószín séggel a a H vagy H 2 helyiségben történik, amit l a kert 5 illetve 6 távolságra van. A várható érték kisebb lenne, ha egy olyan kezdeti eloszlás vektorral számolnánk, ami szerint az ittas ember nagyobb eséllyel iszik egy kertajtóhoz közeli helyiségben. Hiszen akkor már kevesebb lépésb l el tud jutni az elnyel állapotig, [ ezzel csökkentve a lényegtelen állapotok ] meglátogatásának számát. Például a π 0 = választással a várható érték 25,75-re csökken. Vessünk egy pillantást a lényegtelen állapotok meglátogatásának szórására is. Az els fejezetben említett N 2 mátrixot és τ 2 vektort kell ehhez kiszámolnunk. Ez a mátrix/vektor az elnyel désig eltelt meglátogatás/lépésszám szórásnégyzetét adja meg, ezért az elemeikb l még gyököt kell vonni a szóráshoz, aminek az eredménye a 2.9-es és 2.0-es ábrákon látható. 25

26 2.9. ábra. Az N 2 mátrixból kapott eredmény 2.0. ábra. A τ 2 vektorból kapott eredmény A kis várható érték ellenére, a szórás mértéke magas. A kerthez (elnyel állapothoz) közeli helyiségeknél egy kicsit kisebb, de még ott is magasabb a vártnál. A nagyobb ugrások a szórásban a központi H 5 -ös étkez nél és H 9 -es nappalinál vannak, ennek oka hogy ezeknél a legkisebb az esélye, hogy a részeg ember a kerthez egy közelebb es helyiségbe megy tovább. A kezdeti eloszlás vektort gyelembe véve annak a szórása, hogy hányszor tartózkodott a részeg ember egy-egy helyiségben (tehát hányszor látogatott meg lé- 26

27 nyegtelen állapotokat) az 2.-es ábrán látható. 2.. ábra. A lényegtelen állapotok meglátogatásának szórása Annak a szórása, hogy az elnyel dés el tt hányszor látogatott meg lényegtelen állapotokat összesen (négy tizedesjegyre kerekítve): 46,7467. Ennek az értéknek a nagysága a helyiségek és az ajtók számával magyarázható, sokáig el tud bolyongani az ittas ember a házban miel tt kijutna a kertbe. 27

28 3. fejezet Létrák és csúszdák Ehhez a fejezethez a [7]-es és [8]-as forrás nyújtott segítséget. 3.. ábra. A társasjáték táblája A Létrák és csúszdák egy gyerekeknek szóló társasjáték, melyet - bábuval és egy szabályos dobókockával játszanak. A táblán n n darab mez helyezkedik el (az ábrán látható módon) valamint létrák és csúszdák. Minden létrának és csúszdának van egy kezd és egy végpontja. 28

29 Három egyszer szabályra épül:. Egy játékos a táblán a saját bábujával mindig annyit lép, amennyit dobott a dobókockával (ha egy játékos dobott, majd lépett a t le balra ül játékos jön). 2. Ha az egyik bábuval olyan mez re lépünk, amely egy létra/csúszda kezd pontja, akkor rögtön tovább kell lépnie a létra/csúszda végpontjára (a létrákon mindig el re felé, a csúszdákon mindig hátrafelé mozgunk). 3. A célba csak pontosan lehet beérni, amennyivel többet dobott a játékos, annyit kell visszafelé lépnie. Az els dobásnál az -es mez t l kezdve lépkednek a játékosok, a cél az, hogy els ként érjünk el pontosan az n 2 számú mez re. A játékot akárhányan játszhatják, de mivel egy játékos adott lépése nem függ a többit l, mi csak egyre fogunk koncentrálni a továbbiakban. 3.. Az átmenetvalószín ség-mátrix A folyamatot le tudjuk írni egy elnyel Markov lánccal, mivel egy lépésünk (dobásunk) szempontjából lényegtelen, hogy hány dobással, létra/csúszda használattal jutottunk el az adott mez re. Az állapottér elemei a mez k lesznek, az elnyel állapot pedig a n 2 számú mez lesz, mivel ha már egyszer bejutottunk a célba, akkor megnyertük a játékot. Az átmenetvalószín ség mátrix felírásához el ször nézzük azt a verziót, amikor van egy n n méret táblánk, amin még nincs se létra se csúszda. Egy mez r l egy szabályos dobókockával az el tte lév hat mez re tud lépni a játékos, mindegyikre 6 valószín séggel, ezért a mátrix i. sora csupa nullákból fog állni, kivéve azok a j oszlopok, melyre j = i +, i + 2,, i + 6, ott 6 lesz a valószín ség. ( 0 2 i i+ i+2 i+6 i+7 n2 i ) A 0. sor és oszlop azért szükséges, mert az a "start mez " a játékos onnan indul el az els dobásnál. 29

30 Ez igaz minden i =, 2,, n 2 6 sorra, az i = n 2 5, n 2 esetén azonban már megjelenik az elnyel állapot és a 3-as számú szabály (miszerint csak pontosan lehet beérni a célba) hatása. 0 n 2 6 n 2 5 n 2 4 n 2 3 n 2 2 n 2 n 2 n n n n n n Nézzük meg, hogy mi történik akkor ha vannak a játékban létrák, csúszdák. Jelölje L(f, g) azt, ha az f. mez r l a g. mez re vezet egy csúszda/létra (a kett között itt nem kell különbséget tenni, ugyanis ha f g akkor létráról beszélünk, ellenkez esetben pedig csúszdáról). L(f, g) esetén annak a valószín sége, hogy az f mez re lépünk 0, tehát az átmenetvalószín ség mátrix f. oszlopát nullák alkotják. Azokban a sorokban ahol a létra/csúszda mentes átmenetvalószín ség mátrixban nem nulla elem állt (például f < n 2 6 esetén f 6, f 5,, f sorok), az ott található valószín ségek átkerültek a g oszlopba. Az f sorban a g. elemen kívül nyilván mindenhol nulla áll (g. oszlopban pedig ). 0 f 7 f 6 f 5 f 4 f f g n 2 f f f f f

31 A Q mátrixot (ami az alapmátrix kiszámításához szükséges) egyszer en az n 2. sor és oszlop eltörlésével kapjuk meg, aminek a mérete így n 2 n 2 lesz (a 0. sor miatt). Mivel az elnyel (lényeges) állapot a játékban a cél mez, ezért egy játékos célba érés el tti lépésszáma, megegyezik a lényegtelen osztályokban töltött idejével. Tehát egy játékos játékidejének várható hosszát a τ vektor, és az ett l való átlagos négyzetes eltérést, szórásnégyzetet pedig a τ 2 vektor adja meg, amelyet az el z fejezetben leírtakhoz hasonlóan számolható ki, ebben az esetben is. A π 0 R 00 kezdeti eloszlás vektorban az els elem, a többi nulla (mivel mindig a start mez r l kezdünk). Ezzel számolva, várható π 0 τ lépésszám (jelöljük t-vel), ami szükséges a célba éréshez, és a szórásnégyzet értéke: E(t π 0 = [ 0 0 ]) = π 0 τ = 5, 09 D 2 (t π 0 = [ 0 0 ]) = 4, 672. Egy azonos méret, létra- és csúszdamentes táblán a várható érték 33,333 a szórásnégyzet pedig 36,5079. Tehát a tábla tarkításával a várható érték csökkent, ugyanakkor a szórásnégyzet megnövekedett Létra vagy csúszda hozzáadása Ebben a részben azt vizsgáljuk, hogy mi történik az átmenetvalószín ség mátrixszal és a játékid hosszával, ha a társasjáték táblájára rákerül még egy létra vagy csúszda. Azzal, hogy ilyen módon módosítjuk a játéknak a tábláját, az átmenetvalószín - ség mátrix is módosítva lesz. Legyen a p ij annak a valószín sége, hogy egy dobással az i-edik mez r l a j-edik mez re jut a játékos és nézzük azt az esetet, amikor beszúrunk egy L(f, g) létrát/csúszdát (csak azokat az eseteket vizsgáljuk, amikor az f. és g. mez se nem kezd pontja, se nem végpontja egy létrának/csúszdának a módosítás el tt). 3

32 Az új mátrix egy i-edik sora a következ lesz ( i = 0,,, n 2 -re): ( 0 f g n2 i p i0 p i 0 p if + p ig p in 2 ) Az új mátrix f-edik sora pedig így fog kinézni: ( 0 f g n2 f ) Els ránézésre azt várnánk, hogy ha egy plusz létra kerül a táblára akkor csökken, ha pedig egy plusz csúszda akkor n a játékid. Ez általában így is lesz, de néha el fordul, hogy a vártnál különböz eredmény születik. Például abban az esetben, amikor L(77, 83) létra kerül rá a játéktáblára Ekkor a célba éréshez szükséges lépésszámnak a várható értéke 5,0985-re n, míg a szórásnégyzete 44,249-ra. Tehát itt, ha minimális is a különbség, de egy létra behelyezésével nem csökkent, hanem n tt a lépések várható száma és szórása. Ennek oka, hogy ezzel a létrával a játékos kikerüli a 80-as mez t, azt a mez t, amivel gyakorlatilag célba érne. Hasonlóan, ha L(3, 3) csúszda kerül a táblára, a vártnál különböz eredményt kapunk a játék várható id tartamára. 32

33 Ekkor ez az érték,988-re csökken, ami közel 3 lépés különbséget jelent, a szórásnégyzete pedig 2,928 lesz. Ennek a magyarázata, hogy ezzel a csúszdával a játékos kap még egy esélyt, hogy az L(9, 3)-es létrán felmásszon. Az L(4, 4)-es létrára is újabb esélyt kap, de ott csak a 4-es mez ig tudna eljutni. Most nézzük meg azt az esetet, mikor az L(4, 4) létrából L(4, 4) csúszdát csinálunk és az L(6, 6) csúszdából L(6, 6) létrát. Annak ellenére, hogy a hosszuk ugyanakkora, a várható játékid változni fog. E(t csere π 0 = [ 0 0 ]) = 2, 772 D 2 (t csere π 0 = [ 0 0 ]) = 34, 8753 A várható érték ekkor 2,772-re csökken, a szórásnégyzete pedig 34,8753-ra. Ennek oka, hogy az eredeti táblán, ha a játékos felmászik az L(4, 4)-es létrán, utána le tud még csúszni az L(6, 6)-os csúszdán, a módosított táblán viszont ez a lehet ség fordítva adódik: ha a játékos lecsúszik az L(4, 4)-es csúszdán, akkor utána még fel tud mászni az L(6, 6)-os létrán. A szórás csökkenésére is ez ad magyarázatot. A következ két táblázatban a jobb átláthatóság érdekében összefoglaljuk az eredményeket. 33

34 Változás Várható játékid Eltérés az eredetit l Eredeti (3. ábra) 5, L(77, 83) 5, , L(3, 3), 988-3,0238 Létra és csúszda cseréje 2, 772-2,2398 Változás Játékid szórásnégyzete Eltérés az eredetit l Eredeti (3. ábra) 4, L(77, 83) 44, , L(3, 3) 2, 928-9,7584 Létra és csúszda cseréje 34, ,7959 Általában igaz az, hogy egy létra csökkenti, egy csúszda pedig növeli a játék lépésszámának várható értékét, de nem minden esetben, oda kell gyelni a létra/csúszda végpontjainak a környezetére A start mez variálása Eddig a játékosok egy, a táblán nem feltüntetett "0." start mez r l indultak. Mi történik akkor, ha a start mez t is a dobókockára bízzuk? A módosított szabály a következ : el ször minden játékos kétszer dob a dobókockával, amennyit els re dobott annyit lép jobbra, amennyit másodjára annyit pedig felfelé. Ezáltal a kezdeti eloszlás vektor módosult. Ekkor (ha még mindig beleszámítjuk a 0. mez t, ahonnan az új szabály értelmében már nem indulhat játékos) pontosan 36 eleme a vektornak /36 lesz, a többi 0. A vektor egy kis részlete: π,0 = ( ) De ezen a 6 6 méret résztáblán vannak létrák és csúszdák. Ha a játékos úgy dob hogy egy létra/csúszda kezd pontján kezdené a játékot, valójában a végpontján kezdi. Emiatt a a kezd pontokban 0-ra csökken annak a valószín sége, hogy az a 34

35 mez legyen a startmez, a végpontokban pedig -dal n (ez akkor is igaz, ha a 36 végpont ezen a bizonyos 6 6-os résztáblán kívül esik). Így tehát a kezd vektort fel lehet írni a következ képpen is: π 2,0 = ( ) Most nézzük meg, milyen hatással van a játékid re (a táblázatban zárójelekben fel vannak tüntetve a kés bbiekben használt jelölések). Játéktábla típusa Várható játékid Szórásnégyzet L(f, g) mentes (u) 24, 90 58, es ábra (3.) 3, , táblázat. Létrák és Csúszdák hatása Azaz, ha üres táblán játszanának a játékosok ezzel a kezdési szabállyal, akkor jelent sen lecsökkenne a várható érték, 9 lépéssel, a szórásnégyzet pedig 20-szal n ne. Ezen a táblán, csak az számít mennyire vagy közel a célhoz, a környezetére nem kell gyelni. Ez azt jelenti, hogy ha a célhoz közelebbi mez r l indul a játékos, azzal kockadobásokat, tehát lépéseket spórol magának. Tehát a játékszabály módosításának hatása szignikáns, ellenben a másik esettel. A 3.-es típusú játéktáblánál a várható lépésszám értéke és a szórásnégyzete is csökkent, de nem változtak sokat. A szórásnégyzetet szét lehet bontani, a feltételes szórásnégyzetek várható értékének és a feltételes várható értékek szórásnégyzetének összegére és ennek a segítségével meg lehet nézni, hogy melyik tag játszik hangsúlyosabb szerepet a szórásnégyzet számításában. Jelölje π j azt a kezdeti vektort, ami a j. koordinátájában, a többiben pedig 0, tehát amikor valószín séggel a j. mez r l indul a játékos. Ekkor az el z ekben említett felbontás a alapján: 35

36 D 2 (t 3. π 0 = π 2,0 ) = E[D 2 (t π 0 = π j )] + D 2 [E(t π 0 = π j )] = = 08, , 295 = 4, 7473 Tehát a szórásnégyzetben az egyes mez kr l való indulások szórásnégyzetének várható értéke játszik hangsúlyos szerepet, és nem a várható értékek szórása. Tehát bárhonnan indul a játékos a várható játékidejének szórása magas lesz, ez a létráknak és a csúszdáknak köszönhet. Ez a 3.2-es ábrán lév két hisztogramon is látszik, a szórásnégyzet értékeinek gyakorisága ugyanis 05 és 0 között a legmagasabb, ide összpontosul, míg a várható értékek kis intervallumon mozognak (8 és 8 között) ábra. Gyakoriságok A létrák/csúszdák miatt bármikor hátrébb kerülhet a játékos a táblán, így kevesebb kockadobást spórol meg. Az viszont nem mindegy, hogy hol kezd, természetesen ha a 2-es mez n kezdene a játékos, már n ne a várható játékid és a szórásnégyzet is, mivel távolabb lenne a céltól, ha viszont az 59-esen kezdene, akkor csökkennének a célhoz való közelség miatt (3.2-es táblázat). 36

37 Startmez Várható játékid Szórásnégyzet 2-es mez (π 2 ) 7, , es mez (π 22 ) 4, , es mez (π 37 ) 2, , es mez (π 59 ) 0, , táblázat. Néhány példa arra, ha egy-egy bizonyos mez r l indul a játékos Egy-egy létrának vagy csúszdának nincs akkora befolyása, ha a kezdeti mez kiválasztásáról van szó. Hiába van a 22-es mez t l elérhet távolságra az L(28, 84), vagy az 59-es mez t l az L(62, 9), sokat nem befolyásol rajta. Ha viszont a teljes képet nézi az ember, látni, hogy többnek már jelent s hatása van (3.-es táblázat). 37

38 Összefoglalás Szakdolgozatomban hétköznapi példákkal próbáltam megfoghatóbbá tenni az elnyel Markov-láncokat és bemutatni, hogy egy-egy változás hogyan jeleníthet meg a matematikai modellben, valamint elemeztem ezeknek a változásoknak a hatásait. A két példából látható, hogy sok befolyásoló tényez van, amit els ránézésre nem gondolnánk fontosnak, de a matematikai modell felállítása és megvizsgálása után már látszik a jelent sége. A számításokhoz és az ábrák elkészítéséhez a MATLAB programcsomagot használtam. 38

39 Irodalomjegyzék [] Kemeny, John G., and James Laurie Snell. Finite markov chains. Vol Princeton, NJ: van Nostrand, 960. [2] Csiszár Vill, Diszkrét és folytonos paraméter Markov-láncok, egyetemi jegyzet. [3] Lovász, László. "Random walks on graphs." Combinatorics, Paul erdos is eighty 2 (993): -46. [4] Jan Bouda (FI MU), Markov Chains, 202, egyetemi jegyzet. [5] Wakin, Michael, and Chris Rozell. "A Markov Chain Analysis of Blackjack Strategy." Rice University (2004). [6] IEOR 406: Professor Whitt, Lecture Notes: Introduction to Markov Chains, egyetemi jegyzet [7] Michael Hochman, Chutes and Ladders [8] Wooldridge, Jerey M. Econometric analysis of cross section and panel data. MIT press,