Tömegkiszolgálás. Dr. Györfi László Győri Sándor Dr. Pintér Márta

Átírás

1 Tömegkiszolgálás Dr. Györfi László Győri Sándor Dr. Pintér Márta

2 Tartalomjegyzék Előszó 7. Diszkrét idejű Markov-láncok 9.. Markov-láncok fogalma Irreducíbilis és aperiodikus Markov-láncok Véges állapotú Markov-láncok stabilitása Oldalak rangsorolása webes keresőrendszerekben Visszatérőség Végtelen állapotú Markov-láncok stabilitása Foster-kritérium Ergodicitás Késleltetés Feladatok Diszkrét idejű tömegkiszolgálási modellek Evolúciós egyenlet sorhosszra Stabilitás A sorhosszak várható értéke Késleltetés Csomagkoncentrátorok Egyszerű csomagkoncentrátor Időosztás Megszakításos csomagkoncentrátor Prioritásos csomagkoncentrátor Egyirányú busz Evolúciós egyenlet a várakozási időre A sorhossz stacionárius eloszlásának kiszámítása A generátorfüggvény A várakozási idő stacionárius eloszlásának kiszámítása.. 75

3 6 TARTALOMJEGYZÉK 2.4. Csomagküldés zajos csatornán Késleltetésmentes nyugta Stop-and-Wait protokoll Go-Back-N protokoll Szelektív ismétlés Feladatok Folytonos idejű Markov-láncok A Poisson-folyamat A binomiális és Poisson-eloszlás kapcsolata Poisson-folyamat generálása Laplace-transzformált A Poisson-folyamat további tulajdonságai Az inhomogén Poisson-folyamat Véletlen hozzáférés visszacsatolással Capetanakis-algoritmus Gallager-algoritmus Folytonos idejű Markov-láncok Általános jellemzők, a rátamátrix Véges állapotú folytonos idejű Markov-láncok stabilitása Születési és halálozási folyamatok Feladatok Folytonos idejű sorbanállási modellek Veszteséges kiszolgálás Az Erlang-probléma Az M/M/ rendszer sorhossza Az M/M/ rendszer késleltetése Az M/G/ rendszer A G/M/ rendszer A G/G/ rendszer Feladatok Jelölések 45 Irodalomjegyzék 47

4 Előszó A tömegkiszolgálás (vagy sorbanállás) elmélete a matematika időben lejátszódó véletlen jelenségekkel foglalkozó ágának, a sztochasztikus folyamatok vizsgálatának fontos fejezete. Jelentőségét mutatja az a tény, hogy századunk első évtizedeitől kezdve (A.K. Erlang dán mérnök munkája nyomán) a mai napig ezen elmélet alkalmazásai alkotják a telefonközpontok forgalmi méretezésének alapját. A számítógép-hálózatok elterjedésével párhuzamosan az informatikai szakemberek két okból is érdeklődni kezdtek e szakterület iránt. Egyrészt azért, mert a bonyolult számítógépes rendszerek teljesítményének mérésére az egyszerűbbeknél használt determinisztikus modellek nem vezettek eredményre, másrészt azért, mert a több számítógép közötti kommunikáció megszerverzésének során felmerült kérdések a távközlésben már tanulmányozott sorbanállási problémákhoz vezettek. A telekommunikáció és a számítógépes adatátvitel utóbbi időben megfigyelhető összeolvadása csak felerősítette ezt a folyamatot. A korszerű, digitális telefonhálózatok központjai, a vonal- és csomagkapcsolt adathálózatok forgalomvezérlő berendezései mind speciális számítógépek, ezen rendszerek viselkedésének modellezése viszont tömegkiszolgálási feladatok megoldását igényli. Jegyzetünk a tömegkiszolgálás elméletébe nyújt matematikai igényességű bevezetést (elsősorban) a BME II. évfolyamos informatika szakos hallgatói számára. A tárgyalás során nagy súlyt fektettünk a diszkrét idejű modellek részletes tanulmányozására, mivel ezek (a fent említett okokból kifolyólag) önmagukban is egyre nagyobb jelentőségűek, és alkalmazásukkal a klasszikus folytonos idejű problémák vizsgálata is leegyszerűsödik. A jegyzetnek nem célja a műszaki, informatikai feladatok során felmerülő modellezési kérdések megválaszolása, ilyen jellegű problémákkal a hallgatók a szaktárgyak kereteiben ismerkedhetnek meg. A jegyzet kéziratához fűzött szakmai és didaktikai megjegyzéseikért köszönetet mondunk Deák Istvánnak, Jereb Lászlónak, Telek Miklósnak és Vetier Andrásnak. Budapest, november. Györfi László Győri Sándor Pintér Márta

5 8 ELŐSZÓ

6 . fejezet Diszkrét idejű Markov-láncok valószínűségszámítás alkalmazása során sokszor kerülünk szembe időben lejátszódó véletlen eseményekkel, illetve véletlen események sorozatával. Jegyzetünkben ezeket az ún. sztochasztikus folyamatokat a tömegkiszolgálásban felvetődő kérdések szemszögéből vizsgáljuk. A gyakorlati életben gyakran előforduló szituáció az, amikor egy felhasználói igényeket kiszolgáló rendszer egyszerre csak korlátozott számú felhasználóval tud foglalkozni, és a többieknek az ő igényeik kiszolgálásának végéig várakozniuk, sorban állniuk kell. Ilyen úgynevezett tömegkiszolgálási (sorbanállási, forgalmi) rendszerre példa lehet egy áruházi pénztár, egy ügyfélfogadó ablak az önkormányzati irodában, egy útkereszteződés, egy ipari gyártási folyamat részét végrehajtó egység, számítógépes rendszerben a CPU, a memória vagy valamely periféria, egy telefonközpont vagy általánosan bármely kommunikációs hálózat egy olyan kapcsolóeleme, amely az átviendő információcsomagokat rendezi, irányítja vagy feldolgozza. Tömegkiszolgálási rendszerek egy lehetséges matematikai modellje a következő. A kiszolgáló egységhez véletlen időpontokban érkeznek a felhasználóktól az igények. Ha az igény érkeztekor a rendszerben nem tartózkodik más igény, akkor a kiszolgáló elkezd vele foglalkozni, és valamennyi (véletlen hosszú) idő eltelte alatt elvégzi a vele kapcsolatos feladatokat, majd az igény távozik a rendszerből. Ha az igény nem üresen találja a rendszert, akkor egy várakozási sorba áll be, amelynek befogadóképessége lehet véges vagy ideálisan végtelen nagy. A kiszolgáló egy feladat befejezése után ebből a sorból választja ki valamilyen eljárás szerint azt az igényt, amellyel következőleg foglalkozni fog. Ez az eljárás (a kiszolgálási sorrend meghatározása) lehet olyan, hogy a várakozók közül a rendszer mindig a legkorábban érkezett igényt választja (FCFS vagy FIFO módszer) vagy a legkésőbb érkezett igényt választja (LCFS vagy LIFO módszer), választhat

7 0. DISZKRÉT IDEJŰ MARKOV-LÁNCOK véletlenül vagy az igényekhez rendelt prioritás alapján. Ha külön nem említünk mást, akkor mindig FCFS eljárást feltételezünk. Ha az igények tetszőleges időpontban érkezhetnek, és azonnal be is állnak a sorba, akkor a rendszerben lévők számát gyakran írhatjuk le folytonos idejű Markov-lánccal (lásd a 3. fejezetet). Először olyan rendszerekkel fogunk foglalkozni, melyeknél az időt szakaszokra (egységekre) bontjuk, az egy időegységben érkező igényeket összegyűjtjük, és azok együtt állnak be a sorba az időszelet végén. A kiszolgáló egy időszakaszban véletlen számú igényt tud kiszolgálni, a kiszolgált igények távoznak a rendszerből. Konkrét rendszerekkel a 2. fejezetben foglalkozunk. Ebben a fejezetben bevezetjük az időben lejátszódó véletlen események leírására szolgáló matematikai modellt, a sztochasztikus folyamatok fogalmát, illetve speciálisan az egyik legegyszerűbb típusú folyamatokat, a Markovláncokat elemezzük, melyek alkalmasak sok sorbanállási rendszer leírására. Ilyen rendszerre konkrét példa az evolúciós egyenlettel leírható sorbanállási modell, mellyel a 2.. szakaszban foglalkozunk... Markov-láncok fogalma Î alószínűségi változóknak egy t paraméterrel indexelt X t : t ¾ T családját sztochasztikus folyamatnak nevezzük. A t paramétert (főleg az alkalmazásokban gyakori jelentése miatt) rendszerint az idővel azonosítjuk. Ha T 02, akkor -et diszkrét idejű folyamatnak vagy idősornak, ha pedig T 0µ, akkor folytonos idejű folyamatnak hívjuk. X t -t diszkrét idejű folyamat esetén X n -nel, folytonos idejű folyamat esetén pedig (a függvényszerű írásmóddal utalva a valós értékű paraméterre) X tµ-vel fogjuk jelölni. Azt az S halmazt, amelyből a valószínűségi változók értékeiket veszik, állapottérnek (vagy állapothalmaznak) nevezzük. Jegyzetünk további részében főként olyan folyamatokkal foglalkozunk, melyek állapottere diszkrét halmaz, rendszerint S 02, ilyenkor S elemeit állapotoknak hívjuk. A sztochasztikus folyamat statisztikus jellemzőit megadjuk, ha minden véges n-re és t t 2 t n ¾ T -re definiáljuk az X t X t2 X tn valószínűségi változók együttes eloszlását, tehát teljes leírása T, S és a véges dimenziós eloszlások megadását jelenti. Legyen X 0 X X n diszkrét idejű, diszkrét állapotterű folyamat. Az általánosság rovása nélkül feltesszük a továbbiakban, hogy az S állapottér elemei a nemnegatív egész számok... definíció. Az -et Markov-láncnak nevezzük, ha teljesül rá a Markov-tulajdonság, azaz minden n és x 0 x x n x n ¾ S esetén P X n x n X n x n X 0 x 0 µ P X n x n X n x n µ amennyiben a feltételes valószínűségek léteznek.

8 .. MARKOV-LÁNCOK FOGALMA A későbbiekben minden feltételes valószínűségre vonatkozó állítást úgy értünk, hogy akkor kívánjuk meg a teljesülését, ha a feltételes valószínűségek léteznek, és ezt külön nem fogjuk hangsúlyozni. Könnyen belátható, hogy egy Markov-láncra minden 0 k m n és x k x k x m x n ¾ S esetén P X n x n X m x m X k x k µ P X n x n X m x m µ (.) A Markov-tulajdonság szemléletesen annyit jelent, hogy a jövő a múlttól csak a jelenen keresztül függ. Ezt megfogalmazhatjuk úgy is, hogy a jövő és a múlt feltételesen függetlenek, feltéve a jelent, formálisan minden 0 k l n és x 0 x n ¾ S esetén P X n x n X l x l X k x k X 0 x 0 X l x l X k x k µ P X n x n X l x l X l x l X k x k µ P X k x k X 0 x 0 X l x l X k x k µ (.2) Ha P X n x n X n x n X k x k µ 0, akkor P X n x n X n x n X k x k µ miatt (.) alapján azt kapjuk, hogy P X n x n X n x n X k x k µ P X n x n X n 2 x n 2 X k x k µ P X k x k X k x k µ P X k x k µ P X n x n X n x n X k x k µ P X n x n X n x n µ P X n x n X n 2 x n 2 µ P X k x k X k x k µ P X k x k µ (.3) vagyis egy együttes valószínűség felírható feltételes valószínűségek, úgynevezett egylépéses állapotátmenet-valószínűségek, vagy röviden átmenetvalószínűségek és egy egydimenziós vetületvalószínűség szorzataként. Az (.3) képletből az is következik, hogy az Markov-láncot egyértelműen definiáljuk, ha megadjuk az X 0 eloszlását, valamint minden n -re és minden i j ¾ S-re a P X n j X n iµ feltételes valószínűségeket, azaz a kezdeti eloszlás és az átmenetvalószínűségek egyértelműen leírják a Markov-láncot mint sztochasztikus folyamatot. Általában P X n j X n iµ nemcsak i-től és j-től függ, hanem az időtől, n-től is..2. definíció. Ha P X n j X n iµ nem függ n-től, akkor az Markov-láncot homogénnek nevezzük.

9 2. DISZKRÉT IDEJŰ MARKOV-LÁNCOK p Ê p 0 q Á q.. ábra. Az.. példa átmenetvalószínűség-gráfja A továbbiakban csak homogén Markov-láncokkal foglalkozunk, ezért Markovlánc alatt a későbbiekben mindig homogén Markov-láncot értünk. A p i j p µ i j P X j X 0 iµ egylépéses átmenetvalószínűségekből képzett Π µ p µ i j p i j Π mátrix és a p 0µ i P X 0 iµ valószínűségekből képzett P 0µ p 0µ i p 0µ p 0µ p 0µ 0 2 eloszlás (végtelen sorvektor) tehát egyértelműen megadja a Markov-láncot. A Π átmenetvalószínűség-mátrix mellett egy Markov-láncot leírhatunk az átmenetvalószínűség-gráfjával is. Az átmenetvalószínűség-gráf egy irányított gráf, amelynek pontjai a Markov-lánc állapotai, élei pedig az egy lépésben lehetséges átmenetek, súlyozva az átmenet (nem nulla) valószínűségével... példa. Tekintsük a bináris S állapothalmaz esetét! Legyen p00 p Π 0 p p p 0 p q q Ekkor az átmenetvalószínűség-gráf az.. ábrán látható. Az egylépéses átmenetvalószínűségekhez hasonlóan jelölje p nµ i j P X n j X 0 iµ az n-lépéses átmenetvalószínűségeket, és Π nµ a belőlük képzett mátrixot. Definiálják továbbá a P nµ p nµ i eloszlást (végtelen sorvektort) a p nµ i P X n iµ valószínűségek. Teljes indukcióval egyszerűen belátható, hogy Π nµ Π n (.4)

10 .. MARKOV-LÁNCOK FOGALMA 3 és P nµ P 0µ Π nµ P 0µ Π n (.5) ahol Π n a Π n-edik hatványát jelöli. Hasonlóan kaphatjuk minden 0 k n-re, hogy P nµ P kµ Π n kµ P kµ Π n k ahol definíció szerint Π 0µ Π 0 E, és E az egységmátrixot jelöli. (.4) alapján világos, hogy 0 k n-re Π nµ Π kµ Π n kµ ezt a képletet Chapman Kolmogorov-egyenletnek hívjuk. A Π nµ mátrixok definiálásakor nem voltunk teljesen precízek, mert nem vettük figyelembe, hogy míg az S állapottér elemeit 0-tól indexeltük, addig a mátrixok sorait és oszlopait (a szokásoknak megfelelően) -től. Tehát a pontosság kedvéért a Π nµ mátrix i-edik sorában és j-edik oszlopában lévő eleme p nµ i j és hasonlóan a P nµ sorvektor i-edik eleme p nµ i..3. definíció. Az olyan A (véges vagy végtelen) mátrixot, melynek elemei nemnegatívak és minden sorában az elemek összege, sztochasztikus mátrixnak nevezzük. Nyilvánvalóan Π nµ sztochasztikus mátrix. Markov-láncra egy eléggé általános illusztráció az emlékezetnélküli valószínűségi változók sorozatával gerjesztett rekurzió:.. tétel. Legyen W n független valószínűségi változók sorozata, melyek értékeiket egy Q halmazból veszik. Legyen továbbá H n : S Q S kétváltozós függvények egy sorozata, és X n -et definiálja a következő rekurzió: X 0 tetszőleges, S-beli értékű, X n H n X n W n µ n 0µ ahol X 0 és W n is függetlenek. Ekkor X n egy Markov-lánc. Ha még ráadásul H n xwµ időinvariáns, azaz H n xwµ H xwµ minden n-re, és W n azonos eloszlású sorozat, akkor homogén Markov-lánc. BIZONYÍTÁS: P X n x n X n x n X 0 x 0 µ P H n X n W n µ x n X n x n X 0 x 0 µ P H n x n W n µ x n X n x n X 0 x 0 µ P H n x n W n µ x n µ

11 4. DISZKRÉT IDEJŰ MARKOV-LÁNCOK ahol az utolsó lépésben azt használtuk ki, hogy X n X 0 a W n W és X 0 függvénye, amelyek függetlenek W n -től. Az előző lépéseket fordított sorrendben megismételve kapjuk első állításunkat: P H n x n W n µ x n µ P H n x n W n µ x n X n x n µ P H n X n W n µ x n X n x n µ P X n x n X n x n µ (.6) A tétel második fele az (.6) kifejezésből következik. A tétel egy bizonyos értelemben vett megfordítása is igaz (lásd az.2. feladatot), azaz minden homogén Markov-lánc megadható rekurzióval. Markov-lánc generálható úgy is, ha felhasználjuk, hogy egy Markov-lánc adott állapotában való tartózkodásának ideje geometriai eloszlású, mégpedig az i ¾ S állapotban a tartózkodási idő p ii paraméterű geometriai eloszlású (lásd az.5. feladatot)..2. példa. Ha H n xwµ h wµ, vagyis X n h W n µ, és W n azonos eloszlású sorozat, akkor X n független valószínűségi változók sorozata. Ekkor Π ¼ a 0 a a 2 a 0 a a 2 a 0 a a ½ ahol P h W n µ iµ a i i 02 µ. Ha még az is igaz, hogy P X 0 iµ a i, akkor X n azonos eloszlású is..3. példa. Ha H n xwµ x w, W n nemnegatív egész értékű és X 0 0 egy valószínűséggel, akkor X n W W 2 W n azaz független valószínűségi változók részletösszegeinek a sorozata Markov-lánc. Ha még W n azonos eloszlású is, bevezetve a P W n iµ a i i 02 µ jelölést, az átmenetvalószínűség-mátrix a következő alakú: Π ¼ a 0 a a 2 a 3 a 4 0 a 0 a a 2 a a 0 a a ½

12 .. MARKOV-LÁNCOK FOGALMA 5.4. példa (Bolyongások). A. Szimmetrikus bolyongás: Ha az.3. példában W n értékű és E W n µ 0, akkor X n -t szimmetrikus bolyongásnak hívjuk. Ekkor az állapottér az egész számok halmaza, és páratlan n időpontban X n is páratlan, míg páros időpontban X n páros. B. Bolyongás elnyelő falak esetén: Ez egy véges állapotú Markov-lánc a következő átmenetvalószínűség-mátrixszal 0 p q pµ: ¼ ½ q 0 p 0 0 q 0 p Π q 0 p C. Bolyongás visszaverő falak esetén: Ekkor az átmenetvalószínűség-mátrix 0 p q pµ: ¼ ½ q p 0 0 q 0 p 0 0 q 0 p Π q 0 p q p D. Ciklikus bolyongás: Ha az állapotokat ciklikusan rendezzük, azaz az első és az utolsó állapotot is szomszédosnak tekintjük, akkor az átmenetmátrix az első és az utolsó sorában tér el az előző példabelitől, az első sor 0 p0 0qµ, míg az utolsó p0 0q0µ lesz. Ha megengedünk átmenetet tetszőleges két állapot között, akkor az átmenetmátrix a következő: Π ¼ ahol p 0 p p T. p 0 p p 2 p T p T p 0 p p T p T p T p 0 p T p p 2 p 3 p 0 ½

13 6. DISZKRÉT IDEJŰ MARKOV-LÁNCOK.5. példa. Ha H n x vyµµ x vµ y és V n és Y n két független, azonos eloszlású sorozat úgy, hogy egymástól is függetlenek, akkor az X n X n V n µ Y n evolúciós egyenlethez jutunk, mely több diszkrét idejű kiszolgálási feladat modellezésére alkalmas (lásd a 2.. és a 2.2. szakaszt) a következőképpen: az időt szakaszokra osztjuk és X n jelöli az n-edik időegység végén sorbanálló igények számát. Az n-edik időintervallumban Y n új igény érkezik és a rendszer ugyanekkor V n igényt képes kiszolgálni. Ennek a példának egy speciális esete az, amikor V n, vagyis egy időegységben a rendszer igény kiszolgálására képes. Ha P Y n iµ b i i 02 µ, akkor Π ¼ b 0 b b 2 b 3 b 0 b b 2 b 3 0 b 0 b b b 0 b ½.2. Irreducíbilis és aperiodikus Markov-láncok következőkben Markov-láncok két olyan tulajdonságát vezetjük be, amelyek teljesülése az átmenetmátrix, illetve átmenetgráf segítségével könnyen ellenőrizhető. Jelentőségük abban áll, hogy meglétük elegendő lesz véges állapotú Markov-láncok esetén a stabilitáshoz. A stabilitás igen fontos, számtalan alkalmazási területen kiaknázható és szükséges tulajdonság, amelynek pontos definícióját a következő szakaszban adjuk meg..4. definíció. Az Markov-láncot irreducíbilisnek nevezzük, ha minden állapota minden állapotából elérhető, ami azt jelenti, hogy minden i j ¾ S-re létezik egy n i j 0 úgy, hogy p n i jµ i j 0. Egy Markov-lánc állapotgráfjában csak a pozitív valószínűségű éleket (átmeneteket) berajzolva a lánc akkor irreducíbilis, ha a gráf bármely pontjából bármely másik pontjába vezet irányított út..6. példa. Az.. példa Markov-lánca, ahol p p Π q q irreducíbilis, ha p 0 és q 0.

14 .2. IRREDUCÍBILIS ÉS APERIODIKUS MARKOV-LÁNCOK 7.5. definíció. Az Markov-lánc egy i ¾ S állapotát aperiodikus állapotnak nevezzük, ha létezik egy n i 0 úgy, hogy minden n n i -re p nµ ii 0. Az irodalomban egy i állapotot akkor neveznek aperiodikusnak, ha az n; p nµ ii 0n halmaz elemeinek legnagyobb közös osztója. Megmutatható, hogy a két definíció ekvivalens. Azonnal látszik az az irány, hogy az első definícióból következik a második. Általában, ha periodikus az állapot, akkor a fenti halmaz legnagyobb közös osztóját nevezik periódusnak..6. definíció. Az Markov-láncot aperiodikusnak nevezzük, ha minden állapota aperiodikus. Az.. példa Markov-lánca pontosan akkor aperiodikus, ha p és q, vagy p és 0 q, vagy q és 0 p..2. tétel. Ha egy irreducíbilis Markov-láncnak létezik egy aperiodikus állapota, akkor a lánc aperiodikus. BIZONYÍTÁS: A tétel azt állítja, hogy ha egy irreducíbilis láncnak van legalább egy aperiodikus állapota, akkor minden állapota aperiodikus. Legyen k ¾ S egy aperiodikus állapot. Ekkor megmutatjuk, hogy bármely j ¾ S is aperiodikus. Mivel a lánc irreducíbilis, ezért létezik r és s egész úgy, hogy p rµ jk a 0 és p sµ k j b 0, tehát tetszőleges n egészre p n r sµ j j p rµ i¾s l¾s ji p nµ il p sµ l j p rµ p nµ p sµ jk kk k j abp nµ kk (.7) Ha k aperiodikus, akkor létezik egy n 0 úgy, hogy minden n n 0 -ra p nµ kk 0. (.7) miatt viszont minden n n 0 -ra p n r sµ j j 0, tehát minden n n 0 r s-re p nµ j j 0, vagyis j aperiodikus állapot. Egy tulajdonságot nevezzünk öröklődőnek, ha amennyiben a lánc egy állapota rendelkezik ezzel a tulajdonsággal, akkor a többi állapota is. Az.2. tétel tehát azt mondja, hogy irreducíbilis Markov-lánc esetén az aperiodikusság öröklődő. Általában az irreducibilitás és az aperiodikusság könnyen ellenőrizhető tulajdonság. Például, ha az átmenetmátrix két mellékátlójában pozitívak az elemek, akkor minden állapotból minden állapot elérhető, azaz irreducíbilis a Markovlánc. Ha a főátló elemei pozitívak, akkor pedig aperiodikus a lánc. (Lásd az.8. feladatot.) Az.5. példa végén szereplő Π mátrixban, ha b 0 0 és b 2 0, akkor az.8. feladat alapján a lánc irreducíbilis. Ugyanakkor b 0 0 miatt a 0 állapot aperiodikus, tehát a lánc is aperiodikus.

15 8. DISZKRÉT IDEJŰ MARKOV-LÁNCOK.3. Véges állapotú Markov-láncok stabilitása továbbiakban szeretnénk jellemezni a Markov-láncoknak azt a körét, ahol a P nµ eloszlásnak van határértéke (azaz minden j ¾ S-re a p nµ j sorozat konvergens), az is egy eloszlás, és az független a kezdeti P 0µ eloszlástól..7. definíció. Ha a lim P nµ P µ n határérték létezik, az egy eloszlás, és az független a kezdeti P 0µ eloszlástól, akkor az Markov-láncot stabilnak nevezzük. P µ pedig a Markov-lánc határeloszlása. Az irodalomban a fentieknek eleget tevő Markov-láncot gyakran ergodikusnak nevezik. Mi az ergodicitás fogalmat más értelemben fogjuk később használni. Jelölje p j j 02 µ a P µ j µ-edik elemét, azaz legyen p j lim p nµ n j Egy véges állapotú Markov-lánc stabil, ha a lim p nµ n i j p j határérték létezik és nem függ i-től, hiszen lim p nµ n j lim n i¾s p 0µ p nµ i i j i¾s p 0µ i lim p nµ n i j p 0µ i i¾s Stabil Markov-lánc határeloszlását megkaphatjuk a egyenletet megoldva, mivel p j p j p 0µ i p j i¾s P PΠ (.8) P µ lim n P nµ lim n P 0µ Π n lim n P 0µ Π n Π lim n P n µ Π P µ Π (.9) Másrészt stabil Markov-lánc esetén a megoldás egyértelmű, mert ha P egy megoldás, és P 0µ P, akkor P µ P 0µ Π P 0µ, és indukcióval belátható, hogy minden n-re P nµ P 0µ, azaz a lánc egy azonos eloszlású sorozat, és P a határeloszlás.

16 .3. VÉGES ÁLLAPOTÚ MARKOV-LÁNCOK STABILITÁSA 9.7. példa. Az.. példa Markov-lánca esetén teljes indukcióval belátható, hogy p nµ q 0 p p 0µ q qµn 0 (.0) p q p q és p nµ p p p 0µ qµn p q p (.) p q ahonnan következik, hogy a stabilitás szükséges és elégséges feltétele A határeloszlás pedig a P µ q p q p q eloszlás. p p q Az előző szakaszban mondottak alapján az.. példa Markov-lánca pontosan akkor irreducíbilis és aperiodikus, ha p 0, q 0 és p q 2, ugyanekkor azonban p q is teljesül, ami példánkban ekvivalens volt a stabilitással. Megmutatjuk, hogy ez nem véletlen..3. tétel. Egy véges állapotú, irreducíbilis és aperiodikus Markov-lánc stabil. A tétel bizonyítását 2 lemmára bontjuk fel... lemma. Egy véges állapotú, irreducíbilis és aperiodikus Markov-lánc esetén létezik n 0 úgy, hogy minden n n 0 és i j ¾ S esetén p nµ i j 0 BIZONYÍTÁS: Az irreducibilitás miatt minden i j-hez létezik n i j úgy, hogy p n i jµ i j 0 másrészt az aperiodikusság miatt minden j-hez létezik n j úgy, hogy minden n n j -re p nµ j j 0 tehát minden n n i j n j esetén Legyen ezzel a bizonyítást befejeztük. p nµ i j p n i jµ p n n i jµ i j j j 0 n 0 max i j¾s n i j n j

17 20. DISZKRÉT IDEJŰ MARKOV-LÁNCOK.2. lemma (Markov tétele). Ha egy véges állapotú Markov-lánc esetén létezik N úgy, hogy minden i j ¾ S esetén akkor stabil. p Nµ i j 0 Az.23. feladat állítása miatt azt kell megmutatni, hogy bár- BIZONYÍTÁS: mely j ¾ S-re a Π nµ mátrix j-hez tartozó oszlopa maximumának és minimumának ugyanaz a határértéke. Tehát bevezetve az és az m nµ j M nµ j jelöléseket, azt kell belátnunk, hogy min p nµ i j i¾s max p nµ i j i¾s lim M nµ n j lim m nµ n j Mivel p n µ i j p p nµ ik k j k¾s ezért tehát és hasonló módon M nµ j ha M nµ m n µ j min p n µ i j min p p nµ ik i¾s i¾s k j k¾s min p ik min p nµ i¾s l¾s l j min p m nµ ik j i¾s k¾s k¾s m n µ j M n µ j m nµ j M nµ j m nµ j monoton fogyásából és m nµ j monoton növekedéséből következik, hogy m nµ j j 0-hoz tart, akkor M nµ j -nek és m nµ j -nek ugyanaz a határér- monoton fogyásából és m nµ j monoton téke, és ezt akarjuk megmutatni. M nµ j növekedéséből az is következik, hogy M nµ m nµ j j monoton fogyó, ezért 0-hoz

18 .3. VÉGES ÁLLAPOTÚ MARKOV-LÁNCOK STABILITÁSA 2 tartását elég egy részsorozatán megmutatni. Állításunkat tehát bebizonyítjuk, ha belátjuk, hogy lim M nnµ m nnµ n j j 0 (.2) Legyen Ekkor a feltételünk miatt ε 0, és p N nµ i j k¾s k¾s mivel ε definíciója miatt p Nµ ik tehát p N nµ i j és hasonló módon következésképpen m nµ j p Nµ p nµ ik k j k¾s p Nµ εp nµ ik jk k¾s m N nµ j Legyen n kn. Ekkor vagyis ezt ismételve ε min p Nµ i j i j¾s p Nµ εp nµ ik jk p nµ k j ε és p nµ jk p Nµ εp nµ ik jk min p N nµ i j i¾s M N nµ j M nµ j εp 2nµ j j p nµ k j ε p nµ p nµ jk k j k¾s, így p Nµ εp nµ ik jk 0, és ezért εp 2nµ j j m nµ j εµ εp 2nµ j j m nµ j εµ εp 2nµ j j εµ εp 2nµ j j M N nµ m N nµ j j M nµ m nµ j j εµ M k µnµ m k µnµ j j M k µnµ m k µnµ j j M knµ m knµ j j εµ M Nµ m Nµ j j εµ k és itt a jobb oldali kifejezés k esetén 0-hoz tart, így a bal oldal is, amivel az (.2) egyenlőséget beláttuk. A bizonyításból az is következik, hogy lim p nµ n j lim p nµ n i j lim m nµ n j 0

19 22. DISZKRÉT IDEJŰ MARKOV-LÁNCOK hiszen a feltétel miatt m Nµ j 0 és m nµ j monoton növekedő. Ezzel beláttuk, hogy véges állapotú, irreducíbilis és aperiodikus Markov-lánc esetén a határeloszlás minden tagja pozitív. Fontos megjegyezni, hogy az irreducibilitás és aperiodikusság véges állapotú Markov-lánc esetén elégséges, de nem szükséges feltételei a stabilitásnak. Az.7. példában a stabilitás p q feltétele teljesül, ha p 0 és q 0, bár a Markov-lánc nem irreducíbilis. Ekkor a határeloszlásnak lesz nulla tagja, példánkban P µ 0µ..8. definíció. Egy diszkrét idejű sztochasztikus folyamatot (erősen) stacionáriusnak nevezünk, ha bármely pozitív egész n-re, m-re és 0 t t 2 t m - re az X t X tm µ és X t n X tm nµ valószínűségi változók együttes eloszlása megegyezik, azaz a véges dimenziós eloszlások időeltolásra invariánsak. Nyilván ha erősen stacionárius, akkor azonos eloszlású. A megfordítás általában nem igaz, de Markov-láncokra igen (lásd az.22. feladatot). Stacionárius Markov-lánc esetén P 0µ P µ P 0µ Π tehát ez az azonos eloszlás is kielégíti az (.8) egyenletet. A Markov-láncok azon osztályában, ahol P µ határeloszlást tudunk garantálni, ott az (.8) egyenletnek egyetlen egy megoldása van (amely eloszlás), tehát stabil Markov-lánc határeloszlása a stacionárius eset eloszlása, ezért P µ -t gyakran stacionárius (vagy egyensúlyi) eloszlásnak hívjuk..4. Oldalak rangsorolása webes keresőrendszerekben yakran előfordul, hogy a felhasználó által feltett kérdésre egy keresőrendszer rengeteg oldalt talált, melyek közül természetesen némelyek fontosabbak, mások kevésbé fontosak. Rangsorolni kell tehát az oldalakat automatikusan aszerint, hogy mekkora közük van a feltett kérdéshez. Itt a Google keresőrendszer Pagerank algoritmusát mutatjuk be. A feladat a rendelkezésre álló T darab weboldal közti fontossági sorrendet felállítani. A legtöbb keresőrendszer abból indul ki, hogy ha egy oldal készítője linket helyez el az oldalán, akkor valamiért fontosnak tartja a mutatott oldalt. Tehát a linkstruktúrából kiindulva adható a fontosságnak egy heurisztikus definíciója, nevezetesen, hogy egy oldal akkor fontos, ha sok link mutat rá. Illetve egy rekurzív definícióval élve: egy oldal fontos, ha fontos oldalak mutatnak rá.

20 .4. OLDALAK RANGSOROLÁSA WEBES KERESŐRENDSZEREKBEN 23 A weboldalak köztött mutató linkek teszik lehetővé, hogy egyik oldalról egy lépésben átmenjünk egy másik oldalra, tehát ha az oldalakat állapotoknak tekintjük, akkor az Interneten való barangolást homogén Markov-láncként foghatjuk fel. Az egylépéses állapotátmenet-valószínűség legyen p i j m i 0 ha i-ről mutat link j-re, különben, µ, ugyanis megmutatható, hogy ebben az esetben mindig létezik határértéke a P nµ eloszlásnak. A határérték megkapható a P PΠ egyenlet megoldásával. De célunk nem a valószínűségek pontos kiszámolása, hanem az oldalak rangsorolása. Ezért elég a P nµ eloszlásokat a P nµ P n µ Π iterációval addig számolni, amíg egy iteráció után az eloszlás alapján felállított sorrend nem változik. Az algoritmus előnye, hogy gyors, könnyen programozható és hűen tükrözi a sztochasztikus szörfölő lelkivilágát, aki egyenletes eloszlás szerint választ egy kiindulási oldalt, majd az aktuális elérhető oldalak közül választ minden lépésben egyenletes eloszlással. Viszont nem oldottuk még meg a zárt halmazok okozta problémát. A Pagerank algoritmus finomabb változata a fenti Π állapotátmenet-mátrix helyett a Π ¼ εu εµπ mátrixot használja valamely 0 ε -ra, ahol ahol m i az i-edik oldalon található linkek száma. Egy oldal fontosságát mutatja az, hogy a Markov-lánc mekkora valószínűséggel tartózkodik az oldalnak megfelelő állapotában. Vagyis a lánc határeloszlását kellene meghatározni. A linkstruktúra által adott Markov-lánc azonban nem biztos, hogy irreducíbilis és aperiodikus, így egyrészt nem biztos, hogy stabil, másrészt lehetnek benne zárt halmazok, ahonnan nem vezet kifelé link, és így a határeloszlásban a halmazon kívüli oldalak valószínűsége nulla lesz, vagyis a halmazon belüli oldalak magukba gyűjtik esetleg az összes fontosságot. Az első problémát megoldja, hogyha a láncot az egyenletes eloszlásból indítjuk, azaz P 0µ T T U ¼ T T. T T T. T T T.... Intuitíven ez az jelenti, hogy minden oldaltól beszedjük fontosságának egy részét, és ezt a beszedett fontosságot egyenletesen szétosztjuk az oldalak között. A Π ¼ állapotátmenet-mátrix a szeszélyes sztochasztikus szörfölő barangolási módszerét mutatja, aki ε valószínűséggel nem az aktuális oldalról lép tovább, hanem T ½

21 24. DISZKRÉT IDEJŰ MARKOV-LÁNCOK szeszélyesen, véletlenszerűen választ az összes oldal közül. Ebben az új modellben a Markov-lánc irreducíbilis és aperiodikus lesz, hiszen az átmenetmátrix főátlójában és mellékátlóiban csupa pozitív elem áll (lásd az.8. feladatot). Így az.3. tétel alapján a Markov-lánc stabil lesz, és a tétel bizonyítását követő megjegyzés szerint a határeloszlás minden tagja pozitív, tehát egyik oldal fontossága sem nullázódik le..5. Visszatérőség ajnos végtelen állapothalmaz esetén az irreducibilitás és az aperiodikusság Ënem elég a stabilitáshoz. Ezt illusztrálja a következő példa:.8. példa. Tekintsük a következő, az.. tételben bevezetett jelölésekkel definiált folyamatot: S legyen a nemnegatív egész számok halmaza, W n független, azonos eloszlású valószínűségi változók sorozata, melyek eloszlása: P W n µ 4 P W n 0µ 4 P W n µ 2 továbbá X 0 0 és H xwµ x wµ, azaz X n X n W n µ n 02 µ Szavakban a folyamat működése így írható le: X n -ből 2 valószínűséggel felfelé lépünk egyet, 4 valószínűséggel ugyanott maradunk és 4 valószínűséggel lefelé lépünk, ha tudunk. Az.. tétel értelmében X n homogén Markov-lánc, melynek átmenetmátrixa ¼ ½ Π Mivel Π főátlójában és két szomszédos mellékátlójában minden elem pozitív, azért az.8. feladatban mondottakra tekintettel a lánc irreducíbilis és aperiodikus. Meg fogjuk mutatni, hogy minden i ¾ S-re lim p nµ n i 0, ami ekvivalens azzal (lásd az.3. feladatot), hogy minden i ¾ S-re lim i p nµ n j0 j 0. Vegyük észre, hogy i p nµ j0 j P X n iµ, így az utóbbi valószínűség becslésével kell foglalkoznunk. Ha bevezetjük a Z n n i W i jelölést, akkor egyszerűen látható,

22 .5. VISSZATÉRŐSÉG 25 hogy Z n X n, így az X n i esemény maga után vonja a Z n i eseményt, azaz P X n iµ P Z n iµ Mivel E Z n µ ne W µ n 4, ezért n P Z n iµ P Z n 4 i n 4 P Z n E Z n µ i n 4 P n Z n E n Z n i n 4 i Ha n 4i, akkor i n 4 0, tehát az n Z n E n Z n után vonja az n Z n E n Z n i n 4 eseményt, és így P Z n iµ P n Z n E n Z n i n 4 n σ2 n Z n 4 esemény maga i n 4 ahol az utolsó lépésnél a Csebisev-egyenlőtlenséget alkalmaztuk. Ugyanakkor a W n sorozat független és azonos eloszlású, tehát azt kaptuk, hogy P X n iµ P Z n iµ n 2 nσ 2 W µ i 2 n 4 6 n i n (.3) (.3) igaz minden n 4i-re és jobb oldala n esetén 0-hoz tart, így a bal is, tehát lim n P X n iµ 0, amiből következik, hogy a lánc nem stabil. Ahhoz, hogy végtelen állapotú Markov-láncok stabilitására jól kezelhető kritériumot kapjunk, újabb fogalmakat kell tehát bevezetnünk. Legyen f nµ i j annak a valószínűsége, hogy az i állapotból indítva a lánc pontosan az n-edik lépésben jut el először a j állapotba, azaz f nµ i j P X n jx k j k n X 0 iµ n i j ¾ Sµ és definíció szerint legyen f 0µ i j 0 i j ¾ Sµ. Nyilvánvaló, hogy minden i j ¾ S-re és minden n-re f nµ i j p nµ i j..9. példa. Az.. példában az f nµ 0 valószínűségek a következőképpen alakulnak: f µ 2µ 3µ 0 p, f 0 pµp, f 0 pµ2 p,..., f nµ 0 pµn p. Vezessük be továbbá a p 0µ i j jelölést a 0-lépéses átmenetvalószínűségre, ennek értéke értelemszerűen, ha i j és 0, ha i j.

23 26. DISZKRÉT IDEJŰ MARKOV-LÁNCOK.3. lemma. Az előbb bevezetett jelölésekkel minden i j ¾ S-re és n -re p nµ i j n k f kµ i j kµ p n j j BIZONYÍTÁS: Írjuk fel p nµ i j -et a teljes valószínűség tételével az alábbi teljes eseményrendszer felhasználásával: Ekkor p nµ i j A k X jx 2 j X k jx k j k n µ P X n j X 0 iµ A n X l j l n µ n P X n ja k X 0 iµ k n P X n j A k X 0 iµp A k X 0 iµ P X n ja n X 0 iµ k n P X n j X k jµp X k jx l j l k µ X 0 iµ k P X n jx l j l n µ X 0 iµ n k n k p n kµ j j f kµ i j f kµ i j f nµ i j kµ p n j j ahol felhasználtuk a Markov-tulajdonságot. A bizonyításban definiált A k események páronkénti kizáróságát felhasználva egyszerűen belátható, hogy annak a valószínűsége, hogy a lánc az i állapotból indítva valamikor eljut a j állapotba, éppen az f nµ i j -ek összege, azaz P X n j valamely n -re X 0 iµ n f nµ i j (.4) Ha a láncot i-ből indítjuk és egy valószínűséggel előfordul később is az i állapot, akkor azt mondhatjuk, hogy a lánc biztosan visszatér i-be és ez indokolja a következő definíciót:

24 .5. VISSZATÉRŐSÉG definíció. Az i ¾ S állapotot visszatérőnek nevezzük, ha és nem visszatérőnek, ha f nµ ii n f nµ ii n.0. definíció. Egy Markov-láncot visszatérőnek nevezünk, ha minden állapota visszatérő, és nem visszatérőnek, ha minden állapota nem visszatérő..4. tétel. Az i ¾ S állapot akkor és csak akkor visszatérő, ha Az i ¾ S állapot pontosan akkor nem visszatérő, ha p nµ ii (.5) n0 p nµ ii (.6) n0 BIZONYÍTÁS: A tételt belátjuk, ha megmutatjuk, hogy egy i visszatérő állapotra (.5), nem visszatérő állapotra pedig (.6) áll fenn. Vezessük be az N a N n0 jelölést, ezt használva az.3. lemma alapján a N p 0µ N ii n N n n k N N n k N k N k N k p nµ ii N 0µ p nµ ii f kµ kµ ii p n ii f kµ ii f kµ ii f kµ ii kµ p n ii I kn N n N nk f kµ N k ii n0 p n kµ ii I kn p n kµ ii p nµ ii

25 28. DISZKRÉT IDEJŰ MARKOV-LÁNCOK azaz a N N k f kµ ii a N k (.7) Az a N sorozat monoton növekedő és konvergál p nµ n0 ii -hez, amelyet ezután a-val jelölünk, és amely lehet is. Tekintsük először a visszatérő esetet és indirekt módon tegyük fel, hogy a véges. (.7) alapján minden N M -re a N M k f kµ ii a N k amiből mindkét oldal N szerinti határértékét véve minden M -re a a M k f kµ ii Ennek M szerinti határértékére a visszatérőség miatt a a ami ellentmond a végességének, tehát indirekt feltételünk nem lehet igaz, vagyis a. Most tegyük fel, hogy i nem visszatérő. a N monoton növekedéséből és az (.7) egyenletből következik, hogy a N a N N k f kµ ii tehát átrendezve és határértéket véve a f kµ ii k.5. tétel. irreducíbilis Markov-lánc esetén a visszatérő és a nem visszatérő tulajdonságok öröklődők. BIZONYÍTÁS: Használjuk az.2. tétel bizonyításának a jelöléseit. Ekkor (.7) miatt p n r sµ j j ab p nµ kk n0 n0 Ebből az előző tétel alkalmazásával következik, hogy ha k visszatérő, akkor j is az, és ha j nem visszatérő, akkor k sem az.

26 .5. VISSZATÉRŐSÉG tétel. Ha az Markov-lánc irreducíbilis és nem visszatérő, akkor minden i j ¾ S-re lim p nµ n i j 0 BIZONYÍTÁS: Az irreducibilitás miatt létezik r úgy, hogy p rµ ji a 0, tehát minden n r-re p nµ j j p rµ rµ rµ ji p n i j ap n i j Ebből mindkét oldalt összegezve p nµ j j nr a nr p n rµ i j A bal oldal j nem visszatérősége miatt (.6) alapján véges, tehát p nµ i j n De ha ez a sor konvergens, akkor p nµ i j 0-hoz tart, és ezt akartuk megmutatni. Visszatérő Markov-láncra nemcsak az igaz, hogy egy valószínűséggel viszszatér a kiindulási állapotába, hanem az is, hogy egy valószínűséggel eljut bármelyik állapotába. Emlékezzünk vissza, hogy annak a valószínűsége, hogy a Markov-lánc az i állapotból indulva eljut a j állapotába (.4) szerint az f nµ i j valószínűségek összege..4. lemma. Ha az Markov-lánc irreducíbilis és visszatérő, akkor minden i j ¾ S-re n f nµ i j BIZONYÍTÁS: Legyen f i j n f nµ i j akkor a visszatérőség definíciója miatt minden j ¾ S-re f j j (.8) Láttuk, hogy f i j éppen annak a valószínűsége, hogy i-ből indítva a láncot valamikor eljut j-be, és így f i j (.9)

27 30. DISZKRÉT IDEJŰ MARKOV-LÁNCOK Írjuk fel f i j-ot részletesebben! f i j f nµ i j f µ n p i j n2 p i j n2 i j n2 k¾s k¾s n µ p i j f p i j p i j n p i j f j j µ k¾s k j n µ p ik f n µ p ik f k j k j p i j f j j n2 k¾s n µ j j n µ p ik f k j f nµ j j p ik f nµ k j k¾s n p ik f k j p ik f k j (.20) k¾s ahol az utolsó lépésnél felhasználtuk az (.8) egyenlőséget. Az irreducibilitás miatt létezik N úgy, hogy p Nµ ji 0, ekkor az (.20) képletet ismételten alkalmazva azt kapjuk, hogy f j j p jk f k j k¾s k¾s ahonnan (.8) és (.9) felhasználásával f j j p Nµ jt f t j p Nµ ji f t¾s p jk p kl f l j p 2µ jl f l¾s l¾s i j t¾s ti p Nµ jt l j t¾s p Nµ jt f t j p Nµ ji f i j p Nµ ji p Nµ ji f i j µ Ha itt f i j lenne, akkor p Nµ ji 0 miatt ellentmondást kapnánk. Bizonyítás nélkül közöljük, hogy ha i visszatérő állapot, akkor i-ből indítva a láncot nemcsak az igaz, hogy egy valószínűséggel visszatér i-be, hanem egy valószínűséggel végtelen sokszor is visszatér. Ha pedig j nem visszatérő, akkor j-ből a lánc egy valószínűséggel csak véges sokszor tér vissza j-be. Belátható, hogy véges állapotú Markov-láncnak mindig van legalább egy viszszatérő állapota, tehát ha irreducíbilis is, akkor visszatérő is..6. Végtelen állapotú Markov-láncok stabilitása véges állapotú Markov-láncokhoz hasonlóan végtelen állapothalmaz esetén is vizsgálható a stabilitás az átmenetvalószínűségek alapján. Ebben az esetben is teljesül a következő tétel, amelyet véges esetben be is bizonyítottunk.

28 .6. VÉGTELEN ÁLLAPOTÚ MARKOV-LÁNCOK STABILITÁSA 3.7. tétel. Az Markov-lánc akkor és csak akkor stabil, ha minden i j ¾ S-re a lim p nµ n i j p j határérték létezik, független i-től minden j ¾ S-re és p j eloszlást ad meg. Stabil láncra p j p j. Az.7. tétel szemléletesen azt jelenti, hogy stabil Markov-lánc esetén a Π nµ (azaz (.4) alapján a Π n ) mátrix konvergál egy olyan mátrixhoz, amelynek minden sora megegyezik a P µ vektorral. Az.7. tétel és (.4) miatt a stabilitás levezethető egyedül a Π mátrixból. Bizonyítás nélkül közöljük, hogy a P µ határeloszlás végtelen esetben is megoldja a P PΠ (.2) egyenletet..8. tétel. Ha a P µ határérték létezik és független a kezdeti eloszlástól, akkor az vagy azonosan 0, vagy eloszlás. Ez utóbbi esetben P µ az (.2) egyenlet egyértelmű olyan megoldása, amely eloszlás..0. példa. Egyszerűen látható, hogy a következő átmenetvalószínűség-mátrixszal jellemezhető Markov-láncra létezik a P µ határérték, független P 0µ -tól és azonosan 0 (azaz a lánc nem stabil): Π ¼ ½ Ha az Markov-lánc i ¾ S állapota visszatérő, akkor az f nµ ii feltételes valószínűségek valószínűségi eloszlást definiálnak a pozitív egész számok halmazán, ezt az eloszlást a visszatérési idő eloszlásának nevezzük. A visszatérési idő eloszlásának várható értéke, az átlagos visszatérési idő fontos szerepet játszik a továbbiakban... definíció. Az i ¾ S állapotot pozitív visszatérőnek nevezzük, ha visszatérő és az átlagos visszatérési idő véges, azaz m i n n f nµ ii

29 32. DISZKRÉT IDEJŰ MARKOV-LÁNCOK és nulla visszatérőnek, ha visszatérő és m i.2. definíció. Az Markov-láncot pozitív visszatérőnek (illetve nulla visszatérőnek) nevezzük, ha minden állapota pozitív visszatérő (illetve nulla visszatérő). Markov-láncok határeloszlására vonatkozóan fő tételünk a következő:.9. tétel. Ha az Markov-lánc irreducíbilis, aperiodikus és visszatérő, akkor minden i j ¾ S-re lim p nµ n i j m j Tehát ha a j állapot pozitív visszatérő, akkor a határeloszlásban p j 0, ha pedig j nulla visszatérő, akkor a határeloszlásban p j tétel. irreducíbilis, aperiodikus és visszatérő Markov-lánc esetén a pozitív visszatérő és a nulla visszatérő tulajdonságok öröklődők. BIZONYÍTÁS: Használjuk ismét az.2. tétel bizonyításának a jelöléseit. Ekkor p n r sµ j j abp nµ kk (.22) ahonnan következik, hogy ha k pozitív visszatérő, akkor az.9. tétel miatt (.22) jobb oldala egy pozitív számhoz tart, ezért a bal oldal sem tarthat 0-hoz, tehát j is pozitív visszatérő. Ha j nulla visszatérő, akkor (.22) bal oldala 0-hoz tart, tehát a jobb oldal is 0-hoz tart, ezért k is nulla visszatérő. Eddigi eredményeinket a következőképpen foglalhatjuk össze:.. tétel. Ha az Markov-lánc irreducíbilis és aperiodikus, akkor két eset lehetséges: Pozitív visszatérő eset: a lánc stabil, mégpedig minden i j ¾ S-re lim p nµ n i j létezik, független i-től és pozitív, továbbá a határérték egy eloszlás. Nem visszatérő vagy nulla visszatérő eset: a lánc nem stabil, mégpedig minden i j ¾ S-re lim p nµ n i j 0

30 .7. FOSTER-KRITÉRIUM 33 Mindkét esetben igaz, hogy minden i ¾ S-re és minden kezdeti eloszlásra lim p nµ n j lim p nµ n i j Az.. tétel szerint a stabilitást a következő három tulajdonság garantálja együttesen (tehát ezek fennállta elégséges feltétel a stabilitásra): irreducibilitás, aperiodicitás, pozitív visszatérőség..7. Foster-kritérium gy homogén Markov-lánc stabilitására az.. tétel ad elégséges feltételt. Az ott megkívánt tulajdonságok közül az irreducibilitást és az aperiodikusságot általában könnyebben, míg a pozitív visszatérőséget nehezen lehet ellenőrizni. A tétel jelentősége, hogy amennyiben egy irreducíbilis és aperiodikus Markovlánc esetén létezik i j ¾ S úgy, hogy p nµ i j nem 0-hoz tart, akkor az a lánc pozitív visszatérő, tehát stabil is. Ezt a tétel végén mondottak alapján úgy is megfogalmazhatjuk, hogy ha egy irreducíbilis és aperiodikus Markov-láncnak van legalább egy állapota, melynek valószínűsége nem 0-hoz tart, akkor az a lánc stabil. A továbbiakban Foster egy eredményét mutatjuk meg, amely egy elégséges feltételt ad a stabilitásra, és amelynek bizonyítása az előző megjegyzésre épül..2. tétel (Foster-kritérium). Legyen az Markov-lánc irreducíbilis és aperiodikus. Tegyük fel, hogy léteznek I 0, C 0 és d 0 számok úgy, hogy k I esetén E X n X n kµ C (.23) és k I esetén Ekkor a lánc stabil. E X n X n kµ k d (.24) BIZONYÍTÁS: A feltételek miatt tetszőleges i ¾ S-re a teljes várható érték tételének alkalmazásával E X n X E X n I X0 i 0 iµ P X 0 iµ E X n I Xn kx 0 i P X 0 iµ k0

31 34. DISZKRÉT IDEJŰ MARKOV-LÁNCOK k0 E X n I Xn kx 0 i P X n kx 0 iµ P X n k X 0 iµ E X n X n kx 0 iµp X n k X 0 iµ k0 I E X n X n kµp X n k X 0 iµ k0 ki I k0 ki I k0 k0 E X n X n kµp X n k X 0 iµ CP X n k X 0 iµ k dµp X n k X 0 iµ C k dµp X n k X 0 iµ k dµp X n k X 0 iµ C dµp X n I X 0 iµ E X n X 0 iµ d (.25) Ha be tudjuk látni, hogy P X n I X 0 iµ határértéke pozitív, akkor létezik egy 0 j I állapot, melyre lim p nµ n i j 0 és az előzőekben mondottak miatt a lánc stabil. Indirekt módon tegyük fel, hogy P X n I X 0 iµ határértéke 0, ekkor ε d2 C dµ 0-hoz létezik N úgy, hogy minden n N-re P X n I X 0 iµ d 2 C dµ azaz d C dµp X n I X 0 iµ d 2 Ezt az (.25) egyenlőtlenségbe helyettesítve minden n N-re E X n X 0 iµ E X n X 0 iµ ahol d2 0, ebből viszont következik, hogy lim n E X n X 0 iµ, ami X n 0 miatt lehetetlen. Ezzel beláttuk, hogy P X n I X 0 iµ határértéke nem lehet 0, és a bizonyítást befejeztük. d 2

32 .8. ERGODICITÁS Ergodicitás ondoljunk a fejezet elején bevezetett tömegkiszolgálási rendszerre. Tételez- fel, hogy a rendszerben az n-edik időszelet végén lévő Ò igények X n száma zük homogén Markov-láncot alkot. Ha az X n lánc stabil, azaz a p nµ Ó i P X n iµ valószínűség-eloszlásnak van egy egyértelmű p i határeloszlása, és ezt ki is tudjuk számolni vagy közelítőleg meg tudjuk határozni, akkor a rendszer viselkedéséről sok dolgot megállapíthatunk. Előfordulhat viszont, hogy a stabilitás tényét egyszerűen igazolhatjuk (pl. a Foster-kritériummal), de a határeloszlás kiszámolása nehézségekbe ütközik. Ilyen esetekben jó lenne tudni, hogy az X n lánc értékeinek megfigyeléséből tudunk-e következtetni a határeloszlás tagjainak nagyságára vagy a határeloszlás várható értékére. Vagyis igaz-e az, hogy az S állapothalmaz egy A részhalmazára az relatív gyakoriság konvergál a valószínűséghez, vagy az n n i0 I Xi ¾A p k k¾a n n i0 átlag konvergál a határeloszláshoz tartozó várható értékhez, azaz a X i kp k k0 számhoz. Az ellenkező irányú feladatkitűzésnek is van gyakorlati jelentősége. Tegyük fel, hogy A az állapotok egy olyan halmaza, mely a kiszolgáló rendszer rossz állapotait tartalmazza (például ha a rendszerben bentlévő igények száma nagy, akkor sokat kell egy új igénynek várakoznia), és valamilyen módon kiszámítottuk, hogy a határeloszlás szerint A-nak kicsi a valószínűsége. Ez a felhasználó számára nem mond túl sokat, őt az érdekli, hogy a szolgáltatás tömeges (sokszori) igénybevétele esetén milyen arányban kap rossz szolgáltatást, azaz mekkora a rossz állapotok relatív gyakorisága. Ha ez a relatív gyakoriság konvergál a határeloszlás szerinti valószínűséghez, akkor ez az érték már a felhasználó számára is jelentőséggel bír.

33 36. DISZKRÉT IDEJŰ MARKOV-LÁNCOK Ilyen jellegű, a nagy számok törvényével analóg tulajdonságok teljesülésekor a folyamatot ergodikusnak nevezzük. Az ergodicitás vizsgálata előtt vegyük észre, hogy itt nem számsorozatok, hanem valószínűségi változók sorozatának konvergenciájáról van szó. Először ennek különböző típusaiba engedünk betekintést..3. definíció. Az Y n valószínűségi változók sorozata egy valószínűséggel (vagy majdnem mindenütt) konvergál az Y valószínűségi változóhoz, ha P lim Y n Y n Például a nagy számok erős törvénye azt állítja, hogy ha az Y n valószínűségi változók teljesen függetlenek és azonos eloszlásúak, továbbá E Y n µ létezik, akkor lim n n n i0 Y i E Y 0 µ egy valószínűséggel.4. definíció. Az Y n valószínűségi változók sorozata sztochasztikusan (vagy valószínűségben) konvergál az Y valószínűségi változóhoz, ha minden ε 0-ra lim n P Y n Y εµ 0 Erre illusztráció a nagy számok gyenge törvénye, amely azt mondja ki, hogy ha az Y n valószínűségi változók teljesen függetlenek és azonos eloszlásúak, továbbá E Y n µ létezik, akkor lim n n n i0 Y i E Y 0 µ sztochasztikusan Bizonyítás nélkül közöljük, hogy az egy valószínűségű konvergencia maga után vonja a sztochasztikus konvergenciát, így a nagy számok gyenge törvényének itt ismertetett alakja következik a nagy számok erős törvényéből, ez magyarázza elnevezésüket..5. definíció. Az Y n valószínűségi változók sorozata L -ben konvergál az Y valószínűségi változóhoz, ha lim n E Y n Y µ 0.5. lemma. Ha Y n Y L -ben, akkor Y n Y sztochasztikusan is. BIZONYÍTÁS: A Markov-egyenlőtlenség alapján minden ε 0-ra P Y n Y εµ E Y n Y µ ε és a jobb oldal a feltétel szerint 0-hoz tart, tehát a bal is.

34 .8. ERGODICITÁS definíció. Az Y n valószínűségi változók sorozata L 2 -ben (vagy négyzetes középben) konvergál az Y valószínűségi változóhoz, ha lim E Y n Y µ 2 0 n.6. lemma. Ha Y n Y L 2 -ben, akkor Y n Y L -ben is és sztochasztikusan is. BIZONYÍTÁS: Mivel minden Z valószínűségi változóra E Z 2 E Zµ 2, ezért Ö E Y n Y µ E Y n Y µ 2 itt a jobb oldal 0-hoz tart, tehát a bal is. A sztochasztikus konvergencia az.5. lemmából következik. Ezek után térjünk rá az ergodicitás fogalmának definiálására. Az erős ergodicitás általános értelemben sztochasztikus folyamatoknak egy olyan tulajdonsága, mely garantálja a nagy számok erős törvényének teljesülését. Erősen stacionárius Y n folyamat esetén ez azt jelenti, hogy n lim n n f Y i Y i Y i N µ E f Y 0 Y Y N µµ (.26) i0 egy valószínűséggel minden pozitív N-re és minden olyan N-változós f függvényre, melyre a fenti várható érték véges. Ha az egy valószínűségű konvergencia helyett az (.26) egyenletben csak sztochasztikus konvergencia teljesül, akkor gyenge ergodicitásról beszélünk. Az ergodicitás fogalmának nem stacionárius folyamatokra való értelmezésekor óvatosan kell eljárnunk, hiszen nem biztos, hogy az egydimenziós eloszlások várható értékei megegyeznek..7. definíció. A diszkrét idejű Y n folyamatot valamely p -re L p -ben gyengén ergodikusnak nevezzük, ha valamely m-re lim n E n n i0 p Y i m 0 Általában a p vagy p 2 értéket szokták vizsgálni, például az L -ben való gyenge ergodicitás azt jelenti, hogy az Y i -k átlaga L -ben konvergál az m konstanshoz. Először nézzük meg gyengén stacionárius folyamatok ergodicitását!

35 38. DISZKRÉT IDEJŰ MARKOV-LÁNCOK.8. definíció. Egy diszkrét idejű Y n sztochasztikus folyamatot gyengén stacionáriusnak nevezünk, ha minden n-re E Y n 2, és minden i-re és j-re E Y n µ E Y 0 µ cov Y i Y j µ E Y i E Y i µµ Y j E Y j µµµ R i j azaz a kovariancia csak az indexek különbségétől függ. R k -t kovarianciafüggvénynek hívjuk (annak ellenére, hogy ez esetünkben egy számsorozat). Gyengén stacionárius folyamatok esetén egyszerű az L 2 -ben való gyenge ergodicitást vizsgálni a következő tétel alapján:.3. tétel. Gyengén stacionárius Y n folyamatra, ha n lim n n R i 0 (.27) i0 akkor lim E n ¼ n n i0 ½ 2 Y i E Y 0 µ 0 (.28) A bizonyításhoz szükségünk lesz egy később is jól használható segédeszközre..7. lemma (Toeplitz-lemma). Ha a in 0 in 02 µ, minden n-re és úgy, hogy minden rögzített i-re lim a in i0 n i0 a in a lim a in 0 (.29) n akkor lim n b n b esetén lim n i0 a in b i ab

36 .8. ERGODICITÁS 39 BIZONYÍTÁS: Legyen és egy ε 0-ra N olyan, hogy B supb n b n0 A sup a in n0 i0 sup b n b ε nn Ekkor az (.29) feltételből következik, hogy tehát létezik olyan M, hogy n M -re N lim a in 0 n i0 N a in ε i0 Legyen továbbá M 2 olyan nagy, hogy n M 2 -re a in a i0 ε Ekkor minden n max M M 2 µ-re a in b i ab a in b i a in b a in b ab i0 i0 i0 i0 a in b i bµ b a in a i0 i0 a in b i b b a in a i0 i0 N a in b i b a in b i b b i0 Bε Aε bε B A bµε ahol B A bµ nemnegatív konstans. in i0 a in a