E.4 Markov-láncok Sok sorbanállási hálózat viselkedése leírható "folytonos idejű Markovláncok " segítségével. Egy Markov-láncot (MC) meghatároznak az alapját adó sorbanállási hálózat állapotai és az ezek közötti átmenetintenzitások. Globális egyensúlyi egyenletek egy sorbanállási hálózat alapján kapott Markov-lánc esetén: π j q ji = π i q ij, j S j S i S S: Állapottér (A sorbanállási hálózat összes állapotának halmaza) q ij : Átmenetintenzitás az i és j átmenetek között p i : Az i állapot stacionárius valószínűsége E.187
Szavakban: összes beérkezés az i állapotba = összes távozás az i állapotból az i állapotba való átmenetintenzitások összege = az i állapotból való átmenetintenzitások összege Egyszerűsített globális egyensúlyi egyenletek: i S : π j q ji π i q ij =0 j i j i πq =0 Vagy a generátormátrixszal: p: A stacionárius valószínűségek vektora (π 1,..., π n ) q ii = j i q ij E.188
Q: Generátormátrix q ij átmenetintenzitásokkal Példa: Zárt csillaghálózat µ 1 µ 2 Jobok száma K = 3 Kiszolgálási intenzitások: 1/µ 1 = 5 sec és 1/µ 2 = 2.5 sec (exp. eloszlás) Stratégia: FCFS A Markov-lánc állapottere: {(3, 0), (2, 1), (1, 2), (0, 3)} Állapot: (k 1, k 2 ) k 1 job az 1-es és k 2 job a 2-es csomópontnál E.189
Stacionárius valószínűségek: π(k 1, k 2 ) E.4 Markov-láncok Állapotátmenet diagram vagy átmenetdiagram: µ 1 µ 1 µ 1 3,0 2,1 1,2 0,3 µ 2 µ 2 µ 2 Globális egyensúlyi egyenletek (Markov-egyenletrendszer): π(3, 0)µ 1 = π(2, 1)µ 2, π(2, 1)(µ 1 + µ 2 )=π(3, 0)µ 1 + π(1, 2)µ 2, π(1, 2)(µ 1 + µ 2 )=π(2, 1)µ 1 + π(0, 3)µ 2, π(0, 3)µ 2 = π(1, 2)µ 1. E.190
Generátormátrix: E.4 Markov-láncok Q= µ 1 µ 1 0 0 µ 2 (µ 1 + µ 2 ) µ 1 0 0 µ 2 (µ 1 + µ 2 ) µ 1 0 0 µ 2 µ 2 A stacionárius valószínűségek vektora: π =(π(3, 0),π(2, 1),π(1, 2),π(0, 3)) Generátormátrix µ 1 = 0.2 és µ 2 = 0.4 esetén: Q= 0.2 0.2 0 0 0.4 0.6 0.2 0 0 0.4 0.6 0.2. 0 0 0.4 0.4 E.191
A πq = 0 egyenletrendszer megoldásával kapjuk meg a stacionárius valószínűségeket: π(3, 0) = 0.5333, π(2, 1) = 0.2667, π(1, 2) = 0.1333, π(0, 3) = 0.0667 A stacionárius valószínűségekből kapjuk a marginális valószínűségeket: π 1 (0) = π 2 (3) = π(0, 3) = 0.0667, π 1 (1) = π 2 (2) = π(1, 2) = 0.133, π 1 (2) = π 2 (1) = π(2, 1) = 0.2667, π 1 (3) = π 2 (0) = π(3, 0) = 0.5333. Kihasználtságok: ρ 1 =1 π 1 (0) = 0.9333, ρ 2 =1 π 2 (0) = 0.4667. E.192
Áteresztőképesség: E.4 Markov-láncok λ = λ 1 = λ 2 = ρ 1 µ 1 = ρ 2 µ 2 =0.1867. A jobok átlagos száma: K 1 = 3 k=1 kπ 1 (k) =2.2667, K 2 = 3 k=1 kπ 2 (k) =0.7333. Átlagos válaszolási idők: T 1 = K 1 λ 1 =12.1429, T 2 = K 2 λ 2 =3.9286. E.193
Példa: M/M/1 - rendszer: E.4 Markov-láncok Az alapul vett Markov-lánc állapottere: {0, 1, 2, 3, 4,... } Átmenetdiagram: λ λ λ λ λ 0 1 2 n µ µ µ µ µ E.194
A stacionárius valószínűségek vektora: E.4 Markov-láncok π = (π 0, π 1, π 2, π 3, π 4,... ) λ µ Generátormátrix: λ λ 0 0 µ (λ + µ) λ 0 Q= 0 µ (λ + µ) λ 0 0 µ (λ + µ)....... Globális egyensúlyi egyenletek (Markov-egyenletrendszer): 0= π 0 λ + π 1 µ, 0= π k (λ + µ)+π k 1 λ + π k+1 µ, k 1 E.195
A π 1 és π 2 stacionárius valószínűségek: π 1 = λ µ π 0, π 2 = λ λ µ µ π 0 Általánosan: π k = ( ) λ k π 0 µ A normalizáló feltétel használatával: π 0 =1 λ µ E.196
ρ = λ/µ helyettesítéssel: E.4 Markov-láncok π 0 =1 ρ M/M/1 - rendszer stacionárius valószínűségei: π k =(1 ρ)ρ k M/M/1 - rendszer kihasználtsága: ρ =1 π 0 A jobok átlagos száma M/M/1 - rendszer esetén: K = ρ 1 ρ E.197
Zárt csillaghálózat E 2 -eloszlású kiszolgálási idejű egyik kiszolgálóval: µ 11 µ 12 µ 2 Jobok száma: K = 2 Kiszolgálási idők: Kiszolgáló 2: exp. eloszlás, µ 2 = 0.4 Kiszolgáló 1: E 2 -eloszlás,ahol a két fázis aránya µ 11 = µ 12 = 0.4 A hálózat állapotát megadja a csomópontokban lévő jobok száma és az 1-es csomópontban lévő job l = 0, 1, 2 fázisa: (k 1, l; k 2 ) A hálózat stacionárius valószínűsége: p(k 1, l; k 2 ) E.198
Átmenetdiagram: µ 11 µ 12 µ 11 µ 12 2,1;0 2,2;0 1,1;1 1,2;1 0,0;2 µ 2 µ 2 µ 2 Globális egyensúlyi egyenletek (Markov-egyenletrendszer): π(2, 1; 0)µ 11 = π(1, 1; 1)µ 2, π(2, 2; 0)µ 12 = π(2, 1; 0)µ 11 + π(1, 2; 1)µ 2, π(1, 1; 1)(µ 11 + µ 2 )=π(2, 2; 0)µ 12 + π(0, 0; 2)µ 2, π(1, 2; 1)(µ 12 + µ 2 )=π(1, 1; 1)µ 11, π(0, 0; 2)µ 2 = π(1, 2; 1)µ 12. E.199
Generátormátrix: Q= µ 11 µ 11 0 0 0 0 µ 12 µ 12 0 0 µ 2 0 (µ 11 + µ 2 ) µ 11 0 0 µ 2 0 (µ 12 + µ 2 ) µ 12 0 0 µ 2 0 µ 2 E.4 Markov-láncok Generátormátrix a kiszolgálási intenzitások értékeivel: Q= 0.4 0.4 0 0 0 0 0.4 0.4 0 0 0.4 0 0.8 0.4 0 0 0.4 0 0.8 0.4 0 0 0.4 0 0.4 E.200
A πq = 0 megoldásával vagy a globális egyensúlyi egyenletekkel: π(2, 1; 0) = 0.2219, π(2, 2; 0) = 0.3336, π(1, 1; 1) = 0.2219, π(1, 2; 1) = 0.1102, π(0, 0; 2) = 0.1125. Marginális valószínűségek: π 1 (0) = π 2 (2) = π(0, 0; 2) = 0.1125, π 1 (1) = π 2 (1) = π(1, 1; 1) + π(1, 2; 1) = 0.3321, π 1 (2) = π 2 (0) = π(2, 1; 0) + π(2, 2; 0) = 0.5555. A marginális valószínűségek használatával az összes többi hatékonyságjellemző számolható. E.201
Példa: Egyszerű zárt sorbanállási hálózat: E.4 Markov-láncok µ 2 µ 1 µ 3 Jobok száma K = 2 Kiszolgálási idők: exp. el.,: µ 1 = 4/sec, µ 2 = 1/sec és µ 3 = 2/sec Stratégia: FCFS E.202
Útvonalvalószínűségek: p 12 = 0.4, p 13 = 0.6 p 21 = p 31 = 1 A Markov-lánc állapottere: {(2, 0, 0), (0, 2, 0), (0, 0, 2), (1, 1, 0), (1, 0, 1), (0, 1, 1)} Állapot: (k 1, k 2, k 3 ) k 1 job az 1-es csomópontban, k 2 job a 2-es csomópontban és k 3 job a 3-as csomópontban Stacionárius valószínűségek: π(k 1, k 2, k 3 ) E.203
Átmenetdiagram: 2, 0, 0 µ 3 p 31 µ 1 p 21 µ 3 p 31 µ 1 p 13 µ 2 p 21 µ 1 p 12 0, 0, 2 1, 0, 1 1, 1, 0 0, 2, 0 µ 1 p 13 µ 1 p 12 µ 3 p 31 µ 2 p 21 µ 2 p 21 µ 1 p 13 0, 1, 1 E.204
Globális egyensúlyi egyenletek: (1) π(2, 0, 0)(µ 1 p 12 + µ 1 p 13 )=π(1, 0, 1)µ 3 p 31 + π(1, 1, 0)µ 2 p 21, (2) π(0, 2, 0)µ 2 p 21 = π(1, 1, 0)µ 1 p 12, (3) π(0, 0, 2)µ 3 p 31 = π(1, 0, 1)µ 1 p 13, (4) π(1, 1, 0)(µ 2 p 21 + µ 1 p 13 + µ 1 p 12 )=π(0, 2, 0)µ 2 p 21 + π(2, 0, 0)µ 1 p 12 + π(0, 1, 1)µ 3 p 31, (5) π(1, 0, 1)(µ 3 p 31 + µ 1 p 12 + µ 1 p 13 )=π(0, 0, 2)µ 3 p 31 + π(0, 1, 1)µ 2 p 21 + π(2, 0, 0)µ 1 p 13, (6) π(0, 1, 1)(µ 3 p 31 + µ 2 p 21 )=π(1, 1, 0)µ 1 p 13 + π(1, 0, 1)µ 1 p 12. E.205
A Globális egyensúlyi egyenletek megoldása: E.4 Markov-láncok Iteratív módszer: Globális egyensúlyi egyenletek: πq = 0 Skalárral történő szorzás: πq = 0 π hozzáadása mindkét oldalhoz: πq + π = π Egységmátrix kiemelése : π(q + I) = π Iteráció: π (j+1) = π (j) (Q + I) megválasztása aszerint, hogy az iteráció konvergens legyen : = 1/max q ii vagy = 0.99/max q ii E.206
Példa: Csillaghálózat: Generátormátrix: Q = 0.2 0.2 0 0 0.4 0.6 0.2 0 0 0.4 0.6 0.2 0 0 0.4 0.4 E.4 Markov-láncok Skalár : = 1 max q ii = 1 0.6 =1.6667 Invariáns mátrix: (Q +I) = 0.6667 0.3333 0 0 0.6667 0 0.3333 0 0 0.6667 0 0.3333 0 0 0.6667 0.3333 E.207
A kezdeti vektor tetszőlegesen választható: π (0) =(π(3, 0),π(2, 1),π(1, 2),π(0, 3)) (0) Normalizáló feltétel: π(3, 0) + π(2, 1) + π(1, 2) + π(0, 3) = 1 A kezdeti vektor: π (0) =(0.65; 0.35; 0; 0) E.208
Iteration π(3, 0) π(2, 1) π(1, 2) π(0, 3) 1 0.6667 0.2166 0.1167 0 2 0.5889 0.3000 0.0722 0.0389 3 0.5926 0.2444 0.1259 0.0371 4 0.5580 0.2815 0.1062 0.0543 5 0.5597 0.2568 0.1300 0.0535 6 0.5443 0.2733 0.1213 0.0612 7 0.5450 0.2623 0.1319 0.0608 8 0.5382 0.2696 0.1280 0.0642 9 0.5385 0.2647 0.1327 0.0641 10 0.5355 0.2680 0.1309 0.0656 11 0.5356 0.2658 0.1330 0.0655 Pontos értékek: E.209
Az iteratív módszer mindig alkalmazható, de nagyon sok számolási időt és memóriát igényel Más módszerek (gyorsabbak és kisebb memóriaigényűek): Stacionárius módszerek: Hatvány módszer Jacobi-módszer Gauß-Seidel-módszer Többszintű módszer Tranziens módszerek: Uniformizálás π(3, 0) = 0.5333,π(2, 1) = 0.2667,π(1, 2) = 0.1333,π(0, 3) = 0.0667 E.210
A Globális egyensúlyi egyenletek tranziens megoldása: Globális egyensúlyi egyenletek: πq = 0 csak a stacionárius eloszlásra érvényesek A tranziens állapot esetén: dπ(t) dt = π(t)q, π(0) = (π 0 (0),π 1 (0),...) A tranziens esetben az "állapotba érkezés" és az "ebből az állapotból távozás" közötti különbség az állapot állapotvalószínűségéből származtatható. Megoldás nagyon nehéz (Uniformizálás!). E.211
Példa: Születési folyamat (pl. beérkezések egy sorbanállási halózatba): λ λ λ 0 1 2 Generátormátrix: Q= λ λ 0 0... 0 λ λ 0... 0 0 λ λ.......... E.212
Egyensúlyi egyenletek: d dt π 0(t) = λπ 0 (t), d dt π k(t) = λπ k (t)+λπ k 1 (t), k 1 Kezdeti feltételek: π k (0) = { 1 k =0 0 k 1 E.213
A születési folyamat állapotvalószínűsége (Poisson-folyamat, Poisson eloszlás): π k (t) = (λt)k k! e λt, k 0 Annak valószínűsége, hogy t idő alatt k születés történt (k job érkezett) Annak valószínűsége, hogy t idő alatt történt születés(beérkezés) P( T A > t ): π 0 (t) =e λt Két születés (beérkezés) közötti idő eloszlása: P( T A t ) = 1 - π 0 (t) = 1 - e -λt A beérkezési időközök exponenciális eloszlásúak!! E.214
1 Poisson eloszlás λ = 0.5 0.8 Probabilities 0.6 0.4 0.2 π 0 (t) π 1 (t) π 2 (t) π 3 (t) λ =0.5 π 4 (t) 0 5 10 15 20 t E.215
Poisson eloszlás λ = 1 E.4 Markov-láncok 1 0.8 0.6 π 0 (t) λ =1.0 Probabilities 0.4 0.2 π 1 (t) π 2 (t) π 3 (t) π 4 (t) 0 5 10 15 20 t E.216