Sztochasztikus folyamatok

Átírás

1 Sztochasztikus folyamatok Benke János és Sz cs Gábor Szegedi Tudományegyetem, Bolyai Intézet tavaszi félév

2 Sztochasztikus folyamatok Deníció, példák Sztochasztikus folyamatok A továbbiakban legyen pω, A, Pq valószín ségi mez, px, Gq mérhet tér, T H tetsz leges halmaz, X t : Ω Ñ X, t P T, véletlen elemek, azaz A-G mérhet függvények. Sztochasztikus folyamat Az X px t q tpt indexezett halmazt sztochasztikus folyamatnak nevezzük. A folyamat állapottere vagy fázistere az X halmaz. A folyamat állapotai a változók lehetséges x P X értékei. A folyamat indexhalmaza vagy paraméterhalmaza a T halmaz. A folyamat paramétere vagy id paramétere a t P T index. Az X sztochasztikus folyamat a t P T id pontban az x P X állapotban van, ha a realizált ω P Ω kimenetel mellett X t pωq x. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 2 / 112

3 Sztochasztikus folyamatok Deníció, példák Empirikus eloszlásfüggvény Legyen Z 1, Z 2,..., Z n statisztikai minta, és legyen Z 1 Z 2... Z n a rendezett minta. Az empirikus eloszlásfüggvény: F n ptq 1 n # k : Z k t ( 1 n max k : Z k t(, t P R. 1 n 1 n 2 n 1 n F n Z 1 Z 2 Z 3 Z n 1 Z n Ekkor X pf n ptqq tpr egy sztochasztikus folyamat, melynek állapottere X tk{n : k 0, 1,..., nu, indexhalmaza T R. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 3 / 112

4 Sztochasztikus folyamatok Deníció, példák Független és azonos eloszlású változók, fehér zaj Legyen X t, t P T, független és azonos eloszlás valószín ségi változó. Ekkor X px t q tpt szintén egy sztochasztikus folyamat. Ha az X t változók várható értéke nulla, akkor az X folyamatot fehér zajnak is szokás nevezni. (Id nként azt is felteszik, hogy véges a szórás.) Sz rési probléma: Adott egy Y py t q tpt jelfolyamat, amit eltorzít az X px t q tpt fehér zaj, és így de mi csak az Y X py t X t q tpt folyamatot vesszük. Sz rjük ki a zajt, tehát adjuk meg az Y jelet. A kurzuson a továbbiakban csak olyan sztochasztikus folyamatokkal foglalkozunk, melyek valamilyen valós vagy valós vektor érték mennyiség id beli alakulását írják le. Jelölésbeli konvenciók: A továbbiakban az állapottér X R vagy X R d. A továbbiakban az indexhalmaz T r0, 8q, a t indexet pedig gyakran id nek nevezzük. Egy determinisztikus vagy véletlen τ P T id pont esetén a folyamat múltja px t q t τ, a folyamat jöv je pedig px t q t τ. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 4 / 112

5 Sztochasztikus folyamatok Deníció, példák Véletlen bolyongás Legyen p P p0, 1q rögzített, és legyen Z 1, Z 2,... független és azonos eloszlású változó, melyre PpZ n 1q p, PpZ n 1q 1 p, n 1, 2,... Legyen továbbá X 0 0 és X n Z 1 Z n, n 1, 2, n Az X px n q npn0 sztochasztikus folyamatot (egydimenziós) véletlen bolyongásnak nevezzük. A bolyongás szimmetrikus, ha p 1{2, és nem szimmetrikus, ha p 1{2. A bolyongás állapottere X Z, indexhalmaza T N 0 t0, 1, 2,... u. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 5 / 112

6 Sztochasztikus folyamatok Deníció, példák Sztochasztikus folyamatok típusai és trajektóriája Indexhalmaz szerint az X px t q tpt folyamat diszkrét idej, ha T megszámlálható. Pl.: T N 0 t0, 1, 2,... u. folytonos idej, ha T egy intervallum. Pl.: T r0, 8q, T r0, 1s. Állapottér szerint az X folyamat lehet megszámlálható vagy véges állapotter, ha X megszámlálható illetve véges. Például: X Z, X Z d. nem megszámlálható állapotter, ha X nem megszámlálható. Az X sztochasztikus folyamatnak az ω P Ω kimenetelhez tartozó trajektóriája a T Ñ X, t ÞÑ X t pωq, determinisztikus függvény. H mérsékletet mérünk Legyen X t a küls h mérséklet a t P T r0, 24s id pontban. Diszkrét vagy folytonos id : óránként egyszer mérünk vagy folyamatosan. Megszámlálható vagy nem megszámlálható állapottér: digitális vagy analóg h mér t használunk. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 6 / 112

7 Sztochasztikus folyamatok Deníció, példák H mérsékletet mérünk (folytatás) t t t t Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 7 / 112

8 Sztochasztikus folyamatok Filtráció és megállási id k Filtráció és megállási id k Információ a σ-algebrában Legyen F A tetsz leges rész-σ-algebra. Azt mondjuk, hogy ismerjük az σ-algebrát, ha a rendelkezésünkre álló információ elegend ahhoz, hogy tetsz leges A P F eseményr l eldöntsük, hogy a kísérlet aktuális végrehajtásakor bekövetkezett, vagy nem. A továbbiakban jelölje B a valós egyenes Borel-halmazainak σ-algebráját. Ismert σ-algebra, ismert változók Ha az X t, t P T, véletlen változók generálják az F σ-algebrát, tehát σpx t : t P Tq F, akkor az alábbiak ekvivalensek. 1 Ismerjük az F σ-algebrát. 2 Ismerjük az X t, t P T, véletlen változók értékét. 3 Ismerjük minden F-B mérhet véletlen változó értékét. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 8 / 112

9 Sztochasztikus folyamatok Filtráció és megállási id k Független kockadobások Tekintsük a következ valószín ségi mez t és véletlen változókat:! ) Ω ω pk, lq : k, l 1,..., 6, A 2 Ω, P tωu 1 P Ω, F! ) B t1, 2, 3, 4, 5, 6u : B t1,..., 6u A. Legyen továbbá X pωq : k, Y pωq : l, és legyen Z az X érték kett vel vett maradéka. Ekkor X és Y egymástól független szabályos kockadobások, és teljesülnek az alábbiak: F σpx q, tehát F ismerete ekvivalens X ismeretével. A Z mérhet F-re nézve, tehát F ismeretében Z értékét is tudjuk. De Z nem generálja F-et, tehát kevesebb információt tartalmaz, mint az X változó. Az Y nem mérhet F-re nézve, tehát F ismerete kevés az Y változó értékének meghatározásához. (Ami nem meglep.) Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 9 / 112

10 Sztochasztikus folyamatok Filtráció és megállási id k Sz rés (ltráció) és adaptáltság Legyen F t A, t P T, rész-σ-algebráknak egy olyan serege, melyre F s F t ha s t. Ekkor az pf t q tpt rendszert sz résnek vagy ltrációnak nevezzük. Akkor mondjuk, hogy egy X px t q tpt folyamat adaptált az pf t q tpt sz réshez, ha X t mérhet az F t -re nézve minden t P T esetén. Az X folyamat által generált sz rés, avagy a természetes sz rés az F X t σpx s : s tq ltráció. Az F t σ-algebra azt fejezi ki, hogy a t id pontban mennyi információval rendelkezünk a kísétletr l. Ezért b vül a rendszer. Az adaptáltság azt jelenti, hogy tetsz leges t P T id pontban a rendelkezésünkre álló F t információ elég ahhoz, hogy meghatározuk az X t változó értékét. (S t, az X s, s t, változók értékét is.) Generált sz rés esetén a t id pontban az információ pontosan az X s, s t, változók értéke. Egy folyamat mindig adaptált az általa generált sz réshez. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 10 / 112

11 Sztochasztikus folyamatok Filtráció és megállási id k Kiterjesztett függvények Legyen R : p 8, 8s és B : σ B, t 8u B, B Y t 8u : B P B (. Egy τ : Ω Ñ R függvényt kiterjesztett függvénynek nevezünk. Egy kiterjesztett függvény akkor mérhet, ha A-B mérhet, tehát tetsz leges D P B halmaz esetén τ 1 pdq P A. Ekkor a τ függvényt általános értelemben vett véletlen változónak nevezzük. Kiterjesztett függvény mérhet sége Legyen τ tetsz leges kiterjesztett függvény, és legyen Ω 0 : τ 1 prq. Ekkor az alábbiak ekvivalensek. 1 A τ függvény mérhet. 2 Ω 0 P A és a τ Ω0 : Ω 0 Ñ R véges megszorítás Borel-mérhet. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 11 / 112

12 Sztochasztikus folyamatok Filtráció és megállási id k Mi csak nemnegatív érték általános értelemben vett véletlen változókkal fogunk majd találkozni. Ebben az esetben a véges megszorításnak van jól deniált várható értéke: Epτ Ω0 q ³ Ω 0 τ dp P r0, 8s. Általános értelemben vett véletlen változó várható értéke Egy τ : Ω Ñ r0, 8s általános értelemben vett véletlen változóra legyen» # Epτq : τ dp : Epτ Ω0 q 8 PpΩ c Epτ Ω0 q, PpΩ c 0 0q q 0, 8, PpΩ cq 0 0. Ω (Legyen ) Megmutatható, hogy ha h : R Ñ R mérhet, akkor hpτq is mérhet ; megszámlálható sok nemnegatív érték általános értelemben vett véletlen változó összege, szorzata, inmuma és szuprémuma mérhet ; a most deniált várható érték lineáris és monoton kiterjesztése a véges véletlen változók várható értékének. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 12 / 112

13 Sztochasztikus folyamatok Filtráció és megállási id k Megállási id Legyen pf t q tpt sz rés, és legyen τ : Ω Ñ T Y t 8u általános értelemben vett véletlen változó. τ megállási id a sz résre nézve, ha tτ tu P F P T. τ megállási id egy X px t q tpt sztochasztikus folyamatra nézve, ha megállási id a folyamat által generált sz résre nézve. A megállási id k ekvivalens deníciói Legyen pf t q tpt sz rés, τ : Ω Ñ T Y t 8u általános értelemben vett véletlen változó. Ekkor az alábbiak ekvivalensek. 1 τ megállási id a sz résre nézve. 2 tτ tu P F t minden t P T esetén. Ha T N 0, akkor az el z ekkel az is ekvivalens, hogy 3 tτ tu P F t minden t P T esetén. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 13 / 112

14 Sztochasztikus folyamatok Filtráció és megállási id k A megállási id nek az a szemléletes jelentése, hogy tetsz leges t P T id pontban a rendelkezésre álló F t információ elegend ahhoz, hogy eldönthessük, τ aktuális értéke a múltban, vagy a jöv ben van. Els elérési id és els lokális maximum a véletlen bolyongásra Legyen px n, F n q npn0 a véletlen bolyongás a természetes sz réssel. Egy a P Z érték els elérési ideje: 4 τ a : mintn P N 0 : X n au Ez egy megállási id. A bolyongás els lokális maximuma τ mintn P N 0 : X n 1 X n 1u Ez nem megállási id. τ τ 3 n A konstansváltozó megállási id Tekintsünk egy tetsz leges t 0 P T értéket, és legyen τpωq t 0 minden ω P Ω esetén. Ekkor τ megállási id. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 14 / 112

15 Sztochasztikus folyamatok Filtráció és megállási id k Pre-σ-algebra Legyen τ : Ω Ñ T Y t 8u megállási id az pf t q tpt sz résre nézve. A pre-σ-algebra, avagy a τ el tti események σ-algebrája: F τ A P A : A X tτ tu P F t, t P T ( A. Megjegyzés: Megmutatható, hogy ha T N 0, akkor F τ A P A : A X tτ tu P F t, t P T (. A pre-σ-algebra tulajdonságai Legyen τ : Ω Ñ T Y t 8u megállási id az pf t q tpt sz résre nézve. 1 Az F τ halmazrendszer σ-algebra, és a τ változó F τ -mérhet. 2 Ha τpωq t 0 minden ω P Ω esetén, akkor F τ F t0. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 15 / 112

16 Diszkrét idej Markov-láncok Deníció, példák Diszkrét idej Markov-láncok Néhány hétig diszkrét idej és megszámlálható állapotter folyamatokkal foglalkozunk. Az egyszer ség kedvéért legyen T N 0 és X Z d, ahol d 1 egész. Megszámlálható állapottér esetén az állapottérre gyakran inkább az I jelölést alkalmazzák, mi is így teszünk. Tehát: X px n q npn0 véletlen (vektor-)változóknak egy sorozata. Markov-tulajdonság, diszkrét idej Markov-lánc Az X px n q npn0 folyamat rendelkezik a Markov-tulajdonsággal, ha tetsz legesen n P N 0 és i 0,..., i n, j P I esetén valahányszor akkor P X n i n,..., X 0 i 0 0, P X n 1 j X n i n,..., X 0 i 0 PpXn 1 j X n i n. Ezt úgy is szokás mondani, hogy az X folyamatnak nincsen memóriája, és ilyenkor a folyamatot diszkrét idej Markov-láncnak nevezzük. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 16 / 112

17 Diszkrét idej Markov-láncok Deníció, példák Átmenetvalószín ség, átmenetmátrix Legyen X px n q npn0 diszkrét idej Markov-lánc, és legyen n rögzített nemnegatív egész szám. Az n-dik lépéshez tartozó átmenetvalószín ségek: p i,j pnq : P X n j X n 1 i, i, j P I. Az n-dik lépéshez tartózó átmenetvalószín ség-mátrix, vagy röviden átmenetmátrix: Ppnq p i,j pnq P i,jpi RI I. A Markov-lánc id homogén (vagy röviden homogén), ha az átmenetvalószín ségek nem függenek az n id paramétert l. Ekkor az n indexet elhagyjuk, tehát a jelölés: p i,j és P. A folyamat kezdeti eloszlása az az α rα i s ipi sorvektor, melyre α i PpX 0 iq, i P I. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 17 / 112

18 Diszkrét idej Markov-láncok Deníció, példák A Markov-tulajdonság azt fejezi ki, hogy egy-egy lépés során az, hogy a folyamat melyik állapotba lép tovább, csak attól függ, hogy most melyik állapotban van. A korábbi állapotok csak a jelenen keresztül befolyásolják a Markov-lánc jöv jét. A kezdeti eloszlás és az átmenetmátrixok tökéletesen leírják a diszkrét idej Markov-láncot: Kezdeti eloszlás: melyik állapotból mekkora valószín séggel indulunk. Átmenetvalószíníségek: az egyes lépések során milyen dinamikával, tehát mekkora valószín séggel lépünk tovább. Az átmenetmátrix sztochasztikus mátrix Tetsz leges X diszkrét idej Markov-lánc és n nemnegatív egész szám esetén a Ppnq P R I I átmenetmátrix sztochasztikus mátrix, ami két dolgot jelent: a mátrix elemei nemnegatív számok: p i,j pnq 0, i, j P I; minden sorban 1 a komponensek összege: jpi p i,jpnq 1, i P I. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 18 / 112

19 Diszkrét idej Markov-láncok Deníció, példák A véletlen bolyongás, mint Markov-lánc Az X px n q npn0 véletlen bolyongás Markov-lánc, ugyanis az, hogy egy-egy lépésben hová lépünk tovább, csak attól függ, hogy melyik állapotban vagyunk, attól nem, hogy korábban hol jártunk. Precízen: P X n 1 j X n i n,..., X 0 i 0 P Zn 1 j i n X n i n,..., X 0 i 0 PpZ n 1 j i n q PpZ n 1 j i n X n i n q PpX n 1 j X n i n q. A kezdeti eloszlás a 0 állapotban denegerált eloszlás: α δ 0 # δ 0,i ipi, ahol δ 1, i 0, 0,i 0, egyébként. A bolyongás id homogén Markov-lánc, az átmenetvalószín ségek nem függenek n-t l: $ '& p, j i 1, p i,j pnq P X n j X n 1 i 1 p, j i 1, '% 0, egyébként. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 19 / 112

20 Diszkrét idej Markov-láncok Deníció, példák A Pólya-féle urnamodell Urna, benne 1 piros és 1 fekete golyó. Minden lépésben húzunk egy golyót, majd visszarakjuk, valamint beteszünk még egy olyat, mint amit kihúztunk. Legyen X n annak az indikátora, hogy az n-dik húzás piros. Ekkor az X px n q n1,2,... sorozat nem Markov-lánc: P X 3 1 X 2 1, X P X 3 1 X 2 1, X Markov-lánc esetén mindkét oldal értéke PpX 3 1 X 2 1q lenne. Legyen Y n a piros golyók száma az n-dik lépés után. Ekkor $ '& i n {pn 2q, j i n 1, P Y n 1 j Y n i n,..., Y 1 i 1 1 i n {pn 2q, j i n, '% 0, egyébként. Az Y py n q n1,2,... folyamat Markov-lánc, de nem id homogén. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 20 / 112

21 Diszkrét idej Markov-láncok Deníció, példák Többlépéses Markov-láncok Tegyük fel, hogy a korábbi napok id járásától függetlenül $ 0,7, ha ma és tegnap esett, '& 0,5, ha ma esett, de tegnap nem, Ppholnap esikq 0,4, ha ma nem esett, de tegnap igen, '% 0,2, ha sem ma, sem tegnap nem esett. Legyen X n annak az indikátora, hogy az n-dik napon esik. Ekkor az X px n q npn0 sorozat nem Markov-lánc. Legyen Y n px n, X n 1 q. Ekkor Y py n q npn0 Markov-lánc, és 0,7 0 0,3 0 p1, 1q Ppnq 0,5 0 0,5 0 p1, 0q 0 0,4 0 0,6 p0, 1q 0 0,2 0 0,8 p0, 0q Az Y folyamatnak két lépés a memóriája: többlépéses Markov-lánc. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 21 / 112

22 Diszkrét idej Markov-láncok Deníció, példák Diszkrét idej Markov-láncok ekvivalens deníciói Legyen X px n q npn0 sztochasztikus folyamat az I megszámlálható állapottéren, továbbá legyen F n σ X 0,..., X n, Gn σ X n, X n 1,..., n P N 0. Ekkor az alábbiak ekvivalensek. 1 Az X sztochasztikus folyamat diszkrét idej Markov-lánc. 2 Tetsz leges n P N 0, i, j P I és B P F n mellett P X n 1 j X n i, B P X n 1 j X n i amennyiben az tx n iu X B esemény valószín sége pozitív. 3 Tetsz leges n, m P N 0, i, j n,..., j n m P I és B P F n mellett P X n m j n m,..., X n j n X n i, B P X n m j n m,..., X n j n X n i amennyiben az tx n iu X B esemény valószín sége pozitív. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 22 / 112

23 Diszkrét idej Markov-láncok Deníció, példák Diszkrét idej Markov-láncok ekvivalens deníciói (folytatás) 4 Tetsz leges n P N 0, i P I, A P G n és B P F n mellett P A X n i, B P A X n i amennyiben az tx n iu X B esemény valószín sége pozitív. 5 Tetsz leges n, m P N 0 és g : I m 1 Ñ R korlátos függvény esetén E g X n,..., X n m Xn,..., X 0 E g X n,..., X n m Xn. Tehát a Markov-tulajdonság ekvivalens azzal, hogy a jelenre feltételesen a múlt és a jöv függetlenek: PpJöv Jelen, Múltq PpJöv Jelenq, ahol Jelen tx n iu, Jöv P σpx n, X n 1,... q, Múlt P σpx 0,..., X n q. A Markov-tulajdonsággal az alábbi állítások is ekvivalensek: PpJöv, Múlt Jelenq PpJöv Jelenq PpMúlt Jelenq PpMúlt Jelen, Jöv q PpMúlt Jelenq Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 23 / 112

24 Diszkrét idej Markov-láncok Diszkrét idej homogén Markov-láncok Diszkrét idej homogén Markov-láncok Egy X px n q npn0 diszkrét idej Markov-lánc id homogén, vagy röviden homogén, ha az átmenetvalószín ségek nem függenek a paramétert l, tehát tetsz leges i, j P I állapotok és n P N 0 index esetén P X n j X n 1 i P X 1 j X 0 i : p i,j. A homogenitás azt fejezi ki, hogy a Markov-lánc dinamikája nem változik az id múlásával, a folyamat az n id paramétert l függetlenül mindig azonos eséllyel lép át egy i állapotból egy j állapotba. Ezen a kurzuson az X Markovpα, Pq jelölés azt jelenti, hogy X homogén Markov-lánc α kezdeti eloszlással és P átmenetmátrixszal. Az inhomogén Markov-lánc kifejezés szövegkönyezett l függ en két dolgot is jelenthet: általános Markov-lánc, ami nem biztos, hogy homogén; nem homogén Markov-lánc, tehát az átmenetvalószín ségek függnek az indext l. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 24 / 112

25 Diszkrét idej Markov-láncok Diszkrét idej homogén Markov-láncok Átmenetgráf Az X homogén Markov lánc átmenetgráfja egy olyan irányított gráf, melynek csúcsai az állapotok, és egy ij él pontosan akkor van behúzva, ha p i,j 0. Az élekre rá szokás írni átmenetvalószín ségeket. A véletlen bolyongás, mint homogén Markov-lánc A véletlen bolyongás homogén Markov-lánc az I Z állapottéren. Átmenetvalószín ségei, kezdeti eloszlása, illetve átmenetgráfja: $ '& p, j i 1, # 1, i 0, p i,j 1 p, j i 1, α i δ 0,i i, j P Z. '% 0, egyébként, 0, egyébként, p p p p p p p 1 p 1 p 1 p 1 p 1 p Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 25 / 112

26 Diszkrét idej Markov-láncok Diszkrét idej homogén Markov-láncok Homogén Markov-láncok ekvivalens deníciói Legyen X px n q npn0 sztochasztikus folyamat egy I megszámlálható állapottéren, és legyen P rp i,j s i,jpi sztochasztikus mátrix. Ekkor az alábbiak ekvivalensek. 1 X homogén Markov-lánc és P az átmenetmátrixsza. 2 Tetsz leges m, n P N 0 id pontok, i, j m,..., j m n P I állapotok és B P σpx 0,..., X m q esemény mellett P X m n j m n,..., X m j m X m i, B δ i,jm p jm,j m 1 p jm n 1,j m n, valahányszor a feltétel valószín sége pozitív. 3 Tetsz leges m P N 0 és i P I mellett az X 1 px m n q npn0 folyamatra teljesülnek az alábbiak: az X 1 folyamat az tx m iu eseményre feltételesen független az X 0,..., X m változóktól; az tx m iu eseményre feltételesen X 1 Markovpδ i, Pq. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 26 / 112

27 Diszkrét idej Markov-láncok Diszkrét idej homogén Markov-láncok Többlépéses átmenetvalószín ségek Legyen X homogén Markov-lánc, és legyen p pnq i,j : P X n j X 0 i, P pnq : p pnq i,j i,jpi, n P N 0. A p pnq i,j valószín ségeket n-lépéses átmenetvalószín ségeknek, a P pnq mátrixot pedig n-lépéses átmenetmátrixnak nevezzük. A többlépéses átmenetvalószín ségek id homogének Ha X homogén Markov-lánc, akkor tetsz leges akkor tetsz leges i, j P I és m, n, P N 0 mellett P X m n j X m i P X n j X 0 i. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 27 / 112

28 Diszkrét idej Markov-láncok Diszkrét idej homogén Markov-láncok ChapmanKolmogorov-egyenletek Ha X Markovpα, Pq, akkor tetsz leges i, j P I és m, n, P N 0 mellett pn mq pi,j p pnq i,k ppmq k,j. kpi Ebb l következik, hogy P pn mq P pnq P pmq, P pnq P n, X n αp n. Multiplikációs formulák Legyen X Markovpα, Pq homogén Markov-lánc. Ekkor tetsz leges k 1, 0 m n 1 n k és i, j 1,..., j k P I mellett P X nk j k,..., X n1 j 1 X m i p pn 1 mq i,j 1 p pn 2 n 1 q j 1,j 2 p pn k 1 n k q j k 1,j k, P X nk P X nk j k,..., X n1 j 1, X 0 i α i p pn 1q j k,..., X n1 j 1 ipi α i p pn 1 mq i,j 1 i,j 1 p pn 2 n 1 q j 1,j 2 p pn 2 n 1 q j 1,j 2 p pn k 1 n k q j k 1,j k, p pn k 1 n k q j k 1,j k, Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 28 / 112

29 Diszkrét idej Markov-láncok Kommunikációs osztályok és periódus Kommunikációs osztályok és periódus Legyen továbbra is X Markovpα, Pq az I Z állapottéren. Mit mondhatunk el a láncról, ha nem ismerjük az átmenetvalószín ségeket, csak azt tudjuk, hogy melyik állapotból melyikbe lehet átlépni? Élérhet ség, kommunikációs viszony, elnyel állapot Tekintsünk tetsz leges i, j P I állapotokat. A j állapot elérhet az i állapotból, (jelölésben i á j,) ha a P a lánc valaha eljut j-be X 0 i P Dn P N 0 : X n j X 0 i valószín ség pozitív. Az i és a j állapot kommunikációs viszonyban áll egymással, ha kölcsönösen elérhet ek egymásból. Jelölésben: i é j. Az i állapot elnyel, ha p i,i 1. Megjegyzés: mivel p p0q i,i 1, ezért i á i minden i P I esetén. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 29 / 112

30 Diszkrét idej Markov-láncok Kommunikációs osztályok és periódus Az elérhet ség ekvivalens deníciói 1 A j állapot elérhet a i állapotból. 2 Létezik n P N 0, melyre p pnq i,j 0. 3 Vagy i j, vagy pedig valamely n pozitív egész számra léteznek i 1,..., i n 1 állapotok, hogy p i,i1, p i1,i 2,..., p in 1,j 0. 4 Vagy i j, vagy az átmenetgráfon létezik az i Ñ j irányított út. A kommunikációs viszony ekvivalenciareláció A kommunikációs viszony ekvivalenciareláció az állapotok halmazán. Kommunikációs osztályok, osztálytulajdonság A kommunikációs viszony, mint ekvivalenciareláció által meghatározott ekvivalenciaosztályokat kommunikációs osztályoknak nevezzük. A lánc irreducibilis, ha csak egy osztálya van, és reducibilis, ha több. Állapotoknak valamely tulajdonsága osztálytulajdonság, ha egy osztályon belül vagy minden állapot rendelkezik vele, vagy egyik sem. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 30 / 112

31 Diszkrét idej Markov-láncok Kommunikációs osztályok és periódus További észrevételek és deníciók: A kommunikációs osztályok az átmenetgráf er sen összefügg komponensei. A kommunikációs osztályok csak az átmenetvalószín ségekt l függnek, a kezdeti eloszlástól nem. Ilyen módon beszélhetünk reducibilis és irreducibilis átmenetmátrixról. Legyenek C 1, C 2 I kommunikációs osztályok. Azt mondjuk, hogy a C 2 elérhet a C 1 -b l, ha létezik i P C 1 és j P C 2, hogy i á j. Két különböz osztály nem lehet kölcsönösen elérhet egymásból. Egy kommunikációs osztályt zártnak nevezünk, ha bel le nem érhet el más osztály. Az osztály nyitott, ha el lehet hagyni. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 31 / 112

32 Diszkrét idej Markov-láncok Kommunikációs osztályok és periódus Periódus Egy i állapot periódusa d i : lnko n 0 : p pnq i,i 0 (, ahol lnko H 8. Az i állapot aperiodikus, ha d i 1, és periodikus, ha 1 d i 8. Két speciális állapot Ha egy állapot elnyel, akkor aperiodikus, és egyedül alkot egy kommunikációs osztályt. Egy állapotnak pontosan akkor végtelen a periódusa, ha az állapotból indulva nem lehet oda visszatérni. Ez az állapot önálló osztályt alkot. Szolidaritási tétel az állapotok periódusára Egy kommunikációs osztályon belül minden állapotnak azonos a periódusa, tehát a periódus osztálytulajdonság. Ilyen értelemben beszélhetünk az osztályok periódusáról, továbbá periodikus és aperiodikus osztályokról. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 32 / 112

33 Diszkrét idej Markov-láncok Kommunikációs osztályok és periódus A véletlen bolyongás és a játékos cs dje probléma A véletlen bolyongásnál egy osztály van, és minden állapot periódusa 2: p p p p p p p 1 p 1 p 1 p 1 p 1 p Ha a bolyongáshoz hozzáadunk két elnyel a falat, akkor az elnyel falak egyelem osztályok, periódusuk 1, és a többi állapot pedig egyetlen osztályt alkot 2 periódussal: p p p p p p p 1 a a b 1 b 1 1 p 1 p 1 p 1 p 1 p 1 p 1 p Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 33 / 112

34 Diszkrét idej Markov-láncok Kommunikációs osztályok és periódus Periodikus osztályok felbontása Legyen X Markovpα, Pq irreducibilis és periodikus d periódussal. Ekkor teljesülnek az alábbiak. 1 Az I állapottérnek létezik olyan C 0 Y Y C d 1 I diszjunk halmazokra való felbontása, hogy bármely k 0,..., d 1 esetén P X 1 P C k 1 X 0 P C k 1, ahol Cd : C 0. Ezeket a halmazokat az X Markov-lánc alosztályainak nevezzük. 2 Legyen Y px nd q npn0. Ekkor Y Markovpα, P d q. Továbbá az Y lánc kommunikációs osztályai a C 0,..., C d 1 halmazok, és ezek az osztályok aperiodikusak és zártak az Y láncban. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 34 / 112

35 Diszkrét idej Markov-láncok Az er s Markov-tulajdonság Az er s Markov-tulajdonság Legyen X px n q npn0 Markovpα, Pq az I állapottéren, és legyen F n σpx 0,..., X n q, n P N 0. Láttuk, hogy ekkor tetsz leges m P N 0 id pont és i P I állapot mellett az px m n q npn0 folyamat az tx m iu eseményre feltételesen homogén Markov-lánc, ami független az F n σ-algebrától. Arra vagyunk kíváncsiak, hogy ez az állítás érvényben marad-e akkor, ha a determinisztikus m értéket egy véletlen id pontra cseréljük. Legyen τ : Ω Ñ N 0 Y t 8u megállási id az pf n q npn0 sz résre nézve, és tekintsük a τ el tti események σ-algebráját: F τ A P A : A X tτ nu P F n, n P N 0 (. Legyen Ω 0 tτ 8u, és tekintsük az X 1 px τ n q npn0 sorozatot, ami jól deniált és mérhet az Ω 0 halmazon. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 35 / 112

36 Diszkrét idej Markov-láncok Az er s Markov-tulajdonság Er s Markov-tulajdonság Legyen X px n q npn0 diszkrét idej homogén Markov-lánc P P R I I átmenetmátrixszal. Ekkor tetsz leges τ megállási id és i P I állapot esetén az X 1 px τ n q npn0 sorozatra teljesülnek az alábbiak: A tτ 8, X τ iu eseményre feltételesen X 1 független az F τ σ-algebrától. Formálisan: tetsz leges A P σpx 1 q és B P F τ eseményekre P A τ 8, X τ i, B P A τ 8, X τ i. A tτ 8, X τ iu eseményre feltételesen X 1 Markovpδ i, Pq. A tétel csak a tτ 8, X τ iu eseményre feltételesen állít bármit is az X 1 folyamatról. Emiatt nincs szükség arra, hogy az X 1 az egész eseménytéren értelmezve legyen, elég az, hogy az Ω 0 tτ 8u Ω halmazon jól deniált. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 36 / 112

37 Diszkrét idej Markov-láncok Az er s Markov-tulajdonság Az er s Markov-tulajdonság a bolyongásra Legyen X px n q npn0 a véletlen bolyongás, τ a egy adott a P Z érték els elérési ideje, τ a folyamat els lokális maximamuma: τ a mintn P N 0 : X n au τ mintn P N 0 : X n 1 X n 1u τ τ a a n Az els elérési id megállási id, tehát az px τa nq npn0 folyamat a tτ a 8, X τa au tτ a 8u eseményre feltételesen szintén véletlen bolyongás. Látni fogjuk, hogy a szimmetrikus esetben Ppτ a 8q 1, vagyis ekkor az er s Markov-tulajdonság állításai a tτ a 8u feltétel nélkül is teljesülnek. Az els lokális maximumra nem teljesül az er s Markov-tulajdonság, hiszen az px τ n q npn0 sorozat nem véletlen bolyongás: PpX τ 1 i 1 X τ iq 0 p PpX 1 i 1 X 0 iq. Ez nem ellentmondás, hiszen τ nem megállási id. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 37 / 112

38 Diszkrét idej Markov-láncok Az állapotok típusai Az állapotok típusai A továbbiakban X Markovpδ i, Pq, ahol i P I rögzített állapot. Visszatérési id k, visszatérési valószín ség Az i állapotba való r-edik visszatérés ideje: τ i,0 : 0, # τ i,r : mintn τ i,r 1 : X n iu, τ i,r 1 8, 8, τ i,r 1 8, r 1, 2,... A továbbiakban τ i az els visszatérési id t jelöli, ennek várható értéke µ i : Epτ i q P r0, 8s. (Els ) visszatérési valószín ség: f i : Ppτ i 8q. Visszatérések száma: V i : suptr P N 0 : τ i,r 8u. A visszatérési id k N 0 Y t 8u érték megállási id k. Ebb l az is következik, hogy a µ i várható érték jól deniált. Az i állapotban tett látogatások száma: V i 1. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 38 / 112

39 Diszkrét idej Markov-láncok Az állapotok típusai A visszatérések számának eloszlása Ha f i 1, akkor V i 1 geometriai eloszlású 1 f i paraméterrel, míg ha f i 1, akkor V i 8 majdnem biztosan. Továbbá mindkét esetben Az állapotok típusai EpV i q f i 8 n0 p pnq i,i. Legyen X Markovpδ i, Pq, ahol i P I rögzített állapot. Az i állapot tranziens, ha V i 8 majdnem biztosan. Az i állapot rekurrens, ha V i 8 majdnem biztosan. Legyen i rekurrens állapot. Ez az állapot null-rekurrens, ha µ i 8, és pozitív rekurrens, ha µ i 8. Megjegyzés: A fenti tétel szerint tetsz leges i állapot esetén vagy PpV i 8q 1 vagy pedig PpV i 8q 1. Emiatt minden állapot beleesik valamelyik típusba. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 39 / 112

40 Diszkrét idej Markov-láncok Az állapotok típusai Minden elnyel állapot pozitív rekurrens Ha i elnyel állapot, akkor Ppτ i 1q 1. Ekkor a visszatérések száma V i 8 majdnem biztosan, továbbá µ i Epτ i q 8. A véletlen bolyongás elnyel falakkal A b és a a, állapot elnyel, tehát ez a két állapot pozitív rekurrens. A többi i állapotra f i 1, tehát ezek az állapotok tranziensek. p p p p p p p 1 a a b 1 b 1 1 p 1 p 1 p 1 p 1 p 1 p 1 p A periodikus állapotok típusa (házi feladat) Legyen X px n q npn0 irreducibilis Markov-lánc d P p1, 8q periódussal, és legyen Y px nd q npn0. Ekkor tetsz leges i P I állapotnak azonos a típusa az X és az Y láncban. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 40 / 112

41 Diszkrét idej Markov-láncok Az állapotok típusai A visszatér ségi kritérium Legyen i P I tetsz leges állapot. 1 Az i állapot pontosan akkor tranziens, ha f i 1, amivel az is ekvivalens, hogy 8 n0 p pnq i,i 8. 2 Az i állapot pontosan akkor null-rekurrens, ha 8 n0 p pnq i,i 8 és lim p pnq nñ8 i,i 0. 3 Az i állapot pontosan akkor pozitív rekurrens, ha 8 p pnq i,i 8 és lim sup p pnq i,i 0. nñ8 n0 Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 41 / 112

42 Diszkrét idej Markov-láncok Az állapotok típusai Tranziens és null-rekurrens állapotok limeszvalószín ségei Legyen X px n q npn0 homogén Markov-lánc, és legyen j tranziens vagy null-rekurrens állapot. Ekkor tetsz leges i állapotra lim nñ8 ppnq i,j lim PpX n jq 0. nñ8 Szolidaritási tétel az állapotok típusára Egy osztályon belül minden állapotnak azonos a típusa, tehát a típus osztálytulajdonság. Következmény: Beszélhetünk tranziens, null-rekurrens és pozitív rekurrens osztályokról annak megfelel en, hogy mi az állapotok típusa. Zárt és nyitott osztályok típusa 1 Minden nyitott osztály tranziens. 2 Minden rekurrens osztály zárt. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 42 / 112

43 Diszkrét idej Markov-láncok Az állapotok típusai Az el z állítás nem megfordítható. Például látni fogjuk, hogy a nem szimmetrikus véletlen bolyongás tranziens, pedig csak egy kommunikációs osztálya van, ami nyilvánvalóan zárt. A véges kommunikációs osztályok típusa Egy véges kommunikációs osztály pontosan akkor rekurrens, ha zárt. Továbbá, egy véges osztály nem lehet null-rekurrens. A rekurrens állapotok elérhet sége Legyen X px n q npn0 diszkrét idej homogén Markov-lánc az I állapottéren, és legyen C I a lánc egy rekurrens osztálya. Ekkor teljesülnek az alábbiak. Tetsz leges i, j P C esetén P Dn P N 0 : X n j X 0 i P valaha elérjük j-t X 0 i 1. Arra az eseményre feltételesen, hogy a folyamat valaha eléri a C osztályt, a folyamat 1 valószín séggel minden C-beli állapotot végtelen sokszor meglátogat. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 43 / 112

44 Diszkrét idej Markov-láncok A véletlen bolyongás és Pólya György tétele A véletlen bolyongás és Pólya György tétele Legyen px n q npn0 az (egydimenziós) véletlen bolyongás. Tehát legyen Z 1, Z 2,... független és azonos eloszlású változó, melyek eloszlása és legyen PpZ n 1q p, PpZ n 1q 1 p, n 1, 2,..., X 0 0, X n X n 1 Z n Z 1 Z n, n 1, 2,... A nem szimmetrikus bolyongás asszimptotikus viselkedése A véletlen bolyongásra 1 valószín séggel # lim X 8, p 1{2, n nñ8 8, p 1{2. Ebb l következik, hogy a nem szimmetrikus véletlen bolyongás tranziens. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 44 / 112

45 Diszkrét idej Markov-láncok A véletlen bolyongás és Pólya György tétele Az egydimenziós véletlen bolyongás típusa A véletlen bolyongás null-rekurrens, ha p 1{2, és tranziens, ha p 1{2. A magasabbdimenziós szimmetrikus bolyongás Adott d pozitív egész szám mellett legyen e k pδ k,1,..., δ k,d q, k 1,..., d, az R d Euklídeszi tér standard bázisa. Legyen továbbá Z 1, Z 2,... független és azonos eloszlású vektorváltozó, melyek eloszlása PpZ n e k q 1{p2dq PpZ n e k q, k 1,..., d. Ekkor az X 0 0, X n Z 1 Z n, formulával deniált px n q npn0 folyamatot d-dimenziós szimmetrikus bolyongásnak nevezzük. Könnyen megmutatható, hogy ez a folyamat Markov-lánc a Z d állapottéren. Pólya György tétele (1921) A szimmetrikus bolyongás null-rekurrens, ha d 2, és tranziens, ha d 3. A részeg ember mindig hazatalál, de a részeg madár már nem feltétlenül. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 45 / 112

46 Diszkrét idej Markov-láncok Invariáns mértékek és invariáns eloszlások Invariáns mértékek és invariáns eloszlások Legyen X homogén Markov-lánc P P R I I átmenetmátrixszal. A célunk olyan kezdeti eloszlást keresni, mely id ben állandó (stacionárius,) ami azt jelenti, hogy a folyamatot ebb l az eloszlásból indítva ez lesz az eloszlása az X 1, X 2,... változóknak is. Invariáns eloszlás Egy π rπ i s ipi eloszlás az X Markov-lánc invariáns eloszlása vagy stacionárius eloszlása, ha X 0 π esetén X 1 π. Az invariáns eloszlás ekvivalens deníciói Legyen π rπ i s ipi eloszlás. Ekkor az alábbiak ekvivalensek. 1 A π az X Markov-lánc invariáns eloszlása. 2 X 0 π esetén X n π, n 1, 2, π a P mátrix λ 1 sajátértékhez tartozó bal oldali sajátvektora, tehát π πp. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 46 / 112

47 Diszkrét idej Markov-láncok Invariáns mértékek és invariáns eloszlások Megjegyzések: Az invariáns eloszlás nem is a lánctól, hanem az átmenetmátrixtól függ. Helyesebb lenne azt mondani, hogy P invariáns eloszlása. Egy sztochasztikus mátrixnak a λ 1 mindig sajátértéke, hiszen az r1s ipi oszlopvektor jobboldali sajátvektor. Ez azt jelenti, hogy mindig létezik olyan π rπ i s ipi vektor, amire π πp. De ez a vektor nem feltétlenül eloszlás, lehetnek negatív komponensei is. Egy π rπ i s ipi vektor pontosan akkor invariáns eloszlás, ha π j 0, π i 1, π j π i p i,j, j P I. ipi Tranziens és null-rekurrens mértéke az invariáns eloszlás szerint Legyen X homogén Markov-lánc, aminek létezik π invariáns eloszlása. Ekkor tetsz leges i tranziens vagy null-rekurrens állapot esetén π i 0. Ebb l következik, hogy az invariáns eloszlás a pozitív rekurrens osztályokra van koncentrálva. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 47 / 112 ipi

48 Diszkrét idej Markov-láncok Invariáns mértékek és invariáns eloszlások A továbbiakban irreducibilis és rekurrens láncokat vizsgálunk. Ehhez általánosítanunk kell az invariáns eloszlás fogalmát. Invariáns mérték Legyen P P R I I átmenetmátrix az I állapottéren. Egy π rπ i s ipi vektort mértéknek nevezünk, ha a komponensei nemnegatív valós számok. Azt mondjuk, hogy a mérték véges, ha az állapottér mértéke véges: πpiq : ipi π i 8. Egy π mérték invariáns vagy stacionárius mérték, ha π πp. Az egydimenziós véletlen bolyongás invariáns mértékei Az egydimenziós véletlen bolyongásnak nincsen invariáns eloszlása, hiszen a folyamat a p paramétert l függ en vagy tranziens vagy null-rekurrens. Ezzel szemben tetsz leges c 0 esetén π rcs ipi invariáns mérték, ugyanis π πp. Ez a mérték csak akkor véges, ha c 0, tehát π nem invariáns eloszlás. Kérdések: Vannak további invariáns mértékek is? Mi a helyzet a magasabbdimenziós esetben? Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 48 / 112

49 Diszkrét idej Markov-láncok Invariáns mértékek és invariáns eloszlások Invariáns mértékek rekurrens Markov-láncokon Legyen X px n q npn0 rekurrens irreducibilis Markov-lánc P rp i,j s i,jpi átmenetmátrixszal. Adott k P I mellett legyen γ pkq rγ pkq i s ipi, ahol γ pkq i : E τk 1 n0 1 txniu X 0 k, i P I. Tehát γ pkq i a k állapotba való els visszatérésig az i állapotban tett látogatások számának várható értéke. Ekkor teljesülnek az alábbiak. 1 γ pkq k 1 és γ pkq piq µ k. 2 γ pkq invariáns mérték. 3 Minden invariáns mérték cγ pkq, c 0, alakban áll el. 4 Ha az osztály pozitív rekurrens, akkor minden invariáns mérték véges, ha null-rekurrens, akkor π 0 az egyetlen véges invariáns mérték. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 49 / 112

50 Diszkrét idej Markov-láncok Invariáns mértékek és invariáns eloszlások Az egydimenziós szimmetrikus bolyongás invariáns mértékei Az egydimenziós szimmetrikus bolyongás esetében a π r1s ipi mérték invariáns. Mivel minden invariáns mérték cγ p0q alakú, és γ p0q 0 1, azt kapjuk, hogy γ p0q π, vagyis minden invariáns mérték rcs ipi alakú. Irreducibilis Markov-láncok invariáns eloszlása Egy irreducibilis Markov-láncnak akkor és csak akkor létezik π rπ i s ipi invariáns eloszlása, ha a lánc pozitív rekurrens. Ekkor az invariáns eloszlás egyértelm, és π i 1{µ i minden i állapotra. A homogén Markov-láncok invariáns eloszlásainak karakterizációja Egy homogén Markov-láncnak akkor és csak akkor létezik invariáns eloszlása, ha a láncnak van pozitív rekurrens osztálya. Ha ez teljesül, akkor legyenek π p1q, π p2q,... az egyes pozitív rekurrens osztályok egyértelm invariáns eloszlásai. Egy π eloszlás pontosan akkor invariáns eloszlása az egész Markov-láncnak, ha el áll π a 1 π p1q a 2 π p2q alakban valamilyen a 1, a 2,... 0, a 1 a 2 1, együtthatókkal. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 50 / 112

51 Diszkrét idej Markov-láncok Diszkrét idej Markov-láncok ergodicitása Diszkrét idej Markov-láncok ergodicitása Konvergencia az egyensúlyhoz Legyen X px n q npn0 irreducibilis, aperiodikus és pozitív rekurrens Markov-lánc π invariáns eloszlással. Ekkor tetsz leges i, j állapotokra lim nñ8 ppnq i,j lim PpX n jq π j 1{µ j. nñ8 Szükség van a tételben minden feltételre? Ha j tranziens vagy null-rekurrens, akkor további feltétel nélkül: lim nñ8 ppnq i,j lim PpX n jq 0 1{µ j. nñ8 Ha a lánc pozitív rekurrens, de periodikus d periódussal, akkor p pnq i,j 0, ha d n, és lim nñ8 p pndq i,j d{µ j 0. Ha j pozitív rekurrens, de a láncnak több osztálya is van, akkor a határértékek függhetnek i osztályától illetve a kezdeti eloszlástól. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 51 / 112

52 Diszkrét idej Markov-láncok Diszkrét idej Markov-láncok ergodicitása Ergodicitás (nagy számok törvényei) Legyen X px n q npn0 irreducibilis homogén Markov-lánc. 1 Tetsz leges j állapot esetén a folyamat hosszútávon átlagosan µ j Epτ j q lépésenként látogatja meg a j-t: n 1 1 lim 1 nñ8 n txmju 1 m.b. µ m0 j 2 Tegyük fel, hogy a folyamat pozitív rekurrens, és tekintsünk egy tetsz leges c : I Ñ R függvényt. Legyen π rπ i s ipi a folyamat invariáns eloszlása, és tegyük fel, hogy c : cpiqπ i 8. Ekkor ipi n 1 1 lim cpx m q c nñ8 n m0 Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 52 / 112 m.b

53 Felújítási folyamatok Számláló folyamatok Számláló folyamatok A továbbiakban folytonos idej és nemnegatív egész érték sztochasztikus folyamatokkal foglalkozunk, és az indexhalmaz T r0, 8q lesz. Számláló folyamat Legyen S 1, S 2,... 0 tetsz leges nemnegatív érték véletlen változó, és tekintsük a részletösszeg sorozatot: T 0 0, T n S 1 S n, n 1. Ekkor a kapcsolatos számláló folyamatot a következ módon deniáljuk: X t # n 1 : T n t ( maxtn 0 : T n tu, t S 1 S 2 S 4 T 1 T 2,T 3 T 4 t Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 53 / 112

54 Felújítási folyamatok Számláló folyamatok Számláló folyamatokkal valamilyen ismétl d esemény bekövetkezéseit szoktuk modellezni, az X t érték azt mutatja meg, hogy ez az esemény hányszor következett be a r0, ts id intervallumon. Például: Biztosításmatematika: káresemények száma egy adott kártípusnál. Tömegkiszolgálási modellek: kiszolgált ügyfelek száma. Felújításelmélet: hányszor kellett kicserélnünk egy alkatrészt. A számláló folyamat trajektóriái rendelkeznek az alábbi tulajdonságokkal: a trajektóriák monoton növekv ek; càdlàg tulajdonság, tehát a trajektóriák mindenhol jobbról folytonosak, és mindenhol van baloldali határértékük (continue à droite, limitée à gauche); tetsz leges s t esetén X t X s az ps, ts intervallumon bekövetkezett események száma. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 54 / 112

55 Felújítási folyamatok Számláló folyamatok Sztochasztikus folyamat felrobbanása Egy px t q t 0 folyamat felrobban a τ 0 véletlen vagy determinisztikus id pontban, ha X t 8 minden t τ esetén, és lim tòτ X t 8. Megjegyzések: Kényelmi okokból most a τ 8 esetet is felrobbanásnak nevezzük, de ez könyvenként változó. Minden számláló folyamat felrobban 1 valószín séggel, id pontja: τ lim nñ8 T n S 1 S 2 P r0, 8s. Ha S 1, S 2,... független változó, akkor tτ 8u farokesemény, és a Kolmogorov 0-1 törvény szerint Ppτ 8q P t0, 1u. Az általános esetben ez nem feltétlenül teljesül. Feladat: Konstruáljunk olyan számláló folyamatot, mely 1{2 valószín séggel véges id ben felrobban, és 1{2 valószín séggel τ 8. τ t Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 55 / 112

56 Felújítási folyamatok Számláló folyamatok Független exponenciális változók sorai Legyen S 1, S 2,... független és exponenciális változó rendre λ 1, λ 2,... paraméterrel. Ekkor az 8 S n1 n sor vagy 1 valószín séggel konvergens, vagy 1 valószín séggel divergens. Továbbá, a 8 S n1 n sor pontosan akkor konvergens, ha 8 1{λ n1 n 8. A tisztán születési folyamat Ha egy px t q t 0 számláló folyamat esetében az S 1, S 2,... változók függetlenek és exponenciális eloszlásúak rendre valamilyen λ 1, λ 2,... 0 paraméterrel, akkor a folyamatot tisztán születési folyamatnak nevezzük. Ezen folyamat esetében a felrobbanás id pontja τ S 1 S 2, amire Ppτ 8q P t0, 1u. Továbbá, a Ppτ 8q 1 egyenl ség pontosan akkor teljesül, ha 1{λ 1 1{λ 2 8. Ha speciálisan a paraméterek egyenl ek, akkor Ppτ 8q 0, tehát a folyamat 1 valószín séggel nem robban fel véges id ben. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 56 / 112

57 Felújítási folyamatok Számláló folyamatok Várható érték függvény Egy px t q t 0 valós érték sztochasztikus folyamat várható érték függvénye az mptq EpX t q függvény, mely azon t 0 pontokban van értelmezve, ahol a várható érték létezik. Számláló folyamatok eloszlása és várható érték függvénye Legyen px t q t 0 számláló folyamat, és jelölje rendre F Tn a T n változó eloszlásfüggvényét. Ekkor az alábbiak teljesülnek minden t 0 értékre. 1 PpX t nq F Tn ptq F Tn 1 ptq, n P N 0 ; 2 Ppτ tq lim nñ8 F Tn ptq; 3 EpX t q 8 n1 F T n ptq. Ha px t q t 0 olyan számláló folyamat, hogy az S 1, S 2,... változók függetlenek, akkor a fenti eloszlásfüggvények számolhatóak konvolúcióval:» F Tn 1 ptq F Tn S n 1 ptq F Tn F Sn 1 ptq F Tn pt sq df Sn 1. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 57 / 112 R

58 Felújítási folyamatok Felújítási folyamatok Felújítási folyamatok Felújítási folyamat és felújítási függvény Egy px t q t 0 számláló folyamatot felújítási folyamatnak nevezünk, ha az S 1, S 2,... változók függetlenek és azonos eloszlásúak. Ebben az esetben a kapcsolatos mptq EpX t q, t 0, várható érték függvényt felújítási függvénynek hívjuk T 1 T 2,T 3 T 4 Megjegyzés: Ha PpS 1 0q 1, akkor a folyamat 1 valószín séggel felrobban a τ 0 pontban. A továbbiakban ezt az esetet ki fogjuk zárni, tehát feltesszük, hogy PpS 1 0q 1. Ekkor EpS 1 q P p0, 8s. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 58 / 112 t

59 Felújítási folyamatok Felújítási folyamatok A Gamma-függvény az alábbi integrál:» 8 Γpαq x α 1 e x dx P p0, 8q, α 0. 0 Ha egy T változó Gamma-eloszlást követ α 0 renddel és λ 0 paraméterrel, akkor a s r ségfüggvénye, várható értéke és varianciája: f T pxq λα Γpαq x α 1 e λx, x 0, EpT q α λ, VarpT q α λ 2. Speciálisan, ha α n 1 egész szám, akkor Γpnq pn 1q! és 8 pλtq k F T ptq e λt, t 0. k! kn Független és azonos eloszlású exponenciálisok összege Ha S 1,..., S n független és azonos eloszlású exponenciális változó λ 0 paraméterrel, akkor az S 1 S n összeg Gamma-eloszlást követ n renddel és λ paraméterrel. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 59 / 112

60 Felújítási folyamatok Felújítási folyamatok A Poisson-folyamat Az px t q t 0, felújítási folyamat λ intenzitású Poisson-folyamat, ha S 1, S 2,... exponenciális eloszlású λ paraméterrel. Tulajdonságai: A T n S 1 S n felújítási id pont Gamma-eloszlást követ: EpT n q n λ, VarpT nq n 8 λ, F pλtq k 2 T n ptq e λt, t 0. k! kn Az X t változó Poisson-eloszlású λt paraméterrel: PpX t nq F Tn ptq F Tn 1 ptq pλtqk e λt, n P N 0. k! A felújítási függvény: mptq EpX t q λt, t 0. Az intenzitás jelentése: egy ps, ts intervallumra várható értékben EpX t X s q mptq mpsq λpt sq felújítás esik. A felrobbanás id pontja τ 8 majdnem biztosan, ugyanis Ppτ tq lim nñ8 F Tn ptq 0, t 0. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 60 / 112

61 Felújítási folyamatok Felújítási folyamatok Sztochasztikus folyamatok növekményei Egy px t q t 0 sztochasztikus folyamat növekménye egy ps, ts r0, 8q intervallumon az X t X s változó. A folyamat stacionárius növekmény, ha X t X s és X t s X 0 azonos eloszlású változó tetsz leges 0 s t esetén, tehát a növekmény eloszlása csak az intervallum hosszától függ. A folyamat független növekmény, ha tetsz leges k 1 egész és ps 1, t 1 s,..., ps k, t k s diszjunkt intervallumok esetén a kapcsolatos X t1 X s1,..., X tk X sk növekmények függetlenek. A Poisson-folyamat ekvivalens deníciói Legyen px t q t 0 számláló folyamat. Ekkor az alábbiak ekvivalensek. 1 Az folyamat Poisson-folyamat λ intenzitással. 2 A folyamat független és stacionárius növekmény, és tetsz leges t 0 esetén X t Poisson-eloszlást követ λt paraméterrel. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 61 / 112

62 Felújítási folyamatok Felújítási folyamatok A felújítási folyamat aszimptotikus viselkedése Legyen px t q t 0 felújítási folyamat, ahol PpS 1 0q 1. Ekkor X t lim tñ8 t 1 EpS 1 q mptq m.b. és lim 1 tñ8 t EpS 1 q. Tehát hosszútávon id egységenként átlagosan 1{EpS 1 q felújítás történik, és a felújítási függvénynek ezzel azonos a rendje. Megjegyzések: A második konvergenciát elemi felújítási tételnek nevezzük. Ha EpS 1 q 8, akkor X t és mptq aszimptotikusan lineáris: X t t EpS 1 q és mptq t EpS 1 q, t Ñ 8. Ha EpS 1 q 8, akkor X t optq és mptq optq, t Ñ 8. A felújítási folyamat és a felújítási függvény nem robban fel véges id ben, és a felújítási függvény càdlàg függvény. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 62 / 112

63 Felújítási folyamatok Felújítási folyamatok Felújítási díjfolyamatok Legyen ps n, C n q, n 1, független és azonos eloszlású, ahol S 1 0 majdnem biztosan, és legyen px t q t 0 az S 1, S 2,... változók által meghatározott felújítási folyamat. A kapcsolatos felújítási díjfolyamat: R t X t n1 C n C 1 C Nt, t 0. Tehát a felújítások az élettartamtól függ költséggel járnak, és az változó a r0, ts intervallumon jelentkez teljes költség. R t A felújítási díjfolyamat aszimptotikus viselkedése Legyen pr t q t 0 felújítási díjfolyamat, és tegyük fel, hogy PpS 1 0q 1 és Ep C 1 q 8. Ekkor R t lim tñ8 t EpC 1q EpS 1 q EpR t q m.b. és lim EpC 1q tñ8 t EpS 1 q. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 63 / 112

64 Folytonos idej Markov-láncok Deníció, átmenetvalószín ségek Folytonos idej Markov-láncok Legyen X px t q t 0 sztochasztikus folyamat az I megszámlálható állapottéren. Folytonos idej Markov-láncok Az X folyamat folytonos idej Markov-lánc, ha tetsz leges n 1 egész, i 1,..., i n, i, j állapotok, és 0 s 1... s n s t id pontok esetén P X t j X s i, X sn i n,..., X s1 i 1 P Xt j X s i amennyiben a feltétel valószín sége pozitív. A folytonos idej Markov-lánc átmenetvalószín ségei: p i,j ps, tq P X t j X s i, 0 s t, i, j P I. Az átmenetmátrix: Pps, tq p i,j ps, tq i,jpi P RI I, 0 s t. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 64 / 112

65 Folytonos idej Markov-láncok Deníció, átmenetvalószín ségek Az átmenetmátrix tulajdonságai Tetsz leges 0 s t esetén Pps, tq sztochasztikus mátrix, és Pps, sq E I : δ i,j i,jpi. Folytonos idej Markov-láncok ekvivalens deníciói Legyen X px t q t 0 megszámlálható állapotter folyamat, és legyen F t σpx s : s tq, G t σpx s : s tq, t 0. Ekkor az alábbiak ekvivalensek. 1 Az X folyamat folytonos idej Markov-lánc. 2 Tetsz leges t 0 id pont, i P I állapot, továbbá A P G t és B P F t események mellett PpA X t i, Bq PpA X t iq. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 65 / 112

66 Folytonos idej Markov-láncok Deníció, átmenetvalószín ségek Folytonos idej homogén Markov-láncok Az X px t q t 0 folytonos idej Markov-lánc homogén, ha tetsz leges 0 s t és i, j P I esetén p i,j ps, tq p i,j p0, t sq, tehát az átmenetvalószín ségek csak a vizsgált id intervallum hosszától függnek. Ekkor legyen p pt sq i,j : p i,j ps, tq és P pt sq : Pps, tq. A Markov-lánc kezdeti eloszlása: α α i s ipi, ahol α i PpX 0 iq. Mi legyen az állapottér? Elég, ha I N 0, mint a diszkrét idej esetben? Most a folyamat felrobbanhat véges id ben, tehát a rendszer elérheti a 8 állapotot. A továbbiakban legyen I N 0 Y t8u, és megköveteljük, hogy a 8 állapot legyen elnyel, de ne legyen kezdeti állapot. Benke János, Sz cs Gábor (SZTE) Sztochasztikus folyamatok tavaszi félév 66 / 112