1 Feltételes várható érték. Példák E[X Y]-ra. 3 feltételes várható érték. 4 Martingálok. 5 Hivatkozások. F X Y (x y) P(X < x Y [y, y + y))

Átírás

1 Feltételes várható érték Sztochasztikus folyamatok Simon Károly Ez az előadás Rick Durrett Essentials of Stochastic processes könyvére épül Department of Stochastics Institute of Mathematics Technical University of Budapest E file Feltételes várható érték 5 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték Ismétlés: feltételes eloszlások Feltételes eloszlásokról [, 6.5. fejezet-ben tanultak. Ha például adva vannak az X, Y együttesen folytonos valószínűségi változók, együttes sűrűségfüggvényük f(x, y). Képeztük az f Y (y) = f(x, y)dx marginális sürűségfüggvényt. Ha f Y (y) 0, akkor az X változónak az {Y = y} (nulla valószínűségű) eseményre vonatkozó feltételes sűrűségfüggvénye: f X Y (x y) = f(x,y) f Y (y). Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték Ismétlés: feltételes eloszlások (cont.) Ennek megfelelően: E[X Y = y = xf X Y (x, y)dx, ha f Y (y) > 0. Ezt [, 7. fejezet-ben tanulták. Ha Y -t nem rögzítjük, E[X Y maga is egy v.v. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték Ismétlés: feltételes eloszlások (cont.) Ez abból jött ki, hogy F X Y (x y) P(X < x Y [y, y + y)) F(x, y + y) F(x, y) = P(Y [y, y + y)) = Ezt x-szerint differenciálva kaptuk: F(x,y+ y) F(x,y) y P(Y [y,y+ y)) y f X Y (x y) = F x,y(x, y) = f(x,y) f Y (y) f Y (y). F y(x, y) f Y (y). Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték Ismétlés: feltételes eloszlások (cont.) LEMMA (L. [, 7. fejezet) Legyenek u, v : R R Borel mérhető függvények. Ekkor (a) E[u(X) v(y) Y = v(y) E[u(X) Y, ahol u, v Borel mérhető függvények. (b) g : R R Borel mérhető függvényre: E[g(X, Y) = E[E[g(X, Y) Y () Ez a toronyszabály. Speciálisan: Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték 5 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) E[X Sztochasztikus = E[E[X Y. folyamatok () 6 / 7 PÉLDA Határozzuk meg E[X Y-t, ha Megoldás: f X Y (x y) = f(x, y) = e x/y e y y, ha 0 < x, y <. Tehát E[X Y = y = E[X Y = Y. f(x, y) f Y (y) = (/y)e x/y e y (/y)e x/y e y dx = 0 x y e x/y dx = y. Innen e x/y Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 y.

2 PÉLDA Legyen T := [0, [0,. f(x, y) = (x + y), ha (x, y) T; 0, egyébként. Határozzuk meg azt a g : R R függvényt, amelyre E[X Y = g(y). Megoldás: f Y (y) = f X Y (x y) = f(x, y)dx = (+y). f(x, y) f Y (y) = x+y +y ha (x, y) T. Tehát E[X Y = y = = x f X Y (x y)dx x x + y +y dx = 6 +y +y. Legyen g(y) := 6 +y +y. Ekkor a fentiből: E[X Y = g(y). Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 PÉLDA Legyen X = Uniform(0, ) és Y X = x = Uniform(0, x), ha 0 < x <. Ekkor [, 6.. Példa és [, 7.9. Példa tanulták, hogy E[X Y = Y ln Y. Az alábbi lemma ezt a tulajdonságot fogalmazza meg: LEMMA 5 Legyenek X, Y,..., Y n valószínűségi változók. Ekkor létezik olyan g : R R Borel mérhető függvény, amelyre E[X Y,..., Y n = g(y,..., Y n ). () Ezt arra az esetre láttuk mikor n = és az (X, Y) együttesen folytonos. De az általános esetben is pontosan ugyan ezen okból teljesül a fenti állítás. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Egy kis mértékelmélet Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Egy kis mértékelmélet (cont.) Adott egy (Ω, A, P) valószínűségi mező. DEFINÍCIÓ 6 Legyen B n a Borel σ-algebra R n -en. Ha n =, akkor csak B-t írunk. ξ : Ω R n egy valószínűségi változó (jelben v.v vagy r.v.), ha ξ (B n ) A. A ξ,..., ξ n v.v. által generált σ-algebra σ(ξ,..., ξ n ) = ξ (B n ). () η A azt jelenti, hogy η mérhető A-ra. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Egy kis mértékelmélet (cont.) Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Egy kis mértékelmélet (cont.) TÉTEL 7 η és ξ,..., ξ n v.v. (Ω, A,P). F := σ(ξ,..., ξ n ). Egy η F, g : R n R, Borel mérhető függvény, amelyre η(ω) = g(ξ (ω),..., ξ n (ω)). (5) A tétel nem csak folytonos v.v.-re szól, bizonyítása: [,.6 Fejezet olvasható. MEGJEGYZÉS Itt a 7. Tétel jelöléseit használjuk. Legyen A A egy esemény. Ekkor A F A F (6) g, A (ω) = g(ξ (ω),..., ξ n (ω)), ahol g : R n R Borel mérhető függvény. Vagyis A A bekövetkezése pontosan akkor dönthető el egyértelműen a (ξ,..., ξ n ) ismeretében, ha A σ(ξ,..., ξ n ). Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

3 Feltételes várható érték egy tulajdonsága Jelöljük: E[X; A := E[X A, ahol A A. TÉTEL 9 (a) E[X Y σ(y) (b) A σ(y), E[X; A = E[E[X Y;A Az (a) rész következik a 7. tételből. (b) rész bizonyítása. Rögzítsünk a < b tetszőleges valós számokat és legyen A = Y ([a, b). Nyilván elég az ilyen alakú halmazokra igazolni a tétel (b) részét. Feltételes várható érték egy tulajdonsága (cont.) Legyen g(x, y) := x [a,b (y). Most alkalmazni fogjuk az. Lemmának előbb a (b) majd az (a) részét: E[X; A = E[g(X, Y) = E[E[g(X, Y) Y = E [ E [ X [a,b (Y) Y = E [ [a,b(y) E[X Y = E[E[X Y;A. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték σ-algebrára Definiálni szeretnénk a σ-algebrára vonatkozó feltételes várható értéket. Úgy vehetjük, hogy az Y v.v.-re vett p.l. a 9. Tételben, a σ(y)-algebrára vett. Cél: Ezt a definíciót kiterjeszteni tetszőleges (tehát nem csak a folytonos) v.v-nek egy tetszőleges F A σ-algebrára vett ké. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 DEFINÍCIÓ 0 (σ-algebrára vonatkozó feltételes várható érték) Adott egy (Ω, A, P) valószínűségi mező. Legyen X egy v.v. amelyre: X(ω) dp(ω) <. Ω F az A-nak rész σ-algebrája. Az X-nek az F-re vonatkozó e (jelben E[X F ) egy olyan Z v.v., amelyre: (a) Z F, (Z mérhető az F-re) és (b) A F-re: XdP = ZdP. (7) A A Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 MEGJEGYZÉS A fenti (a) és (b) pontok a 9. Tétel (a) és (b) pontjainak az általánosításai, abban az értelemben, hogy a 9. Tételben F = σ(y). Vagyis az E[X F az E[X Y-nak az általánosítása, ez utóbbinak a 9. tételben megfogalmazott tulajdonságai mentén. Ha a Z v.v. teljesíti a fenti feltételeket, azt mondjuk, hogy Z az E[X F egy verziója. Lent belátjuk, hogy E[X F létezik és egyértelmű meghaladja. Ebben a fejezetben a [ könyvet követjük. F is generated by { [0, ),[, ),[,)} E[X F 0 X Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték definíciója 5 Legyen ξ egy integrálható v.v. az (Ω, A, P)-n ( ξ(ω) dω < ), és legyen F A rész σ-algebra. Most definiálni fogjuk a ξ-nek az F σ-algebrára vonatkozó ét, E[ξ F-et. Ennek lényege, hogy sok esetben F adja meg a számunkra elérhető információt. (Gondoljunk a 7. Tételre.) Ennek birtokában az X értékére a legjobb becslés a most definiálásra kerülő E[ξ F. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

4 Feltételes várható érték definíciója (cont.) Az E[ξ F definiálása céljából először is vezessük be a µ ξ előjeles mértéket az A-n: µ ξ (B) := B ξ(ω)dp(ω), B A. () Nyilván µ ξ egy előjeles mérték. Definícióból adódóan: µ ξ P. (9) Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték definíciója (cont.) Vegyük észre, hogy: a fenti (a) és (b) feltétel ugyanaz mint a 7 Definícióbeli (a) és (b) feltételek, ezért E[ξ F, létezik, E[ξ F majdnem mindenütt egyenlő a dµ F dp F Radon-Nikodym deriválttal Radon-Nikodym derivált mod 0 egyértelműségéből adódóan E[ξ F is egyértelmű ebben az értelemben. A dµ F dp F Radon-Nikodym derivált a E[ξ F nek egy verziója. Feltételes várható érték definíciója (cont.) Ha mind µ ξ -t, mind P-t megszorítjuk F-re kapjuk a µ F és P F mértékeket. A (9) formulabeli abszolut folytonosság a megszorított mértékekre is fenn áll: Tekintsük az f := dµ F dp F Radon-Nikodym deriváltat. Ekkor (a) f F és (b) E F: E µ ξ F P F. (0) fdp = µ ξ (E) = ξdp. E Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték definíciója (cont.) DEFINÍCIÓ (Feltételes valószínűség) Legyen F az A rész σ-algebrája. Minden A A-ra az A feltételes valószínűségét az F σ-algebrára: P(A F) := E[ A F. () Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték tulajdonságai I (a) Linearitás: E[aX + by F = ae[x F+bE[Y F (b) Monotonitás: Ha X Y, akkor E[X F E[Y F. (c) Csebisev egyenlőtlenség: P( X a F) a E [ X F. () (d) Monoton konvergencia tétel: Tegyük fel, hogy X n 0, X n X, E[X < akkor E[X n F E[X F. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték tulajdonságai II (e) A fentit Y Y n -re alkalmazva: Ha Y n Y, E[ Y,E[ Y <, akkor E[X n F E[X F. (f) Jensen egyenlőtlenség: Ha ϕ konvex, E[ X,E[ ϕ(x) <, akkor ϕ(e[x F) E[ϕ(X) F. () (g) Feltételes Cauchy Schwarz: E[XY F E [ X F E [ Y F. () Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték tulajdonságai III (h) X E[X F egy kontrakció az L p -n, ha p : E[ E[X F p E[ X p (i) Ha F F, akkor E[E[X F F = E[X F E[E[X F F = E[X F Vagyis mindig a primitívebb σ-algebra győz. (Ismerős az életből?) (j) Ha X F, E[ Y,E[ XY <, akkor E [ X Y F = X E[Y F. (5) Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték tulajdonságai III (k) E[X F mint projekció: Tegyük fel, hogy E [ X <. Ekkor E[X F az X-nek a L (Ω, F,P)-re vett merőleges vetülete. Más szóval: E [ (X E[X F) = min Y F E [ (X Y) (l) X E[X F önadjungált az L (Ω, A,P)-n: E[X E[Y F = E[E[X F E[Y F. = E[E[X F Y. (6) Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

5 Feltételes várható érték tulajdonságai V Definiáljuk: a σ-algebrára vonatkozó feltételes variációt (L. [, 7.5 Definíció és [, 7.6. Állítás): Var(X F) := E [ X F E[X F. Ekkor (m) Var(X)=E[Var(X F)+Var(E[X F). (n) Ω = Ω i diszjunkt unió és P(Ω i )>0. Legyen i= F az {Ω i } i= által generált σ-algebra. Ekkor egy X v.v.-re: E[X F = i E[X;Ω i P(Ω i ) Ωi. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Feltételes várható érték tulajdonságai VI (p) Bayes s formula: Let F F és A A. Ekkor P(A F) F P(F A) = P(A F). (7) Könnyen látható, hogy ez az állítást a Bayes tételt adja, abban az esetben amikor F-et egy partíció generálja. A fenti (a)-(p) állítások bizonyításai többnyire triviálisak, gyakorlaton hangzanak el, a vizsga anyagát képezik. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Ω Feltételes várható érték 5 Károly Simon (TU Budapest) Sztochasztikus folyamatok / M 7 M M M M 0 Ω = [0, és P = Leb [0, ha x = x n n, x n {0,} n= {, ha xk = ; legyen θ k =, ha x k = 0. Ezzel, M n (x) = + n θ k k k= F n -et generálja {[ i n, i+ n ) : i = 0,... n } M n F n E[M n+ F n = M n Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 DEFINÍCIÓ σ-algebrák egy növekvő F n sorozatát filtrációnak nevezzük. X n adaptált az F n -hez, ha X n F n, n-re. (X n ) egy martingál az F n filtrációra, ha (a) E[ X n < (b) X n adaptált az F n -hez, (c) E(X n+ F n ) = X n, n -re. Ha (a) és (b) teljesül, de (c)-ben = helyett (c ) van akkor (X n ) szupermartingál, (c ) van akkor (X n ) szubmartingál. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 PÉLDA Képzeljünk el egy játékost, aki egy igazságos (nulla várható értékű) játékot játszik egymás után nagyon sokszor. Legyen M n az n-edik játék után a nyereménye (vagy vesztesége ha M n negatív) és légyen Y n az n-edik játék kimenetele. Legyen továbbá F n = σ(y,..., Y n ). Ekkor (M n ) egy martingál az F n -re. PÉLDA 5 Egy szabályos érmét feldobunk egymás után sokszor. Az n-edik dobás eredménye ξ n = ha fej és ξ n = ha írás. Legyen X n := ξ + +ξ n és F n := σ {ξ,..., ξ n } ha n és X 0 = 0 és F 0 = {,Ω}. Ekkor E[X n+ F n = E[X n F n +E[ξ n+ F n }{{}}{{} X n 0 = X n. Tehát X n martingál F n -re. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

6 PÉLDA 6 Legyen X,..., X n i.i.d. E[X i = µ és S n := S 0 + X + +X n egy véletlen séta. Ekkor M n := S n nµ egy martingál F n := σ(x,..., X n )-re. Nevezetesen: M n+ M n = X n+ µ független X n,..., X, S 0 -tól tehát Vagyis E[M n+ M N F n = E[X n+ µ = 0. E[M n+ F n = M n. Ha µ 0, akkor S n szupermartingál, ha µ 0, akkor S n submartingál. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 TÉTEL 7 Legyen Legyen X n egy Markov Lánc, melynek átmenet valószínűség mátrixa P = (p(x, y)) x,y. Tegyük fel, hogy az f : S N R függvényre: f(x, n) = y Ekkor M n = f(x n, n) egy martingál F n = σ(x,..., X n )-re. Speciálisan, ha p(x, y)f(y, n+). () h(x) = p(x, y)h(y), (9) y akkor h(x n ) martingál F n = σ(x,..., X n )-re. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 PÉLDA (Gambler s Ruin) Bizonyítás. E[f(X n+, n+) F n = p(x n, y)f(y, n+) y = f(x n, n). Let X, X,... i.i.d. úgy hogy valamely p (0, ), p /-re: P(X i = ) = p és P(X i = ) = q = p. Legyen S n = S 0 + X + X n. Ekkor M n := ( ) Sn q p Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 egy martingál. ( ) x Ez abból következik, hogy h(x) = q p teljesíti a (9) feltételt tehát a 7. Tétel alkalmazható. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 PÉLDA 9 (Szimmetrikus egyszerű véletlen séta) Y, Y,... i.i.d. P(Y i = ) = P(Y i = ) = /. S n = S 0 + Y + +Y n. Ekkor M n := S n n egy martingál σ(y,..., Y n )-re. Nevezetesen: meg kell mutatni, hogy f(x, n) = x n-re () teljesül. Vagyis hogy x n = ((x ) (n+ ))+ Ezt pedig egy triviális számolás igazolja. ( (x + ) (n+) ). PÉLDA 0 (független v.v. szorzata) Adott X, X, 0 i.i.d. és E[X i =. Ekkor M n = M 0 X X n egy martingál F n := σ(x,..., X n )-re. Nevezetesen: E[M n+ M n F n = M n E[X n+ F n = 0. Ez utóbbi azért van mert X n+ független X,..., X n -től, tehát az általuk generált F n σ-algebrától is független vagyis E[X n+ F n = E[X n+ = 0. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 TÉTEL Legyen ϕ, ψ : R R egy konvex függvények és ψ növekvő. (a) Ha M n egy martingál, akkor ϕ(m n ) egy szubmartingál. (b) Ha M n szubmartingál, akkor ψ(m n ) egy is szubmartingál. Ez a Jensen egyenlőtlenségnek (() formula) és a definíciónak azonnali következménye. Tehát ha M n martingál, akkor például M n és M n szubmartingál. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 TÉTEL Legyen M n egy Martingál. Ekkor E [ M n+ F n M n = E [ (M n+ M n ) F n. (0) Bizonyítás. E [ (M n+ M n ) F n = E [ M n+ F n Mn E[M n+ F n } {{ } M n +M n = E [ M n+ F n M n. () Most a martingál növekmények merőlegességét igazoljuk. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

7 TÉTEL Legyen M n egy Martingál és legyen 0 i j k < n. Ekkor E[(M n M k ) M j = 0. () és ennek nyilvánvaló következménye: E[(M n M k ) (M j M i ) = 0. () Bizonyítás. A () bizonyítása: E[(M n M k )M j = E[E[(M n M k )M j F k = E [ M j E[(M n M k ) F k = 0 }{{} 0 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Legyen m n ekkor a definícióból nyilvánvalóan: LEMMA 5 Ha M n martingál, akkor E[M m = E[M n, Ha M n szubmartingál, akkor E[M m E[M n, Ha M n szupermartingál, akkor E[M m E[M n. A következő példa egy híres fogadó stratégiáról szól. KÖVETKEZMÉNY A. Tétel jelöléseit használva: E [ (M n M 0 ) = n E[(M k M k ). k= Bizonyítás. A () formulát használjuk: E [ (M n M 0 ) = E + = n k= n k= M k M k E [ (M k M k ) E[(M k M k )(M j M j ). j<k n }{{} 0 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Doubling strategy Egy igazságos játék minden fordulójában Kázmér a következő úgynevezett doubling strategy -t folytatja: Ha egy játékban nyer, akkor $ tesz fel a következőben. Viszont amikor veszít a következő játékban duplázza az előző játék tétjét. Tehát ha négy vesztes játék után nyer: tét 6 játék kimenete L L L L W profit Ha k vesztés után a k + -adik játékban nyer, akkor a vesztesége: ++ + k = k. k + -edik játékban nyereménye: k vagyis az egyenlege: $. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Általánosítás X i az i-edik játék kimenetele (pl. ±). M n a net nyereménye az n-edik játék után annak, aki minden játékban $-t tesz fel. H n egy fogadási stratégia, ami tehát az első n játék kimenetelétől függ vagyis H n F n = σ(m 0, X,..., X n ). W n a tiszta nyereménye, annak a játékosnak, aki a H n fogadási stratégiával játszik. W n = W 0 + n m= H m (M m M m ). () Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 TÉTEL 6 Tegyük fel, hogy M n egy szupermartingál az F n -re. c n > 0, hogy 0 H n c n, Ekkor W n is egy szupermartingál. H n 0 kell, hogy biztosítsuk, hogy a fogadó nem veszi át a ház szerepét. H n c n kell ahhoz, hogy létezzen várható érték. Az alkalmazásokra nem ártalmas feltétel. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Bizonyítás. A nyeremény változása az n-edikről az n + -edik pillanatra: Mivel H n+ F n : W n+ W n = H n+ (M n+ M n ). E[W n+ W n F n = E[H n+ (M n+ M n ) F n Vagyis W n szupermartingál F n -re. = H n+ E[M n+ M n F n 0. TÉTEL 7 Használva a fenti jelöléseket: tegyük fel létezik 0 < c n, hogy H n < c n. Ekkor (a) Ha M n egy martingál, akkor W n is martingál (az F n -re). (b) Ha M n egy szupermartingál, akkor W n is szupermartingál (az F n -re). A bizonyítás úgy megy mint a 6. Tétel esetén. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

8 Megállási idő Megállási idő (cont.) (Angolul: Stopping time vagy optional random variable) Ezt a fogalmat a Markov folyamatok esetén bevezettük. Lásd A file?? slide. Legyen F n = σ(x,..., X n ) az n-edik pillanatban rendelkezésünkre álló információ. DEFINÍCIÓ Egy T v.v., melynek értékei a {,,... } { } halmazból kerülnek ki, megállási idő, ha {N = n} F n, n <. PÉLDA 9 ("hitting time") X, X,... i.i.d., F n := σ(x,..., X n ), S n := X + +X n. Az A halmaznak az ún. hitting time-ja N := min {n : S n A}. LEMMA 0 Megállási idők összege, maximuma, minimuma is megállási idő. Ennek igazolása definícióból triviális. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Megállási idő (cont.) Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Megállási idő (cont.) Most bevezetjük a T megállási időhöz tartozó F T σ-algebrát, ami lényegében a T időben ismert információt reprezentálja. DEFINÍCIÓ (megállási időhöz tartozó σ-algebra) F T := {A A : A {T = n} F n }. LEMMA Legyenek N, T egy megállási idők. Ekkor {T n} F T, vagyis T F T. X, X,... i.i.d., F n := σ(x,..., X n ), S n := X + +X n, M n := max {S m : m n}. Ekkor S N, M N F N. Általánosan: ha Y n F n, akkor Y T F T. Ha N T, akkor F N F T. A fenti állítások belátása házi feladat. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Példa Legyen X, X,... i.i.d. és Legyen és P(X i = 0) = P(X i = ) = F n := σ(x,..., X n ). N := min k : k X i k i= Ñ := min k : k+ X i k i=. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 TÉTEL Legyen X, X,... i.i.d., F n = σ {X,..., X n }, T egy megállási idő. Feltételesen {T < }-re: {X N+n, n } független F N -től és ugyanaz az eloszlása mint X n -nek. Bizonyítás. Legyen µ az X i eloszlása. Vagyis µ(b) := P(X i B). Választunk tetszőleges k -re, A,..., A k A és F F N halmazokat. U := {A, N <, X N+j B j, j k}. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Példa (cont.) Ekkor N megállási idő, de Ñ nem az. Nevezetesen és Ñ = N =, ha {X = } F ;, ha {X = 0, X = } F ;, ha {X = 0, X = 0} F F., ha {X = 0} {X = 0, X = } F ;, ha {X = 0, X = 0, X = } F ;, ha {X = 0, X = 0, X = 0} F. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Elég belátni, hogy ekkor P(U) = P(A {N < }) k µ(b i ). (5) U n := U {N = n}-re: j= P(U n ) = P(A, N = n, X n+j B j, j k) = P ( A {N = n} ) k µ(b j ). (6) j= Ez azért van mert A {N = n} F n és az F n független X n+, X n+,...-től. Mivel P(U) = n= P(U n) a (6) formulából kapjuk, hogy (5) teljesül. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

9 tét= $ egy megállási időig Adott T megállási idő és minden játékban csak $ tét. A játékot a T időpontban hagyjuk abba. Legyen H m :=, ha m T; 0, ha m > T. Belátjuk, hogy H m F m azaz H m egy legitim fogadási stratégia az 5. slide definíciója értelmében. Vagyis és a 6. Tétel alkalmazható: {H m = 0} = m k= {T = k} F m. Tehát ezzel a stratégiával sem nyerhetünk sokat. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 TÉTEL Tegyük fel hogy M n martingál, szupermartingál vagy szubmartingál az F n σ-algebrára és legyen T egy megállási idő. Ekkor az M n T megállított folyamat is martingál, szupermartingál vagy szubmartingál az M n -nek megfelelően, ahol T n := min {T, n}. Továbbá, (a) M n martingál = E[M T n = M 0, (b) M n szupermartingál = E[M T n M 0, (b) M n szubmartingál = E[M T n M 0. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Bizonyítás Kilépési eloszlások Legyen W 0 := M 0. Ekkor a () egyenletből W n = M 0 + n m= H m(m m M m ) = M T n. Nevezetesen, ha T n, akkor W n = M n és ha T n, akkor W n = M T. Használva ezt, a 6. és a 7. Tételeket kapjuk az állítást. Az (a), (b), (c) pontok a 5. Lemmából következnek. Most látni fogjuk a.tétel egy alkalmazását és vizsgáljuk az általános esetben, hogy mikor cserélhető ki a. Tétel (a) pontjában a M T n, M T -re. Adottak: a, b Z, a < b, X, X,... i.i.d. és P(X i = ) = P(X i = ) =. Legyen S n := S 0 + X + +X n és τ := min {n : S n (a, b)}. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Nyilván: S n martingál és τ megállási idő. Ha meg akarjuk határozni E x [τ-t, akkor a következő heurisztika kínálkozik: x? =E x [S τ = a P x (S τ = a)+b ( P x (S τ = a)). (7) Ha ez igaz, akkor: P x (S τ = a) = b x b a. () A fenti gondolatmenet azért csak heurisztika mert a (7) formula első egyenlősége helyett, a.tétel csak Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Ekkor T és T n nyilván megállási idők. A (9) formulából látható, hogy E [ S Tn = 0 P (V 0 < V n )+n P (V n < V 0 ) =. }{{} /n Vagyis is itt eldobhattuk a n-et. Viszont 0 = E [S T. Vagyis a T esetében n nem hagyható el. A következő tétel megmutatja mikor hagyható el a n. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 x = S τ n -t garantálja. Mikor hagyhatjuk el a n -et? Először is lássunk egy esetet amikor nem: Legyen V a := min {n : S n = a}. Emlékezzünk, hogy a B-file (??) formulában igazoltuk, hogy N > 0-ra: P (V N < V 0 ) = N. (9) Tehát P (V 0 < ) =. Valamely n N-re: T := V 0 és T n := min {V 0, V n }. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 TÉTEL 5 Tegyük fel, hogy hogy T megállási idő, amelyre P(T < ) = és K, hogy M T n K. Ekkor E[M T = E[M 0. Bizonyítás. A. Tételből: E[M 0 = E[M T n =E[M T ; T n+e [ M n }{{} =M T n K ; T > n. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7

10 Tehát E[M 0 E[M T ; T n KP(T > n) 0. (0) Másrészt E[M T E[M T ; T n = E[M T ; T > n. () Using that E[M T ; T > n k=n+ = k=n+ E[M k ; T = k E[M k T ; T = k K P(T > n) 0. Összetéve ezt a (0) és a () formulákat kapjuk a bizonyítást. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Wald egyenlőtlenség Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Wald egyenlőtlenség (cont.) Legyen X, X,... i.i.d. E[X i = µ. Legyen S n := S 0 + X + +X n. Tudjuk, hogy ekkor M n nµ egy martingál X n -re. TÉTEL 6 (Wald egyenlőtlenség) E[S T S 0 = µe[t. A tétel bizonyítása (l. [) túl komplikált ahhoz, hogy itt elmondjuk. Mindenestre vegyük észre, hogy az S 0 = -ből induló egyszerű szimmetrikus véletlen séta esetén ha T = V 0 a nullába való első érkezés ideje: µ = 0, S 0 =, S T = 0, tehát formulából: E [V 0 =. = E[S T S 0 = µe[v 0 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Konvergencia TÉTEL 7 (Konvergencia tétel) Ha X n 0 egy szupermartingál, akkor X := lim n X n létezik és E[X E[X 0. A tétel bizonyítása előtt egy segéd lemma: LEMMA Legyen X n 0 egy szupermartingál és λ > 0. Ekkor ( ) P max X n > λ E[X 0 /λ. () n 0 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 A 7. Tétel bizonyításának vázlata Legyen S 0 := 0, a < b és definiáljuk a következő megállási időket: R k : = min {n S k : X n a} S k : = min {n R k : X n b}. A segéd lemma bizonyításának gondolatmenetével kapjuk, hogy P(S k < R k < ) a b. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 A segéd Lemma bizonyítása Legyen T := min {n : X n > λ}. Vegyük észre, hogy {T < } = A. Tételből következik, hogy Tehát { } max X n > λ n 0 E[X 0 E[X T n λp(t n). n-re: P(T n) E[X 0 /λ. Innen P(T < ) E[X 0 /λ. Ebből pedig a () formula miatt következik a Lemma állítása. () Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 A 7. Tétel bizonyításának vázlata (cont.) Ezt iterálva ( ) a k P(S k < ) 0 exponenciális sebességgel. b Ezért X n csak véges sokszor metszi át az [a, b intervallumot alulról felfelé. Legyen Y := lim inf X n n és Z := lim sup n Ha P(Y < Z) > 0 lenne, akkor valamely a < b-re szintén: P(Y < a < b < Z) > 0. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 X n

11 A 7. Tétel bizonyításának vázlata (cont.) Feltételes várható érték Ebben az esetben X n az [a, b intervallumot alulról felfelé végtelen sokszor átmetszené, ami nem lehetséges, vagyis X = n lim X n határérték létezik. Másrészt minden n, M-re: Tehát E[X 0 = E[X n E[X n M E[X M. E[X 0 E[X M E[X. 5 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 [ Balázs Márton, Tóth Bálint Valószínűségszámítás. jegyzet matematikusoknak és fizikusoknak Bálázs Márton Honlapja, 0. Az internettes változatért kattintson ide. [ R. Durrett Essentials of Stochastic Processes, Second edition Springer, 0. A majdnem kész változatért kattintson ide. [ R. Durrett Probability Theory with examples, Second edition Duxbury Press, 996. második kiadás. [ I.I. Gihman, A.V. Szkorohod Bevezetés a sztochasztikus folyamatok elméletébe Műszaki Könyvkiadó975, Budapest, 95 [5 S. Karlin, H.M. Taylor Sztochasztikus Folyamatok Gondolat, Budapest, 95 [6 S. Karlin, H.M. Taylor A second course in stochastic processes, Academic Press, 9 [7 G. Lawler Intoduction to Stochastic Processes Chapmann & Hall 995. Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 [ D.A. Levin, Y. Peres,E.L. Wilmer Markov chains and mixing times American Mathematical Society, 009. [9 Major Péter Folytonos idejű Markov láncok debrecen00a/markov.html [0 Piet Van Mieghem The Poisson process CUPbookChapters/PACUP_Poisson.pdf [ Rényi Alfréd Valószínűségszámítás, (negyedik kiadás) Tankönyvkiadó Budapest, 9. [ Tóth Bálint Sztochasztikus folyamatok jegyzet Tóth Bálint Jegyzetért kattintson ide Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7 Index Károly Simon (TU Budapest) Sztochasztikus folyamatok / 7