Sztochasztikus folyamatok jegyzet

Átírás

1 PPKE ITK Pázmány Péter Katolikus Egyetem Információs Technológiai és Bionikai Kar Sztochasztikus folyamatok jegyzet el adó: Várdainé Kollár Judit Lektorálta: dr Rásonyi Miklós Lejegyezte: Jánossy Bálint

2 Statisztikai minta : Valamely valószín ségi változóra vonatkozó véges számú független, azonos körülmények között végrehajtott meggyelés: ; ; n eredményét nevezzük statisztiai mintának. i a minta i. eleme, n a minta nagysága. A statisztikai minta tehát véges sok, független, azonos eloszlású valószín - ségi változó g yüttese. A valóságban nem feltétlenül valósul meg a függetlenség, (vízállás mérése havi/napi rendszerességgel). Vannak módszerek a függetlenség megállapítására. (err l kés bb) Mintaátlag: + + : : : + n = n Tapasztalati szórásnégyzet: = np i s ( n = ) + ( ) + : : : + ( n ) = Determinisztikus folyamat: n Ha bizonyos körülmények n együttese fennáll, az egyértelm en meghatározza az esemény lefolyását. Megjegyzés: (pl. bar nyomáson a tiszta víz 00 C forr) n np ( i ) Sztochasztikus folyamat: Valamelyik szükséges körülmény hiányzik, az esemény lefolyása bizonytalanná válik. Megjegyzés: (pl. x bar nyomáson(x=?) a tiszta víz már nem biztos, hogy 00 C forr) Véletlen jelenség: A rendelkezésre álló adatok nem határozzák meg egyértelm en az események lefolyását. Statisztikai minta: Véges sok, egymástól független, azonos eloszlású valószín ségi változó együttese. ( ; ; : : : ; n ) Minta nagysága: Minta elemeinek száma. Megjegyzés: (pl. n=00 rúd, n=70 év) Empirikus(tapasztalati) jellemz k: mintaközép/mintaátlag: b + + : : : + n = n szórásnégyzet: s n = np ( i b ) korrigált tapasztalati szórásnégyzet: s n = np ( i b ) n n = n n s n Becsléselmélet: valószín ségi változó, ismerjük az eloszlás és a s r ség

3 függvényének a típusát. Ekkor: f () = f (; ; ; : : : ; n ) Torzítatlan becslés: e = e ( ; ; : : : ; n ) függvény és E(e ) =, azaz a e várható értéke megegyezik a becsült paraméter értékével. Megjegyzés: (ahol e statisztika a mi folyamatunk valószín ségi változója, melynek értékei a a becsült paraméter értéke körül szóródnak. Tudni szeretnénk, hogy e nagy valószín séggel legfeljebb mekkora távolságra lehet -tól.) e torzítatlan becslés, Megbízhatóság(kondencia) intervallum: Tfh. ismeretlen. A [" ; " ) intervallumot megbízhatósági intervallumnak nevezzük, ha adott (kicsi) > 0-ra P (" < " ) =. Megjegyzés: ahol P (" < " ) annak a valószín sége, hogy [" ; " ) Maximum-likelihood módszer: Tfh. ; ; : : : ; n független, azonos eloszlású valószín ségi változó, s r ség függvénye f i. Ekkor: f ; ;:::; n (x ; x ; : : : ; x n ) független ====== e = L( ; x ; x ; : : : ; x n ) -t nevezzük Likelihood fv-nek. ny f i (x i ) jel! L( ; x ; x ; : : : ; x n ) Megjegyzés: Több lehet ség közül azt fogadjuk el egy ismeretlen paraméter valódi értékéül, amely mellett a ténylegesen bekövetkez eseménynek a legnagyobb a valószín sége.

4 Statisztikai hipotézisnek nevezzük a valószín ségi változók eloszlására vagy valamely paraméterére vonatkozó állításokat. (H 0 ; H ) Dönteni akarunk az állítás helyességér l: H 0 hipotézisünk igazságáról. Statisztikai próba feladata, hogy az X valószín ségi változóra vonatkozó statisztikai minta alapján döntsünk a H 0 hipotézisr l. H 0 -t vagy elfogadjuk, vagy elutasítjuk/elvetjük. Statisztikai próba lényege: K kritikus tartomány megválasztása úgy, mellett számított U = u(x ; : : : ; x n ) vagy T = t(x ; : : : ; x n ) sta- hogy H 0 tisztikai érték kis valószín séggel essen a K tartományba. (feladattól függ, hogy u-t vagy t-t számolunk) Annak a valószín ségét, hogy H 0 fennáll és a próbastatisztika a K tartományba esik a próba terjedelmének nevezzük. ( jel.: P(u K) = ) Hipotézis vizsgálat menete: Mintavétel H 0 hipotézis megalkotása, (ebb l a) H ellenhipotézis megfogalmazása Megadunk 0 < < korlátot, az els fajú hiba(h 0 -t elvetjük, bár igaz) valószín ségére (P (u K) = ) Konstruálunk egy statisztikai függvényt (próbafüggvényt) a minta elemeib l, illetve a H 0 hipotézisb l Meghatározzuk a próbafüggvény eloszlását, ha H 0 teljesül Az 5. lépésben kapott eloszlás alapján meghatározzuk E (elfogadási), és K(kritikus) tartományokat (E S K = R és E T K = ;) Az elfogadási tartomány tipikusan lehet: E = [ a ; a ] E = [ a ; ) E = ( ; a ] Ha u E(vagy t E) elfogadjuk H 0 -t. Ha u K(vagy t K) elutasítjuk H 0 -t, és H -et fogadjuk el. Els fajú hiba: H 0 igaz, de u(t) K, ezért H 0 -t elvetjük. Másodfajú hiba: H 0 nem igaz(h igaz), mégis u(t) E, tehát H 0 -t elfogadjuk. H 0 igaz H 0 hamis H 0 -t elfogadjuk p másodfajú hiba H 0 -t elutasítjuk els fajú hiba p ( p = nincs hiba, minden renben) Az els fajú hiba csökkentése a másodfajú hiba növekedésével jár. 3

5 u próba: Adott n elem minta ; : : : ; n, amely N (m; ) eloszlású és független, ismert. Paraméteres próba eloszlás valamelyik paraméterére vonatkozó hipotézis igazságát vizsgáljuk. mintás u próba: H 0 hipotézis: E() = m. 0 < < Kétoldali próba H 0 : E() = m E = [ a ; a ] H : E() 6= m K = Rn[ a ; a ] H 0 : E() = m E = ( ; a ] Egyoldali próba H : E() > m K = [a ; ) H 0 : E() = m E = [ a ; ) H : E() < m K = ( ; a ] Próba függvény: u m = = p ; N (0; ) n Szignikancia szint(legtöbbször): ; ahol: = 0; 0; 0; 05 vagy 0; (els fajú hiba nagysága) mintás u próba: pl. gyárban futószalag Függetlennek kell lennie a mintának(pl. nem független, ha futószalag, csak különböz napon) ; : : : ; n és ; : : : ; n független minták, N (m ; ) és N (m ; ) eloszlásúak, valamint, ismert. Kétoldali próba H 0 : m = m E = [a ; a ] H : m 6= m K = Rn[a ; a ] H 0 : m = m E = ( ; a ] Egyoldali próba H : m > m K = Rn[a ; ) H 0 : m = m E = [ a ; ) H : m < m K = Rn( ; a ] Próba függvény: u = r + n n ; N (0; ) Student féle t próba: Normális eloszlású valószín ségi változó várható értékékére vonatkozó hipotézis, ismeretlen szórás esetén. 4

6 v ut np A szórás ismeretlen, becsüljük az s n = szórással. Kétmintás próbát megel zi az F próba. ( i b ) n korrigált tapasztalati Megjegyzés: lásd kés bb mintás t próba: ; : : : ; n eloszlása ismert N (m; ), < m < ; > 0. H 0 hipotézis: E() = m próbafüggvény(próbastatisztika): t m = s n= p n Az n elem mintát (n ) szabadság fokúnak nevezzük. egy oldali: P (jtj > t ) = két oldali : P (jtj > t ) = ; szignikancia szinten A formulából látható, hogy t eloszlása nem függ az ismeretlen - tól, ezért az els fajú hiba valószín sége is az. Bármely esetén a próba terjedelme. mintás t próba: ; : : : ; n és ; : : : ; n független minták,, ismeretlen. r n n (n + n ) Próba függvény: t (n +n ) = p(n )s + (n )s n + n 5

7 Ism. u, t próbát alkalmazunk, ha a szórásuk megegyezett. Fisher féle F próba: ) n db minta Normál eloszlású, m db minta független minták H 0 : = H : 6= F f ;f = max(s ; s ) min(s ; s ) > F f ;f szabadságfoka: (s > s esetén) : (n ) (s > s esetén) : (m ) szignikancia szinten: F f ;f F f ;f < F! H 0 -t elfogadjuk, azonos a két minta szórása. F! H 0 -t elvetjük, a két mintának nem azonos a szórásnégyzete, Eddig paraméteres próbákat néztünk. u; t próbáknál az m volt azonos, F -nél a. Eddig a paraméterek helyességét, mostantól magát az eloszlást vizsgáljuk. Nem paraméteres póbák: próbák Legyenek ; ; : : : ; n, N (0; ), független valószín ségi változók. Legyen = + : : : + n. Ekkor eloszlását n szabadságfokú eloszlásnak nevezzük. E() = n és D () = n Megjegyzés: A Centrális határeloszlás-tétel alapján nagy n-re a eloszlása normális eloszlással közelíthet. Legyen A ; : : : ; A r teljes eseményrendszer, azaz: rp A i = I és A i T Aj = ; ahol i 6= j és I a teljes esemény halmaz. Vizsgáljuk azt a H 0 hipotézist, hogy: P (A i ) = p i. Ahol p i i = ; : : : ; r nevezetes eloszlás, és rp p i = Ezt a hipotézis vizsgálatot nevezzük próbának. Tfh. n kisérlet során A i i -szer( = n ) következik be. rp i = n i valószín ségi változók binomiális eloszlásúak. (A i vagy bekövetkezik, vagy nem.) E(A i ) = np i P ( = k ; = k ; : : : ; r = k r jh 0 ) === fln: P ( = k ) P ( = k ) : : : P ( r = k r ) = n! rp k!k! : : : k r! pk p k : : : p kr r, ahol k i = n 6

8 Ez az un. Polinomiális eloszlás. Megj.: Két valószín ségi változó s etén a binomiális eloszlást kapjuk. Képezzük a következ statisztikát: rp ( i np i ) = np i Amennyiben a H 0 hipotézis igaz, akkor E( i ) np i. Azaz, a számláló minden tagjában a i értékének a saját várható értékét l vett távolságának négyzete szerepel, azaz ha a kicsi, akkor jó a próba. : r db standardizált binomiális eloszlású valószin ségi változó négyzetének összege. Megj.: A binomiális eloszlás nagy n és kicsi p esetén közelíthet normál eloszlással. (np > 0) Tetsz leges > 0-hoz meghatározható ( táblázatból) olyan r kritikus érték, melyre: P ( < r ()) = Ezt nevezzük r szabadságfokú eloszlásnak. Ahány paraméter becsült az eloszlásból, az annyival csökkenti a szabadságfokát (az (r )-et). (pl. ha becsüljük a -t a Poisson eloszlásnál, a szabadságfok r Illeszkedés vizsgálat Van egy meggyelt adatunk, és ehhez feltételezünk egy eloszlást. lesz) Meggyelt valószín ségi változók eloszlása megegyezik-e az el re megadott eloszlással. Lehetnek diszkrét vagy folytonos valószín ségi változó. Diszkrét v.v. esetén Adott (x i ; p i ) elméleti i = ; : : : ; r; valamint q i = P ( i = x i ) tapasztalati eloszlás Meggyelés: i ; : : : ; r valószín ségi változók függetlenek és azonos eloszlásúak. Jelöljük q ; : : : ; q r -val az eloszlásukat. (Azt adják meg, hogy x i -t milyen valószín - séggel veszik fel.) i = fm : i = x i g (Megadja annak a gyakoriságát, hogy a meggyelés során hányszor vette fel az elméleti értéket) H 0 : q i = p i azaz a két eloszlás megegyez 8i = ; : : : ; r-re. H : q i 6= p i legalább egy i-re. Ha i np i, alkalmazhatjuk a próbát. q( ; : : : ; r ) = rp ( i np i ) np i (Ahol i azt adja meg, hogy gyakorlatilag hányszor következett be. Az np i pedig, hogy az elméleti eloszlás szerint hányszor következett be.) Ez egy (r ) szabadságfokú eloszlás. P (H 0 igaz; g > c r ) =, ahol g a kiszámolt, c r az elméleti(táblázatból) (els fajú hiba) Az -t adjuk meg, így minimalizáljuk az els fajú hibát. 7

9 Ha g > c r elvetjük H 0 -t Ha g < c r elfogadjuk H 0 -t Folytonos v.v. esetén: Ha az eseményeket( ; ) intervallumon vizsgáljuk, akkor ezt felosztjuk r db részintervallumra, és ezeken nézem a i -t és az np i -t. (r részintervallum esetén i = ; : : : ; r) Majd erre alkalmazom a próbát. Homogenitás vizsgálat Célja: annak eldöntése, hogy két valószín ségi változó: ; egyforma eloszlásúe. Vagyis az -re vonatkozó ; n, valamint az -ra vonatkozó ; m statisztikai minta ugyanazon eloszlású sokaságból származik-e. H 0 : P ( < x) = P ( < x); x R; azaz: p i = q i ; 8i-re. H : 9i; hogyp i 6= q i ) ( i ; : : : ; n minták függetlenek és azonos eloszlásúak i az i intervallumba es i ; : : : ; m i minta elemek száma/gyakorisága 0 i i P = n m r n m C i + i A r szabadságfokú eloszlást ad. rp rp i = n, i = m, I-t r részre osztjuk. 8

10 Függetlenség vizsgálat Célja: Két valószín ségi változó, ; között van-e kapcsolat, vagy függetlenek egymástól. azaz: A ; : : : ; A r és B ; : : : ; B s teljes eseményrendszer H 0 : P (A i T Bj ) = P (A i )P (B j ) azaz A i ; B j független 8 i = ; : : : ; r j = ; : : : ; s-re. H : nem függetlenek. ij = A i T Bj gyakorisága n független kisérletben. Próbastatisztika: = rx sx j= ( ij np i q i ) np i q i = rx sx j= Ha (r )(s ) < c k, elfogadjuk szinten H 0 -t ij i j n i j n Hipotézis vizsgálat vége, sztochasztikus folyamatok/id sorok kezdete Sztochasztikus folyamatok Def: Legyen x t ; t N valószín ségi változók halmaza. Ezt diszkrét idej sztochasztikus folyamatnak nevezzük. Megjegyzés: t = 0 : x 0 - most mérem, vizsgálom, észlelem t > 0 : x t - jöv Def: Legyen x t ; t Z valószín ségi változók halmaza, diszkrét idej sztochasztikus folyamat. ( t 0 : múlt és jelen x t t > 0 : jöv Ezt vizsgálom,mérem,meggyelem.. Ezt akarjuk becsülni, sejteni. t bármi lehet (pl. év, hónap, perc, stb.) Def: x t :! R függvény valamilyen véletlen esemény értéke a t id pontban.! - az eseménytér egy x állapota. x 0 (!); x (!); : : : ; x n (!) számsorozat a folyamat! -hoz tartozó trajektóriája/megvalósulása. Példa: " t - fehér zaj, ha független, azonos eloszlású valószín ségi változót jelöl. Általában: E(" t ) = 0 D (" t ) = c; c R + ; gyakran c = Példa: x t ; t N kockadobás értéke P (x t = l) =, l = ; : : : ; 6 esetén. 6 Példa: Szimmetrikus véletlen bolyongás "kis átmér j cs ben bolyongtatunk egy részecskét" Legyen x j egy lépés jelölése. 9

11 cov(x 0 ; x 0 ) = 0 P (x j = ) = P (x j = ) = (balra léptem) (jobbra léptem) 9 >= >; ) x j-k azonos eloszlásúak, függetlenek Általános: P (x j = x t ) = P (x j = x t + ) = (balra léptem) (jobbra léptem) 9 >= >; ) x j-k azonos eloszlásúak, függetlenek Ennek módosítása: amikor -t léphetek balra vagy jobbra nem szimmetrikus a bolyongás, azaz a balra ill. jobbra lépés valószín sége nem egyforma. Def: Az id ben változatlan viselkedés, egyensúlyban lév rendszereket nevezzük stacionáriusnak. (Pl. es esésének valószín sége + es mennyiség várhatóérték) Def: Egy x t ; t Z folyamatot er sen stacionáriusnak nevezünk, ha 8k Z-re az (x 0 ; : : : ; x n ) eloszlása megegyezik (x 0+k ; : : : ; x n+k ) eloszlásával. Azaz az eloszlására teljesül az id invariáns tulajdonság. Def: Az x t ; t Z gyengén stacionárius folyamat, ha E(x t ) < 8t Z E(x t ) = E(x 0 ) 8t Z cov(x 0 ; x m ) = cov(x 0+k ; x m+k ) 8k; m Z (id invaráns) A cov(x k ; x m ) a k. és m. id pontban lév folyamatot hasonlítja össze, ez csak k és az m távolságától függ (pl. t-s=). Def: Legyen x t ; t Z gyengén stacionáris folyamat, ekkor az R x (k) = cov(x 0 ; x k ), k Z kovariancia függvénynek nevezzük. Állítás: Az így deniált konvariancia függvény tulajdonságai: R x (0) = D (x t ) bármely t Z R x (k) = R x ( k) (páros függvény) Biz: cov(x k ; x m ) = R x (m k) R x (0) = cov(x 0 ; x 0 ) R x (k) = cov(x 0 ; x k ) cov(x k ; x m ) Ezen tulajdonságokból adódóan: gyengén stac. ======= cov(x 0+t ; x 0+t ) = cov(x t ; x t ) = D (x t ) id inv. ===== cov(x 0 k ; x k k ) = cov(x k; x 0 ) = R x ( k) k = cov(x k k ; x m k ) = cov(x 0 ; x m k ) = R x (m k) (Emlékeztet : " t fehér zaj, ha E(" t ) = 0, D (" t ) = > 0) fehér zaj tulajdonságai:

12 cov(x i ; x j ) = 0 i 6= j Az el z átalakítva: R x (i j) = 0 Fehér zaj pl. " t! N (0; ) Mivel függetlenek! cov(" i ; " j ) = 0 Mozgó átlag - MA folyamat Legyen x t = np j= m j " t j t Z; " t fehér zaj, j R együtthatók. Példa : x t = 3" t + 4" t + 3" t + " t+ Példa : Legyen n = m, j = (8 m j m) Ekkor: x t = P Általánosan: j < jz x t = P j= n + mp j= m " t j. n + j " t j végtelen MA folyamat. Kauzális MA folyamat: ha 8 j = 0 j < 0 esetén, akkor x t = A jöv csak a jelent l és a múltól függ. R x (k) = P j=0 j j+k P j=0 j " t j Def: Azt mondjuk, hogy x t autoregresszív (AR) folyamat, ha x t gyengén stacionárius és el áll x t+ = x t + " t+ rekurzióval, ahol R, " t+ fehér zaj. Megj. Ha > x t ütemben n, ha < x t ütemben csökken. Példa 3 x t - a Balaton vízállása t id pontban x t+ = 0; 9x t + " t+, ahol " t+ a csapadék( < mert a tó vize párolog). Def: Legyen Y n valószín ségi változók sorozata és Y valószín ségi változó. E(Yn ) < ; E(Y ) < Azt mondjuk, hogy Y n L értelemben tart Y -hoz (Y n! Y ), ha E((Y n Y ) )! 0; (n! ).

13 fajta id sor: determinisztikus trend szezonális ciklus sztochasztikus független valószín ségi változó(ka)t vetünk össze az elmúlt id szak folyamatai Nincsenek el re adataim, a j v t akarom jelezni/jósolni Például napi hozam Id t l független E; Ötös lottó átlagos húzás Fehér zaj cov = 0 E ált. Azt feltételezzük, hogy az id sor stacionárius, nem tartalmaz trend hatást, és az id beli sztochasztikus kapcsolatok állandóak. Def: Y t ; Y valószín ségi változók E(Yt ) < és E(Y ) <. Y n L értelemben tart Y -hoz, ha lim E((Y n Y ) ) = 0 n! Tétel: Legyen jj <, " t fehér zaj, ekkor 9x t, t Z AR-nak MA el állítása, melyre lim E((x t k! kombinációjaként). P k=0 k" t k ) ) = 0, azaz x t el áll " k soraként (lineáris Biz: x t = x t +" t = (x t +" t )+" t = ((x t 3 +" t )+" t )+" t = : : : = = n+ x t (n+) + n " t n + n " t (n ) + : : : + " t = = n+ x t n + E[(x t 0 P n=0 np k=0 k " t k n " t n ) ] = E[( n+ x t (n+) ) ] = lim n! n+ E[(x t (n+) ) ] = lim n! n+ E[(x 0 ) ] = Állítás: Az x t = x t + t AR folyamat csak t jelen és múlt értékeit l függ, így x t és t+k korrelátlanok, függetlenek, 8k -re. x t és az " t+k korrelálatlanok k. cov(x t ; " t+k ) = E[x t " t+k ] E[x t ]E[" t+k ] = 0 Tehát cov(x t ; " t+k ) = 0 Megjegyzés: Ez azt jelenti, hogy cov(x t ; t+k ) = 0; 8k D (x t ) = D (x t + " t ) = D (x t ) + D (" t ) + cov(x t ; " t ) = x {z } t stacionárius, ) D (x t ) = D (x t 0 ), valamint függetlenek, ezért a kovarianciájuk 0. Tehát: D (x t )[ ] = ) D (x t ) = Ez jj < -re érvényes (D > 0) E(x t ) = E(x t + " t ) = E(x t ) + E(" t ) {z } 0

14 " t fehér zaj, tehát E(" t ) = 0. E(x t ) = E(x t ) Mivel < :) E(x t ) = 0 R x (k) : Def: Legyen x t, t Z-re tetsz leges sztochaszikai folyamat. Ekkor zx t = x t kifejezésben z a visszaléptetési operátor. Pl. (3 z 4z + 5)x t = 3x t 4x t + 5x t x t = 4" t 3 + 5" t " t ) x t = (4z 3 + 5z x t = x t + " t ) x t ( z) = " t )" t Def: ARMA x t, t Z stacionárius folyamat (p; q)-ad rend ARMA folyamatnak nevezzük, ha: x t + x t + x t + : : : + p x t p = 0 " t + " t + " t + : : : + q " t q ahol 0 mindig, ; : : : ; p és 0 ; : : : ; q rögzített konstansok, valamint " t fehér zaj. x t + zx t + z x t + : : : + p z p x t = 0 " t + z" t + z " t + : : : + q z q " t x t ( + z + z + : : : + p z p ) = " t ( 0 + z + z + : : : + q z q ) A(z)x t = B(z)" t Tétel. Ha A(z) polinom 8 gyöke a komplex sík egységkörén kívül van, azaz 8jz i j >, ha A(z i ) = 0, akkor az x t ARMA folyamatnak 9MA() el állítása: x t = X j=0 ' j " t j Biz. Legyenek A(z) gyökei z ; : : : ; z p Z vagy C, mind különböz. Ekkor A(z) = p (z z )(z z ) : : : (z z p ) x t = B(z) " t = B(z) A(z) p Parciális törtekre bontható: B(z) L (z z )(z z ) : : : (z z " t = p ) L + + : : : L p + " t = p z z z z z z p Minden elem mértani sorra bontható: L j L j L j P z i = z z j z z = j z j " = B(z) p pp j= t j Lj z j P i=0 z j z i=0 i # z j " t = P i=0 ahol ' i konstansok (z i -n kívüli tagok a szummákból) ' i z i " t = P i=0 ' i " t i, Def: A(z) x t = B(z)" t ARMA folyamat invertálható, ha 9" t = el állítása. P j=0 j x t j 3

15 Tétel. Ha B(z) polinom olyan, hogy 8 gyöke kívül van az egységkörön (8jz i j >, ha B(z i ) = 0), akkor invertálható, és: Pl. x t " t = A(z) B(z) x t 4 x t = 3" t + " t (; ) ARMA folyamat.. Feladat: Létezik-e az ARMA folyamatnak végtelen MA el állítása? Ha igen, adja meg! x t ( 4 z ) = " t (3 + z) A(z) = 4 z = 0 ) z ; = A Tétel. szerint el áll x t = x t = 3 + z " t 4 z 3 + z z + z = A z P j=0 ' j " t j. Most: + B + z = A + Az + B Bz 4 z 3 =A + B = A B g 9 = M ; 5 = A ) A = ; 5 3 = ; 5 + b ) B = 0; 5 x t = ; 5 0; 5z + 0; 5 + 0; 5z h P P ; 5 0; j=0 5j " t j + 0; 5 hp ; 5 0; j=0 5j + 0; 5 ( 0; ji 5) " t j h P P i " t = ; 5 0; j=0 5j z j + 0; 5 ( 0; j=0 5)j z j " t = j=0 ( 0; 5)j " t j i =. Feladat: Invertálható-e az ARMA folyamat? Ha igen, adja meg az el állítását! B(z) = 3 + z ) z ; = 3 A Tétel. szerint invertálható. Tehát: " t = 4 z 3 + z x t 4

16 Mivel a számlálóban is van z, és nehéz egyszer síteni, ezért polinom oszást végzek: 4 z + : z + 3 = 4 z 3 4 z 4 z (z + 3) 3 z z A polinom oszás után: " t = z x t = 3 4 4(z x t + 3) 4 Amib l a mértani sor miatt: " t = 3 4 x t 4 x t 5 X j=0 4 x t j z j x t ; ahol z j x t = x t j + z 3 {z } mérteni sor x t 5

17 Sztochasztikus folyamatok - ELŽREJELZÉS Adottak x ; : : : ; x T minták. Ekkor x T + megközelítése bx T +. Feltevések: x t (p; q) ARMA, stabil, invertálható. Def: P Oyan bx t = j= jx t j becslést keresünk, ahol x t (x t ; x t ; : : :) múlból állítjuk el, melyre E(x t bx t ) a legkisebb négyzetes közelítés. x t = B(z) A(z) " t = P j=0 j" t j ; k -k számolhatók. bx t = P j= j" t j (j = -t l megy, mert el re jelzést akarunk) Állítás: x t = P j=0 j" t j ez a legjobb négyzetes közelítés. (azaz akkor a legjobb, ha j = j 8j = ; : : :) Biz. P Tfh. y t = j j" t j A becslés, akkor a legjobb, ha az E((x t y t ) ) a lehet legkisebb. P E((x t y t ) ) = E(( j=0 j" t j j )" t j ) ) = 0 E((" t ) {z } ) + P x t -nek egy becslése/el rejelzése. P P j j" t j ) ) = E(( 0 " t + ( j=0 j {z } ) j=0 ( j j ) E((" t j ) A köztes tag (nem tudom mi) 0, mert " t fehér zaj ) E(" t ) = 0 Akkor a legkisebb, ha j = j 8t Z bx t = X j x t = B(z) A(z) " t = bx t = P j= j" t j alakban a legjobb j z j " t X j=0 j" t j 9 >= >; bx t = x t Mivel j = -t l megy a j = 0 tag az 0. Azaz a számláló els tagja: 0 0 = 0 Amib l adódik, hogy 0 = 0 0" t = B(z) " t 0" t = B(z) A(z) 0 " t = bx t A(z) A(z) Tehát: bx t = B(z) A(z) 0 " t A(z) Mivel x t -kel akarjuk el állítani, felhasználjuk, hogy " t = A(z) x t. B(z) bx t = B(z) A(z) 0 A(z) A(z) x t = B(z) A(z) 0 B(z) B(z) Pl.: Van egy x t mérési mintánk A(z); B(z) ismert. 5x t x t = 8" t " t " t A(z) = 5x B(z) = 8z z 0 = 8 x t 6

18 Statisztikai folyamat paramétereinek becslése x t stacionárius folyamat m = E(x t ) 8t Z; R x (k) = cov(x 0 ; x t ) 8k Z Például " t független azonos eloszlású, és E(" 0 ) = 0; D (" t ) <, konstans (tehát fehér zaj) " t t = 0; : : : ; T " " 0 + " + : : : + " T =, ami a nyagyszámok törvénye miatt: E" 0 T + Ergodikuság: x t ; t Z gyengén stacionárius folyamatot ergodikusnak nevezzük, ha x + x + : : : + x t tart az E(x 0 )-hoz L értelemben. T lim T! (E( x +:::+x T E(x T 0 )) ) = 0 Tétel: Ha R x (k) kovariancia függvény olyan, hogy az lim k! R x (k) = 0, akkor x t folyamat ergodikus. x t ARMA, tehát x t = np i " t i, ekkor R x (k) = Mert: R x (k) számolásához felhasználjuk, hogy x t = R x (k) = cov(x t ; x t+k ) = cov( R x (k) = ( P j= 0 t j 6= t + k i j i t j = t + k i Tehát valóban R x (k) = P j= j " t j ; ) j j+k. P i= np P j= i " t i i " t+k i ) = j j+k, P i < P P j= i= akkor nem 0, ha i = j + k Tétel: Ha lim k! R x (k) = 0, és x t Gauss folyamat (azaz normál eloszlású br x n (k) = R x(k) folyamat), ekkor lim k! {z } a legjobb becslések Konklúzió x ; : : : ; x n, ekkor E(x t ) x n és r x (k) b R n x (k) esetén) Wiener sz r : t (n > 50; n > 4k émaköre Spektrális sg. fv.: Legyen x t t Z gyengén stacionárius folyamat, R x (k) k Z kovariancia függvény. Ekkor: x(u) = P uz R x (k)e iuk végtelen sort, ha konvergens, u [ ; ] a folyamat spektrális s r ség függvényének nevezzük Tulajdonságai: j i cov(" t j ; " t+k i ). x(u) = x( u) Bizonyítás: P x(u) = R x (k)e kz P R x (j)e i( u)j = x( u) jz R x (j)e iuj = P jz iuk Rx(k)=Rx( k) ========== (páros) P kz R x ( k)e iuk új jelölés: ======= k=j. x(u) 0 Bizonyítás: R x (k) 0 e ix 0 (e ix -b l cos-os alak lesz) 7

19 3. Tétel: HaR x(u) létezik, akkor páros, nem negatív inverze: x(t)e itk dt R x (k) = 8

20 Markov lánc: x ; x ; : : : ; x t valószín ségi változók sorozata Markov láncot alkot, ha t kezd pillanatot követ x t+ értékét l függ. {z } ezek nem befolyásolják valószín ségi változó értéke csak x t P (x t+ = i t+ jx t = i t ; x t = i t ; : : : ; x 0 = i 0 ) = P (x t+ = i t+ jx t = i t ) egylépéses átmenet: Rögzített n N mellett p i;j (n) i; j I valószín ségeket a Markov lánc n. lépéséhez tartozó egylépéses átmenet valószín ségének nevezzük. (n) az átmenet valószín ségekhez tartozó átmenetivalószín ségi mátrix. (n) = [p i;j (n)] i;ji eloszlás: Egy sorvektorról azt mondjuk, hogy eloszlás, ha = [ ; ; : : : ; k ] i 0 8i = : : : k; kp i=0 i = Az A mátrix sztochasztikus mátrix, ha minden sorvektora eloszlás. Markov lánc kezdeti eloszlása megadható q = [q i ] sorvektorával, ahol 8 q i = P (x 0 = i). Ebb l következik, hogy a realizációk száma) kp q i =, mivel eloszlás. (k a folyamat dinamikáját adja meg. Tehát azt adja meg, hogy milyen valószín séggel jut egy lépés alatt i-b l j-be. Markov lác homogénitása: Az x t ; P (x t = i t jx t = i t ) független t-t l. t N Markov lánc homogén, ha Megjegyzés: Innent l kezdve csak homogén Markov láncokkal fogunk foglalkozni. Tétel: p i;j = P (x = jjx 0 = i) 0 8i; j-re és np j=0 p i;j = Tétel: Legyen x t valószín ségi változók sorozatának eloszlása q(x 0 ). Ekkor q(x ) a következ képpen számolható: q(x ) = q(x 0 ) ahol q(x ); q(x 0 ) R n ; R N R N n lépéses átmenet: Az n lépéses átmenetvalószín ség annak a valószín sége, hogy i-b l kiindulva n lépés alatt eljutok k-ba. p (n) i;k = P (x n = kjx 0 = i) Tétel: Chapman-Kolmogorov egyenlet: hp (n) i;j i = n ; n 9

21 irreducibilis: Az x t t N Markov láncot irreducibilisnek nevezzük, ha 8i; j = ; ; : : : ; N esetén 9n = n(i; j), hogy p (n) ij > 0: Bármelyik állapotból bármelyik állapot elérhet k Z lépés alatt, pozitív valószín séggel. zártság: A Markov lánc állapotainak S halmaza zárt, ha az S halmazon kívül egyetlen állapot sem érhet el S állapotaiból. elnyel : Az i. állapot elnyel állapot, ha p ii =. Minden elnyel állapot zárt halmaz. tranziens: Az i. állapot tranziens, ha 9 olyan j állapot, amely elérhet i-b l, de j-b l i nem érhet el. p (n) i;j > : p(m) j;i > 0 Ha nem tranziens, akkor visszatér. kommunikál: Azt mondjuk, hogy i kommunikál j-vel, ha 9n; m p (n) ij > 0 és p (m) ji > 0 periodikus: Az i. állapot periodikus k > periodussal, ha k az a legkisebb szám, amire igaz, hogy az i-b l i-be visszatér lánc hossza k, illetve k egészszámú többszöröse. ( pij = 0 ha i 6= j (k) = p ij = ha i = j A nem periodikus visszatér állapotot aperiodikusnak nevezzük. fn > 0; p (n) g halmaz legnagyobb közös osztója: d(i) >, akkor i pertiodikus. ij Ha d(i) =, akkor aperiodikus. aperiodikus: A Markov lánc aperiodikus, ha 8i = ; : : : ; N állapota aperiodikus. ergodikus: A Markov láncot ergodikusnak nevezzük, ha aperiodikus, és 8p ij > 0 8i; j = ; : : : ; N. Megjegyzés: (azaz ergodikus, ha aperiodikus és irreducibilis) Tétel: Legyen a Markov lánc ergodikus, (N N ) 0 x x : : : x N x Ekkor 9x = (x ; : : : ; x N ), hogy lim n = n! B x : : : x N x j valószín ség független a kiindulástól. Megjegyzés: ("elfelejti a x x : : : x N s mátrix-szal adott. stacionárius állapot: A fenti x = (x ; : : : ; x N ) a Markov lánc stacionárius állapota: x = x másképp jelölve: q = q amit átalakítva: ( E) T q T = 0, ahol q + q + : : : + q N =. C A Tétel: Ha a Markov lánc irreducibilis és aperiodikus, akkor stabil. q(x n )! q., q 0 -tól függetlenül Azaz. ) 9 stacionárius állapota. Tömegkiszolgálási rendszerek Érkeznek igények, amikb l mindig egyet kiszolgálunk, majd kiszolgálás után 0

22 távozik. Fontos tulajdonságai: várható sorhossz átlagos várakozási id optimális alkalmazott (kiszolgáló egységek) száma

23 Diszkrét idej rendszert tekintünk. Y n := (n ; n] között érkez igények száma V n := (n ; n] között kiszolgált igények száma X n := n: id pontban várakozó igények száma A sorhossz érdekel minket: X n+ = (X n V n+ ) + + Y n+ ( Xn V n+ ha X n V n+ > 0 9 >= >; n = ; ; : : : (ez lehet perc, nap, év, stb) Ahol (X n V n+ ) + = max(x n V n+ ; 0) = Feltevések 0 különben Y n n = ; ; : : : független azonos eloszlású valószín ségi változó V n n = ; ; : : : független azonos eloszlású valószín ségi változó fy n g és fv n g sorozatok is függetlenek egymástól Állítás: Legyen x 0 független (Y n ; V n )-t l. Ha a fenti feltevések igazak, akkor x t homogén Markov lánc. Tétel: Tekintsük a fenti tömeg kiszolgálási modelt: Tfh. f átlója alatt és felett csupa > 0 elem van, valamint E(Y i ) < E(V i ) 8i = ; ; : : :. Ekkor x t t N stabil Markov lánc. (9 stacionáris állapota)

24 Az x t t N egy állapottérben értelmezett. Az irreducibilis és az aperiodikus tulajdonságok hasonlóak. = [p i j] i;jn, ahol p ij = P (x = jjx 0 = i) Tétel: Ha a f átló alatt és felett minden elem pozitív (p i;i > 0; p i;i+ > 0) és a f átlóban legalább egy p ii 6= 0 Megjegyzés: Ha x t állapottéren értelmezett, akkor az irreducibilitásból és aperiodikusságból nem következik a satabilitás. eloszlási operátor: Eloszlási operátornak nevezzük q(x t ) = (p(x t = 0); p(x t = ); : : : ; p(x t = k); : : :) R N. stabilitás: Az x t t N Markov lánc stabil, ha q R n eloszlási operátorra igaz, hogy 8q i [0; ] i N-re P i=0 q i = és 8x 0-ra lim t! q i (x t ) = q i. Folytonos idej Markov láncok Az állapottér diszkrét x t S S = f; ; : : :g t 0 t R + S f0g folytonos idej ML: S x t t R + f0g folytonos idej Markov láncnak nevezzük, ha 8n -re 0 t 0 t : : : t n -re az x 0 ; x 0 ; x ; : : : ; x n S teljesül. P (x(t n ) = x n jx(t n ) = x n ; x(t n ) = x n ; : : : ; x(t 0 ) = x 0 ) = P (x(t n ) = x n jx(t n ) = x n ) ha ezek a feltételes valószín ségek léteznek. Például: egymás utáni történés paraméter exponencális eloszlású. x t jelenti [0; t] hány történés volt. x t Folytonos idej Markov lánc eloszlása (t) paraméret Poisson eloszlás. i (t)j (t) p ij (t) = e (j i)! Chapman-Kolmogorov: P p ij (s+t) = P (x(s+t) = j; x(t) = kjx 0 = i) = ks P P P P (x(s + t) = jjx(t) = k)p (x(t) = kjx(0) = i) = p ik (t)p kj (s) = ks ks p ik (s)p kj (t) ks ( Tfh. p ij (t) = ij = 0 ha i = j (s + t) = (s) (t) = (t) (s) kicsi t-re ( pii = ha i 6= j p ij = 0 Tétel: Ha a Markov láncra igaz a feni feltétel, p ij (t) függvények dierenciálhatóak 8t > 0-ra. Jelölés: q ij = p 0 p ij (t) ij ij (0)+ = lim t!0 + t ráta mátrix: Q = [q ij ] = 0 [0 + ] mátrix a folyamat ráta mátrixnak P nevezzük. q ij = 0 (tehát van negatív eleme is) jn Tétel: Ha a Markov láncra teljesül, hogy P jn 0 (t) = Q (t) q ij = 0 P p 0 ij = P ks q ik p kj (t) 3

25 Tétel: Folytonos idej, véges állapotter, irreducibilis Markov lánc, akkor stabil, ha xq = 0! Q t x t = 0 t. (Ahol x a határeloszlás, Q a ráta mártix.) felújítási folyamat: Egy pontfolyamatot felújítási folyamatnak nevezzük, ha a pontok közötti távolság azonos eloszlású, tetsz leges valószím ségi változók. Paraméterei: A/B/m/K/M A - szomszédos igények beérkezése között eltelt id eloszlásának kódja B - kiszolgálási id eloszlásásnak kódja m - a rendszerben lév kiszolgáló egységek száma K - a rendszer befogadóképessége M - igényforrások száma A,B kódja lehet: M - Markov tulajdonságú, exponencális eloszlású D - Determinisztikus G - tetsz leges eloszlású K,M alapértelmezettként Például M/M/, ahol az els M(az A kódja) utal a (t) paraméter Poisson eloszlásra, a második M(a B kódja) a () paraméter Exponencális eloszlásra, az a kiszolgáló egységek száma, valamint K,M végtelen. Megjegyzés: Gyakorlatról(05.6.): Érkezés: intenzitású Poisson folytonos eloszlású Kiszolgálás: paraméter Exponenciális eloszlású Q = 6 4 Ha 9 stacionárius eloszlása: 0 0 : : : ( + ) 0 0 ( + ) 0 0 ( + ) q = (q 0 ; q ; : : : ; q n ; : : :) i Ahol q i = q 0 i S i > 0 Kihasználtság: = i p i = p 0 p 0 = = Rendszerben tartozkodó igények száma: N (t) = P i=0 Sorhossz: Q = ip i = P = N (t) Várakozási id : T = i( ) i = P i( ) i = ( ) 4 ( ) =

26 Ezek a képletek M/M/ esetre vannak. Tipikusan ilyen a születés/halálozás. Ha bármilyen hibát találnak,kérem írják meg! vardai@itk.ppke.hu 5