Sztochasztikus modellezés

Átírás

1 Sztochasztikus modellezés Szerzı: Dr. Raisz Péter Dr. Fegyverneki Sándor Lektor: Dr. Kálovics Ferenc

2 Tartalomjegyzék 1. Valószínűség-számítási alapok Eseménytér, műveletek eseményekkel A valószínűség fogalma Klasszikus valószínűségi mező Geometriai valószínűségi mező Feltételes valószínűség, függetlenség A relatív gyakoriság Valószínűségi változó Várható érték, transzformáció Medián, kvantilis Néhány diszkrét eloszlás és jellemzői Néhány folytonos eloszlás és jellemzői Generátor-, karakterisztikus függvény A kétdimenziós véletlen vektor Néhány többdimenziós folytonos eloszlás és jellemzői Az n-dimenziós véletlen vektor Valószínűségi változók összege Egyenlőtlenségek Nagy számok gyenge törvényei Polinomiális eloszlás Transzformáció n-dimenzióban Centrális határeloszlás-tétel Vegyes valószínűség-számítási feladatok

3 2. Matematikai statisztikai alapok Minta, mintavétel A statisztikai minta jellemzői Rendezett minták Minimumok és maximumok eloszlása Rendezett mintaelemek eloszlása Becsléselmélet Pontbecslés Maximum likelihood becslés A momentumok módszere Intervallumbecslések Hipotézisvizsgálat A likelihood hányados próba Néhány általánosított likelihood hányados próba A Pearson-féle χ 2 statisztika és alkalmazásai Rendezett mintás próbák Az előjelpróba A Wilcoxon próba A Kolmogorov-Szmirnov kétmintás próba A Kolmogorov-próba Az ω 2 -próba Minta példák Vegyes matematikai statisztikai feladatok Többdimenziós normális eloszlás Többváltozós normális eloszlás fogalma Többváltozós elemzések Elemi tulajdonságok Jellemzők A paraméterek becslése Hipotézis vizsgálat, konfidencia intervallum Normalitás vizsgálat

4 Perem normalitás vizsgálat Egydimenziós vizsgálaton alapuló módszerek Együttes normalitás vizsgálat Példák Kétváltozós normális eloszlás T 2 próba Konfidencia intervallum meghatározása Feltételes várható érték, folyamatok Bevezetés Feltételes várható érték A feltételes várható érték tulajdonságai Martingál Sztochasztikus folyamatok Stacionárius folyamatok Markov-láncok, folyamatok Markov-láncok Állapotok osztályozása Sorbanálláselmélet Poisson folyamat Születési-halálozási folyamatok A sorbanállási elmélet elemei M/M/1 sorbanállási-kiszolgálási rendszer A várakozási idők paradoxona Az M/M/1/K rendszer Készletgazdálkodási modellek, véletlen ütemezés Bevezetés Determinisztikus készletgazdálkodási modellek Az optimális tételnagyság modellje Sztochasztikus készletgazdálkodási modellek

5 Megbízhatósági típusú sztochasztikus készletmodell Véletlen ütemezésű rész-szállítmányok esete A szimuláció alapjai Monte Carlo módszerek Pszeudovéletlen számok Inverzfüggvény módszer Az elfogadás-elvetés módszere Normális eloszlás generálása A Brown-mozgás A közelítő integrálás hibája Alkalmazások Geometriai Brown-mozgás Cox-regresszió Irodalomjegyzék 208 4

6 1. fejezet Valószínűség-számítási alapok 1.1. Eseménytér, műveletek eseményekkel 1.1. Definíció. Egy véletlen kísérlet lehetséges eredményeinek összességét eseménytérnek (mintatér) nevezzük. Jele: Ω. Az Ω elemeit elemi eseményeknek nevezzük Definíció. Az Ω részhalmazainak egy F rendszerét σ-algebrának nevezzük, ha (1) Ω F, (2) A F, akkor A F, (3) A,B F, akkor A B F, (4) A 1, A 2, F, akkor A 1 A 2 F. Az F elemeit pedig eseményeknek nevezzük Megjegyzés. Ha csak (1), (2), (3) teljesül, akkor az F halmazrendszert algebrának nevezzük. Ha A,B F, akkor A B F Definíció. Az Ω halmazt szokás biztos eseménynek, az halmazt pedig lehetetlen eseménynek nevezni. Továbbá, az A esemény bekövetkezik, ha a kísérlet eredménye eleme az A halmaznak Megjegyzés. Az A B esemény bekövetkezik, ha legalább az egyik közülük bekövetkezik, míg az A B esemény akkor következik be, ha mind a kettő bekövetkezik. 5

7 1.2. A valószínűség fogalma 1.6. Definíció. A P : F R nemnegatív leképezést valószínűségnek nevezzük, ha (1) P(Ω) = 1, (2) A B =, akkor P(A B) = P(A)+P(B), (3) A 1, A 2,... egymást kölcsönösen kizáró események (azaz A i A j =, ha i < j és i,j = 1,2,...), akkor ( ) P A i = P(A i ). (1.1) i= Megjegyzés. Az (1)-(3) tulajdonságokat szokás a valószínűség axiómáinak nevezni. i= Következmény. (1) P(A) = 1 P(A). (2) P( ) = 0. (3) P(B\A) = P(B) P(A B). (4) P(A B) = P(A)+P(B) P(A B). (5) Ha A B, akkor P(A) P(B). (6) Ha B n+1 B n és i=1 B n =, akkor lim n P(B n ) = Megjegyzés. Az (5) következményt szokás a valószínűség monotonitásának is nevezni. Ennek fontos következménye, hogy ha A F, akkor 0 P(A) 1, mert A Ω. Hasonlóan a (6) következmény a valószínűség folytonossága Definíció. Az (Ω,F,P) hármast valószínűségi mezőnek nevezzük TÉTEL. (Poincaré) Az A 1, A 2,..., A n eseményekre ( n ) ( n k ) P A i = ( 1) k 1 A ij, (1.2) i=1 k=1 i 1 <i 2 < <i k P ahol az összegzést az összes lehetséges {i 1,i 2,...,i k } {1,2,...,n} esetre tekintjük Megjegyzés. A formula a (4) következmény általánosítása. Teljes indukcióval könnyen bizonyítható. 6 j=1

8 1.3. Klasszikus valószínűségi mező Definíció. Ha az elemi események száma véges és valószínűségük megegyezik, akkor a valószínűségi mezőt klasszikusnak nevezzük Megjegyzés. A definíció nagyon rövidnek tűnik, ha arra gondolunk, hogy egy speciális helyzetben megadja a teljes matematikai modellt (a valószínűségi mezőt). Felmerül a kérdés, hogy a modell minden része szerepel-e benne. A válasz igen. Ha az elemi eseményeknek van valószínűsége, azt úgy kell értelmezni, hogy az alaphalmaz minden egy elemű részhalmaza esemény. Ekkor viszont F = 2 Ω, azaz F a hatványhalmaz. Legyen Ω = n és jelölje az elemi eseményeket ω i (i = 1,2,...,n). Ekkor ( n ) n 1 = P(Ω) = P {ω i } = P({ω i }) = np({ω i }). i=1 Tehát P({ω i }) = 1 (i = 1,2,...,n). n Legyen A Ω tetszőleges, ekkor felírható i=1 A = {ω i1,ω i2,...,ω ik } alakban. Ekkor ( k ) P(A) = P {ω ij } = j=1 k j=1 P({ω ij }) = kp({ω i }) = A Ω. Ezzel minden részhalmaznak meghatároztuk a valószínűségét. Tehát az ún. klasszikus képlet: valószínűség = kedvező esetek száma. (1.3) összes esetek száma VISSZATEVÉSES MINTAVÉTEL: Adott N darab különböző objektum, amelyek közül s darab rendelkezik egy bizonyos tulajdonsággal, például selejt. Visszatevéssel kiveszünk n darabot. Legyen a kivett selejtek száma ξ. 7

9 Mennyi a valószínűsége, hogy ξ = k, ahol 0 k n. ( ) n s k (N s) n k k p k = P(ξ = k) =. (1.4) N n Legyen p = s N, akkor P(ξ = k) = ( ) n p k (1 p) n k. (1.5) k Tehát csak a selejtaránytól függ a valószínűség. VISSZATEVÉS NÉLKÜLI MINTAVÉTEL: Adott N darab különböző objektum, amelyek közül s darab rendelkezik egy bizonyos tulajdonsággal, például selejt. Visszatevés nélkül kiveszünk n darabot. Legyen a kivett selejtek száma ξ. Mennyi a valószínűsége, hogy ξ = k, ahol 0 k min{n, s}. ( )( ) s N s ( ) k n k N p k = P(ξ = k) =. (1.6) n Megjegyzés. Az n elemű sokaságból számú visszatevéses és n k n(n 1)...(n k +1) = n! (n k)! visszatevés nélküli k elemű minta vehető. A p k valószínűségek definíciójából következik, hogy p 0 +p 1 + +p n = 1, amelyből n k=1 ( ) n s k (N s) n k = N n, k illetve (s )( ) N s + 0 n ( s 1 )( ) N s + + n 1 8 ( s n )( ) N s = 0 ( ) N. n

10 1.4. Geometriai valószínűségi mező A geometriai valószínűségi mező bevezetése, a valószínűség definíciója a klaszszikus valószínűségi mező analógiájára történik. Bevezetése, alkalmazása során kiderül, hogy a szükséges elméleti alapokat majd csak a valószínűségi változóknál illetve a véletlen vektoroknál definiáljuk. A következő definíciót fogadjuk el a szemlélet alapján a klasszikus valószínűségi mező mintájára Definíció. Legyen Ω R n, amelynek létezik és véges a nagysága (jelölje m(ω)). Továbbá legyen Ω minden eleme (pontja) azonos "esélyű" és A Ω, amelynek szintén létezik az m(a) nagysága. A P(A) = m(a) m(ω) (1.7) mennyiséget az A valószínűségének nevezzük Megjegyzés. P(A) = m(kedvező esetek). (1.8) m(összes eset) Megjegyzés. Egy halmaz nagyságán a hosszát, területét, térfogatát(mértékét) értjük. LegyenΩ = [0,1] ésmpedig a hosszúság, ekkor minden Q [0,1] pontra csak az m({q}) = 0 lehetséges. Ebből rögtön következik, hogy minden legfeljebb megszámlálhatóan végtelen halmaz nagysága (hossza) Megjegyzés. Létezik halmaz, amelynek nincs Lebesgue-mértéke. Nem mérhető halmaz konstrukciója: Legyen Ω = [0,1] és m pedig a hosszúság. Az a,b Ω relációban van, ha a b Q, azaz racionális. Ez a reláció reflexív, szimmetrikus, tranzitív. Tehát ekvivalenciareláció, amely osztályozást hoz létre. Definiáljuk az E halmazt oly módon, hogy minden osztályból kiveszünk egy elemet. Ez lehetséges a halmazelmélet kiválasztási axiómája szerint. Legyen Ω Q = {r 1,r 2,...}, E n := {x+r n [x+r n ] x E}, 9

11 ekkor az E n halmazok páronént diszjunktak és akkor E n is és nagyságuk megegyezik. Továbbá m(e n ) = 1, n=1 E n = Ω. Ha E mérhető, ami lehetetlen, mert a sor tagjai mind egyenlőek. Ez azt jelenti, hogy E nem mérhető Megjegyzés. Létezik kontinuum számosságú halmaz, amelynek 0 a Lebesgue-mértéke. A Cantor-féle triadikus ( halmaz: Legyen E 1 a középső része a [0,1] intervallumnak, azaz E 1 = 1 3, 2 ). Tehát x [0,1]\E 1 akkor és csak akkor, ha 3 hármas számrendszerben az első jegy (a 0 után) a 0 vagy( a 2. Legyen E 2 a 1 középső részek uniója a [0,1]\E 1 halmazból, azaz E 1 = 9, 2 ) ( 7 9 9, 8 ). 9 Tehát x [0,1]\(E 1 E 2 ) akkor és csak akkor, ha hármas számrendszerben az első két jegy (a 0 után) a 0 vagy a 2. Folytassuk a konstrukciót: legyen E n a középső részek uniója a [0,1]\(E 1 E 2 E n 1 ) halmazból. Cantor-féle triadikus halmaznak nevezzük a C = [0,1]\ halmazt. Tehát x C akkor és csak akkor, ha hármas számrendszerben a számjegyei csupán a 0 vagy a 2. A C halmaz nemmegszámlálható. A konstrukció alapján ( )( ) n ( )( ) n m(e n ) =, m(c) = 1 = Feltételes valószínűség, függetlenség Definíció. Az A esemény B feltétel melletti feltételes valószínűségének nevezzük a P(A B) = P(A B) (1.9) P(B) 10 n=1 E n n=1 n=1

12 mennyiséget, ha P(B) > Megjegyzés. A P( B) : F R leképezés tényleg valószínűség, azaz teljesíti a valószínűség axiómáit, ha rögzítjük a B eseményt TÉTEL. (szorzási szabály) Ha P(A) > 0, P(B) > 0, akkor P(A B) = P(A)P(B A) = P(B)P(A B). (1.10) TÉTEL. (szorzási szabály általánosítása) Ha az A 1,A 2,...,A n n 1 eseményrendszerre P( A i ) > 0, akkor i=1 n P( A i ) = P(A 1 )P(A 2 A 1 ) P(A n A 1 A 2 A n 1 ). (1.11) i= Definíció. Az A 1,A 2,... eseményrendszert teljes eseményrendszernek nevezzük, ha A i A j =, ha i < j és i,j = 1,2,..., és A i = Ω TÉTEL. (teljes valószínűség) Ha A 1,A 2,... teljes eseményrendszer és P(A i ) > 0, ha i = 1,2,..., akkor tetszőleges B esemény esetén i=1 P(B) = P(B A i )P(A i ). (1.12) i=1 Bizonyítás. P(B) =P(B Ω) = P(B = P(B A i ) = i=1 A i ) = P( (B A i )) = (1.13) i=1 i=1 P(A i )P(B A i ). (1.14) i=1 Felhasználva a teljes eseményrendszer tulajdonságait, a valószínűség 3. axiómáját és a szorzási szabályt Megjegyzés. A és A teljes eseményrendszert alkot. A B, A B, A B,és A B teljes eseményrendszert alkot. 11

13 1.28. TÉTEL. (Bayes) Ha A 1,A 2,... teljes eseményrendszer és P(A i ) > 0, ha i = 1, 2,..., akkor tetszőleges pozitív valószínűségű B esemény esetén Bizonyítás. P(A k B) = P(B A k)p(a k ). (1.15) P(B A i )P(A i ) i=1 P(A k B) = P(A k B) P(B) = P(B A k)p(a k ) P(B A i )P(A i ) i=1 (1.16) Felhasználva a teljes valószínűség tételét és a szorzási szabályt Megjegyzés. A Bayes-tételhez kapcsolódóan bevezethetjük a következő elnevezéseket: P(A i ) az ún. a-priori valószínűség és P(A i A) az ún. a-posteriori valószínűség Definíció. Az A és B eseményt sztochasztikusan függetlennek nevezzük, ha P(A B) = P(A)P(B). (1.17) Megjegyzés. Ha az A és B események függetlenek, akkor A és B, A és B és A és B is függetlenek. Ha 0 < P(A) < 1, akkor A és A nem függetlenek TÉTEL. Ha A B =, és P(A)P(B) > 0, akkor az A és a B esemény nem lehetnek függetlenek. Bizonyítás. Tehát nem lehetnek egyenlőek. P(A B) = 0, P(A)P(B) > Definíció. Az A 1,A 2,...,A n eseményeket páronként sztochasztikusan függetlennek nevezzük, ha P(A i A j ) = P(A i )P(A j ) (1 i < j n). (1.18) 12

14 1.34. Definíció. Az A 1,A 2,...,A n eseményeket teljesen sztochasztikusan függetlennek nevezzük, ha P(A i1 A ik ) = P(A i1 ) P(A ik ), (1.19) ahol 1 i 1 < < i k n, 2 k n Megjegyzés. Ha megvizsgáljuk a feltételrendszert, akkor látható, hogy a teljes függetlenség feltételeinek a száma ( ) ( ) ( ) ( ) ( ) n n n n n = 2 n = 2 n 1 n, 2 3 n 0 1 amely nagyon gyorsan nő. Már n = 3 esetén megadható példa, amely azt mutatja, hog egyik feltétel sem elhagyható Definíció. Az{A 1,A 2,...,A n,...} és{b 1,B 2,...,B m,...} eseményrendszereket sztochasztikusan függetlennek nevezzük, ha i,j esetén P(A i B j ) = P(A i )P(B j ) (1 i n, 1 j m). (1.20) Megjegyzés. Ha az A és B események függetlenek, akkor A és B, A és B és A és B is függetlenek, azaz az {A,A} és {B,B} eseményrendszerek is függetlenek. Két σ algebra független, ha mint eseményrendszerek függetlenek TÉTEL. Ha A 1,A 1,...,A n független események és P(A i ) < 1, (i = 1,2,...,n), (1.21) akkor n P( A i ) < 1. (1.22) i= A relatív gyakoriság Definíció. Bernoulli kísérletsorozatnak nevezzük azt, ha adott A F és egymástól függetlenül, azonos körülmények között elvégezzük ugyanazt a kísérletet, s "csak" azt figyeljük, hogy az A esemény bekövetkezett-e vagy sem. 13

15 1.40. Megjegyzés. A visszatevéses mintavétel egy ilyen kísérletsorozatot valósít meg Definíció. Adott egy valószínűségi mező. Vizsgáljuk az A esemény bekövetkezését. Végezzünk el egy Bernoulli-kísérletsorozatot, amelynek a hossza n. Jelölje az A esemény bekövetkezéseinek a számát k A. Ezt az A esemény gyakoriságának nevezzük. Míg az r A = k A n (1.23) mennyiséget pedig relatív gyakoriságnak nevezzük Megjegyzés. Mivel 0 k A n, ezért 0 r A 1. k Ω = n, tehát r Ω = 1. Ha A B =, akkor k A B = k A +k B, ezért r A B = r A +r B. Jól látható, hogy a relatív gyakoriság tulajdonságai megegyeznek a valószínűségével és mégsem igazán jó mérőszám, hiszen minden újabb kísérlettel változhat Valószínűségi változó Definíció. A X : Ω R leképezést valószínűségi változónak nevezzük, ha {X < x} = {ω ω Ω, X(ω) < x} F x R. (1.24) Definíció. Legyen σ(x) = {A F A = X 1 (B), B B(R)}. (1.25) Ezt a halmazt a valószínűségi változó által generált σ algebrának nevezzük Definíció. Az F(x) = P(X < x) (1.26) formulával meghatározott valós függvényt az X valószínűségi változó eloszlásfüggvényének nevezzük. 14

16 1.46. TÉTEL. Az F valós függvény akkor és csak akkor lehet eloszlásfüggvény, ha 1. lim F(x) = 0, x 2. lim F(x) = 1, x 3. F(a) F(b), ha (a < b), azaz monoton növekvő, 4. lim x x 0 0 F(x) = F(x 0), x 0 R, azaz balról folytonos Megjegyzés. Az F teljesíti az előző tételben szereplő tulajdonságokat. Ha ezenkívül szigorúan nő és folytonos, akkor létezik F 1. Legyen Ω = [0,1], F = a nyílt intervallumok által generált σ algebra és P pedig egy halmaz hossza. Legyen minden ω Ω esetén ami folytonos és szigorúan monoton növekvő. X(ω) = F 1 (ω), (1.27) P(X < x) = m({ω F 1 (ω) < x}) = m({ω ω < F(x)}) = F(x) TÉTEL. Legyen F az X valószínűségi változó eloszlásfüggvénye és a,b R, ekkor 1. P(a X < b) = F(b) F(a), 2. P(X = a) = F(a+0) F(a) Definíció. Az X valószínűségi változót diszkrétnek nevezzük, ha a lehetséges értékek X(Ω) halmazának számossága legfeljebb megszámlálhatóan végtelen Megjegyzés. Diszkrét valószínűségi változó esetén a lehetséges értékek felírhatók egy sorozatként Definíció. Legyen az X valószínűségi változó lehetséges értékeinek sorozata x 1,x 2,... A p i = P(X = x i ), (i = 1,2,...) (1.28) valószínűségek sorozatát eloszlásnak nevezzük. 15

17 1.52. TÉTEL. Ha p 1,p 2,... eloszlás, akkor p i 0 (i = 1,2,...) és p i = 1. (1.29) i= Definíció. Ha létezik f nemnegatív valós függvény, melyre F(x) = x f(t)dt, x R, (1.30) akkor f az F eloszlásfüggvényhez tartozó sűrűségfüggvény Megjegyzés. A sűrűségfüggvény nem egyértelmű. A sűrűségfüggvény létezése azt jelenti, hogy az F eloszlásfüggvény abszolút folytonos TÉTEL. Az f valós függvény akkor és csak akkor lehet sűrűségfüggvény, ha nemnegatív és + f(t)dt = 1. (1.31) Definíció. A valószínűségi változót folytonosnak nevezzük, ha létezik a sűrűségfüggvénye TÉTEL. Legyen az X folytonos valószínűségi változó f sűrűségfüggvénnyel és a,b R, ekkor P(X = a) = 0 (1.32) és P(a X < b) = b a f(x)dx. (1.33) Megjegyzés. Tetszőleges eloszlásfüggvény előállítható p 1 F 1 +p 2 F 2 +p 3 F 3 (1.34) alakban, ahol p 1 +p 2 +p 3 = 1, p 1 0, p 2 0, p 3 0, F 1 diszkrét, F 2 abszolút folytonos és F 3 folytonos és szinguláris eloszlásfüggvény a Lebesgue-mértékre nézve. 16

18 A P és a P valószínűségek szingulárisak egymásra, ha A F úgy, hogy P(A) = 0 és P (A) = 0. Általában egy diszkrét és egy abszolút folytonos szinguláris egymásra nézve. Folytonos és szinguláris eloszlásfüggvény a Lebesgue-mértékre nézve az ún. Cantor-függvény: A Cantor-féle triadikus halmaz elkészítésekor (l megjegyzés) az n-edik lépésben éppen 2 n 1 intervallumot vettünk ki a [0,1] intervallumból. Jelölje ezeket sorban A 1,A 2,...,A 2 n 1. Ekkor legyen 0, ha x = 0, k F n (x) = 2 n, ha x A k, k = 1,2,...,2 n 1, 1, ha x = 1. Az F(x) = lim n F n (x), x R függvényt Cantor-függvénynek nevezzük. F monoton növekvő, F = 0 majdnem mindenütt és nem abszolút folytonos Várható érték, transzformáció Definíció. 1. Ha az X diszkrét valószínűségi változó lehetséges értékeinek a száma véges, azaz a lehetséges értékek akkor a x 1,x 2,...,x n és p i = P(X = x i ) (i = 1,2,...,n), n x i p i (1.35) i=1 mennyiséget várható értéknek nevezzük. 2. Ha az X diszkrét valószínűségi változó lehetséges értékeinek számossága megszámlálhatóan végtelen, azaz a lehetséges értékek x 1,x 2,..., és p i = P(X = x i ) (i = 1,2,...), akkor a x i p i (1.36) i=1 17

19 mennyiséget várható értéknek nevezzük, ha x i p i < Ha X folytonos valószínűségi változó f sűrűségfüggvénnyel, akkor a + mennyiséget várható értéknek nevezzük, ha + i=1 xf(x)dx (1.37) x f(x)dx < +. (1.38) Az X valószínűségi változó várható értékének a jelölése: E(X) TÉTEL. 1. E(aX +b) = ae(x)+b, a,b R. 2. Ha m X M, akkor m E(X) M Definíció. Legyen X valószínűségi változó és g valós függvény. Ha az Y = g(x) függvény valószínűségi változó, akkor az X transzformáltjának nevezzük Megjegyzés. A transzformált eloszlásfüggvénye F Y (y) = P({ω g(x(ω)) < y}) TÉTEL. Ha g differenciálható és g (x) 0, akkor X folytonos valószínűségi változó esetén Y = g(x) folytonos valószínűségi változó, melynek sűrűségfüggvénye f X (g 1 (y)) d f Y (y) = dy g 1 (y), ha a < y < b, (1.39) 0, egyébként, ahol a = min( lim g(x), lim g(x)), b = max( lim g(x), lim g(x)). (1.40) x x + x x + 18

20 1.64. TÉTEL. Ha Y = g(x) az X valószínűségi változó transzformáltja és létezik E(Y), akkor g(x i )P(X = x i ), ha X diszkrét, E(Y) = i=1 (1.41) + g(x)f X (x)dx, ha X és Y folytonos Definíció. Az E((X E(X)) 2 ) (1.42) mennyiséget az X valószínűségi változó szórásnégyzetének nevezzük. Jele: D 2 (X) Definíció. A E((X E(X)) 2 ) mennyiséget az X valószínűségi változó szórásának nevezzük. Jele: D(X) Definíció. Az E(X k ) mennyiséget az X valószínűségi változó k-adik momentumának nevezzük Definíció. Az E((X E(X)) k ) mennyiséget az X valószínűségi változó k-adik centrális momentumának nevezzük Definíció. Az X E(X) D(X) transzformáltat az X valószínűségi változó standardizáltjának nevezzük Definíció. Az ( (X ) ) 3 E(X) E D(X) mennyiséget az X valószínűségi változó ferdeségének nevezzük Definíció. Az ( (X ) ) 4 E(X) E 3 D(X) mennyiséget az X valószínűségi változó lapultságának nevezzük. 19

21 1.72. TÉTEL. 1. D(aX +b) = a D(X), a,b R. 2. D 2 (X) = E(X 2 ) E 2 (X). 3. D 2 (X) = E((X a) 2 )+(a E(X)) min a R E((X a)2 ) = D 2 (X), és ekkor a = E(X) Megjegyzés. Az utóbbi két állítás hasonló (sőt formailag azonos) a tehetetlenségi nyomatékra vonatkozó közismert Steiner-tétellel, amely azt mondja ki, hogy egy egyenesen lévő tömegeloszlás tehetetlenségi nyomatéka valamely az egyenesre merőleges forgástengelyre vonatkozólag egyenlő a súlyponton áthaladó tengelyre vonatkozó tehetetlenségi nyomatéknak és a tengely súlyponttól mért távolsága négyzetösszegével, ha az össztömeg egységnyi; következésképpen a tehetetlenségi nyomaték akkor minimális, ha a forgástengely a súlyponton megy át Medián, kvantilis Definíció. Az m valós számot az X valószínűségi változó mediánjának nevezzük, ha P(X < m) = P(X m) = 1 2, (1.43) azaz F X (m) = 1 2. (1.44) Megjegyzés. A medián általában nem egyértelmű. Viszont ha létezik a sűrűségfüggvény, illetve létezik az eloszlásfüggvény deriváltja, akkor mine( X a ) (1.45) a R pontosan az a = m esetén adódik. Ez a tulajdonság hasonlít a várható érték és szórásnégyzet kapcsolatához. Az E( X m ) értéket a mediántól való várható eltérésnek nevezzük. 20

22 Bizonyítás. I = + x m f(x)dx = (1.46) m = (x m)f(x)dx+ + m (x m)f(x)dx. (1.47) Alkalmazzuk a következő Leibniz formulát: d dy q(y) p(y) f(x,y)dx = q(y) p(y) akkor azt kapjuk, hogy y f(x,y)dx+f(q(y),y)q (y) f(p(y),y)p (y), (1.48) di dm = m f(x)dx Tehát akkor kapunk minimumot, ha ez nulla, azaz m f(x)dx. (1.49) F(m) = m f(x)dx = 1 2. (1.50) Ez pedig éppen az eloszlás mediánjával egyezik meg Definíció. Az x p valós számot az X valószínűségi változó p-kvantilisének nevezzük, ha F X (x p ) = p. (1.51) Megjegyzés. Tehát például a medián az 1 2 -kvantilis Néhány diszkrét eloszlás és jellemzői 1. BINOMIÁLIS ELOSZLÁS 21

23 Legyen n N, A F, és végezzünk el egy n hosszúságú Bernoulli-kísérletsorozatot. Továbbá, legyen X az A esemény bekövetkezéseinek a száma. Ekkor X eloszlása ( ) n P(X = k) = p k q n k, (k = 0,1,...,n), (1.52) k ahol P(A) = p és q = 1 p, és az X valószínűségi változót binomiális eloszlásúnak nevezzük. Jelölés: X B(n, p) TÉTEL. E(X) = np, D 2 (X) = npq Megjegyzés. A visszatevéses mintavétel binomiális eloszláshoz vezet. Továbbá a gyakoriság is binomiális eloszlású. 2. POISSON-ELOSZLÁS Legyen λ > 0 rögzített konstans és λ = np n, ekkor ( n lim )p kn(1 p n ) n k = e λλk, ahol k = 0,1,... (1.53) n,λ=np n k k! A X valószínűségi változót Poisson-eloszlásúnak nevezzük λ > 0 paraméterrel, ha eloszlása Jelölés: X Poisson(λ). P(X = k) = e λλk, ahol k = 0,1,... (1.54) k! TÉTEL. E(X) = λ, D 2 (X) = λ. 3. GEOMETRIAI ELOSZLÁS A binomiális eloszlás bevezetésekor használt jelölések mellett az X valószínűségi változó jelentse az A esemény első bekövetkezéséhez szükséges kísérletek számát. az X eloszlása P(X = k) = pq k 1, ahol k = 1,2,... (1.55) TÉTEL. E(X) = 1 p, D2 (X) = q p 2. 22

24 1.82. Megjegyzés. Az Y = X 1 valószínűségi változót is szokás geometriai eloszlásúnak nevezni. Az Y eloszlása P(Y = k) = pq k, ahol k = 0,1,2, TÉTEL. E(Y) = q p, D2 (Y) = q p Megjegyzés. Viszont és Tehát P(Y = k +m Y m) = P({Y = k +m} {Y m}). P(Y m) {Y = k +m} {Y m} = {Y = k +m} P(Y m) = pq m( 1+q +q ) = pqm 1 q = qm. P(Y = k +m Y m) = pqm+k q m = pqk = P(Y = k). (1.56) Ezzel beláttuk a geometriai eloszlás emlékezet nélküli tulajdonságát Néhány folytonos eloszlás és jellemzői 1. EGYENLETES ELOSZLÁS Legyen a, b R és a < b. Az X egyenletes eloszlású az (a, b) intervallumon, ha a sűrűségfüggvénye 1, ha a < x < b, f(x) = b a (1.57) 0, egyébként. Jelölés: X U(a, b). Az eloszlásfüggvény 0, ha x a, x a F(x) =, ha a < x b, b a 1, ha x > b. (1.58) 23

25 1.85. TÉTEL. E(X) = a+b 2, D2 (X) = (b a) Megjegyzés. Az egyenletes eloszlás adja a geometriai valószínűségi mező elméleti alapját TÉTEL. Ha F szigorúan monoton növő eloszlásfüggvény és X F eloszlású, akkor Y = F(X) egyenletes eloszlású a [0,1] intervallumon. Fordítva, ha X U(0,1), akkor Y = F 1 (X) éppen F eloszlású. 2. EXPONENCIÁLIS ELOSZLÁS Az X exponenciális eloszlású λ > 0 paraméterrel, ha a sűrűségfüggvénye { λe λx, ha x 0, f(x) = (1.59) 0, egyébként. Jelölés: X Exp(λ). Az eloszlásfüggvény { 0, ha x 0, F(x) = 1 e λx, ha x > 0. (1.60) TÉTEL. E(X) = 1 λ, D2 (X) = 1 λ Megjegyzés. Örökifjú tulajdonság: ahol a > 0, b > 0. P(X a+b X a) = P(X b), (1.61) 3. NORMÁLIS ELOSZLÁS Legyen m R, σ > 0. Az Y normális eloszlású, ha a sűrűségfüggvénye f(x) = 1 ) ( σ 2π exp (x m)2, x R. (1.62) 2σ 2 Jelölés: Y N(m,σ 2 ). Ha m = 0 és σ = 1, akkor a valószínűségi változót standard normális eloszlásúnak nevezzük. Jelölje a sűrűségfüggvényét ϕ és az eloszlásfüggvényét Φ. Ha X standard normális eloszlású, akkor az Y = σx +m (1.63) 24

26 valószínűségi változó F eloszlásfüggvényére jellemző, hogy ( ) x m F(x) = Φ. (1.64) σ TÉTEL. E(X) = m, D 2 (X) = σ Megjegyzés. A ϕ függvény írja le a Gauss-görbét (haranggörbét) Megjegyzés. Φ(0) = 0.5 és Φ( x) = 1 Φ(x). Ezzel meghatározható táblázatból az eloszlásfüggvény értéke, hiszen általában a Φ függvény értékeit csak a [0,4) intervallumon szokás megadni. Néhány standard normális eloszlás érték x p Φ(x p ) = p P(m x p σ < Y < m+x p σ) Megjegyzés. A normális eloszláshoz kapcsolódik a hibafüggvény erf(x) = 2 x π 0 e u2 du erfc(x) =1 erf(x), (1.65) azaz Φ(x) = 1 2 [ )] x 1+erf(. (1.66) 2 erf(x) = 2 π n=0 ( 1) n x 2n+1 (2n+1)n! = 2 π ( x x3 3 + x5 10 x x ). (1.67)

27 erfc(x) = e x2 x π = e x2 x π [ 1+ n=1 ( 1) n 2n! n!(2x) 2n ( 1 1 2x x x x 8 ] ). (1.68) 1.1. ábra. Az eloszlásfüggvény közelítésére egy 10 7 pontosságú polinomiális közelítést alkalmazhatunk. A közelítő polinom: p(x) = c 0 +c 1 x+c 2 x 2 + +c 8 x 8. (1.69) 26

28 A közelítő polinom együtthatói intervallum [0, 1.5] (1.5, 3] (3, 6] c c c c c c c c c Az eloszlásfüggvény inverzének a közelítésére egy pontosságú racionális törtfüggvény közelítést alkalmazhatunk. Standard normális eloszlás inverze (Pascal részlet) function Invphi(var x:extended):extended; var szi,ni,ui:extended; begin ui:=x; if (ui<0) or (ui>1) then Halt; if ui>=0.5 then ui:=1-ui; if ui<(2*1e-15) then ui:=2*1e-15; ui:=sqrt(-2*ln(ui))-sqrt(ln(4)); if 0.01<ui then begin szi:= e-3; szi:=szi*ui e-2; szi:=szi*ui e-1; szi:=szi*ui e0; szi:=szi*ui e1; szi:=szi*ui e1; szi:=szi*ui e1; szi:=szi*ui e1;szi:=szi*ui+0.0; ni:= e-3; ni:=ni*ui e-2; ni:=ni*ui e-1; ni:=ni*ui e0; ni:=ni*ui e1 ; ni:=ni*ui e1 ; ni:=ni*ui e1 ; ni:=ni*ui+1;end 27

29 else begin szi:= e-4; szi:=szi*ui e-3; szi:=szi*ui e-1; szi:=szi*ui e0; szi:=szi*ui e0; szi:=szi*ui e1; szi:=szi*ui e1; szi:=szi*ui e1; szi:=szi*ui e-6; ni:= e-4; ni:=ni*ui e-3; ni:=ni*ui e-1; ni:=ni*ui e0; ni:=ni*ui e0; ni:=ni*ui e1; ni:=ni*ui e1; ni:=ni*ui+1.0;end; if x<0.5 then szi:=-szi; Invphi:=szi/ni; end; TÉTEL. (Moivre-Laplace) Legyen az X valószínűségi változó binomiális eloszlású n és p paraméterrel és 0 a < b n egész, akkor P(a X b) = b ( n k k=a b np+ 1 Φ 2 npq ) p k q n k (1.70) Φ a np 1 2 npq. (1.71) Szemléltetésül tekintsük az 1.1 és az 1.2 ábrát. 4. CAUCHY ELOSZLÁS Legyen c R, s > 0. Az Y Cauchy eloszlású, ha a sűrűségfüggvénye 1 f(x) = [ ( ) 2 ], x R. (1.72) x c πs 1+ s 28

30 1.2. ábra Megjegyzés. Nem létezik a várható érték és ebből adódóan nem létezik az E(X α ) momentum, ha α 1. Az eloszlásfüggvény F(x) = ( ) x c π arctan. (1.73) s Megjegyzés. Szokás a c = 0, s = 1 esetet (standard) Cauchy-eloszlásnak nevezni. 5. WEIBULL ELOSZLÁS A Weibull-eloszlás paramétereire többféle elterjedt jelölésrendszer van. Az eltérő jelölések használatát egyértelműen magyarázza, hogy a Weibull-eloszlás 29

31 1.3. ábra. igen széles körben, a legkülönfélébb tudományterületeken alkalmazták, valamint a paramétereknek sokféle meghatározási módja is ismeretes és az egyes megoldásoknál a változók átírása jelentős egyszerűsítéseket eredményez. Mi a következőkben az { 1 exp( x c ), ha x 0, F c (x) = (1.74) 0, ha x < 0, jelölést alkalmazzuk a standard Weibull-eloszlás jelölésére. Ebből a lineáris transzformáltak eloszlása F c ( x a ). (1.75) b Tehát ez az eloszláscsalád háromparaméteres, amelyből a c az ún. alakparaméter (típusparaméter). Viszont lényeges, hogy aszimmetrikus eloszlás. 30

32 1.4. ábra Megjegyzés. Az eloszlás c = 1 esetén az exponenciális eloszlást, c = 2 a Rayleigh eloszlás adja, míg c = 3.57 közelében az eloszlás közel szimmetrikussá válik és jól közelíti a normális eloszlást. Megfelelő paraméter választással az is elérhető, hogy a Weibull-eloszlás jól közelítse a lognormális és Γ-eloszlásokat. Tekintsük az 1.3, 1.4, 1.5, 1.6 ábrákat Generátor-, karakterisztikus függvény Definíció. Legyen X egy nemnegatív egész értékű valószínűségi változó és legyen p j = P(X = j), (j = 0,1,2,...). A G X (z) = p j z j = E(z X ) (1.76) j=0 31

33 1.5. ábra. függvényt az X generátorfüggvényének nevezzük TÉTEL. Legyen X és Y nemnegatív egész értékű valószínűségi változó, ekkor (a) G X (z) konvergens, ha z 1. (b) X és Y eloszlása akkor és csak akkor egyezik meg, ha G X (z) = G Y (z). (c) p n = 1 d n G X (z) n! dz n, n = 0,1,2... z=0 (d) E(X) = G X (1) és D2 (X) = G X (1)+G X (1) (G X (1)) Definíció. Legyen X valószínűségi változó a ϕ X (t) = E(e itx ), t R (1.77) függvényt az X karakterisztikus függvényének nevezzük. 32

34 1.6. ábra TÉTEL. Legyen X és Y valószínűségi változó, ekkor (a) F X = F Y akkor és csak akkor, ha ϕ X = ϕ Y. (b) ϕ X (t) ϕ X (0) = 1, t R. (c) ϕ (k) X = ik E(X k ), ha E(X k ) létezik TÉTEL. Ha a ϕ karakterisztikus függvény abszolút integrálható, akkor az X valószínűségi változónak létezik a sűrűségfüggvénye, és f X (x) = 1 2π e iux ϕ X (u)du. (1.78) 33

35 1.13. A kétdimenziós véletlen vektor Definíció. A (X,Y) : Ω R 2 leképezést (kétdimenziós) véletlen vektornak nevezzük, ha {X < x,y < y} = {ω ω Ω, X(ω) < x,y(ω) < y} F x,y R. (1.79) Definíció. Az F(x,y) = P(X < x,y < y) formulával meghatározott valós értékű függvényt a (X, Y) véletlen vektor együttes eloszlásfüggvényének nevezzük. Az F X (x) = lim F(x,y), F Y(y) = lim F(x,y) (1.80) y + x + függvényeket peremeloszlásfüggvénynek nevezzük TÉTEL. Az F függvény akkor és csak akkor lehet együttes eloszlásfüggvény, ha 1. lim F(x,y) = 0, lim F(x,y) = 0, x y 2. x lim F(x,y) = 1, y 3. F mindkét változójában balról folytonos, 4. F(b,d) F(b,c) F(a,d)+F(a,c) 0, a < b, c < d esetén, azaz teljesül az ún. "téglalap" tulajdonság Megjegyzés. A téglalap tulajdonságból következik, hogy mindkét változójában monoton növekvő Definíció. A (X, Y) véletlen vektort diszkrétnek nevezzük, ha a lehetséges értékek számossága legfeljebb megszámlálhatóan végtelen Definíció. Legyen az X, illetve Y valószínűségi változó lehetséges értekeinek sorozata x 1,x 2,..., illetve y 1,y 2,... A P(X = x i,y = y j ) = p ij (i, j = 1, 2,...) valószínűségek sorozatát együttes eloszlásnak nevezzük. A q i = p ij, (i = 1,2,...), (1.81) j=1 34

36 r j = p ij, (j = 1,2,...) (1.82) i=1 valószínűség sorozatokat peremeloszlásnak nevezzük. Minden r j > 0 esetén az X feltételes eloszlása adott Y = y j mellett Az P(X = x i Y = y j ) = p ij r j. (1.83) E(X Y = y j ) = i=1 mennyiséget feltételes várható értéknek nevezzük. Az x i p ij r j (1.84) E(X Y = y j ) = m 2 (y j ) (1.85) függvényt az X-nek az Y -ra vonatkozó regressziós függvényének nevezzük TÉTEL. Ha p ij (i,j = 1,2,...) együttes eloszlás, akkor p ij 0 (i,j = 1,2,...) és i=1 p ij = 1. (1.86) Definíció. Ha létezik f nemnegatív valós értékű függvény, melyre F(x,y) = x y j=1 f(u,v)dvdu, x,y R, (1.87) akkor f az F eloszlásfüggvényhez tartozó együttes sűrűségfüggvény. Az f X (x) = + f(x,y)dy, f Y (y) = függvényeket peremsűrűségfüggvénynek nevezzük. + f(x, y)dx (1.88) TÉTEL. Az f függvény akkor és csak akkor lehet együttes sűrűségfüggvény, ha nemnegatív és + + f(x,y)dydx = 1. (1.89) 35

37 Definíció. Az (X,Y) véletlen vektort folytonosnak nevezzük, ha létezik az együttes sűrűségfüggvénye Definíció. Az X és Y) valószínűségi változót függetlennek nevezzük, ha F(x,y) = F X (x)f Y (y), x,y R. (1.90) Megjegyzés. A függetlenség megfelelői diszkrét illetve folytonos esetben: p ij = q i r j, (i,j = 1,2,...), (1.91) f(x,y) = f X (x)f Y (y) x,y R. (1.92) Definíció. Legyen (X, Y) véletlen vektor. Az F(x y) az feltételes eloszlásfüggvénye az X-nek Y = y esetén, ha F(x y) = P(X < x Y = y) = lim P(X < x y Y < y +h). (1.93) h Megjegyzés. Ha léteznek a feltételes valószínűségek Definíció. Ha létezikf X Y nemnegatív valós értékű függvény, melyre F(x y) = x f X Y (u y)du, x,y R, (1.94) akkor f X Y az X-nek az Y -ra vonatkozó feltételes sűrűségfüggvénye Megjegyzés. f X Y (x y) = f(x,y) f Y (y). (1.95) Definíció. A feltételes sűrűségfüggvény segítségével meghatározott feltételes várható értéket regressziós függvénynek nevezzük, azaz az + xf X Y (x y)dx = m 2 (y) (1.96) függvényt az X-nek az Y -ra vonatkozó regressziós függvényének nevezzük, illetve az + yf Y X (y x)dy = m 1 (x) (1.97) függvényt az Y -nak az X-re vonatkozó regressziós függvényének nevezzük. 36

38 Megjegyzés. A min g E((X g(y)) 2 ) értékét, akkor kapjuk, ha g megegyezik a regressziós függvénnyel TÉTEL. Ha (X,Y) véletlen vektor és g : R 2 R olyan függvény, hogy g(x,y) valószínűségi változó, akkor g(x i,y j )p ij, ha (X,Y) diszkrét, i,j E(g(X,Y)) = + + (1.98) g(x, y)f(x, y)dydx, ha (X,Y) folytonos Definíció. A cov(x,y) = E((X E(X))(Y E(Y))) (1.99) mennyiséget kovarianciának nevezzük. Az r(x,y) = cov(x,y) D(X)D(Y) (1.100) mennyiséget pedig korrelációs együtthatónak nevezzük Megjegyzés. A korrelációs együttható az összefüggést próbálja meg mérni. Ha X és Y független, akkor r(x,y) = 0, fordítva nem igaz. Pl. ha X N(0,1), Y = X 2, akkor r(x,y) = Definíció. Legyen g valós függvény. Az I(X,Y) = 1 D2 (Y g(x)) D 2 (Y) (1.101) mennyiséget korrelációs indexnek nevezzük TÉTEL. 1. E(X +Y)) = E(X)+E(Y). 2. D 2 (X +Y)) = D 2 (X)+D 2 (Y)+2cov(X,Y). 3. E(E(X Y = y)) = E(X). 4. cov(x,y) D(X)D(Y), azaz r(x,y) I(X,Y) 1. 37

39 1.14. Néhány többdimenziós folytonos eloszlás és jellemzői 1. EGYENLETES ELOSZLÁS Az (X,Y) véletlen vektor egyenletes eloszlású az A R 2 tartományon, ha 1, ha (x,y) A, f(x,y) = A (1.102) 0, egyébként. 2. NORMÁLIS ELOSZLÁS Az (X,Y) véletlen vektor normális eloszlású, ha 1 f(x,y) = exp[ Q], (1.103) 2πσ 1 σ 2 1 ρ 2 [ 1 Q = ( x m 1 ) 2 2ρ( x m 1 )( y m 2 )+( y m ] 2 ) 2, (1.104) 2(1 ρ 2 ) σ 1 σ 1 σ 2 σ 2 ahol σ 1 > 0,σ 2 > 0, 1 < ρ < 1. Q = f Y (y) = + = [ 1 x m 2σ 12 (1 ρ 2 1 ρ σ ] 2 1 (y m 2 ) + (y m 2) 2. (1.105) ) σ 2 2σ f(x,y)dx = 1 2πσ2 exp 1 exp 1 [ 2πσ1 1 ρ 2 2σ 12 (1 ρ 2 ) 1 exp [ (y m 2) 2 2πσ2 2σ 2 2 [ (y m 2) 2 2σ 2 2 ] ( x m 1 ρ σ ) ] 2 1 (y m 2 ) dx = σ 2 ], (1.106) mert az integrál értéke 1, hiszen egy olyan valószínűségi változó sűrűségfüggvénye, amely eloszlása ( N m 1 +ρ σ ) 1 (y m 2 ),σ 2 1 (1 ρ 2 ). (1.107) σ 2 38

40 Megjegyzés. Rögtön látható, hogy a két perem eloszlásan(m 1,σ 1 2 ) és N(m 2,σ 2 2 ), valamint m 1 (x) =m 2 +ρ σ 2 σ 1 (x m 1 ), m 2 (y) =m 1 +ρ σ 1 σ 2 (y m 2 ). (1.108) Tehát a regressziós függvények egyenesek Megjegyzés. Hasonló integrálással adódik, hogy éppen ρ a korrelációs együttható Az n-dimenziós véletlen vektor A véletlen vektor és a hozzákapcsolódó fogalmak definícióját csak kétdimenziós esetben adtuk meg, de nagyon egyszerűen kiterjeszthetőek véges sok valószínűségi változó esetére. Például, az X 1, X 2,..., X n valószínűségi változókat függetlennek nevezzük, ha F(x 1,x 2,...,x n ) = F X1 (x 1 )F X2 (x 2 ) F Xn (x n ) x 1,x 2,...,x n R. (1.109) TÉTEL. Az F(x 1,x 2,...,x n ) függvény akkor és csak akkor együttes eloszlásfüggvény, ha minden változójában balról folytonos, és lim x i F(x 1,x 2,...,x n ) = 0, (i = 1,2,...,n), (1.110) lim x i + (i=1,2,...,n) F(x 1,x 2,...,x n ) = 1, (1.111) K=e 1 +e 2 + +e n ( 1) K F(e 1 a 1 +(1 e 1 )b 1,...,e n a n +(1 e n )b n ) 0 (1.112) a i b i (i = 1,2,...,n) és az összegzést K esetében vesszük, ahol az e 1,e 2,...,e n értéke 0 és 1 lehet TÉTEL. Legyenek X 1,X 2,...,X n független valószínűségi változók, melyeknek rendre F X1, F X2,..., F Xn az eloszlásfüggvénye. Ekkor 39

41 (a) az Y(ω) = max{x 1 (ω),...,x n (ω)} ( ω Ω) valószínűségi változó eloszlásfüggvénye F Y (y) = F X1 (y)f X2 (y) F Xn (y). (1.113) (b) az Y(ω) = min{x 1 (ω),...,x n (ω)} ( ω Ω) valószínűségi változó eloszlásfüggvénye F Y (z) = 1 (1 F X1 (z))(1 F X2 (z)) (1 F Xn (z)). (1.114) Valószínűségi változók összege TÉTEL. (konvolúció) Legyen (X,Y) véletlen vektor és Z = X+Y, ekkor teljesülnek a következő állítások: (a) Ha X és Y független diszkrét valószínűségi változók, amelyek mindegyikének lehetséges értékei 0,1,2,..., akkor Z értékei k = i+j (i,j = 0,1,2,3,...) és P(Z = k) = i+j=k P(X = i)p(y = j) = k P(X = i)p(y = k i). (1.115) i=0 (b) Ha X és Y független valószínűségi változók, akkor P(Z < z) = + f X (x)f Y (z x)dx = z f Z (x)dx, (1.116) ahol Z sűrűségfüggvénye f Z (z) = + f X (x)f Y (z x)dx = + f X (z y)f Y (y)dy. (1.117) TÉTEL. Ha X és Y független nemnegatív egész értékű valószínűségi változó, akkor G X+Y (z) = G X (z)g Y (z), (1.118) ahol G a generátorfüggvényt jelöli. 40

42 1.7. ábra TÉTEL. Ha X és Y független valószínűségi változó, ekkor ϕ X+Y (t) = ϕ X (t)ϕ Y (t), t R, (1.119) ahol ϕ a karakterisztikus függvényt jelöli. 1. χ 2 n ELOSZLÁS Definíció. Legyen X 1,X 2,...,X n N(0,1), amelyek teljesen függetlenek, akkor X = X 2 1 +X X 2 n (1.120) valószínűségi változót n szabadságfokú χ 2 n-eloszlásúnak nevezzük. Jelölés: X χ 2 n TÉTEL. E(X) = n, D 2 (X) = 2n Megjegyzés. Ha n = 2, akkor X exponenciális eloszlású, azaz X Exp(0.5). 41

43 1.8. ábra. 2. Γ-ELOSZLÁS Legyen α > 0, λ > 0. Az X Γ-eloszlású, ha a sűrűségfüggvénye 1 f(x) = Γ(α) λα x α 1 e λx, ha x > 0, 0, ha x 0. (1.121) Jelölés: X Γ(λ,α) TÉTEL. E(X) = α λ, D2 (X) = α λ Megjegyzés. Ha α = 1, akkor éppen az exponenciális eloszlást kapjuk Megjegyzés. Független exponenciális eloszlású valószínűségi változók összege Γ-eloszlás. 42

44 1.9. ábra Megjegyzés. Ha az X χ 2 n-eloszlású valószínűségi változó akkor α = n 2, λ = 1 paraméterű Γ-eloszlású, azaz 2 X Γ( 1 2, n ). (1.122) Egyenlőtlenségek TÉTEL. (Markov-egyenlőtlenség) Legyen az Y nemnegatív valószínűségi változó, melynek létezik a várható értéke, ekkor c > 0 esetén P(Y c) E(Y). (1.123) c 43

45 Bizonyítás. Folytonos eset: E(Y) = xf(x)dx xf(x)dx cf(x)dx = cp(y c). (1.124) 0 c c Diszkrét eset: E(Y) = x i P(Y = x i ) i P(Y = x i ) x i cx i=1 cp(y = x i ) c = x i ) = cp(y c). (1.125) x i c x i cp(y Megjegyzés. P(Y c) 1 E(Y). (1.126) c TÉTEL. (Csebisev-egyenlőtlenség) Ha az X valószínűségi változónak létezik a szórásnégyzete, akkor ε > 0 esetén P( X E(X) ε) D2 (X) ε 2. (1.127) Bizonyítás. Legyen Y = (X E(X)) 2, ekkor Y 0, E(Y) = D 2 (X). Alkalmazzuk Y -ra a Markov-egyenlőtlenséget, ha c = ε Megjegyzés. P( X E(X) ε) 1 D2 (X) ε 2. (1.128) TÉTEL. (Jensen) Ha f konvex függvény és X olyan valószínűségi változó, amelyre létezik E(f(X)) és f(e(x)), akkor E(f(X)) f(e(x)). (1.129) 44

46 Bizonyítás. Legyen L a támasztóegyenes az f függvényhez az pontban, akkor (E(X),f(E(X))) E(f(X)) E(L(X)) = L(E(X)) = f(e(x)). (1.130) Megjegyzés. E(X 2 ) E 2 (X) Megjegyzés. Ha k 1, akkor E( X k ) E k ( X ). (1.131) TÉTEL. (Cauchy-Bunyakovszkij-Schwarz) Ha létezik E(X 2 ) és E(Y 2 ), és E(X) = E(Y) = 0, akkor Bizonyítás. Legyen t R tetszőleges, ekkor E(XY) E(X 2 )E(Y 2 ). (1.132) 0 E((tX +Y) 2 ) = t 2 E(X 2 )+2E(XY)+E(Y 2 ). (1.133) Ez utóbbi a t változónak egy másodfokú kifejezése, amely sohasem negatív. Tehát, mint másodfokú egyenletnek nincs két különböző valós gyöke. Tehát a diszkrimináns nem pozitív, azaz D = 4E 2 (XY) 4E(X 2 )E(Y 2 ) 0. (1.134) Átrendezve kapjuk az állítást Megjegyzés. A bizonyításból rögtön adódik, hogy egyenlőség akkor és csak akkor, ha 1-valószínűséggel teljesül, hogy tx +Y = Megjegyzés. Ha létezik E(X), E(Y), E(X 2 ) és E(Y 2 ), akkor Tehát azaz E(X E(X)) = 0, D 2 (X) = E((X E(X)) 2 ), E(Y E(Y)) = 0, D 2 (Y) = E((Y E(Y)) 2 ), cov(x,y) = E((X E(X))(Y E(Y))). (1.135) cov(x, Y) D(X)D(Y), (1.136) r(x,y) 1. (1.137) Egyenlőség akkor és csak akkor, ha Y = ax +b (a,b R) 1-valószínűséggel. 45

47 1.18. Nagy számok gyenge törvényei TÉTEL. (nagy számok gyenge törvénye) Legyen X 1,X 2,... független, azonos eloszlású valószínűségi változók sorozata. Létezik a szórásnégyzet. Ekkor tetszőleges ε > 0 esetén Bizonyítás. lim P n + ( X 1 + +X n E(X 1 ) ε n ) = 0. (1.138) ( ) X1 + +X n E = E(X 1 ), (1.139) n ( ) D 2 X1 + +X n = D2 (X 1 ). (1.140) n n Ekkor alkalmazzuk a Csebisev-egyenlőtlenséget ( P X ) 1 + +X n E(X 1 ) ε D2 (X 1 ) 0, (1.141) n nε 2 ha n Megjegyzés. Legyen A esemény, P(A) = p, és S n az A esemény gyakorisága az első n kísérletből egy Bernoulli kísérletsorozatnál. Ekkor tetszőleges ε > 0 esetén ( lim P S ) n n + n p ε = 0. (1.142) S n B(n,p), így P ( S ) n n P(A) ε p(1 p) 1 nε 2 4nε2. (1.143) Polinomiális eloszlás Egy urnában n különböző fajtájú golyó van. Legyenek ezek a típusok a 1,a 2,...,a n. (1.144) 46

48 Az a i típus kihúzása jelentse az A i eseményt és tudjuk, hogy P(A i ) = p i, (1 i n). (1.145) Húzzunk az urnából visszatevéssel K-szor. Ekkor Ω = {ω ω = (a i1,...,a ik }, azaz Ω = n K. (1.146) Legyen k i az A i esemény bekövetkezéseinek a száma egy adott ω Ω elemi esemény (mintarealizáció) esetén. Míg X i jelentse az A i esemény bekövetkezéseinek a számát. Ekkor P(ω) = p k 1 1 p k 2 2 p kn n. K! P(X 1 = k 1,...,X n = k n ) = k 1! k n! pk 1 1 p k 2 2 p kn n. (1.147) Ez utóbbi a (X 1...,X n ) együttes eloszlása és polinomiális (multinomiális) eloszlásnak nevezzük Megjegyzés. A polinomiális eloszlás egydimenziós peremeloszlásai binomiális eloszlások Megjegyzés. Az eloszlás P(X 1 =k 1,...,X n = k n ) = ( )( )( ) =p k 1 1 p k 2 K K k1 K k1 k 2 p kn 2 n felírható ilyen alakban is. k 1 k 2 k 3 ( kn k n ) (1.148) Transzformáció n-dimenzióban Definíció. Az együttes eloszlásfüggvénye az (Y 1,...,Y n ) véletlen vektornak, amely az (X 1,...,X n ) véletlen vektorból áll elő úgy, hogy a következő Y k = g k (X 1,...,X n ) k = 1,2,...,n (1.149) F Y1,...,Y n (y 1,...,y n ) = P({ω g k (X 1 (ω),...,x n (ω)) < y k, k = 1,2,...,n}). (1.150) 47

49 Most tekintsük azt az esetet, amikor g k (k = 1,2,...,n) függvényeknek folytonos az első parciális deriváltjuk minden (x 1,...,x n ) pontban úgy, hogy g 1 g 1 g 1... x 1 x 2 x n g 2 g 2 g 2... J(x 1,...,x n ) = x 1 x 2 x n. 0. (1.151)..... g n g n g n... x 1 x 2 x n Ha a (X 1,...,X n ) véletlen vektornak létezik az f X1,...,X n együttes sűrűségfüggvénye és a y k = g k (x 1,x 2,...,x n ), k = 1,2,...,n, (1.152) egyenletrendszernek minden (x 1,...,x n ) pontban pontosan egy megoldása van, akkor a (Y 1,...,Y n ) véletlen vektornak az együttes sűrűségfüggvénye f Y1,...,Y n (y 1,y 2,...,y n ) = f X1,...,X n (x 1,x 2,...,x n ) J(x 1,x 2,...,x n ) 1. (1.153) 1. STUDENT ELOSZLÁS Definíció. Legyen X 0,X 1,X 2,...,X n N(0,1), amelyek teljesen függetlenek, akkor X 0 X = (1.154) X 2 1 +X Xn 2 n valószínűségi változót n szabadságfokú Student-eloszlásúnak nevezzük. Jelölés: X t n TÉTEL. E(X α ) csak akkor létezik, ha α < n. A sűrűségfüggvénye ( ) n+1 Γ ) n+1 2 f n (x) = ( n (1+ πnγ 2) x2 2. (1.155) n Megjegyzés. Szokás t-eloszlásnak is nevezni. 48

50 Megjegyzés. Ha n = 1, akkor éppen a Cauchy-eloszlást kapjuk Megjegyzés. Ha n, akkor a standard normális eloszlást kapjuk. 2. F n,m ELOSZLÁS Definíció. Legyen X χ 2 n, Y χ 2 m és teljesen függetlenek, ekkor ζ = mx ny (1.156) valószínűségi változót n,m szabadságfokú F n,m -eloszlásúnak nevezzük. Jelölés: ζ F n,m Centrális határeloszlás-tétel TÉTEL. (centrális határeloszlás-tétel) Legyen X 1,X 2,... független, azonos eloszlású valószínűségi változók sorozata és létezik az E(X i ) = n µ és D 2 (X i ) = σ 2 > 0. Ha S n = X k, akkor k=1 ( ) lim P Sn nµ n + σ n < x ahol Φ a standard normális eloszlásfüggvény. = Φ(x), x R, (1.157) Megjegyzés. Speciális esete a Moivre-Laplace tétel Vegyes valószínűség-számítási feladatok 1. A gépjárművezetői vizsgán a vizsga időtartama (percben mérve) { 0, ha x < 0 f(x) = 0.18e 0.18x, egyébként sűrűségfüggvényű valószínűségi változó. Az előttünk lévő már 34 perce vezet. Mi a valószínűsége, hogy 7 percen belül nem fejezi be a vizsgát? 49

51 2. Az A esemény bekövetkezésének a valószínűsége Mennyi a valószínűsége, hogy tíz kísérletből legalább háromszor bekövetkezik? 3. Egy henger milliméterben mért átmérője a X valószínűségi változó, hossza milliméterben mérve az Y valószínűségi változó. A (X, Y) kétdimenziós valószínűségi változó sűrűségfüggvénye f (x,y) = x 2 +Ay 2, a 0 < x < 1, 0 < y < 2.40 tartományon és 0 egyébként. Számítsa ki az alábbi valószínűséget: P (X > 0.5,Y > 2.16). 4. Egy gép élettartama X exponenciális eloszlású valószínűségi változó 10 év átlagos élettartammal. Adja meg azt a legnagyobb K számot, amelyre még igaz, hogy egy gép legalább 0.89 valószínűséggel működőképes lesz K évig. 5. Ketten megbeszélik, hogy délután 5 óra és délután 5 óra 49 perc között találkoznak. Mekkora valószínűséggel találkoznak, ha egymástól függetlenül érkeznek és mindketten 6 perc várakozás után elmennek, ha a másik addig nem érkezett meg? 6. Tudjuk, hogy P(A) = 0.49, P(A B) = 0.55 és P(B A) = Mennyi a valószínűsége, hogy az A és B legalább egyike bekövetkezik? 7. Az A és B játékos felváltva dob kosárra (A kezd). Az A játékos 0.51, míg B 0.37 valószínűséggel talál a kosárba. A játék maximum 4 dobásig tart, de azonnal befejeződik, ha valamelyik játékos beletalált a kosárba. Számítsa ki a játékbeli dobások számának várható értékét! 8. Legyen P(A) = 0.38, P(A B) = 0.38 és P(B A) = Határozza meg P(A B) értékét! 9. Legyen E(X) = 4.8, D(X) = 0.44 Adjon alsó becslést a valószínűségre. P (3.172 < X < 6.428) 10. Egy munkadarab hossza közelítőleg normális eloszlású valószínűségi változó, melynek várható értéke 83 és szórása 1.3. Mennyi a valószínűsége, hogy a munkadarab hossza kisebb, mint 84.76? 50

52 11. Egy terméket három üzemben készítenek. A három üzemben a selejtszázalék rendre 0.08, 0.23 és 0.39, míg a három üzemben az összterméknek rendre 25, 56 és 19 százalékát állítják elő. Az össztermékből kivesznek egy darabot, és az hibás. Mi a valószínűsége, hogy az első üzemben gyártották? 12. Hányféleképpen osztható szét 7 ezer forint jutalom 4 dolgozó között, ha mindegyik dolgozó ezerrel osztható összegű jutalmat kaphat, de a 0 Ft jutalom is megengedett. 13. Az X valószínűségi változó sűrűségfüggvénye egy megfelelő B konstanssal { B (2x+1), ha 2.4 < x < 4.0, f(x) = 0, egyébként. Számítsa ki az X várható értékét! 14. Egy csomagológép 1 kilogrammos zacskókat tölt. A zacskóba töltött cukor mennyisége normális eloszlású valószínűségi változó 1 kg várható értékkel és kg szórással. A zacskó súlyra nézve első osztályú, ha a súlya 0.95 kg és 1.05 kg közé esik. Mi a valószínűsége, hogy két véletlenül kiválasztott zacskó közül legfeljebb az egyik első osztályú? 15. Legyen (X, Y) sűrűségfüggvénye { x A( +y), ha 0 < x < 4.0,0 < y < 1, f(x,y) = 4.0 0, egyébként. Határozza meg E(X) értékét! 16. Az A, B és C független események, amelyre P(A) = 0.490, P(B) = és P(C) = Határozza meg annak a valószínűségét, hogy pontosan kettő következik be közülük! 17. Egy X valószínűségi változó exponenciális eloszlású 0.72 szórással. Határozza meg E(8X 2 19X +7) értékét! 18. Legalább hányszor kell feldobni két szabályos dobókockát ahhoz, hogy legfeljebb 0.41 valószínűséggel egyszer se kapjunk dupla hatost? 51

53 19. Egy dobozban 13 alkatrész van, amelyek közül 10 selejtes. 8 elemű mintát veszünk visszatevés nélkül. Mi a valószínűsége, hogy a mintában 6 selejtes alkatrész van? 20. Egy dobozban 13 alkatrész van, amelyek közül 9 selejtes. 7 elemű mintát veszünk visszatevéssel. Mi a valószínűsége, hogy a mintában legfeljebb 1 selejtes alkatrész van? 21. Egy párt népszerűségét kívánjuk közvélemény-kutatással meghatározni. (Igen - nem választ kell adni a megkérdezetteknek.) Legalább hány embert kell megkérdezni, ha a százalékban mért népszerűséget ± 7 százalék pontossággal és 0.85 megbízhatósággal akarjuk becsülni? (A könnyebb számolás végett visszatevéses mintavételt tételezzünk fel!) 22. Hány nyolcjegyű szám készíthető 1 darab nulla, 4 darab kettes és 3 darab hármas számjegyből? 23. Az A és B játékos felváltva dob kosárra (A kezd). Az A játékos 0.65, míg B 0.66 valószínűséggel talál a kosárba. A játékot addig folytatják, amíg valamelyik játékos beletalál a kosárba. Mi annak a valószínűsége, hogy pont az ötödik dobás után ér véget a játék? 24. Az X exponenciális eloszlású valószínűségi változó várható értéke Számítsa ki azt a m értéket, amelytől jobbra és balra megegyezik az Y = X 2 valószínűségi változó sűrűségfüggvénye alatti terület! 25. Egy dobozban 12 alkatrész van, amelyek közül 9 selejtes. 7 elemű mintát veszünk visszatevéssel. Mi a valószínűsége, hogy a mintában legfeljebb 4 selejtes alkatrész van? 26. Az (X, Y) valószínűségi változóról tudjuk, hogy P (X = 10, Y = 15) = 0.16, P (X = 10,Y = 26) = 0.26 és P (X = 21,Y = 15) = Ismert, hogy X csak a 10 és 21, míg Y csak a 15 és 26 értékeket veheti fel. Számítsa ki D(X + Y) értékét! doboz mindegyikében 47 golyó van, amelyek közül rendre 21, 22, 23,..., 47 fehér. Találomra választunk egy dobozt, majd abból véletlenül kihúzunk egy golyót. Mi a valószínűsége, hogy fehér golyót húzunk? 52

54 28. Két út vezet az A városból a B városba és szintén két út B-ből C városba. (Az A városból a C városba csak a B városon át lehet eljutni.) Mind a négy út egymástól függetlenül, 0.26 valószínűséggel járhatatlan a hó miatt. Feltéve, hogy A-ból C-be nincs végig járható útvonal, mi a valószínűsége, hogy A-ból B-be van járható út? 29. Hány 10 jegyű szám készíthető 6 darab kettes, 2 darab hetes és 2 darab hatos számjegyből? 30. Egy szelet kalácsban a mazsolák száma Poisson-eloszlást követ, és egy szeletben átlag 8 szem mazsola van. Mi a valószínűsége, hogy egy szeletben legalább 6, de legfeljebb 11 szem mazsola van? NUMERIKUS VÁLASZOK:

55

56 2. fejezet Matematikai statisztikai alapok A matematikai statisztika alapfeladatát nagy általánosságban a következőképpen fogalmazhatjuk meg: "Következtetés tapasztalati adatokból események ismeretlen valószínűségeire vagy valószínűségi változók ismeretlen eloszlásfüggvényeire és ezek paramétereire." [26]. Továbbá a matematikai statisztika feladata olyan módszerek kidolgozása, amelyek segítségével tapasztalati adatokból a keresett elméleti értékekre a lehető legtöbb információt nyerhetjük. De feladata maguknak a kísérleteknek a tervezése és számuk optimalizálása is. A statisztikai következtetés: a bekövetkezés esetlegessége. Csak a valószínűség ismert (átlagosság, az esetek 100p százaléka, relatív gyakoriság). Nem tudjuk megmondani, hogy bekövetkezik vagy nem. A matematikai statisztika főbb fejezetei: becsléselmélet (pont, intervallum), hipotézisvizsgálat, a mintavétel elmélete Minta, mintavétel Minthogy mind a hipotézisvizsgálat mind a becsléselmélet következtetései tapasztalati megfigyelések alapján történik, ezért a mintavétel elmélete a matematikai statisztika alapvető és egyben bevezető fejezetének tekinthető, amelynek egyes részei csak az elmélet különböző részei során tárgyalhatók. Pl. egy kísérlet tervezése már attól függ, hogy a kísérlet kimenetele alapján milyen becslési vagy hipotézisvizsgálati módszert alkalmazunk. 55

57 2.1. Definíció. Az (Ω,F,P) hármast statisztikai mezőnek nevezzük, ahol P = {P ϑ ϑ Θ R k } Megjegyzés. Feladat az igazi ϑ paraméterre való következtetés. Egy X valószínűségi változó kerül megfigyelésre, amelynek lehetséges értékei az X mintateret alkotják és ennek bizonyos részhalmazai a B σ-algebrát. A statisztikai mező generálja hozzá a valószínűségeket. Legyenek ezek P, ahol ha B B, akkor {ω X(ω) B} F, P ϑ(b) = P ϑ ({ω X(ω) B}). Tekinthetjük ezt is statisztikai mezőnek. Valójában a következtetés X-ről történik ϑ-ra Definíció. A X 1,X 2,...,X n valószínűségi változók összességét mintának nevezzük, ha azonos eloszlásúak Megjegyzés. Ha a valószínűségi változók függetlenek, azonos eloszlásúak, akkor független mintának nevezzük (a legfontosabb esetekben a minta ilyen lesz) Megjegyzés. Gyakorlati követelmény: jellemezze az összeséget, ahonnan származik, továbbá minél több információ az ismeretlen eloszlásra. Hogyan biztosítható, hogy teljesüljön az azonos eloszlás, függetlenség, véletlenszerűség Megjegyzés. Megkövetelt nagyságrendek: (a) "nagy" minta (százas nagyságrend): elméleti érték becslése, (b) "kis" minta (4-30): statisztikai hipotézis ellenőrzése (a kísérlet költséges, sokszor kell elvégezni) Megjegyzés. A mintavétel módszerei: (a) egyszerű véletlen; (b) kétfokozatú, többfokozatú, szekvenciális (részsokaságok monotonitása, csomagolás, költség); (c) rétegezett, csoportos (egylépéses, kétlépéses) Definíció. Az x 1,x 2,...,x n tényleges mérési adatok összességét mintarealizációnak nevezzük. 56

58 2.2. A statisztikai minta jellemzői 2.9. Definíció. Legyen X = (X 1,X 2,...,X n ) X, ekkor t(x) statisztika, ha t mérhető függvény Megjegyzés. Statisztika a mintaelemek mérhető függvénye. A következőkben megadunk néhány használatos statisztikát: Átlag (mintaközép): X = X 1 +X 2 + +X n n A minta elemeit sorba rendezzük. X 1 jelölje a legkisebbet. A rendezett minta: X 1 X 2 X n Megjegyzés. Ne felejtsük el, hogy függvények esetében pontonként kell alkalmaznunk a rendezést Definíció. Adott az F eloszlásfüggvény és a p valószínűség. Az x p p-kvantilis, ha p = F(x p ). Ha p = 0.5 mediánnak, míg 0.25 és 0.75 esetén alsó illetve felső kvartilisnek nevezzük Megjegyzés. Jelölje X p a p-kvantilis tapasztalati megfelelőjét, azaz X p = X[np]+1, ekkor aszimptotikusan X p N ( x p, 1 f 2 (x p ) ahol f az F-hez tartozó sűrűségfüggvény. ) p(1 p), n A medián tapasztalati megfelelője X 1,X 2,...,X n esetén. Xm+1, ha n = 2m+1, med{x i } = X m +Xm+1, ha n = 2m. 2 Medián abszolút eltérés: MAD{X i } = med{ X i med{x i } }. 57

59 Mintaterjedelem: X n X 1. n i=1 X k i Tapasztalati momentumok:. n Tapasztalati szórásnégyzet és korrigáltja: s n 2 = n (X i X) 2 i=1, s n2 = n n (X i X) 2 i=1. n 1 s n Szórási együttható: (szórás nagysága az értékekhez képest, X > 0). X Tapasztalati eloszlásfüggvény: 0, ha x X 1, Fn(x) k = n, ha X k < x X k+1 1, ha Xn < x. (k = 1,2,...,n 1), (2.1) TÉTEL. (Glivenko a matematikai statisztika alaptétele) Ha a X 1,X 2,...,X n független minta, akkor ( ) P lim sup Fn(x) F(x) = 0 = 1. n <x< Megjegyzés. Még sokféle statisztika használatos. Ezek közül ki kell emelni a hisztogrammokat, amelyekkel majd a hipotézisvizsgálatoknál foglalkozunk Rendezett minták Sokszor van szükségünk valószínűségi változók véges sorozata minimumának illetve maximumának a meghatározására. Folyók éves maximális vízállásainak maximuma ad információt arra, hogy milyen magasra építsék a gátakat, minimumok a víztározók szükségességéről adnak információt. Például sorbakötött alkatrészekből álló rendszer élettartama a minimális élettartammal egyenlő, míg párhuzamosan kapcsolt alkatrészekből álló rendszer élettartama 58

60 a maximális élettartammal egyezik meg. A feladat nagy gyakorlati fontossága, valamint a rendezett minták elméletéhez való hasonlósága miatt itt egy külön részben foglalkozunk valószínűségi változó minimumának és maximumának vizsgálatával Minimumok és maximumok eloszlása Tekintsük a független azonos (abszolút folytonos) eloszlású valószínűségi változók egy X 1,X 2,...X n sorozatát. A függetlenség miatt és az abszolút folytonosság miatt P (X i < X j ) = P (Xj < X i ) = 1 2, i j, P (X i = X j ) = 0, így minden egyes realizáció esetén 1 valószínűséggel n különböző valós számot kapunk. Az, hogy hányadik változónak lesz a legkisebb (a második, stb.) az értéke az realizációnként változik, és mind az n! lehetséges sorrend egyformán valószínű. Jelölje X 1 < X 2 <... < X n a nagyság szerint rendezett valószínűségi változókat. Ezek maguk is valószínűségi változók, de már sem nem azonos eloszlásúak, sem nem függetlenek, hiszen például P (X 1 < X 2) = ÁLLÍTÁS. Legyenek X 1,X 2,...X n független, azonos eloszlású valószínűségi változók F (x) = P (X < x) eloszlásfüggvénnyel, akkor ( ) P max X i < x = F n (x), 1 i n és ( ) P min X i < x = 1 (1 F (x)) n. 1 i n Bizonyítás. A { max 1 i n X i < x} esemény ekvivalens az {X 1 < x,x 2 < x,...,x n < x} 59

61 eseménnyel, így ( ) P max X i < x = P (X 1 < x,x 2 < x,...,x n < x) = 1 i n felhasználva a mintaelemek függetlenségét = P (X 1 < x) P (X 2 < x)... P (X n < x) = = F 1 (x) F 2 (x)... F n (x) = F n (x), mivel azonos az eloszlásfüggvényük. Másrészt ( ) ( ) P min X i < x = 1 P min X i x 1 i n 1 i n a függetlenség miatt = 1 P (X 1 x,x 2 x,...,x n1 x) = = 1 P (X 1 x) P (X 2 x)... P (X n x) = = 1 [1 P (X 1 < x)] [1 P (X 2 < x)]... [1 P (X n < x)] = és a közös eloszlásfüggvény miatt = 1 [1 F (x)] n. A fenti levezetésben a függetlenség alapvető jelentőségű. Példaként meg kell említeni az indiai Bhopal városában történt, több tízezer áldozatot követelő vegyipari katasztrófát, ahol a karbantartó személyzet trehánysága ("még ráérünk kijavítani a hibát, még van tartalék biztonság!") miatt a világ legbiztonságosabb vegyipari üzeme robbant fel. Hasonló mentalitás miatt válnak néha fékezhetelenné a közúti járművek is (kétkörös fékrendszer, kézifék)! = Rendezett mintaelemek eloszlása A továbbiakban legyen X 1,X 2,...X n egy az F (x) eloszlásfüggvényű X valószínűségi változóra vett n elemű reprezentatív minta Definíció. A minta nagyság szerint rendezett elemeit rendezett mintának nevezzük, és a rendezett minta i-edik elemét X i -gal jelöljük. 60

62 Így ha X folytonos eloszlású, tehát minden értéket nulla valószínűséggel vesz fel, akkor 1 valószínűséggel X 1 < X 2 <... < X n Megjegyzés. Mivel a valószínűségi változó az eseménytéren értelmezett valós értékű függvény, így a véletlentől függ, hogy melyik mintaelem lesz a rendezett minta i-edik eleme. Határozzuk meg az n elemű rendezett minta k-adik elemének az F nk (x) eloszlásfüggvényét, F nk (x) = P (X k < x) TÉTEL. Az F (x) eloszlásfüggvényű X valószínűségi változóra vett n elemű reprezentatív minta k-adik elemének az eloszlásfüggvénye F nk (x) = P (X k < x) = n i=k ( ) n F i (x)[1 F (x)] n i. i Bizonyítás. Az az A esemény, hogy Xk < x felírható a következő diszjunkt A i i = k,k + 1,...,n események összegeként: A i ={pontosan i darab mintaelem kisebb, mint x}, azaz {i darab mintaelem kisebb, mint x és a többi n i mintaelem nagyobb, mint x}, tehát F nk (x) = n P (A i ) = és az az i darab mintaelem, amelyik kisebb, mint x az ( ) n -féleképpen vá- i lasztható ki az n mintaelemből, így = n i=k i=k ( ) n F i (x)[1 F (x)] n i. i Példa. Példaként ellenőrizzük, hogy a legkisebb mintaelemx 1 F n1 (x) eloszlásfüggvénye megegyezik a minimum fent meghatározott eloszlásfüggvé- 61

63 nyével: F n1 (x) = = n ( n i n ( n i i=1 i=0 ) F i (x)[1 F (x)] n i = ) F i (x)[1 F (x)] n i [1 F (x)] n 0 = = [F (x)+[1 F (x)]] n [1 F (x)] n = = 1 n [1 F (x)] n = 1 [1 F (x)] n. Hasonlóan a legnagyobb mintaelem Xn F nn (x) eloszlásfüggvénye megegyezik a maximum fent meghatározott eloszlásfüggvényével: n ( ) n F nn (x) = F i (x)[1 F (x)] n i = i i=n ( ) n = F n (x)[1 F (x)] n n = F n (x). n Az n elemű rendezett minta k-adik elemének az F nk (x) eloszlásfüggvényét meghatározhatjuk úgy is, hogy először a rendezett minta k-adik elemének az f nk (x) sűrűségfüggvényét számítjuk ki: TÉTEL. Az F (x) eloszlásfüggvényű X valószínűségi változóra vett n elemű rendezett minta k-adik elemének a sűrűségfüggvénye ( ) n 1 f nk (x) = n F k 1 (x)[1 F (x)] n k f (x). k 1 Bizonyítás. Használjuk fel, hogy P (x X k < x+ x) f nk (x) x. Ha x elég kicsi, akkor csak egy mintaelem esik ebbe az intervallumba, ez most bármelyik mintaelem lehet, tehát n-féleképpen lehet kiválasztani. ( A maradék n 1 mintaelem közül bármelyik k 1 lehet x-nél kisebb, tehát n 1 k 1) -féleképpen lehet ezeket kiválasztani. Bármelyik választásnál k 1 mintaelem mindegyike F (x) valószínűséggel kisebb, mint x, az n k mintaelem mindegyike [1 F (x)] valószínűséggel nagyobb, mint x, tehát ( ) n 1 f nk (x) x = n F k 1 (x)[1 F (x)] n k f (x) x. k 1 62

64 A fenti állításból kapjuk, hogy x ( ) n 1 F nk (x) = n F k 1 (t)[1 F (t)] n k f (t)dt. k Példa. Ellenőrizzük, hogy ebből az állításból is visszakapjuk a minimumok, illetve maximumok eloszlására megismert formulákat: x ( ) n 1 F n1 (x) = n F 1 1 (t)[1 F (t)] n 1 f (t)dt = 1 1 Hasonlóan = x F nn (x) = n[1 F (t)] n 1 f (t)dt. = [1 F (t)] n ] x t= = = [1 F (x)] n +1. = x x ( ) n 1 n F n 1 (t)[1 F (t)] n n f (t)dt = n 1 nf n 1 (t)f (t)dt = F n (t) ] x t= = Fn (x). Az együttes sűrűségfüggvény értelmezését kihasználva meghatározhatjuk a rendezett mintaelemek párjainak, hármasainak, stb. együttes sűrűségfüggvényét, majd eloszlásfüggvényét is. Például ÁLLÍTÁS. Egy n-elemű minta nagyság szerint i-edik és j-edik (i < j) mintaelemének együttes sűrűségfüggvénye n! (i 1)!(j i 1)!(n j)! Fi 1 (x) f (x,y) = [F (y) F (x)] j i 1 [1 F (y)] n j f (x)f (y), ha x < y, 0, egyébként. (2.2) Bizonyítás. Mivel a mintaelemek függetlenek, így annak a valószínűsége, hogy egy mintaelem az x kis x környezetébe kerüljön, és egy másik mintaelem az y pici y környezetébe essen f (x)f (y) x y. Az első mintaelem akkor lesz nagyságban az i-edik és a másik mintaelem akkor lesz a j-edik rendezett mintaelem, ha az elsőnél i 1 mintaelem kisebb, n j nagyobb a 63

65 másodiknál és j i 1 mintaelem a kettő közé esik. Ennek valószínűsége a mintaelemek függetlensége miatt F i 1 (x)[f (y) F (x)] j i 1 [1 F (y)] n j, ha x < y, egyébként 0. Az n mintaelem közül az i-ediket és j-ediket, valamint a fenti n! i 1, j i 1 és n j mintaelemet (i 1)!(j i 1)!(n j)! -féleképpen lehet kiválasztani, így x < y esetén f (x,y) x y n! (i 1)!(j i 1)!(n j)! F i 1 (x)[f (y) F (x)] j i 1 [1 F (y)] n j f (x)f (y) x y Becsléselmélet A becsléselméletben gyakran feltesszük, hogy a megfigyelt mennyiségek független valószínűségi változók, közös F ϑ0 eloszlással, amely egy meghatározott {F ϑ ϑ Θ} eloszláshalmazba tartozik. A paramétertér Θ általában az R k egy részhalmaza. Megpróbáljuk ϑ 0 értékét a megfigyelések alapján megbecsülni, azaz keressük azt a leképezést, amely az összes megfigyelések halmazát Θ-ba képezi le és ϑ 0 -hoz közeli értéket vesz fel nagy valószínűséggel, ha F ϑ0 a valódi eloszlás Definíció. Legyen adott az X 1,X 2,...,X n (2.3) minta, melynek sűrűségfüggvénye f (vagy diszkrét eloszlása p), és ez a ϑ paramétertől függ. Tehát adott az {f(.;ϑ) ϑ Θ R k }. (2.4) Pontbecslésnek nevezzük a mintaelemek mérhető függvényét (statisztika), ahol a becslés és a paraméter koordinátáinak a száma megegyezik, azaz ˆϑ n (X 1,X 2,...,X n ) Θ. (2.5) Intervallumbecslésnek nevezzük a Γ tartományt 1 α megbízhatósági szinttel, ha Γ ϑ és P(ϑ Γ) = 1 α. (2.6) 64

66 2.25. Megjegyzés. Az absztraktabb elmélet szerint legyen adott az (X,F,P ϑ ), ϑ Θ R k (2.7) statisztikai tér, a P ϑ eloszlássereg dominált a µ mértékkel, azaz léteznek a sűrűségfüggvények, s ekkor nem kell megkülönböztetni a diszkrét és folytonos esetek jelöléseit Megjegyzés. Probléma: Hogyan készítsünk becsléseket? Hogyan válasszunk a becslések közül? Mikor elfogadható a kiválasztott becslés? Megjegyzés. Sok esetben nem a paramétert becsüljük, hanem valamilyen függvényét Pontbecslés Definíció. Legyen adott az X 1,X 2,...,X n minta f(x 1,x 2,...,x n ;ϑ) sűrűségfüggvénnyel. A ˆϑ n (X 1,X 2,...,X n ) (röviden ˆϑ n ) a ϑ paraméter torzítatlan becslése, ha E(ˆϑ n ) = ϑ. (2.8) ˆϑ n a ϑ paraméter aszimptotikusan torzítatlan becslése, ha lim n E(ˆϑ n ) = ϑ. (2.9) Megjegyzés. Az átlag a várható érték torzítatlan becslése Megjegyzés. A tapasztalati szórásnégyzet nem torzítatlan becslése a szórásnégyzetnek, viszont aszimptotikusan torzítatlan. A korrigált tapasztalati szórásnégyzet torzítatlan becslése a szórásnégyzetnek Megjegyzés. Ha ˆϑ n és ϑ n torzítatlan, akkor aˆϑ n +(1 a) ϑ n szintén torzítatlan Definíció. Adott a ˆϑ n és a ϑ n torzítatlan becslés. A ˆϑ n hatásosabb, ha D 2 (ˆϑ n ) D 2 ( ϑ n ). (2.10) 65

67 2.33. Definíció. Az a 1 X 1 +a 2 X 2 + +a n X n, (2.11) statisztikát, ahol (a i R, i = 1,2,...,n), és a a n = 1, a várható érték lineáris becslésének nevezzük Megjegyzés. Az átlag a leghatásosabb lineáris becslés Definíció. Legyen adott a X 1,X 2,...,X n minta f(x 1,x 2,...,x n ;ϑ) sűrűségfüggvénnyel. A minta likelihood függvénye: L(ϑ;X 1,X 2,...,X n ) = f(x 1,X 2,...,X n ;ϑ). (2.12) A minta loglikelihood függvénye: l(ϑ;x 1,X 2,...,X n ) = ln(l(ϑ;x 1,X 2,...,X n )). (2.13) Definíció. A ˆϑ n (X 1,X 2,...,X n ) elégséges statisztika, ha L(ϑ;X 1,X 2,...,X n ) = g(ˆϑ n (X 1,X 2,...,X n );ϑ)h(x 1,X 2,...,X n ), (2.14) ahol g és h megfelelő függvény Megjegyzés. A szokásos definíció a ˆϑ n (X 1,X 2,...,X n ) elégséges statisztika, ha a A B esetén a P ϑ (A ˆϑ n = x) feltételes valószínűségek megadhatók úgy, hogy ne függjenek ϑ-tól. Jelentése lényegében az, hogy ˆϑ n a paraméterösszességre vonatkozó minden információt tartalmaz. Az általunk megadott definíciót a Neyman faktorizációs tétel alapján kapjuk Megjegyzés. Legyen p(x;ϑ) = ϑ x (1 ϑ) 1 x, x = 0,1 és 0 < ϑ < 1. Adott az X 1,X 2,...,X n független minta ezzel az eloszlással. Legyen ˆϑ n = X 1 +X 2 + +X n. L(ϑ;X 1,X 2,...,X n ) =p(x 1 ;ϑ)...p(x n ;ϑ) = ( ) ṋ = ϑˆϑ n (1 ϑ) n ˆϑ n 1 ( ). ṋ Tehát ˆϑ n elégséges becslés ϑ-ra. ϑ n 66 ϑ n

68 2.39. Definíció. A ˆϑ n (X 1,X 2,...,X n ) sorozat konzisztens becsléssorozat a ϑ paraméterre, ha lim P( ˆϑn ϑ > ε) = 0, (2.15) n minden ε > 0 esetén. A ˆϑ n (X 1,X 2,...,X n ) sorozat erősen konzisztens becsléssorozat a ϑ paraméterre, ha n esetén E(ˆϑ n ) = ϑ, és lim D 2 (ˆϑ n ) = 0. (2.16) n Megjegyzés. Az erősen konzisztens becsléssorozat konzisztens Megjegyzés. Az átlagok sorozata erősen konzisztens becsléssorozat a várható értékre Maximum likelihood becslés Számos tulajdonság, távolság, eltérés alapján készíthetünk becsléseket. Pl. minimum χ 2 módszer, maximum entrópia módszer Definíció. Legyen adott az X 1,X 2,...,X n minta f sűrűségfüggvénynyel. A ˆϑ n maximum likelihood becslés a ϑ paraméterre, ha maxl(ϑ;x 1,X 2,...,X n ) = L(ˆϑ n ;X 1,X 2,...,X n ). (2.17) ϑ Megjegyzés. Ezzel ekvivalens, hogy min ϑ l(ϑ;x 1,X 2,...,X n ) = l(ˆϑ n ;X 1,X 2,...,X n ). (2.18) Megjegyzés. Ha a minta független, akkor L(ϑ;X 1,X 2,...,X n ) = f(x 1,X 2,...,X n ;ϑ) = f(x 1 ;ϑ) f(x n ;ϑ), (2.19) n n max f(x i ;ϑ) = f(x i ; ˆϑ n ), (2.20) ϑ min ϑ i=1 i=1 n ln(f(x i ;ϑ)) = i=1 n ln(f(x i ; ˆϑ n )). (2.21) i=1 67

69 2.45. Megjegyzés. Általában a maximum likelihood becslés nem egyezik meg a legvalószínűbb esettel Példa. p(x;ϑ) = ϑ x (1 ϑ) 1 x, x = 0,1 és 0 < ϑ < 1. L(ϑ;X 1,X 2,...,X n ) = ϑ X 1+X 2 + +X n (1 ϑ) n (X 1+X 2 + +X n), (2.22) l = (X 1 +X 2 + +X n )lnϑ (n (X 1 +X 2 + +X n ))ln(1 ϑ), (2.23) dl dϑ = X 1 +X 2 + +X n ϑ + n (X 1 +X 2 + +X n ), (2.24) 1 ϑ ˆϑ n = X 1 +X 2 + +X n. (2.25) n Példa. Adott a X 1,X 2,...,X n független minta és X i N(µ,σ 2 ). Határozzuk meg a ϑ = (µ,σ 2 ) maximum likelihood becslését! Bizonyítás. Tudjuk, hogy f Xi (x;ϑ) = 1 σ 2π exp L(ϑ;X 1,X 2,...,X n ) = l = i=1 n i=1 1 σ 2π exp ( (x µ)2 2σ 2 ( (X i µ) 2 ). (2.26) 2σ 2 n ( 1 ln ( σ 2π exp (X )) i µ) 2 = 2σ 2 = n 2 ln(2π)+ n 2 ln(σ2 )+ 1 2σ 2 l µ = 1 σ 2 ), (2.27) n (X i µ) 2. (2.28) i=1 n (X i µ) = 0, i=1 l (σ 2 ) = n 2σ 1 2 2σ 4 amely egyenletrendszerből a megoldás n (X i µ) 2 = 0, (2.29) i=1 ˆϑ n = (ˆµ, ˆσ 2 ), (2.30) 68

70 ahol ˆµ = X = X 1 +X 2 + +X n, n ˆσ 2 = s 2 n = n (X i X) 2 i=1 n. (2.31) Definíció. Jelölje a Fisher-féle információmennyiséget. ( ( lnf(x;ϑ) ) ) 2 I(ϑ) = E ϑ. (2.32) ϑ TÉTEL. (Cramer-Rao) A ˆϑ n torzítatlan becslés ϑ paraméterre az X 1,X 2,...,X n független minta alapján, akkor D 2 (ˆϑ n ) 1 ni(ϑ). (2.33) Megjegyzés. Ha van elégséges statisztika, akkor a maximum likelihood módszer ennek valamely függvényéhez vezet Megjegyzés. Ha van minimális szórású becslés (Cramer-Rao egyenlőtlenségben egyenlőség van), akkor a maximum likelihood becslés ilyen Megjegyzés. Számos esetben megoldási és torzítási problémák vannak. Kis mintás esetben szükséges a becslések korrigálása Megjegyzés. Előfordul, hogy a maximum likelihood becslés nem egyértelmű, de kiválasztható konzisztens becsléssorozat, amely aszimptotikusan minimális szórású és normális, azaz lim n D2 (ˆϑ n )ni(ϑ) = 1, (2.34) lim n P( ni(ϑ) ˆϑ n < x) = Φ(x), x R. (2.35) 69

71 A momentumok módszere Ha egy valószínűségi változónak létezik a várható értéke, akkor a nagy számok törvénye alapján ha X 1,X 2,... független, vele azonos eloszlású valószínűségi változók sorozata, akkor a részletösszegek átlaga tart a várható értékhez. Továbbá tudjuk, hogy ha általában nem is, de elég gyenge feltételek mellett a momentumok meghatározzák az eloszlást. Ez adta az ötletet, hogy becsüljük meg az elméleti momentumokat a tapasztalati momentumokkal, azaz legyen µ k = E(X k ) és m k = Xk 1 +X2 k + +Xn k, (2.36) n µ k m k. (2.37) Megjegyzés. Nyilván a megoldáshoz szükséges, hogy az egyenletek száma megegyezzen a paraméterek számával. A felhasznált momentumok k rendje legyen kicsi, mert ha k 1, akkor E( X k ) E k ( X ), (2.38) és a közelítés hibája szintén a momentumokkal mérhető Megjegyzés. Egyszerűen és gyorsan felírhatóak az egyenletek, teljesül a torzítatlanság. Viszont már egyszerű esetekben is gond van a momentumok létezésével. Pl. Cauchy -eloszlás, X χ 2 1 reciproka. További gondot okozhat az egyenletrendszer megoldása. Pl. Weibull-eloszlás Intervallumbecslések Az eddigiek során arra törekedtünk, hogy megfigyeléseink alapján egyetlen értékkel becsüljük az ismeretlen paramétert. Ebben a szakaszban a feladat megadni egy Γ ϑ tartományt, amelyre P(ϑ Γ) = 1 α Definíció. Legyen a ϑ R, a X 1,X 2,...,X n minta. A ˆϑ n (X 1,X 2,...,X n ) ϑ ϑ n (X 1,X 2,...,X n ) (2.39) 1 α megbízhatóságú konfidenciaintervallum ϑ paraméterre, ha P ϑ (ˆϑ n ϑ ϑ n ) = 1 α. (2.40) 70

72 2.57. Megjegyzés. Véletlen egy intervallum, ha legalább az egyik végpontja valószínűségi változó Megjegyzés. A konfidenciaintervallum annál jobb minnél rövidebb. Ennek mérése például várható értékkel Megjegyzés. Alkalmazások: kontrollkártyák (átlag-szórás, medián- MAD, medián-mintaterjedelem) Példa. 1 < X < 2 2 < 2X és X < 2, s így P(1 < X < 2) = P(X < 2 < 2X). (2.41) Példa. X χ Mennyi a valószínűsége, hogy 26.3 [X,3.3X]? P(X < 26.3 < 3.3X) = P(7.97 < X < 26.3) (2.42) Az intervallum hossza: 2.3X. Várható értéke: E(2.3X) = = Példa. Konfidenciaintervallum készítése a Csebisev-egyenlőtlenség felhasználásával. Fontos, mert ha viszonylag keveset tudunk az eloszlásról, azaz nem ismerjük "csak" azt, hogy létezik a E(X) = µ és a D(X) = σ, ekkor P( X µ kσ) 1 1 k2. (2.43) Továbbá E(X) = µ, D(X) = σ n. (2.44) Tehát P(X k σ µ X +k σ ) 1 1 n n k2. (2.45) Megjegyzés. A Csebisev-egyenlőtlenség alapján nem tudjuk biztosítani az egyenlőséget, de ha α kicsi, azaz kisebb, mint 0.05, akkor már megfelelő lehet az információ tartalom Megjegyzés. A k = 3, k = 4 adja a minőségellenőrzésben szokásos 6σ, 8σ szabályt. 71

73 2.65. Példa. Legyen X 1,X 2,...,X n N(µ,σ 2 0), (2.46) független minta. Készítsünk P(x a < µ < x b ) = 1 α konfidenciaintervallumot a várható értékre, ha a σ 0 szórás ismert! Tudjuk, hogy X µ σ 0 n N(0,1). (2.47) Legyen 0 < a < b, ekkor azaz Φ(a+x) Φ(a) > Φ(b+x) Φ(b), x > 0, (2.48) Φ(b) Φ(a) > Φ(b+x) Φ(a+x). (2.49) Ez alapján (standard esetben) a legrövidebb intervallum, akkor adódik, ha a 0-ra szimmetrikus. ( ) σ 0 σ P X uα µ X +uα 0 = 1 α, (2.50) 2 n 2 n ahol a σ 0 ismert és Φ(uα 2 ) = 1 α Megjegyzés. A centrális határeloszlás-tétel szerint független mintára ( ) X µ lim P n < x = Φ(x), x R. (2.51) n σ 0 Tehát ha a mintaelemszám elég nagy, akkor általában alkalmazható a normális eloszlás Példa. Legyen X 1,X 2,...,X n N(µ,σ 2 ), (2.52) független minta. Készítsünk P(x a < µ < x b ) = 1 α konfidenciaintervallumot a várható értékre, ha a σ szórás nem ismert! Tudjuk, hogy X µ n tn 1. (2.53) s n 72

74 Hasonlóan az előzőhöz P ( X tα 2 s n n µ X +tα 2 s n n ) = 1 α, (2.54) ahol az F n 1 (tα 2 ) = 1 α Példa. Legyen X 1,X 2,...,X n N(µ,σ 2 ), (2.55) független minta. Készítsünk P(x a < σ 2 < x b ) = 1 α konfidenciaintervallumot a szórásnégyzetre! Tudjuk, hogy ns 2 n σ 2 χ2 n 1. (2.56) Ez alapján meghatározunk egy intervallumot, de ez általában nem a legrövidebb, hiszen a χ 2 -eloszlások nem szimmetrikusak (a legrövidebb nehéz feladat). ( ) ns 2 P n σ 2 ns2 n = 1 α, (2.57) b a ahol a χ 2 n 1(a) = α 2 és χ 2 n 1(b) = 1 α Példa. Legyen X 1,X 2,...,X n Exp(λ), (2.58) független minta. Készítsünk P(x a < λ < x b ) = 1 α konfidenciaintervallumot a paraméterére! Független exponenciális eloszlású valószínűségi változók összege Gamma-eloszlású, azaz ( a nxλ Γ(n,1), P nx λ b ) = 1 α, (2.59) nx ahol a Γ(n,1)(a) = α 2 és Γ(n,1)(b) = 1 α 2. 73

75 2.70. Megjegyzés. Az exponenciális eloszlású valószínűségi változó esetén elkészített konfidenciaintervallum alapján adható egy általános módszer intervallumbecslés meghatározására. Legyen független minta (F ϑ abszolút folytonos), ekkor független minta. Továbbá Tehát X 1,X 2,...,X n F ϑ, (2.60) F ϑ (X 1 ),F ϑ (X 2 ),...,F ϑ (X n ) U(0,1), (2.61) ln(f ϑ (X 1 )), ln(f ϑ (X 2 )),..., ln(f ϑ (X n )) Exp(1). (2.62) P(x a < n lnf ϑ (X i ) Γ(n,1), (2.63) i=1 n lnf ϑ (X i ) < x b ) = 1 α. (2.64) i=1 A megfelelő egyenletek megoldása általában nem könnyű Hipotézisvizsgálat Tekintsünk egy véletlen jelenséget, amelyet jellemez az F(.; ϑ) eloszlásfüggvény, ahol ϑ (skalár vagy vektor) a paramétertérhez tartozik. A hipotézis egy egyszerű álllítás, hogy F(., ϑ) jellemzi-e a véletlen jelenséget. Az állításnak a következő kétféle típusa van: 1. Ismert az F(., ϑ) alakja a ϑ kivételével. 2. Az F alakja ismeretlen Definíció. Az F(.,ϑ) egy eloszlásösszesség a mintatéren, ahol a ϑ Θ paraméter. A ahol Θ 0 Θ 1 = Θ. H 0 : ϑ Θ 0, alaphipotézis, H 1 : ϑ Θ 1, ellenhipotézis (alternatív). (2.65) 74

76 2.72. Megjegyzés. A hipotézis aszerint egyszerű vagy összetett, hogy Θ i (i = 1, 2) egy vagy több elemű Definíció. Legyen X X, ahol X a mintatér és C X. A C halmazt kritikus tartománynak nevezzük, ha teljesül rá, hogy 1. Ha X C, akkor elvetjük a H 0 alaphipotézist és elfogadjuk a H 1 ellenhipotézis. 2. Ha X C, akkor elfogadjuk a H 0 alaphipotézist Definíció. Ha adott C kritikus tartomány esetén elfogadjuk vagy elvetjük a hipotézist a paraméterre vagy az F alakjára azt statisztikai próbának nevezzük Definíció. Egy próbát α-szintűnek (szignifikancia szint) nevezünk, ha P(X C H 0 ) α. (2.66) A P(X C H 0 ) valószínűséget elsőfajú hibának nevezzük, a P(X C H 1 ) valószínűséget pedig másodfajú hibának. Paraméteres esetben a próba szintje Definíció. A sup ϑ Θ 0 P(X C ϑ) = α (2.67) W(ϑ) = P(X C ϑ) (2.68) fügvényt a C kritikus tartományhoz tartozó erőfüggvénynek nevezzük Megjegyzés. 1 W(ϑ) = P(X C ϑ), ahol ϑ Θ 1, és α = sup ϑ Θ 0 W(ϑ). (2.69) Definíció. A próba konzisztens, ha az erőfüggvény egyhez tart (ha a mintaelemszám tart a végtelenhez) minden ϑ Θ 1 esetén (az ellenhipotézis esetén). 75

77 2.79. Definíció. Egy próbát torzítatlannak nevezünk α-szinten, ha P(X C ϑ) α, ha ϑ Θ 0, P(X C ϑ) α, ha ϑ Θ 1. (2.70) Definíció. Az α-szintű C 1 és C 2 kritikus tartománnyal definiált próbák közül C 1 -et jobbnak (erősebbnek) nevezzük a C 2 -nél, ha P(X C 1 ϑ) P(X C 2 ϑ), ha ϑ Θ 1. (2.71) A C kritikus tartománnyal definiált α-szintű próba egyenletesen legjobb (legerősebb), ha jobb minden α-szintű próbánál A likelihood hányados próba Definíció. A φ C (x) = { 1, ha x C, 0, ha x C függvényt determinisztikus próbafüggvénynek nevezzük. (2.72) Definíció. Legyen 0 φ 1 mérhető függvény. Ha adott x X esetén φ(x) valószínűséggel utasítjuk el a H 0 alaphipotézist és 1 φ(x) valószínűséggel fogadjuk el, akkor véletlenített próbafüggvénynek nevezzük. A vele végzett próbát pedig véletlenített próbának Megjegyzés. A T statisztika segítségével hozunk létre próbát, ha pl. { 1, ha T(x) a, φ ( x) = (2.73) 0, ha T(x) < a Megjegyzés. Ha T nem folytonos, akkor α-terjedelmű próba konstruálásánál előfordulhat, hogy (1) P(T(x) > a H 0 ) < α (2) P(T(x) a H 0 ) > α. (2.74) 76

78 Ekkor pontosan α-szintű próbát nem tudunk determinisztikusan meghatározni. Ha azonban a próbafüggvényt a következő alakban definiáljuk: 1, ha T(x) > a, φ(x) = p, ha T(x) = a, (2.75) 0, ha T(x) < a, akkor p és a egyértelműen megválasztható úgy, hogy a próba terjedelme α legyen. (1) és (2) alapján megválasztjuk a értékét. Ha valamelyikben egyenlőség áll fenn, akkor p = 0. Ellenkező esetben 0 < p < 1, hogy P(T(x) a H 0 )+pp(t(x) = a H 0 ) = α. (2.76) Ekkor a póba terjedelme E(φ(X) H 0 ) TÉTEL. (Neyman-Pearson) Legyen adott egy X (X = R) megfigyelés, amely f 0 vagy f 1 sűrűségfüggvényű eloszlásból származhat. H 0 :f = f 0 alaphipotézis, H 1 :f = f 1 ellenhipotézis. (2.77) Ekkor létezik egy pontosan α-szintű legerősebb próba, amelynek próbafüggvénye 1, ha f 1 > a, f 0 φ(x) = p, ha f 1 = a, (2.78) f 0 0, ha f 1 < a, f 0 ahol p és a úgy választhatók, hogy a próba terjedelme α legyen Megjegyzés. Tegyük fel, hogy a sűrűségfüggvények folytonosak és ugyanazon a tartományon pozitívak. Ekkor a bizonyítás sokkal egyszerűbb. Legyen C = {x f 1(x) > a}, (2.79) f 0 (x) ahol a értékét az határozza meg, hogy α = P(X C H 0 ) = 77 C f 0 (x)dx. (2.80)

79 Legyen D tetszőleges kritikus tartomány, amelyre Megjegyezzük, hogy P(X D H 0 ) α. (2.81) 0 (φ C (x) φ D (x))(f 1 (x) af 0 (x)), x X. (2.82) 0 (φ C (x) φ D (x))(f 1 (x) af 0 (x))dx = X =P(X C H 1 ) P(X D H 1 ) a(p(x C H 0 ) P(X D H 0 )) = =P(X C H 1 ) P(X D H 1 ) a(α P(X D H 0 )) P(X C H 1 ) P(X D H 1 ). (2.83) Tehát P(X C H 1 ) P(X D H 1 ) Definíció. Legyen L X (H) = supl(ϑ;x 1,X 2,...,X n ). (2.84) ϑ Θ A H 0, H 1 hipotézisek alapján definiáljuk a likelihood hányadost L X (H 0,H 1 ) = L X(H 1 ) L X (H 0 ). (2.85) Megjegyzés. Ha T elégséges statisztika a ϑ paraméterre, akkor a faktorizáció szerint L X (H 0,H 1 ) egyszerűen a T függvénye Definíció. Egy próbát, amelynek a kritikus tartománya C = {x L X (H 0,H 1 ) > a} (2.86) alakú, valamely a konstansra, likelihood hányados próbának nevezzük Megjegyzés. Az a értékét úgy határozzuk meg, hogy rögzítjük a próba α-szintjét és α = P(X C H 0 ) Megjegyzés. A likelihood hányados próba optimális egyszerű hipotézisek esetén. A legtöbb szokásos próba likelihood hányados próba, habár más statisztikából is felépíthető. 78

80 2.92. Megjegyzés. Az általánosított likelihood hányados próba. Eddig diszjunkt hipotézis paramétertartományokat tekintettünk. Most legyen H 0 : ϑ Θ 0, alaphipotézis, H 1 : ϑ Θ, ellenhipotézis. (2.87) Tegyük fel, hogy Θ 1 alapján k darab szabad paraméter van, míg Θ 0 alapján k m darab szabad paraméter van, Jelölés: Θ 1 = k, Θ 0 = k m TÉTEL. Tegyük fel, hogy Θ 0 Θ 1 és Θ 1 Θ 0 = m. Ekkor megfelelő feltételek esetén, a X = (X 1,X 2,...,X n ) független mintára lim n 2lnL X(H 0,H 1 ) χ 2 m, (2.88) ha H 0 igaz. Ha H 0 nem igaz, akkor 2lnL X egyre nagyobb. Elutasítjuk H 0 -t, ha 2lnL X > a, ahol α = P(χ 2 m > a) egy közel α-szintű próbát ad Megjegyzés. A 2lnL X aszimptotikusan χ 2 m-eloszlású Néhány általánosított likelihood hányados próba TÉTEL. Ha az független minta, akkor X 1,X 2,...,X n, X i N(µ,σ 2 ), (2.89) maxl(µ,σ 2 ;X 1,X 2,...,X n ) = ( n ( 2πσ 2) 2 exp µ ( maxl(µ,σ 2 ;X 1,X 2,...,X n ) = 2π σ 2 ( max L(µ,σ2 ;X 1,X 2,...,X n ) = 2π µ,σ 2 n i=1 (X i µ) 2 n n i=1 (X i X) 2 n n i=1 (X i X) 2 ), 2σ 2 ) n ( 2 exp n ), 2 n ) 2 ( exp n ). 2 (2.90) 79

81 Egymintás u-próba. Adott az X 1,X 2,...,X n, (X i N(µ,σ 2 )), független minta és σ 2 ismert. H 0 : µ = µ 0, H 1 : µ µ 0. (2.91) ( ) 1 L X (H 0,H 1 ) = exp 2σ 2n(X µ 0) 2, (2.92) azaz elutasítjuk H 0 -t, ha (X µ 0 ) 2 nagy. Ez nem meglepetés, hiszen u = X µ 0 n N(0,1). (2.93) σ A kritikus tartomány ugyanúgy készíthető, mint a konfidenciaintervallum Megjegyzés. 2lnL X (H 0,H 1 ) = u 2 χ 2 1. Kétmintás u-próba. Adott az és az független minta és σ 2 ismert. X 1,X 2,...,X m, (X i N(µ 1,σ 2 )), Y 1,Y 2,...,Y n, (Y i N(µ 2,σ 2 )), H 0 : µ 1 = µ 2, H 1 : µ 1 µ 2. (2.94) ( ) 1 mn L X (H 0,H 1 ) = exp (X 2σ 2 Y)2, m+n (2.95) azaz elutasítjuk H 0 -t, ha (X Y) 2 nagy. Ezt felhasználva kapjuk, hogy u = X Y mn N(0,1). (2.96) σ m+n A kritikus tartomány ugyanúgy készíthető, mint az egymintás esetben Megjegyzés. 2lnL X (H 0,H 1 ) = u 2 χ

82 Egymintás t-próba. Adott az X 1,X 2,...,X n, (X i N(µ,σ 2 )), független minta és σ 2 ismeretlen. H 0 : µ = µ 0, H 1 : µ µ 0. (2.97) ahol L X (H 0,H 1 ) = azaz elutasítjuk H 0 -t, ha t 2 nagy. Ekkor ) (1+ n t2 2, (2.98) n 1 t = X µ 0 n, (2.99) s n t = X µ 0 n tn 1. (2.100) s n A kritikus tartomány ugyanúgy készíthető, mint a konfidenciaintervallum. Kétmintás t-próba. Adott az és az X 1,X 2,...,X m, (X i N(µ 1,σ 2 )), Y 1,Y 2,...,Y n, (Y i N(µ 2,σ 2 )), független minta és σ 2 ismeretlen. t = H 0 : µ 1 = µ 2, X Y (m 1)s m 2 +(n 1)s n 2 m+n 2 H 1 : µ 1 µ 2. (2.101) mn m+n t m+n 2. (2.102) A kritikus tartomány ugyanúgy készíthető, mint az egymintás esetben. 81

83 2.98. Megjegyzés. Haσ 1 σ 2, dem = n, akkor alkalmazható az egyesített t-próba, hiszen X i Y i N(µ 1 µ 2,σ 1 2 +σ 2 2 ). (2.103) Megjegyzés. (Scheffé) Ha σ 1 σ 2, de m n. Tegyük fel, hogy m < n, és m Z i = X i n Y i + 1 m Y j Y, (2.104) mn ekkor E(Z i ) = µ 1 µ 2, D 2 (Z i ) = σ m n σ 2 2, cov(z i,z j ) = 0(i j), (2.105) így j=1 H 0 : µ 1 µ 2 = 0, esetre készíthetünk egymintás t-próbát. H 1 : µ 1 µ 2 0 (2.106) χ 2 -próba. Adott a X 1,X 2,...,X n, (X i N(µ,σ 2 )), független minta és σ 2 ismeretlen. ahol L X (H 0,H 1 ) = H 0 : σ = σ 0, H 1 : σ σ 0. (2.107) ( ) n Y n 2 exp ( Y n 2 ), (2.108) Y = ns2 n χ 2 σ n 1. (2.109) 0 2 A kritikus tartomány ugyanúgy készíthető, mint a konfidenciaintervallum. 82

84 F-próba. Adott az és az független minta (egymástól is). ahol L X (H 0,H 1 ) = X 1,X 2,...,X m, (X i N(µ 1,σ 2 )), Y 1,Y 2,...,Y n, (Y i N(µ 2,σ 2 )), m m/2 n n/2 (m+n) (m+n)/2 H 0 : σ 1 = σ 2, H 1 : σ 1 σ 2. (2.110) ( 1+ m 1 ) (m+n)/2 n 1 F ( m 1 n 1 F ) m/2, (2.111) F = s m 2 s n 2 F m 1,n 1, (2.112) azaz elutasítjuk H 0 -t, ha F nagyon kicsi vagy nagyon nagy. Ekkor a kritikus tartomány készítése x a Megjegyzés. Ha 0 f F (x)dx+ x b f F (x)dx = α. (2.113) F F m,n, akkor 1 F F n,m. (2.114) A Pearson-féle χ 2 statisztika és alkalmazásai Legyen az A 1,A 2,...,A k teljes eseményrendszer. Végezzünk el n Bernoullikísérletet a megfigyelésükre és jelölje X i az A i gyakoriságát, ekkor az (X 1,X 2,...,X k ) 83

85 vektor polinomiális eloszlású. Írjuk fel a következő hipotéziseket. Ekkor 2lnL(H 0,H 1 ) = 2 H 0 : p i = p i (ϑ), ha ϑ Θ 0, H 1 : p i tetszőleges. (2.115) k Y i ln ˆp i 2 i=1 k Y i lnp i (ˆϑ) = 2 i=1 ( ) k ˆp i Y i ln, p i (ˆϑ) (2.116) ahol ˆp i = Y i n és ˆϑ a ϑ maximum likelihood becslése a H 0 teljesülése esetén. Vezessük be a következő jelöléseket: o i = Y i, e i = np i (ˆϑ), δ i = o i e i. (2.117) i=1 Ekkor 2lnL(H 0,H 1 ) =2 =2 =2 =2 ( ) k ˆp i Y i ln p i (ˆϑ) k ( ) oi o i ln i=1 i=1 i=1 e i k ( (δ i +e i )ln 1+ δ ) i e i k (δ i +e i ) i=1 k i=1 δ 2 i e i = ( 1) m+1 δm i me m m=1 i k (o i e i ) 2 i=1 e i (2.118) Ez utóbbit szokás Pearson-féle χ 2 statisztikának nevezni, mert ha H 0 esetén ϑ R m és becsüljük, akkor aszimptotikusan. 2lnL(H 0,H 1 ) χ 2 k m 1 (2.119) 84

86 Példa. Egy dobókocka dobálása során a következő gyakoriságokat kaptuk: 1 7db 2 6db 3 10db 4 6db 5 8db 6 3 db Ekkor X = 3.275, χ 2 = 4.1 < χ 2 5,0.05. (2.120) Megjegyzés. A Pearson-féle χ 2 -próba alkalmazható tetszőleges eloszlás vizsgálatára, azaz illeszkedésvizsgálatra. Adott az F eloszlásfüggvény. Osszuk fel a (,+ ) intervallumot. Legyen = x 0 < x 1 < < x k = +, (2.121) p i = F(x i+1 ) F(x i ), (i = 1,2,...,k). (2.122) A felosztás módjára nincs általános szabály Megjegyzés. A szokásos alkalmazások: illeszkedésvizsgálat, függetlenség- és homogenitásvizsgálat Megjegyzés. A hisztogram az alapstatisztikák közé tartozik, de csak most jutottunk el odáig, hogy a Pearson-féle χ 2 -próba kívánalmai szerint készítsük el. Az [a,b] intervallum tartalmazza az adatokat. a = d 0 < d 1 < < d k = b. (2.123) A felosztáskor figyeljük a darabszámot, kiugró értékeket és általában legyenek egyenlő hosszúak az intervallumok (kivéve a széleken). Adjuk meg a [d i 1,d i ) intervallumba eső adatok számát (o i ) minden i-re. Az o i gyakorisággal arányos oszlopot rajzolunk a [d i 1,d i ) intervallumra. Gyakorisághisztogram: Sűrűséghisztogram: k i=1 o i d i d i 1 (d i d i 1 ) = n. (2.124) k i=1 o i n d i d i 1 (d i d i 1 ) = 1. (2.125) 85

87 2.6. Rendezett mintás próbák Legyenek X és Y valószínűségi változó eloszlásfüggvénye a folytonos F illetve G függvény. A vizsgálandó nullhipotézis az alternatíva H 0 : G F, (2.126) H 1 : G F. (2.127) A rendezett mintás próbastatisztikák meghatározásának alapjául szolgáló néhány mennyiséget ismertetünk. Tekintsük a X valószínűségi változóra vett X 1,X 2,...,X n és az Y valószínűségi változóra vett Y 1,Y 2,...,Y m mintát. Az egyik legfontosabb statisztika: a mintaelemek rangszámai Definíció. Rendezzük egyetlen nagyság szerinti sorba a két minta elemeit, és számozzuk meg azokat 1-től (n + m)-ig. Keressük meg a legkisebb X i -nek, vagyis X 1-nek a sorszámát az egyesített mintában. Legyen ez r 1 ; ezt nevezzük X 1 rangszámának. A következő X 2 sorszámát jelöljük r 2 -vel stb. Ilyen módon megkapjuk X i mintaelemek mindegyikének rangját, az r 1,r 2,...,r n sorozatot Megjegyzés. Az egyesített mintában megmaradó Y j elemek rangszámait jelölje s 1,s 2,...,s m. A két sorozat nyilván kiadja az egész számokat 1-től (n + m)-ig. Könnyen látható, hogy r 1 < r 2 < < r n sorozat. Az egyesített mintában megmaradó Y j -k rangszámait jelölje s 1,s 2,...,s m. Könnyen látható, hogy r 1 < r 2 < < r n, továbbá r j i; hasonlóan az s j -kre s 1 < s 2 < < s m és s j j. Itt az r i rangszámok és az s j rangszámok valószínűségi változók. Ha valóban igaz a nullhipotézis, akkor a két minta egyesített és nagyság szerint rendezett sorozatában a két minta elemeinek egymáshoz képest minden lehetséges sorrendje ( azonos ) valószínűségű. n+m Az összesen n+m helyre az n számú X i elemet -féleképpen helyezhetjük el, tehát egy meghatározott sorrendben valószínűsége ( ). n+m n 1 m Tehát annak a valószínűsége, hogy az r i sorozat az első (n+m) egész számból 86

88 előre megadott a 1 < a 2 < < a n legyen, ugyancsak ennyi: P(r 1 = a 1,r 2 = a 2,...,r n = a n H 0 ) = 1 ( ). (2.128) n+m A rendezett mintaelemekkel kapcsolatos néhány statisztika: Tekintsük ismét a két minta nagyság szerint rendezett, egyesített sorozatát, és jelöljük ennek elemeit a következőképpen: X 1 < X 2 <...X n+m. Itt tehát minden X k elem vagy egy X i-vel, vagy egy Y j -vel egyezik meg. Vezessük be a következő valószínűségi változókat: { 1, ha Xk ϑ k = = X i, 1, ha Xk = Y j, m (2.129) valamely i-re illetve j-re. Az előzőek szerint a ϑ 1, ϑ 2,...,ϑ n+m sorozatban ϑ r1 az első olyan ϑ i, amely 1-gyel egyenlő, ϑ r2 a második stb. A közbülső elemek értéke 1, ezek az Yj elemeknek felelnek meg. Legyen továbbá S 0 =0, (2.130) S i =ϑ 1 +ϑ 2 + +ϑ i, (i = 1,2,...,n+m 1), (2.131) S n+m =n m. (2.132) Egyszerű összefüggés adódik a Kolmogorov-Szmirnov kétmintás statisztika és a fenti részletösszegek között. (leírás lásd később) Ugyanis ha a két minta elemszáma megegyezik, vagyis m = n akkor egyszerűen látható, hogy D + n,n = 1 n max Si 0 i 2n és D n,n = 1 n max 0 i 2n Si. Ily módon a nullhipotézis esetén az r i és s j változók bizonyos függvényeinek valószínűségeloszlását kombinatorikus módszerekkel határozhatjuk meg. 87

89 Ez a meghatározás némely, viszonylag egyszerűen konstruált statisztika esetében is komoly numerikus nehézségekhez vezet. Vannak próbák, amelyek kritikus értékeit csak kis mintaelemszámra adják meg táblázatban nagyobb mintadarabszámra már a határeloszlást (vagy más közelítést) alkalmaznak. Ezután néhány gyakran alkalmazott próbát ismertetünk. Megjegyezzük, hogy a próbák mindegyike hasonló, azaz a nullhipotézis mindig összetett (tetszőleges két folytonos, egymással megegyező eloszlásfüggvény párja), de az elsőfajú hiba annak minden elemére, vagyis minden G F-re ugyanaz Az előjelpróba Az előjelpróbát a következő hipotézisek vizsgálatára szokkás alkalmazni: Az X valószínűségi változó mediánja-e az m érték, vagyis igaz-e, hogy P(X < m) = P(X m), (2.133) azaz a P(X < x) = F(x) eloszlásfüggvénnyel kifejezve fennáll-e, hogy F(m 0) 1 2 F(m+0). (2.134) Amikor egy gyártmány valamely méretét tekintve el akarjuk érni, hogy azoknak a daraboknak a gyakorisága, melyeknek ez a mérete az adott m értéknél nagyobb, megegyezzék az ennél kisebbre sikerültek gyakoriságával, akkor ezt előjelpróbával ellenőrizzük. Ha valamilyen műszaki indok vagy előző tapasztalat arra utal, hogy a nagyobbra sikerültek gyakorisága pl. meghaladja azokét, amelyekre ez a méret kisebb m-nél, egyoldali ellenhipotézissel alkalmazzuk a próbát: P(X > m) > P(X < m). (2.135) Tehát ezt és a hasonló jellegű kérdéseket egyoldali próbával vizsgáljuk. E példában a mérési eredményeket: (X (0) i,x (1) i ) i = 1,2,...,n, (2.136) alakban kapjuk és ebből az Xi = X (1) i X (0) i, i = 1,2,...,n mintát, amivel a próbát végezzük. 88

90 Jelöljön tehát X valószínűségi változót, m adott számot; vizsgálnunk kell a következő nullhipotézist: H 0 : P(X > m) = P(X < m). (2.137) Tekintsük a X-re vonatkozó X 1,X 2,...,X n mintát, és jelöljük X-el a X i m értékek közül a pozitívok számát, ez a próbastatisztika. Ha a H 0 fennáll, akkor a valószínűségi változó (n,p = 1 ) paraméterű binomiális eloszlást követ. 2 Az egyoldali H 1 + : P(X > m) > P(X < m) (2.138) ellenhipotézishez tartozó 1-ε szintű kritikus tartomány ahol k ε értékét a következő reláció határozza meg: A kétoldali X + k = {X k ε}, (2.139) 1 2 n n i = k ε ellenhipotézis esetén a kritikus tartomány ahol k ε = n k ε és ( ) n ε. (2.140) i H 1 : P(X > m) P(X < m) (2.141) X k = {X k ε vagy X k ε}, (2.142) 1 2 n k ε 1 ( ) n 1 ε. (2.143) i k ε +1 Néha az előjelpróbát annak vizsgálatára is használjuk, hogy az X valószínűségi változó eloszlása szimmetrikus-e az érték körül, vagyis fennáll-e minden pozitív x mellett a sűrűségfüggvényre, hogy vagy az eloszlásfüggvénnyel kifejezve igaz-e, hogy f(m x) = f(m+x), (2.144) F(m x) = 1 F(m+x). (2.145) 89

91 Ez utóbbi esetben azonban a próba nem egészen megfelelő, csak első tájékozódásra alkalmas. Ugyanis ha az előjelpróba nullhipotézisét elvetjük, a szimmetria sem állhat fenn, ha azonban elfogadjuk, még nem győződhettünk meg a szimmetriáról A Wilcoxon próba Egyszerűségénél fogva igen elterjedt kétmintás próba, amely a H 0 : G F (2.146) nullhipotézissel szemben nem minden lehetséges ellenhipotézisre aszimptotikusan konzinsztens. Így kevésbé érzékeny olyan valószínűségi változópárokra, amelyek mediánja megegyezik. Alkalmas viszont az eltolással szembeni vizsgálatra, amire eléggé hatásos. Leginkább a H 0 : P(X < Y) = P(X > Y) = 1 2 (2.147) nullhipotézis ellenőrzésére használják. Az egyoldalú változat a H + 1 : P(X < Y) > 1 2 (2.148) ellenhipotézissel szemben alkalmas. Ha P(X < Y) < 1 2 szerepét felcseréljük. Míg a kétoldalú próba a akkor az X és Y ellenhipotézis vizsgálatára alkalmazható. A próbastatisztika az U = U n,m = H 1 : P(X < Y) P(X > Y) (2.149) n (r i i) = i=1 n i=1 r i n(n+1) 2 (2.150) valószínűségi változó, vagyis egy additív állandótól eltekintve az X i mintaelemek rangszámainak az összege. U értéke 0 és nm között változhat. Várható értéke és szórásnégyzete a nullhipotézis fennállása esetén E(U) = nm 2 és D 2 (U) = nm(n+m+1). (2.151) 12 90

92 A határeloszlás normális, vagyis érvényes a következő reláció: ( ) lim P Un,m E(U n,m ) < x H 0 = 1 x t 2 e 2 dt. (2.152) n,m + D(U n,m ) 2π Az U-statisztika pontos eloszlására zárt formula nem ismeretes. Kis mintára a táblázatokat a következő könnyen igazolható rekurziós formula alapján számítják: P(U n,m = k) = n (m+n) P(U m n 1,m = k)+ (m+n) P(U n,m 1 = k). (2.153) A kritikus tartomány a H + 1 ellenhipotézis esetén 1 ε szinten ahol U ε értéke a X + k = {U U ε}, (2.154) P(U > U ε H 0 ) = 1 ε (2.155) összefüggésből adódik. AH 1 ellenhipotézissel1 ε szinten kritikus tartomány X k = {U U ε/2 vagy U U ε/2}, (2.156) ahol érvényes a reláció. P(U U ε/2) = P(U U ε/2) = ε 2 (2.157) A Kolmogorov-Szmirnov kétmintás próba Ezzel a próbával azt vizsgáljuk, hogy az X és Y valószínűségi változók azonos eloszlásúak-e. Ha az eloszlásfüggvények akkor a nullhipotézis P(X < x) = F és P(Y < x) = G, (2.158) H 0 : F G. (2.159) Legyen az X-re vonatkozó n-elemű minta X 1,X 2,...,X n, az Y -ra vonatkozó m-elemű minta Y 1,Y 2,...,Y m. Konstruáljuk meg az ezekhez tartozó F n és G m empirikus eloszlásfüggvényeket. 91

93 Ha feladatunk a H 0 -al szemben az egyoldali ellenhipotézis vizsgálata, akkor a próbastatisztika a kritikus tartomány 1-ε szinten ahol a kritikus értéket a összefüggés adja. H + 1 : F > G (2.160) D + n,m = max (xǫr) (F n G m ), (2.161) X + k = {Dx n,m D ε }, (2.162) P(D + n,m < D ε H 0 ) = 1 ε (2.163) Ha csupán azt a kérdést akarjuk vizsgálni, hogy az X valószínűségi változó eloszlása azonos-e az Y változó eloszlásával, vagyis ha kétoldali az ellenhipotézis: H 1 : G F, (2.164) akkor a D n,m = max F n G m (2.165) (xǫr) statisztikával konstruáljuk a következő 1 ε szintű kritikus tartományt: X k = {D n,m D ε}, (2.166) ahol D ε-re P(D n,m < D ε H 0 ) = 1 ε. (2.167) A Kolmogorov-próba A Kolmogrov-próba a következő hipotézis ellenőrzésére szolgál: H 0 : P(X < x) = F, (2.168) ha X folytonos eloszlású valószínűségi változó. Ha az F eloszlásfüggvény egyértelműen -a mintától függetlenül- adott, akkor tiszta illeszkedésvizsgálat 92

94 esete áll fenn, ha a függvény ismeretlen paramétert tartalmaz, melynek helyére a mintából becsült értéket írjuk, akkor az illeszkedésvizsgálat becsléses. A próbastatisztika, ha a X 1,X 2,...,X n minta empirikus eloszlásfüggvénye F n, a következő: D n + = max (F n F) (2.169) (x R) illetve D n = max F n F. (2.170) (x R) Ha G-vel jelöljük a tényleges eloszlásfüggvényt, akkor az egyoldali esetben, vagyis a H 1 + : F > G (2.171) ellenhipotézishez az X + k = {D+ n D ε } (2.172) kritikus tartomány tartzozik, ahol a D ε kritikus érték az alábbi relációból adódik: P(D + n < D ε H 0 ) = 1 ε; (2.173) a kétoldali esetben, vagyis a ellenhipotézis esetén adja a kritikus tartományt. A D ε kritikus értéke a összefüggésből adódik. H 1 : G F (2.174) X k = {D n D ε } (2.175) P(D n < D ε H 0 ) = 1 ε (2.176) Az ω 2 -próba Legyen X, Y két független valószínűségi változó, amelyek eloszlásfüggvénye F és G. Ekkor P(X < Y) = FdG. (2.177) 93

95 Ha mind az X mind az Y valószínűségi változó vizsgálatára adott lenne egy minta, akkor a δ 1 = FdG 0.5 = P(X < Y) 0.5 = 0 (2.178) feltevés nem más, mint a Wilcoxon-próba nullhipotézise. Tehát aδ 1 = 0 teljesülése azt fejezi ki, hogy a G eloszlásfüggvényű mintaelemekhez meghatározunk az F eloszlástípusból egy olyan hely- és skálaparaméterrel rendelkezőt, hogy a Wilcoxon-próba nullhipotézise teljesüljön. Sajnos a δ 1, nem viselkedik távolságként, hiszen a P(X < Y) 0.5 = 0 (2.179) nem csak akkor teljesül, ha F = G. Viszont észrevehetjük, hogy a δ 1 kapcsolódik az ún. Cramer-Mises d(f,g) = + (F(x) G(x)) 2 dg(x) (2.180) eltéréshez. Ehhez az eltéréshez kapcsolódik az ω 2 -illeszkedésvizsgálat, amelynek a χ 2 -próbával szemben óriási előnye, hogy nincs szükség az értékek csoportosítására, viszont a mintát növekvő sorrendbe kell rendezni. Annak ellenőrzésére, hogy az eloszlástípust jól választottuk-e meg a Cramer- Mises eltérésen alapuló ω 2 -próbát is szokás használni. Az F n (x)-nek a feltételezett F(x)-től vett eltérése mértékéül az ω n 2 = n + (F(x) F n (x)) 2 df(x) (2.181) mennyiséget használják a következő Mises-Szmirnov tétel alapján TÉTEL. Tetszőleges F folytonos eloszlásfüggvényű X valószínűségi változóra, minden x > 0 esetén igaz, hogy ahol az a 1 (x) függvény nem függ X-től. lim P(ω n 2 < x) = a 1 (x), (2.182) n 94

96 Megjegyzés. Az ω n 2 statisztikát a következőképpen lehet meghatározni az F eloszlásfüggvény és a minta segítségével: ω 2 n = 1 n ( 12n + F(X k ) k 0.5 ) 2. (2.183) n k= Megjegyzés. Az a 1 (x) eloszlásfüggvénynek csak a karakterisztikus függvénye adható meg közvetlenül használható formában, ezért a próba alkalmazásához szükséges a következő táblázat: x a 1 (x) Megjegyzés. Az ω 2 -próba végrahajtása: Rögzítünk egy p megbízhatósági szintet és az a 1 (x p ) = p (2.184) egyenletből kiszámítjuk a megfelelő x p kvantilis értékét illetve a táblázat segítségével ellenőrizzük, hogy a feltételezett F eloszlásfüggvény és az F n empirikus eloszlásfüggvényből kiszámított ω 2 n milyen x p -hez viszonyítva. Ha ω 2 n > x p, akkor a feltevésünk nem fogadható el. Természetesen feltesszük, hogy aznérték elég nagy, ami a szakirodalom szerint azt jelenti, hogyn > Minta példák Példa. Egy normális eloszlású valószínűségi változóra generáltunk egy 100 elemű X mintát m = 4 és σ = 1.5 névleges értékkel. A kapott adatok: 3,51 2,89 2,44 5,06 3,53 4,34 3,11 5,89 2,67 4,77 4,71 5,37 5,1-0,36 5,38 4,88 3,55 2,12 2,26 6,01 5,00 6,18 7,14 5,58 5,34 2,57 4,66 3,53 4,77 4,57 2,79 5,85 4,71 6,30 2,95 3,90 4,33 3,63 2,12 4,45 5,63 6,32 5,27 4,42 2,93 4,95 5,98 4,69 3,52 3,92 4,20 4,77 0,72 5,31 4,18 2,41 3,26 5,44 4,57 6,04 4,50 3,24 2,66 2,46 5,03 2,36 5,08 3,20 2,85 5,04 4,48 2,48 5,78 0,45 4,51 6,29 4,00 3,58 3,51 1,56 4,20 5,55 3,70 7,20 3,71 4,51 3,17 7,57 5,43 5,22 4,01 4,58 5,39 3,04 4,37 2,82 3,51 2,04 4,17 2,11. 95

97 2.1. ábra. A hisztogram A STATISTICA 9.0 programmal végeztünk eloszlásvizsgálatot. Az eloszlás vizsgálatára először elkészítettük a sűrűséghisztogramot, berajzolva az átlag=3,952 és tapasztalati szórás=1,5448 értékkel a közelítő normális eloszlás sűrűségfüggvényét. A közelítés szemre elég jó. A grafikus normalitásvizsgálat (Gauss-papír) eredménye: Elég jól illeszkednek a pontok az egyenesre, amely alátámasztja a normalitást. A leíró statatisztikák értékei (azok, amelyek a normális eloszláshoz kapcsolódnak): 96

98 2.2. ábra. A Gauss-papír Átlag 3,952 Medián 3,883 Minimum -0,493 Maximum 9,507 Alsó kvartilis 3,075 Felső kvartilis 4,899 Minta terjedelem 10,00 95%-os konfidencia intervallum a várható értékre 3,6463 4,259 Interkvartilis terjedelem 1,825 Tapasztalati szórásnégyzet 2,386 Tapasztalati szórás 1,545 95%-os konfidencia intervallum szórásra 1,3568 1,794 Ferdeség 0,310 Lapultság 1,352 97

99 Az eloszlásillesztés (χ 2 -próba) χ 2 statisztikára 8,930 értéket kaptunk 7 szabadsági fok mellett, ami még p = 0,2577 szignifikancia szint mellett is elfogadható Példa. Egy exponenciális eloszlású valószínűségi változóra generáltunk egy 100 elemű Y mintát λ = 0,2 névleges értékkel. A kapott adatok: 11,34 4,53 1,32 2,28 12,04 2,6 4,41 4,39 1,5 0,9 1,09 2,92 2,75 0,71 1,28 1,15 1,09 2,9 1,7 2,55 7,29 0,1 0,62 0,56 8,15 2,29 7,63 12,89 0,31 3,79 2,94 4,66 11,8 6,35 3,23 4,55 7,43 3,45 13,22 2,85 4,81 4,11 7,91 3,81 5,03 7,92 2,48 14,35 7,36 0,04 6,55 4,08 3,59 12,93 8,42 13,72 4,21 2,02 0,09 0,4 6,4 14,57 2,92 0,68 5,1 2,8 3,8 1,07 0,11 4,92 2,66 4,46 0,06 1,4 1,07 7,59 13,98 0,95 13,61 0,25 6,85 4,06 7,48 9,22 2,5 3,29 1 0,17 2,22 2,74 23,55 0,37 0,49 1,69 8,91 13,48 0,38 9,85 8,61 0, ábra. A hisztogram 98

100 A sűrűséghisztogram, berajzolva a becsült λ 1 = 0,2098 paraméter átlag értékkel a közelítő exponenciális eloszlás sűrűségfüggvényét (2.3 ábra). A grafikus eloszlásvizsgálat eredménye: 2.4. ábra. Az exponenciális papír Néhány leíró statisztika érték: Átlag 4, Medián 3, Minimum 0, Maximum 23,55000 Minta terjedelem 23,51000 Interkvartilis terjedelem 6, Tapasztalati szórásnégyzet 20,14971 Tapasztalati szórás 4,

101 Az eloszlásillesztés eredménye: χ 2 statisztikára 3,322 értéket kaptunk 5 szabadsági fok mellett, ami még p = 0,650 szignifikancia szint mellett is elfogadható Vegyes matematikai statisztikai feladatok 1. minta: 6.10, 0.01, 6.97, 6.03, 3.85, 1.11, 4.03, 4.76, 2.02, 1.55, 4.11, 6.64, 4.55, 4.82, 5.19, 1.62, 3.39, 4.59, 1.34, 2.96, 3.20, 6.92, 1.71, 3.50, 1.22, 0.32, 3.33, 6.07, 2.76, 5.83, 3.49, 4.01, 0.80, 5.36, minta: 1.63, 1.60, 2.26, 7.60, 1.94, 6.90, 4.66, 3.64, 4.24, 8.35, 6.13, 4.21, -1.73, 3.08, 4.44, 3.95, 13.32, 1.48, 6.60, 4.80, 9.48, -0.78, 6.34, -3.95, 3.55, 7.59, -3.15, 0.16, 3.14, 2.36, 2.73, 9.14, -3.06, 9.98, 2.87, 1.70, -1.27, -1.49, minta: 1.74, 0.10, 2.25, 0.35, 0.69, 0.26, 0.13, 0.19, 0.38, 0.11, 4.02, 0.32, 0.72, 0.57, 1.28, 0.40, 2.29, 0.33, 0.62, 0.99, 1.74, 5.25, 1.24, 0.12, 0.97, 0.45, 2.31, 2.11, 1.26, 2.48, 0.73, 0.49, 0.43, 0.96, 0.33, 0.04, 0.31, Az 1. minta esetén határozza meg a mediánt! 2. Az 1. minta esetén határozza meg a medián abszolút eltérést! 3. A 2. minta esetén határozza meg az átlagot! 4. A 2. minta esetén határozza meg a tapasztalati szórásnégyzetet! 100

102 5. Készítsen 0.95 valószínűségű (kétoldali) konfidenciaintervallumot a várható értékre a 2. minta esetén. Adja meg az intervallum jobboldali végpontját! 6. Készítsen 0.95 valószínűségű (kétoldali) konfidenciaintervallumot a szórásnégyzetre a 2. minta esetén. Adja meg az intervallum jobboldali végpontját! 7. Készítsen a p = 0.56 valószínűséghez kvantilis becslést a 3. minta alapján! 8. Ha az 1. minta a (0,ϑ) intervallumon egyenletes eloszlású, akkor becsülje meg a ϑ paramétert! 9. Igazolja, hogy az 1. minta a (0, ϑ) intervallumon egyenletes eloszlású! Adja meg a χ 2 statisztika értékét, ha az osztályok száma öt! 10. Az előző χ 2 statisztika értékhez adja meg a χ 2 -eloszlás kritikus értékét 0.95-ös szinten! Írja le a döntést is! 11. A 3. minta esetén határozza meg a korrigált tapasztalati szórást! 12. A 3. minta esetén adja meg a szórási együtthatót! 13. Ha a 3. minta exponenciális eloszlású, akkor becsülje meg a λ paramétert! 14. Igazolja, hogy a 3. minta exponenciális eloszlású! Adja meg a χ 2 statisztika értékét, ha az osztályok száma négy! 15. Az előző χ 2 statisztika értékhez adja meg a χ 2 -eloszlás kritikus értékét 0.99-es szinten! Írja le a döntést is! 16. Igazolja, hogy a 2. minta normális eloszlású! Adja meg a χ 2 statisztika értékét, ha az osztályok száma öt! 17. Az előző χ 2 statisztika értékhez adja meg a χ 2 -eloszlás kritikus értékét 0.95-ös szinten! Írja le a döntést is! 18. Megegyezik-e a 2. és a 3. minta szórása? Adja meg az F statisztika értékét! Írja le a döntést is, ha a próba szintje 0.95! 101

103 19. Adott a következő hét pont: (-0.35, 2.79), ( 1.42, 5.47), ( 3.11, 6.93), ( 4.06, 9.59), ( 4.89,11.37), ( 4.73,12.60), ( 6.49,14.51) Becsülje meg a regressziós egyenes meredekségét! 20. Az előző feladatban kapott egyenesnek adja meg az ún. y-tengelymetszetét! NUMERIKUS VÁLASZOK:

104 3. fejezet Többdimenziós normális eloszlás 3.1. Többváltozós normális eloszlás fogalma A történelem során megszerzett eredményekre, tapasztalatokra építve a többváltozós normális eloszlás definícióját Hilary Seal fejtette ki. A legkorábbi próbálkozások Bravais és Schols nevéhez fűződnek. Francis Galton kétváltozós adatokon végzett korreláció analízissel tett megállapításokat egy kétváltozós normális sűrűségfüggvény szerkezetéről. Abból a feltételezésből kiindulva, hogy az azonos sűrűségek szintvonalai koncentrikus ellipszisek, a sűrűségfüggvény egy olyan formáját fejlesztette ki (J.D.H. Dickson segítségével), melyet napjainkban is használunk. Edgeworth kisérelte meg a normális eloszlás 4 és magasabb dimenziókba való kiterjesztését. Mégis Karl Pearson volt az, aki először bemutatta a többváltozós normális sűrűségfüggvény modern formáját. A mai elemzők a többváltozós normális eloszlást több nézőpontból is megvizsgálják. A mai napig nincs olyan egységes definíció, amely alkalmazható lenne a különböző nézetekre. Egyváltozós esetben a Z véletlen változó - amelynek várható értéke 0 (E(Z) = 0) és szórásnégyzete 1 (D 2 (Z) = 1) - sűrűségfüggvénye(2π) 1/2 exp( z 2 /2), ahol < z <. A többdimenziós kiterjesztés a Z 1,...,Z p független változókból (N(0,1)) áll, amelyek együttes sűrűségfüggvénye az alábbi módon írható fel (2π) p/2 exp( z T z/2), z R p. (3.1) Jelölésére a Z N p (0,I) kifejezést használjuk. Ennek általánosítására szolgál a következő definíció. 103

105 3.1. Definíció. Az X p-dimenziós véletlen vektor nemszinguláris p-dimenziós normális eloszlású, ha x elemeinek az együttes sűrűségfügvénye a következő: f(x 1,...,x p ) = (2π) p/2 Σ 1/2 exp{ (x µ) T Σ 1 (x µ)/2}, (3.2) ahol x R p. Jelölés: X N p (µ,σ). Itt µ a várható érték vektor, Σ a variancia-kovariancia mátrix. Σ a determinánsa Σ mátrixnak. Ha Σ rangja kisebb mint p, akkor az X vektornak szinguláris normális eloszlása van. X áttranszformálható az Y = AX + b vektorba, ahol A r p mátrix és a rangja r. Ekkor Y nemszinguláris többváltozós normális eloszlású r-dimenzióban. Mindezek a következő definícióhoz vezetnek Definíció. (Srivastava és Khatri) Az X p-dimenziós véletlen vektornak többváltozós normális eloszlása van (N p (µ,σ)), ha X eloszlása ugyanolyan, mint az Y = µ+dz vektornak, ahol D p r mátrix és a rangja r, Σ = DD T és Z N r (0,I) Megjegyzés. Ebben az esetben r az X eloszlásának rangját jelenti. Következésképpen Σ rangja p kell legyen. Az eloszlást tehát az egyik fő jellemző tulajdonsága alapján definiáltuk Többváltozós elemzések A normális eloszlás sűrűségfüggvénye - az ismert haranggörbe (Gauss-görbe) - több dimenzióra történő általánosítása alapvető szerepet játszik a többváltozós elemzésben. Számos többváltozós technika feltételezi, hogy az adatok többváltozós normális eloszlásból származnak. Bár a valós adatok sosem követik pontosan a többváltozós normális eloszlást, a normális sűrűség gyakran egy hasznos közelítést ad a "valódi" sokasági eloszlásra. Tehát a normális eloszlás sokszor megfelelő populáció modellként szolgál. Számos többváltozós statisztika mintavételi eloszlása közelítőleg normális, tekintet nélkül a szülő populációra, a centrális határeloszlás tétel miatt. A p-dimenziós normális eloszlás sűrűségfüggvényének szintvonalai ellipszisek, amelyek egyenlete az x függvényében a következő (x µ) T Σ 1 (x µ) = c 2. (3.3) 104

106 Az ellipszisek középppontja µ, tengelyeik ±c λ i e i, ahol Σe i = λ i e i, i = 1,2,...,p. λ i,e i a Σ hoz tartozó sajátérték(normalizált)-sajátvektor pár. A következők igazak a többváltozós normális eloszlású X véletlen vektorra. 1. X elemeinek lineáris kombinációi normális eloszlásúak. 2. X elemeinek minden részhalmaza (többváltozós) normális eloszlású. 3. A nulla kovariancia arra utal, hogy a megfelelő összetevők független eloszlásúak. 4. A többváltozós összetevők feltételes eloszlásfüggvényei (többváltozós) normálisak. Ezen tulajdonságok teszik a normális eloszlást könnyen kezelhetővé Elemi tulajdonságok A legtöbb alapvető tulajdonság a momentumgeneráló (karakterisztikus) függvényből könnyen levezethető: exp[t T µ+t T Σt/2]. (3.4) A továbbiakban E(X) = µ,d 2 (X) = Σ. Ha Σ pozitív definit, akkor létezik egy nemszinguláris transzformáció, amely standardizálja X vektort N p (0,I)- be. A momentumgeneráló függvényből láthatjuk, hogy minden harmadik momentum µ körül nulla. A negyedik momentum E{(X i µ i )(X j µ j )(X k µ k )(X l µ l )} = σ ij σ kl +σ ik σ jl +σ il σ jk, (3.5) ahol σ ij a kovariancia X i és X j között. További tulajdonságok: 1. Ha Y = AX + b, A(r p), b(r 1) konstans, akkor Y N r (Aµ+ b,aσa T ). 2. Ha X-et felosztjuk az X 1 (q 1), X 2 [(p q) 1] vektorokra, a részeket µ és Σ szerint definiálva, akkor észrevehetjük, hogy X 1 peremeloszlása N q (µ 1,Σ 11 ), X 2 peremeloszlása pedig N q (µ 2,Σ 22 ). Ebből következik, hogy X minden elemének egyváltozós normális eloszlása van. 105

107 Jegyezzük meg, hogy X elemeinek perem normalitása nem biztosítja az együttes normalitást. Ezt szemléltetve, ha példul p = 2, f(x 1,x 2 ) = 1 2 [ϕ 1(x 1,x 2 )]+ϕ 2 (x 1,x 2 ), (3.6) ahol ϕ i standard kétváltozós normális sűrűségfüggvény, amelynek korrelációs együtthatója i, akkor minden peremnek egyváltozós normális eloszlása van, de f(x 1,x 2 ) nem kétváltozós normális sűrűségfüggvény. 3. Az X 1,X 2 véletlen vektorok akkor és csak akkor függetlenek, ha a Σ 1,2 kovariancia mátrix nulla. 4. Ha az Y i -k függetlenek, N p (µ i,σ i ) eloszlással i = 1,2 esetén, akkor X 1 +X 2 eloszlása N p (µ 1 +µ 2,Σ 1 +Σ 2 ). 5. Az első definícióban szereplő (X µ) T Σ 1 (X µ) kitevőnek χ 2 eloszlása van p szabadságfokkal Jellemzők A többváltozós normális eloszlás bizonyos tulajdonságai az egyváltozós eset jellemzőinek analógiájára épülnek. Tekintsünk meg néhány fontosabb eredményt: 1. A többváltozós normális eloszlás az X mintaátlag és az S szórásmátrix függetlenségével jellemzhető. 2. Legyen X 1,X 2 független p-dimenziós vektor. Az összegük többváltozós normális eloszlású akkor és csak akkor, ha mindkét vektor többváltozós normális eloszlású. i=1 i=1 3. Ghurye és Olkin általánosította a Darmois-Skitovich tételt: Legyen X 1,...,X n, n darab független p-dimenziós véletlen vektor, és legyenek A 1,...,A n, B 1,...,B n p p dimenziójú nemszinguláris mátrixok. Ha n n W 1 = A i X i, W 2 = B i X i függetlenek, akkor X i normális eloszlású. Vegyük észre, hogy ha A i (vagy B i ) nulla, akkor X i tetszőleges is lehet. Másrészt viszont, ha A i szinguláris, akkor a hozzá tartozó X i vektor csak részben normális. 106

108 4. A legfontosabb tulajdonság, hogy X akkor és csak akkor többváltozós normális eloszlású, ha az elemeinek bármely lineáris kombinációja egyváltozós normális eloszlású. Egyes szerzők ezt a tulajdonságot használják fel a többváltozós normális eloszlás definiálásához A paraméterek becslése Legyen X 1,X 2,...,X N egy N méretű, N p (µ,σ) eloszlásból vett véletlen minta, ahol N > p. Ekkor a µ és a Σ maximum likelihood becslése a következő: ahol X = 1 N A = N i=1 X i, ˆΣ = 1 A, (3.7) N N ( Xi X )( X i X ) T. (3.8) i=1 A Σ becslésének korrigálásával könnyen megkapható az S = A/n torzítatlan becslés, ahol n = N p. A sűrűségfüggvény konstans tagja következmények nélkül elhagyható, így a likelihood függvény: ( L(µ,Σ) = Σ N/2 exptr 1 ) [ 2 Σ 1 A exp 1 2 N ( X µ ) T ( Σ 1 X µ )]. Tehát (3.9) ( L(µ,Σ) Σ N/2 exptr 1 ) 2 Σ 1 A, (3.10) ahol az egyenlőség akkor és csak akkor teljesül, ha µ = X, amelynél felhasználtuk azt tényt, hogy ( X µ ) T Σ 1 ( X µ ) = 0 (3.11) akkor és csak akkor ha µ = X, ugyanis Σ 1 pozitív definit. Ebből az következik, hogy X a maximum likelihood becslése µ-nek, bármely Σ esetén. Ezután már csak a L ( X,Σ ) ( = Σ N/2 exptr 1 ) 2 Σ 1 A (3.12) 107

109 függvényt kell maximalizálni (Σ-ra), vagy ami ezzel ekvivalens, maximalizálni kell g-t: g(σ) = llnl ( X,Σ ) = 1 2 N ln Σ 1 2 tr( Σ 1 A ) = 1 2 N ln Σ 1 A 1 2 tr( Σ 1 A ) 1 2 N ln A = 1 2 N ln A 1/2 Σ 1 A 1/2 1 2 tr( A 1/2 Σ 1 A 1/2) 1 2 N ln A = 1 2 p i=1 (N lnλ i λ i ) 1 N ln A (3.13) 2 ahol λ i,...,λ p a A 1/2 Σ 1 A 1/2, azaz Σ 1 A karakterisztikus gyökei. Mivel az f(λ) = N lnx x (3.14) függvénynek egyetlen maximuma van, mégpedig az x = N helyen, azaz a maximum N lnn N, amiből az következik, hogy g(σ) 1 2 NplnN 1 2 pn 1 N ln A, (3.15) 2 vagy L(µ,Σ) N pn/2 e pn/2 A N/2, (3.16) amelynél az egyenlőség akkor és csak akkor áll fenn, ha Ez utóbbi feltétel ekvivalens az egyenlőséggel, ezért Σ = (1/N)A. Összefoglalva, λ i = N,(i = 1,...,p). (3.17) A 1/2 Σ 1 A 1/2 = NI p (3.18) L(µ,Σ) N pn/2 e pn/2 A N/2 (3.19) kifejezésben az egyenlőség akkor és csak akkor áll fenn, ha µ = X és Σ = (1/N)A. Ezzel az állítást igazoltuk. Habár ezek a becslések könnyen meghatározhatók, valamint jól megállapított tulajdonságokkal rendelkeznek, döntéselméleti szempontból mégsem optimálisak, ugyanis nem megengedhetőek. A négyzetes veszteségfüggvény összegéből kiindulva L(µ, ˆµ,Σ) = (µ ˆµ) T Σ 1 (µ ˆµ), (3.20) 108

110 James és Stein [15] megmutatta, hogy a becslésnek ( ) ˆµ = 1 c/x T S 1 X X (3.21) ahol c = (p 2) [N (p 2)] (3.22) kisebb a várható vesztesége, mint az X-nek, p 3, ezért X nem megengedhető a p 3 esetben. Sajátos becslési problémák merülnek fel, amikor a vizsgálandó többváltozós normális eloszlású adatok között hiányzó értékek is vannak. Nézzünk egy kétváltozós esetet, ahol legyen a hiányos minta (x 1,x 2,...,x n,x n+1,...,x N ) és (y 1,y 2,...,y n ), a várható érték vektor (µ 1,µ 2 ), a közös szórásnégyzet σ 2, valamint a korrelációs együttható. A maximum likelihood becslés megkapható, ha a likelihood függvényt felírjuk az x likelihoodjának és az y, x melletti feltételes likelihood függvényének szorzataként. A becslést tehát a következő négy egyenlet megoldásai adják: ˆµ 1 = x, ˆµ 2 = y ˆ (x x ), (3.23) ahol ˆσ 2 = ˆ = S 12 Nˆσ 2 (S 2 ( S 2 1 S S2 1 +S 2 2 2ˆ S 12 1 ˆ 2 x = S 2 1 = N i=1 x i n N, x = i=1 n (x i x) 2, S2 2 = i=1 S 12 = S 2 1 = 1 S1), (3.24) 2 ) (N +n) 1, (3.25) x i n n, y = i=1 y i n, (3.26) n (y i y) 2, (3.27) i=1 N (x i x ) 2, (3.28) i=1 n (x i x)(y i y). (3.29) i=1 109

111 A [ 1,1] intervallumon pontosan egy gyöknek egyezik meg az előjele az S 12 - ével, ami a harmadfokú egyenlet megoldása f(ˆ ) = n ( S1 2 S1) 2 ˆ 3 (N n)s 12ˆ [ N ( ) ( )] S1 2 +S2 2 n S 2 1 S2 2 ˆ (N +n)s12 = 0. Ez a valós gyök az egyetlen maximum likelihood becslése (MLE) -nak Hipotézis vizsgálat, konfidencia intervallum Az alábbi állításokat (tulajdonságokat) felhasználjuk a többváltozós normális eloszláshoz kapcsolodó statisztikák minta eloszlásainak származtatásához. 1. Legyen Z eloszlása N p (0,Σ), ekkor a Z T Σ 1 Z kvadratikus alakja χ 2 p eloszlású. 2. Ha A egy p p dimenziójú pozitív definit mátrix és felírható a m Z α Z T α (3.30) α=1 alakban, ahol Z 1,...,Z (m) függetlenek és N p (0,Σ) eloszlásúak, akkor az A elemei Wishart eloszlásúak, m szabadságfokkal és Σ kovarianca mátrixal. Ennek a jelölésére az A W p (m,σ) kifejezést használják, ahol az index az A dimenzióját mutatja. 3. Legyen Z N p (0,Σ) és A W p (m,σ), ahol Z és A független eloszlásúak, akkor a Z T (A/m) 1 Z (3.31) eloszlására azt mondjuk, hogy Hotelling-féle T 2 m eloszlású, m szabadságfokkal. Az egyváltozós normális esetbeli mintaátlag és szórásnégyzet függetlenségének analógiájára alapozva, az X és S itt is független eloszlású, ahol X N p (µ,σ/n) és S W p (n,σ/n). (3.32) 110

112 A Σ kovariancia mátrix ismeretében felhasználhatjuk az 1. tulajdonságot, hogy megmutassuk N ( X µ ) eloszlása N p (0,Σ); így tehát N ( X µ ) T Σ 1 ( X µ ) χ 2 p. (3.33) Ennek következményeként, hipotézisvizsgálatokat és konfidencia intervallumokat készíthetünk µ paraméterhez. A H 0 : µ = µ 0 vizsgálatára az N ( X µ 0 ) T Σ 1 ( X µ 0 ) χ 2 p,α (3.34) elfogadási tartományt használjuk, ahol χ 2 p,α a p szabadságfokú χ 2 eloszlás felső 1 α pontját jelöli. X-ből kiindulva, a µ (1 α) konfidencia intervalluma N ( µ X ) T Σ 1 ( µ X ) χ 2 p,α, (3.35) ami egy X középpontú ellipszoid felülete és belseje. A 3. tulajdonságot felhasználva, következésképpen kapjuk, hogy N ( X µ ) T S 1 ( X µ ) T 2 n. (3.36) Ennek eredményeként, ha Σ ismeretlen akkor is állíthatunk fel µ-re vonatkozó próbákat a következő egyenlőtlenséget felhasználva N ( X µ ) T S 1 ( X µ ) T 2 n,α. (3.37) A µ-re vonatkozó (1 α) konfidencia intervallum pedig A következő összefüggés N ( µ X ) T S 1 ( µ X ) T 2 n,α. (3.38) (n p+1)t 2 (np) F p,n p+1 (3.39) leegyszerűsíti ezeket a számításokat, ugyanis az F-eloszlás percentilisei azonnal elérhetők. A szóban forgó eredmények kiterjeszthetők két sokaság várható érték vektorát vizsgáló próbákra és konfidencia intervallumokra is. Egyéb hipotézis vizsgálatok (pl.: diszkriminancia analízis, k várható érték vektorok egyenlőségének vizsgálata, MANOVA, kovariancia mátrixok egyenlősége, kanonikus korreláció) különböző Wishart eloszlásokból származtatott karakterisztikus gyökök együttes eloszlásfüggvényén alapulnak. 111

113 3.4. Normalitás vizsgálat Módszer annak vizsgálatára, hogy egy populáció normális eloszlású-e vagy sem. Meglehetősen sokféleképpen térhet el a vizsgált eloszlás a normálistól, és ezek meghatározására irányuló különböző eljárások egyesítése nem lenne hatékony. Mivel nincs egyetlen átfogó, minden esetben jól alkalmazható módszer sem, így a megfelelő kiválasztása történhet a legvalószínűbbnek vélt eltérés alapján, vagy amelyikkel a leghasználhatóbb eredmények kaphatók. A vizsgálat előtt érdemes az adatokat ábrázolni és a nagyon kiugró pontokat elhagyni, mert ezek miatt hamis eredményeket is kaphatunk a nem normalitásra vonatkozólag. Amikor egy tesztet sok változón kell végrehajtani, akkor előfordulhat, hogy a legjelentősebb nem normalitást okozó tényezők hatását elrejti a többi változó ún. "hígító" hatása. Ilyen esetben csak azokat kell kiválasztani, amelyek a vizsgálat tárgyát képezik. Feltéve, hogy diszjunkt részhalmazokat választottunk, amelyek hozzávetőleg függetlenek, és nem okoz gondot a szignifikancia szint meghatározása a teljes tesztet átfogóan, a következő vizsgálatok közül választhatunk: 1. Perem normalitás vizsgálat. 2. Egydimenziós vizsgálat részleges vagy együttes normalitást illetően. 3. Többváltozós módszerek az együttes normalitás vizsgálatára. Legyen x 1,x 2,...,x n egy X véletlen vektorból vett n hosszúságú megfigyelés sorozat, és legyen az X p darab komponense X 1,X 2,...,X p. Legyen X és S a mintabeli átlag és a szórásmátrix, valamint µ és Σ a megfelelő sokasági paraméterek. A nullhipotézis az, hogy X többváltozós normális. Az x i Mahalanobis távolsága X-től a következőképp definiálható Az x i X és x j X közti Mahalanobis szög A skálázott reziduálisok r 2 i = (x i X) T S 1 (x i X). (3.40) r ij = (x i X) T S 1 (x j X). (3.41) y i = S 1/2 (x i X). (3.42) 112

114 Perem normalitás vizsgálat Emlékezzünk rá, hogy a határ normalitásból nem következik az együttes normalitás, fordítva viszont igen. A legegyszerűbb lehetőség az, ha megvizsgáljuk a határeloszlások egyváltozós normalitását és megbecsüljük a teljes szignifikancia szintet. Legyen v 1 és v 2 két p 1 dimenziójú vektor, melyek a ferdeség és a lapultság értékeit tartalmazzák. Johnson S U transzformációjának alkalmazásával, kapunk belőlük egy w 1 és w 2 vektort, melyek megközelítőleg standard normális eloszlásúak. Jelölje w 1 és w 2 kovariancia mátrixait U 1 és U 2, melyek főátlóiban egyesek állnak. A nem főátlóbeli elemek aszimptotikusan 3ij és 4ij, ahol ij a corr(x i,x j ), mely a mintabeli korrelációk által lett becsülve. A Q 1 = w1u T 1 1 w 1 és Q 2 = w2u T 1 2 w 2 próbastatisztikák megközelítőleg függetlenek, és null-eloszlásúak, hozzávetőlegesen χ 2 p. Mivel megmutatják, hogy egy önmagában álló határeloszlásban fellelhető-e a normálistól való eltérés, ezért az ilyen tesztek elvégzése mindig javasolt Egydimenziós vizsgálaton alapuló módszerek Egy egyszerű, de jól alkalmazható módszer a többváltozós normalitás meghatározására, az, hogy ábrázoljuk a rendezett Mahalanobis távolságokat a nekik megfelelő null eloszlások várható statisztikáinak függvényében. A p = 2 és a n 25 esetben ez az eloszlás a χ 2 2-tel közelíthető. A p > 2 esetben a χ 2 p eloszlással való közelítás már nem alkalmas, ilyenkor a Beta-eloszlás statisztikáinak becslése sokkal célravezetőbb. Mivel az r 2 i null eloszlása ismert, így egy mennyiségi teszt végezhető azáltal, hogy normál pontokká alakítjuk őket és egyváltozós normalitás vizsgálatot végzünk. A módszerek egy másik fajtája az, hogy a többváltozós normális eloszlás jellemzőit a váltózok összes lineáris kombinációján végzett egyváltozós normalitástesztek alapján vizsgálják. A harmadik módszer két dimenziós adathalmazokon végzendő, de itt a próbastatisztikát a változók egyenkénti lineáris kombinációjával kapott függvény maximuma adja. 113

115 Együttes normalitás vizsgálat Egy lehetséges geometriai megközelítés, hogy az y i skálázott reziduálisokat polár koordinátákká alakítjuk, amivel kapunkpdarabr 2 i = y T i y i koordinátát, valamint (p 1) független szöget. Az egyik szög egyenletes eloszlású lesz a [0, 2π) intervallumon, így ez könnyen ábrázolható. p > 2 esetén a fennmaradó szögek eloszlásának sűrűsége sin j 1 ϑ (0 ϑ π,j = 2,...,p 1). (3.43) Mardia statisztikái a ferdeség és a lapultság mérésére: b 1,p = 1 n 2 n i=1 n rij 3 és b 2,p = 1 n j=1 Aszimptotikusan, nb 1,p 6 eloszlása χ 2, p(p+1)(p+2) 6 szabadsági fokkal, és b 2,p eloszlása pedig n ri. 4 (3.44) i=1 (3.45) (3.46) N(p(p+2), 8p(p+2). (3.47) n Andrews és mások a Box-Cox-féle egyváltozós normalitásba transzformáló módszert kiterjesztették a többváltozós esetre is, amellyel egy likelihood hányados próba végezhető el a többváltozós normalitás megállapítására. 114

116 3.5. Példák Kétváltozós normális eloszlás Az X és Y valószínűségi változó kétváltozós normális eloszlású, ha az együttes sűrűségfüggvényük a következő: f(x,y) = [ ( (x µ1 ) 2 1 exp 2 (x µ ( ) )] 2 1)(y µ 2 ) y µ2 + 2(1 2) σ 1 σ 1 σ 2 σ 2 = 2πσ 1 σ ahol < x <, < y <, σ 1 > 0, σ 2 > 0 és 1 < < 1. Az alábbi MAPLE program megrajzolja a sűrűségfüggvényt. Az ábrán két független standard normális valószínűségi változó együttessűrűségfüggvénye látható. restart: with(plots,display,textplot3d): f:=(x,y,mu1,mu2,sigma1,sigma2,rho)->exp((-1/(2*(1-rho^2)))* (((x-mu1)/sigma1)^2-2*rho*(x-mu1)*(y-mu2)/(sigma1*sigma2)+ ((y-mu2)/sigma2)^2))/(2*pi*sigma1*sigma2*sqrt(1-rho^2)); plot3d(f(x,y,0,0,1,1,0),x=-3..3,y=-3..3,axes=frame); Az ábrán két független standard normális valószínűségi változó együttessűrűségfüggvénye látható. 115

117 Az ellipszis alakú szintvonalak ábrázolása: with(plots):contourplot(f(x,y,0.9,0,1,1,0.5),x=-4..4,y=-4..4, grid=[40,40]); T 2 próba Vizsgáljuk meg H 0 : µ = (9,5) T hipotézist az alábbi adatokon: 6 9 X = Ebből megkapjuk, hogy X = (8,6) T és ( 4 3 S = 3 9 ). Tehát S 1 =

118 és X µ = ( 8 6 ) ( 9 5 ) = ( 1 1 ) Ezek után T 2 = 3(3 2) (2)(2) ( ) ( 1 1 ) = A 2 és 1 szabadsági fok és 5%-os szignifikancia szint mellett még bőven beleesik a megbízhatósági intervallumba, így elfogadhatjuk a H 0 hipotézist Konfidencia intervallum meghatározása A konfidencia intervallumot alapvetően a H 0 hipotézis által elfogadott összes paramaméter érték határozza meg. Például egy egymintás, két oldalú t-próba esetén t x µ s/ n t, ahol t az eloszlás megfelelő értéke, µ pedig a H 0 hipotézis feltevése. Alkalmazzuk ugyanezt a gondolatmenetet a T 2 próbára is: határozzuk meg azokat aµ = (µ 1,µ 2 ) T értékeket, melyekre igaz, hogyt 2 F. Térjünk vissza az előző példához. Legyen d 1 = x 1 µ 1 = 8 µ 1, d 2 = x 2 µ 2 = 6 µ 2, ekkor T 2 = 3 1 ( ) d1 d ( d1 d 2 ) = 1 36 (9d2 1 +6d 1 d 2 +4d 2 2). Ahhoz, hogy beleessen a 90%-os konfidencia intervallumba, teljesülnie kell annak, hogy T 2 49,5. Mivel µ 1 = 10,µ 2 = 20,d 1 = 8 10 = 2,d 2 = 6 20 = 14. Tehát T 2 = 27,44 < 49,5, ezért belesik. Továbbá, µ 1 = 20,µ 2 = 15,d 1 = 8 20 = 12,d 2 = 6 15 = 9. Tehát T 2 = 63 > 49,5, azaz kívűlre esik. 117

119 118

120 4. fejezet Feltételes várható érték, folyamatok 4.1. Bevezetés 4.1. Példa. Dobjunk fel egy dobókockát és az eredmény pontszám legyen Y. Továbbá, legyen az X = 1, ha az Y páros és X = 0, ha az Y páratlan. Tudjuk, hogy E(Y) = 3.5. De mennyi az Y várható értéke, ha az eredmény páros, azaz X = 1. Az utóbbi információból következik, hogy az Y 2, 4, 6 lehet 1 3 valószínűséggel. Tehát az Y várható értéke az X = 1 feltétel esetén Hasonlóképpen Összefoglalva E(Y X = 1) = E(Y X = 0) = = 4. = 3. E(Y X) = 3+X. (4.1) 4.2. Megjegyzés. Ebben a példában az Y = y feltételes valószínűsége X = 119

121 x esetén így P(Y = y és X = x) P(Y = y X = x) = = P(X = x) = P({y} {2,4,6}) P({2,4,6}) = 1 3 = P({y}) P({2,4,6}) = ha x = 1 és y {2,4,6} = P({y} {2,4,6}) P({2,4,6}) = =0 ha x = 1 és y {2,4,6} = P({y} {1,3,5}) P({1,3,5}) = 1 3 P( ) P({2,4,6}) = = P({y}) P({1,3,5}) = ha x = 0 és y {1,3,5} = P({y} {1,3,5}) P({1,3,5}) = P( ) P({1,3,5}) = =0 ha x = 0 és y {1,3,5}, 6 yp(y = y X = x) = 3+x. y=1 Tehát abban az esetben, amikor az Y és az X valószínűségi változó is diszkrét az E(Y X) feltételes várható érték a következőképpen definiálható E(Y X) = y yp(y X), (4.2) ahol p(y x) = P(Y = y X = x) amikor P(X = x) > Példa. Vezessük be a következő jelölést: { 1, ha x A, I(A) = 0, ha x A. 120

122 Legyen X U(0,1). Ha X = x, akkor legyen Y U(0,x), ekkor F Y (y) =P(Y < y) = P(Y < y és X < y)+p(y < y és X y) = =P(X < y)+p(y < y és X y) = =y +P(Y < y és X y) = =y +E(I(Y < y)i(x y)) = =y + =y + =y y 1 y x 0 I(z < y) 1 x dz I(x y)dx = min{x,y} 0 1 x dz dx = y dx = y(1 lny), x amikor 0 < y < 1. Tehát az Y sűrűségfüggvénye { lny, ha y (0,1), f y (y) = 0, ha y (0,1). Ebből a várható érték E(Y) = 1 0 y( lny)dy = 1 4. De mennyi az Y várható értéke, ha X = x. Az utóbbi információ alapján most Y (0,x). Tehát a várható érték E(Y X = x) = x 2. Általánosítva E(Y X) = X

123 4.4. Megjegyzés. Ebben a példában a két valószínűségi változó folytonos, azaz léteznek a sűrűségfüggvények. Ekkor E(Y X = x) = + yf(y x)dy = g(x). Tehát általánosítva E(Y X) = + yf(y X)dy = g(x). (4.3) A példák két alapvető tulajdonságát mutatják a feltételes várható értéknek. Egyrészt, E(Y X) az X függvénye, amely a következőképpen fordítható le: Legyen Y és X két olyan valószínűségi vátozó, amelyek ugyanazon az {Ω,F,P} valószínűségi mezőn értelmezettek, és legyen F X = σ(x), azaz az X által generált σ-algebra. Ekkor Másrészt, Z = E(Y X) mérhető F X -re nézve. (4.4) E((Y E(Y X))I(X B)) = 0 B B(R) esetén. (4.5) 4.2. Feltételes várható érték Legyen X valószínűségi vátozó az {Ω,F,P} valószínűségi mezőn, ekkor E(X) = XdP = xdf X (x), ahol F X az eloszlásfüggvény. Ω 4.5. Definíció. Jelölje P C a C feltétel melletti feltételes valószínűséget. Az XdP C (4.6) Ω integrált, ha létezik az X C feltétel melletti feltételes várható értékének nevezzük. R 122

124 Jele: E(X C) Megjegyzés. P C (A) = A I(A) P(C) dp = 1 P(C) A I(A C)dP = P(A C), P(C) azaz P C abszolút folytonos P-re nézve. Ez alapján az ún. Radon-Nikodym derivált. Tulajdonságok: dp C dp = I(A) P(C) 1. Ha E(X C) létezik, akkor E(X C) = 1 P(C) C XdP. Ui. E(X C) = Ω XdP C = Ω X I(C) P(C) dp = 1 P(C) C XdP. 2. Ha E(X) véges, akkor E(X C) is véges. 3. Ha E(X) véges és független a C eseménytől, akkor E(X C) = E(X) TÉTEL. (teljes várható érték) Ha A 1,A 2,... teljes eseményrendszer és minden i-re P(A i ) > 0. Ha E(X) véges, akkor E(X) = i P(A i )E(X A i ). (4.7) Ezután meghatározhatjuk a feltételes várható érték általános fogalmát. 123

125 4.8. Definíció. Adott az X valószínűségi változó az {Ω, F, P} valószínűségi mezőn, E(X) véges és A F σ-algebra. Az Y valószínűségi változó az X valószínűségi változó A feltétel melletti feltételes várható értéke, ha 1. Y mérhető A-re nézve, azaz σ(y) A, 2. bármely A A esetén E(Y A) = E(X A), azaz YdP = XdP. A A 4.9. TÉTEL. Ha A F és az X valószínűségi változó, amelyre E(X) véges, akkor a P valószínűség szerint 1 valószínűséggel egyértelműen létezik az 1-2. tulajdonságoknak eleget tevő Y valószínűségi változó. Jelölés: Y = E(X A) = E(X A)(ω) Megjegyzés. Ha Z valószínűségi változó, akkor σ(z) F. Tekinthetjük a σ(z)-re vonatkozó feltételes várható értéket, amelyet az E(X σ(z)) helyett röviden E(X Z)-vel jelölünk. Tehát 1. E(X σ(z)) mérhető σ(z)-re nézve és 2. bármely A A esetén E(X σ(z))dp = XdP. A A 4.3. A feltételes várható érték tulajdonságai TÉTEL. E(E(X A) = E(X) TÉTEL. Ha P(X Y, akkor P(E(X A)) P(E(Y A)) TÉTEL. Ha E( X ) < és E( Y ) < akkor P (E(αX +βy A) = αe(x A)+βE(Y A)) = TÉTEL. Legyen E( X ) <. Ha X F-mérhető, akkor P (E(X A) = X) =

126 4.15. TÉTEL. Legyen E( X ) <. Ha X F-mérhető, akkor P (E(X {,Ω}) = E(X)) = TÉTEL. Legyen E( X ) < és U = X E(X A), akkor P (E(U A) = 0) = TÉTEL. (torony tulajdonság) Legyen E( X ) < és A 0 A 1 A σ-algebrák, akkor P (E(E(X A 1 ) A 0 ) = E(X A 0 )) = TÉTEL. (monoton konvergencia) Legyen az X n nem-negatív valószínűségi változók sorozata az {Ω,F,P} valószínűségi mezőn úgy, hogy P(X n X n+1 ) = 1 és ekkor E(supX n ) <, n 1 ( ) P lim E(X n A) = E(lim X n A) = 1. n n TÉTEL. Legyen X A-mérhető, E( X ) < és E( XY ) <, akkor P (E(XY A) = XE(Y A)) = TÉTEL. Legyen X és Y valószínűségi változók az {Ω, F, P} valószínűségi mezőn és E( Y ) <, ekkor létezik g Borel-mérhető függvény úgy, hogy P (E(Y X) = g(x)) = TÉTEL. Legyen X és Y független valószínűségi változók. Ha E( Y ) <, akkor P (E(Y X) = E(Y)) = TÉTEL. Ha E(Y 2 ) <, akkor ψ(x) = E(Y X) esetén minimális. E((Y ψ(x)) 2 ) 125

127 4.23. Megjegyzés. Ez a tétel az alapja a regresszióanalízisnek Példa. Legyenek X 1,X 2,...,X n független, azonos eloszlású és X i U(0,1). Legyen a rendezett minta, ekkor Y 1,Y 2,...,Y n E(Y 1 Y n = y) = y n, E(Y k Y l = x) = k l x, E(Y k ) = k n+1, E( Y k Y k+1 ) = k k +1. Bizonyítás. E(Y k ) = E(E(Y k Y n )) = 1 0 k n xnxn 1 dx = k n+1. E( Y k Y k+1 = t) = 1 Y k+1 t E(Y k Y k+1 = t) = 1 k t k +1 t = k k Martingál Definíció. Legyen az {Ω, F, P} valószínűségi mező. Az A 1 A 2 F (4.8) σ-algebra sorozatot szűrésnek nevezzük. 126

128 4.26. Megjegyzés. A n jelenti a "tudást" az n-edik időpontban. A n tartalmazza az összes olyan A eseményt az n-edik időpontban, amelyről eldönthető, hogy bekövetkezett vagy nem. Ha n növekszik, akkor ezen A események halmaza is bővül. Ha hosszabb ideig élsz bölcsebbé válsz! Definíció. Az X 1,X 2,... valószínűségi változó sorozat adaptált az A 1 A 2... szűrésre nézve, ha X n A n -mérhető bármely n N esetén Megjegyzés. AzA n = σ(x 1,X 2,...,X n ) a legszűkebb szűrés, amelyre az X 1,X 2,... valószínűségi változó sorozat adaptált Definíció. Az X 1,X 2,... valószínűségi változó sorozat martingál az A 1 A 2... szűrésre nézve, ha bármely n N esetén 1. E(X n ) véges, azaz integrálható, 2. X n A n -mérhető, azaz σ(x n ) A n, 3. P (E(X n+1 A n ) = X n ) = 1. Jelölés:(X n,a n ) Megjegyzés. A harmadikat szokás martingál tulajdonságnak nevezni Példa. Legyen az Y 1,Y 2,... független valószínűségi változó sorozat, ahol E(Y n ) = 0 minden n esetén. Legyen X n = Y 1 +Y 2 + +Y n és A n = σ(y 1,Y 2,...,Y n ), ekkor E(X n ) = 0 és X n A n -mérhető. Ezenkívül E(X n+1 A n ) = E(Y n+1 A n )+E(X n A n ) = E(Y n+1 )+X n = X n. Tehát (X n,a n ) martingál Példa. Az Y valószínűségi változó, amelyre E(Y) véges és legyen A 1 A 2 F egy szűrés. Továbbá, legyen X n = E(Y A n ). Ekkor X n A n -mérhető és X n = E(Y A n ) E( Y A n ), 127

129 amelyből E( X n ) E(E( Y A n )) = E( Y ) <. A feltételes várható érték torony tulajdonsága alapján pedig E(X n+1 A n ) = E(E(Y A n+1 ) A n ) = E(Y A n ) = X n. Tehát (X n,a n ) martingál ÁLLÍTÁS. Ha (X n,a n ) martingál, akkor E(X 1 ) = E(X 2 ) = ÁLLÍTÁS. Ha (X n,a n ) martingál, akkor (X n,σ(x 1,X 2,...,X n )) is martingál Példa. Legyen X n a szimmetrikus bolyongás, azaz X n = Y 1 +Y 2 + +Y n, ahol az Y 1,Y 2,... független, azonos eloszlású valószínűségi változók sorozata úgy, hogy P(Y n = 1) = P(Y n = 1) = 1 2, ekkor (X 2 n n,σ(y 1,Y 2,...,Y n )) martingál. Bizonyítás. Az X 2 n n = (Y 1 + Y Y n ) 2 n egy függvénye az Y 1,Y 2,...,Y n valószínűségi változóknak, így mérhetőσ(y 1,Y 2,...,Y n )-re nézve. Továbbá X n Y 1 + Y Y n = n. Tehát adódik, hogy E( X 2 n n ) E(X 2 n )+n n 2 +n <. Legyen A n = σ(y 1,Y 2,...,Y n ), ekkor E(X 2 n+1 A n ) =E(Y 2 n+1 +2Y n+1 X n +X 2 n A n ) = =E(Y 2 n+1 A n )+2E(Y n+1 X n A n )+E(X 2 n A n ) = =E(Y 2 n+1)+2x n E(Y n+1 )+X 2 n = =1+X 2 n. Tehát E(X 2 n+1 1 n A n ) = X 2 n n. 128

130 4.36. Definíció. Az X 1,X 2,... valószínűségi változó sorozat szupermartingál (szubmartingál) az A 1 A 2... szűrésre nézve, ha bármely n N esetén 1. E(X n ) véges, azaz integrálható, 2. X n A n -mérhető, azaz σ(x n ) A n, 3. P (E(X n+1 A n ) X n ) = 1 (P (E(X n+1 A n ) X n ) = 1) Megjegyzés. Ha (X n,a n ) martingál, akkor (X 2 n,a n ) szubmartingál Példa. Legyen az Y 1,Y 2,... valószínűségi változó sorozat véges várható értékkel és A 1 A 2 F egy szűrés. Legyen n X n = (E(Y i A i ) E(Y i A i 1 )) és A 0 = {F, }, i=1 ekkor (X n,a n ) martingál. Speciális esete, amikor a valószínűségi változók függetlenek és A n = σ(y 1,Y 2,...,Y n ), ekkor X n = n (Y i E(Y i )). i=1 Tehát független nulla várható értékű valószínűségi változók összege martingál Példa. Legyen az Y 1,Y 2,... független valószínűségi változó sorozat véges, nemnulla várható értékkel, ekkor ( ) n Y i X n = E(Y i ),σ(y 1,Y 2,...,Y n ) martingál. i= Példa. (Kvíz) Egy játék során egy kérdésre a válasz p valószínűséggel jó és s összeg nyerhető. Rossz válasz esetén mindent elveszítünk. Tegyük fel, hogy a kérdésekre egymástól függetlenül adjuk meg a választ. Vezessük be a következő jelöléseket: X n a nyeremény az n-edik kérdésig bezárólag. { 1, ha jó a válasz az i-edik kérdésre, Y i = 0, ha rossz a válasz az i-edik kérdésre, 129

131 és A n = σ(y 1,Y 2,...,Y n ), ekkor Az átlagos nyeremény: X n = ns n Y i. i=1 E(X n+1 A n ) =(n+1)se =(n+1)s =(n+1)s ( n+1 ) Y i A n = i=1 n Y i E(Y n+1 ) = i=1 n Y i p = i=1 (n+1)s =X n p. ns p p (X n,a n ) submartingál, ha n, szupermartingál, ha 1 p 1 p n.e(x n) egy ideig növekszik, majd csökken Példa. (Fogadás) Legyen X 0 a kezdő tőke. Az a 1,a 2,..., (0 a i 1) a stratégia és X n jelölje a játékos pillanatnyi tőkéjét az n-edik játék (lépés) után. A játék menete: Az (n + 1)-edik játszmában a játékos kockáztatja a pillanatnyi tőkéjének az a n+1 -ed részét a bank azonos tőkéjével szemben. Tegyük fel, hogy a játszmák függetlenek és a játékos mindegyikben p valószínűséggel nyer, azaz { 1, ha nyer, Y i = 1, ha veszít, és A n = σ(y 1,Y 2,...,Y n ), ekkor n+1 X n+1 = X n +Y n+1 a n+1 X n = X n (1+Y n+1 a n+1 ) = X 0 (1+a j Y j ), azaz az átlagos nyeremény: E(X n+1 A n ) = E(X n (1+Y n+1 a n+1 A n ) = X n E(1+a n+1 Y n+1 ) = X n (1+a n+1 (2p 1)). j=1 130

132 Tehát (X n,a n ) szubmartingál, ha p > 0.5, martingál, ha p = 0.5, szupermartingál, ha p < Sztochasztikus folyamatok Definíció. Legyen adva egy (Ω,A,P) valószínűségi mező és egy tetszőleges T (index)halmaz. Valószínűségi változóknak az (Ω, A, P) valószínűségi mezőn definiált és a T halmaz elemeivel indexelt {X t, t T} rendszerét sztochasztikus folyamatnak nevezzük Definíció. Adott a T halmaz és legyen a T halmaz minden {t 1,...,t n } T részhalmazához egy ezen halmaz elemeivel indexelt F t1,...,t n (x t1,...,x tn ) eloszlásfüggvény hozzárendelve. A véges dimenziós eloszlások ezen rendszerét kompatibilisnek nevezzük, ha tetszőleges véges {t 1,...,t n } T halmazra ahol F t1,...,t n (x t1,...,x tn ) = F t1,...,t n,t n+1,...,t n+m (x t1,...,x tn,,,..., ), F t1,...,t n,t n+1,...,t n+m (x t1,...,x tn,,,..., ) (4.9) = lim lim x tn+1 F t 1,...,t n (x t1,...,x tn,x tn+1,...,x tn+m ), x tn+m és tetszőleges {t 1,...,t n } T halmazra és annak tetszőleges {t π(1),...,t π(n) } permutációjára F t1,...,t n (x t1,...,x tn ) = F tπ(1),...,t π(n) (x tπ(1),...,x tπ(n) ) TÉTEL. (Kolmogorov) Adott egy T halmaz, valamint F t1,...,t n (x t1,...,x tn ) véges dimenziós eloszlásfüggvényeknek egy a T halmaz {t 1,...,t n } T véges részhalamazaival indexelt kompatibilis rendszere, ekkor létezik egy {X t, t T} sztochasztikus folyamat úgy, hogy minden {t 1,...,t n } T véges halmazra az (X t1,...,x tn ) véletlen vektor eloszlásfüggvénye az F t1,...,t n (x t1,...,x tn ) eloszlásfüggvény. 131

133 4.45. Definíció. ω Ω esetén az X(, ω) függvényt trajektóriának (realizációnak) nevezzük. A következőkben néhány speciális folyamat fogalmát adjuk meg Definíció. Egy folyamat Gauss-folyamat, ha minden véges dimenziós eloszlás Gauss, azaz normális Definíció. Az {X t,t T} Markov-folyamat, ha P(X tn+1 < x n+1 X tn ) = x n ) = P(X tn+1 < x n+1 X t1 = x 1,...,X tn = x n ), (4.10) ahol t 1 < t 2 < < t n < t n+1 tetszőleges (t i T) Megjegyzés. Ilyen folyamat például a Poisson-folyamat, a Wienerfolyamat (Brown-mozgás) stb Definíció. Az {X(t), t 0} számláló folyamat, ha 1. N(0) = N(t) csak nem-negatív egész értékeket vesz fel. 3. Ha s < t, akkor N(s) N(t). 4. N(t) N(s) az (s, t] intervallumban bekövetkező események száma Stacionárius folyamatok Legyen {X(t), t T} sztochasztikus folyamat, amelyet stacionáriusnak nevezünk, ha (X(t 1 +h),x(t 2 +h),...,x(t n +h)), n N, t 1 < t 2 < < t n, (4.11) n-dimenziós eloszlása független h-tól. Szokás szigorúan stacionáriusnak is nevezni. Egy folyamatot gyengén stacionáriusnak nevezünk, ha E(X(t)) = m, m R, (4.12) C(s,s+t) = R(t) = cov(x(s+t),x(s)), (4.13) azaz a várható érték konstans és a kovariancia függvény csak az eltolástól (késéstől) függ. 132

134 4.50. Megjegyzés. Négyzetesen integrálható stacionárius folyamat gyengén stacionárius is Definíció. Az{X t,t 0} folyamatot Ornstein-Uhlenbeck folyamatnak nevezzük, ha Gauss-folyamat és ahol γ > 0 és X 0 N(0,1). E(X(t)) = 0, C(s,t) = e γ t s, 4.1. ábra. Ornstein-Uhlenbeck folyamat trajektóriái A kovarianciafüggvény reprezentálható, mint Fourier transzformált R(t) = + e ixt df(x), (4.14) 133

135 ahol az F függvényt spektrál eloszlásfüggvénynek nevezzük. Jellemző tulajdonságai: 1. Szimmetria: df(x) = df( x). 2. Monotonitás: ha x < y, akkor F(x) F(y). 3. Korlátosság: F(+ ) F( ) = R(0) < Megjegyzés. F egy additív konstanstól eltekintve meghatározott, ezért gyakran F( ) = 0. Ha F abszolút folytonos, akkor F(x) = x f(s)ds, (4.15) és ekkor a spektrumot abszolút folytonosnak nevezzük és f a spektrál sűrűségfüggvény. A + λ k = x k df(x) (4.16) mennyiséget k-adik spektrál momentumnak nevezzük Megjegyzés. Az F szimmetriája miatt minden páratlan momentum 0, míg a párosak lehetnek végesek vagy végtelenek. A spektrál momentumok végessége összekapcsolható a folyamat simaságával. Mivel E((X(s+t) X(s)) 2 ) = 2(R(0) R(t)), (4.17) ezért a folytonosság kifejezhető a kovariancia függvénnyel. Rögtön adódik, hogy X(t+h) X(t) négyzetes középben, amint h 0, ha R folytonos a nullánál. A X(t) stacionárius sztochasztikus folyamat realizációi folytonosak, ha ( ) t R(t) = R(0) O ln t q, t 0, q > 3. (4.18) TÉTEL. Legyen 0 = t 0 < t 1 < < t n = T egy felosztása a [0,T] intervallumnak, ekkor [X(tk ) X(t k 1 )] 2 = σwt 2 (1 valószínűséggel). (4.19) lim max(t k t k 1 ) 0 134

136 Bármely stacionárius kovariancia függvény esetén létezik egy konstans szórásnégyzet, amelyre R(t) = σ 2 (t), (4.20) ahol (t) a korreláció függvény, amely általánosan (s,s+t) = cov(x(s+t),x(s)) cov(x(s),x(s))cov(x(s+t),x(s+t)). (4.21) 4.2. ábra. Izotróp felület Definíció. A stacionárius véletlen folyamat izotróp, ha a kovariancia függvény csak a távolságtól függ, azaz ahol τ = d(t,s). R(t,s) = C(τ), (4.22) 135

137 4.3. ábra. Anizotróp felület Megjegyzés. d(t, s) a metrika a folyamat indexhalmazán. Pl. euklideszi norma. Izotróp mezőket akkor alkalmazunk, ha forgatás és tükrözés invariáns esettel állunk szemben. Előnye, hogy elegendő egy profilogram a teljes leíráshoz Definíció. A stacionárius véletlen folyamat anizotróp, ha a korreláció függvény csak a távolságtól függ, azaz (t,s) = (τ), (4.23) ahol τ = t s K és t K = t T Kt egy K pozitív szemidefinit mátrixszal TÉTEL. Az anizotróp korrelációs függvény ( t s K ) pozitív definit R n -ben, ha (τ) pozitív definit izotróp R n -ben és K egy szimmetrikus, pozitív szemidefinit n n-mátrix. 136

138 4.59. Megjegyzés. A t s K norma a folyamat indexhalmazán, amely ellipszoid szimmetriát biztosít. Ha K egységmátrix visszakapjuk az izotróp esetet. Anizotróp esetben becsülnünk kell a K elemeit is. Az ilyen típusú leírás megkönnyíti az abrazív befejező megmunkálások esetén az egységes leírást és a szimulációt. Megmutatja, hogy anizotróp felületek esetén miért szükséges a több különböző irányú profilogram. 137

139 5. fejezet Markov-láncok, folyamatok 5.1. Markov-láncok 5.1. Definíció. A véges vagy megszámlálhatóan végtelen állapotterű Markov-folyamatot Markov-láncnak nevezzük. A Markov-lánc jellemzése (leírása) azt jelenti, hogy megadjuk, mely időpontokban milyen valószínűséggel melyik állapotban van. Legyenek a Markovlánc állapotai az E 1,E 2,...,E k, ekkor X tn = i jelöli azt, hogy a Markov-lánc a t n időpontban az E i állapotban van. Az egyszerűség kedvéért az E i állapotot röviden az i állapotnak fogjuk hívni. Így a definíciónk ekvivalens a következővel ÁLLÍTÁS. Legyen X n Markov-lánc, ekkor tetszőleges t 1 < t 2 <... < t n < t n+1 és i 1,i 2,...,i n,i n+1 esetén P ( X tn+1 = i n+1 Xt1 = i 1,X t2 = i 2,...,X tn 1 = i n 1,X tn = i n ) = = P ( X tn+1 = i n+1 X tn = i n ). Ha a diszkrét t k időpontokban a Markov-lánc állapotát X tk helyett röviden X k jelöli, akkor a fenti állítás (a Markov tulajdonság) a következő egyszerűbb alakban írható le: P (X n+1 = i n+1 X 1 = i 1,X 2 = i 2,...,X n 1 = i n 1,X n = i n ) = = P (X n+1 = i n+1 X n = i n ). 138

140 Az állítás azt hangsúlyozza, hogy a Markov-lánc jövőbeli viselkedésére vonatkozó összes információnk az utolsó megfigyelt állapotban van. A diszkrét idejű Markov-láncot úgy tekintjük, hogy mindegyik lehetséges időpontban (lépésben) állapotot változtat (megengedve azt is, hogy ugyanabban az állapotban marad, amelyikben volt). Az n-edik időpontban az i-edik állapotból az n+1-edik időpontban a j-edik állapotba való átmenet (feltételes) valószínűsége P (n,n+1) ij = P (X n+1 = j X n = i). Az ezen valószínűségekből képzett mátrixot nevezzük (egylépéses) átmeneti valószínűség mátrixnak P (n,n+1) Definíció. A P (n,n+m) = [P (X n+m = j X n = i)] mátrixot m-lépéses átmeneti valószínűség mátrixnak nevezzük. Az egylépéses átmeneti valószínűség mátrixok ismeretében meghatározhatjuk az m-lépéses átmeneti valószínűség mátrixot is ÁLLÍTÁS. (Chapman-Kolmogorov-tétel) Az m-lépéses átmeneti valószínűség mátrix tetszőleges r, (1 r < m) esetén előállítható az r és az (m r)-lépéses átmeneti valószínűség mátrixok segítségével P (n,n+m) ij = k=0 P (n,n+r) ik P (n,n+m r) kj. (5.1) Bizonyítás. Az i állapotból indulva r lépés múlva egy és csak egy állapotban lesz a folyamat, így alkalmazhatjuk a teljes valószínűség tételét. ] egy Markov-lánc átmeneti va- [ 5.5. ÁLLÍTÁS. Legyen P (n,n+1) = lószínűség mátrixa, akkor j P (n,n+1) ij P (n,n+1) ij =

141 Bizonyítás. Mivel a Markov-lánc minden egyes t n időpillanatban átmegy egy (nem feltétlenül különböző) j állapotba, így az X n+1 = j események teljes eseményrendszert alkotnak az X n = i feltétel mellett, tehát P (n,n+1) ij = 1. j P (X n+1 = j X n = i) = j 5.6. Definíció. Ha az átmeneti valószínűség mátrix független az időtől (az átmeneti valószínűségek stacionáriusak), akkor a Markov-láncot homogén Markov-láncnak nevezzük P ij = P (X n+1 = j X n = i). Mivel homogén Markov-láncok esetében az egylépéses átmeneti valószínűség mátrix nem függ az időponttól, így a P (n,n+1) ij helyett az egyszerűbb P ij jelölést használjuk, valamint az egylépéses átmeneti valószínűség mátrixot is P (n,n+1) helyett röviden P-vel jelöljük ÁLLÍTÁS. Homogén Markov-láncok esetében a Chapman-Kolmogorovtétel szerint az m-lépéses átmeneti valószínűség mátrix előáll, mint az egylépéses átmeneti valószínűség mátrix m-edik hatványa [ P (n,n+m) ij ] = P m. Bizonyítás. Az r = 1 esetben a Chapman-Kolmogorov-tétel azt állítja, hogy az m-lépéses átmeneti valószínűség mátrix előáll, mint az egylépéses átmeneti valószínűség mátrix és az (m 1)-lépéses átmeneti valószínűség mátrix szorzata. Innen teljes indukcióval kapjuk az állításunkat Példa. (Keresd a bűnözőt!) Bevezető példánk legyen egy rendőrségi probléma. Keresnek egy bűnözőt, aki a három barátnője valamelyikénél bujkál. Naponta maximum egy alkalommal változtatja a helyét a (5.2) formula szerint. Jelölje X n = i azt az eseményt, hogy az n-edik napon az i-edik barátnőjénél van. P (X n+1 = j X n = i) = P ij, 3 P ij = 1. (5.2) j=1 140

142 X n nyilvánvalóan Markov folyamat, és mivel három lehetséges állapota van, tehát Markov-lánc. MivelT = 1,2,3,..., így diszkrét idejű Markov-lánc. Ha sem a bűnöző nem unja meg a barátnőit, sem azok őt, tehát a preferenciák változatlanok, akkor P (X n+1 = i n+1 X 1 = i 1,X 2 = i 2,...,X n 1 = i n 1,X n = i n ) = = P (X n+1 = i n+1 X n = i n ), tehát a Markov-lánc homogén, vagyis időben stacionárius P (X n+1 = j X n = i) = P ij, 3 P ij = 1. j= Példa. (Független valószínűségi változók) Legyen a Markov-lánc n = 1,2,3,... időpontban felvettx n értéke független, azonosx eloszlású diszkrét valószínűségi változó P (X = i) = p i (i = 0,1,2,3,...), p i = 1. i=0 Ekkor az átmeneti valószínűség mátrix P = p 0 p 1 p 2... p 0 p 1 p p 0 p 1 p azaz az átmeneti valószínűség mátrix minden sora megegyezik. (És ha az átmeneti valószínűség mátrix minden sora megegyezik, akkor a j-edik állapotba való átmenet (feltételes) valószínűsége független a Markov-lánc jelenlegi állapotától.) Példa. (Diszkrét kiszolgálási rendszerek) Egy kiszolgálási egység (pl. egy borbély, egy online rendszer szervere) egy időegység alatt egy igényt (vendéget, kérést) szolgál ki. Minden időegység alatt ugyanolyan eloszlás szerint, 141

143 érkeznek igények (vendégek, kérések). Legyen az időegység alatt beérkező igények száma egy (az előzményektől független) Y valószínűségi változó P (Y = k) = p k (k = 0,1,2,3,...) p k 0, p k = 1. Ha nincs igény, akkor a kiszolgáló egység vár, ha a kiszolgáló egység foglalt, akkor az igények várnak, beállnak a sorba. Jelölje az X n az n-edik időegység alatt a sorban tartózkodók számát. Egy időegység alatt a sorban állók száma csökken eggyel (ha volt kiszolgálni való igény) és nő a beérkezők számával, így az átmeneti valószínűség mátrix P = k=0 p 0 p 1 p 2 p 3 p 4... p 0 p 1 p 2 p 3 p p 0 p 1 p 2 p p 0 p 1 p p 0 p Példa. (Véletlen bolyongás) Nagyon sok fizikai, műszaki, gazdasági jelenséget jól lehet modellezni véletlen bolyongás segítségével. Az egydimenziós véletlen bolyongásnál egy pont mozog a számegyenes origójából kiindulva. Mindent n időpontbanp(0 < p < 1) valószínűséggel egy egységgel jobbra, q = 1 p valószínűséggel balra mozdul el a pont. (A szemléletesség kedvéért ezt szokták a részeg tengerész problémájának nevezni). Jelölje X n az n-edik időpontban a pont helyzetét (koordinátáját). Nyilvánvaló, hogy X n diszkrét idejű homogén Markov-lánc, mivel a pont n + 1-edik időpontbeli helyzete csak a közvetlenül megelőző állapottól függ (és persze a p értékétől). Az állapottér most az egész számok halmaza (i =..., 2, 1,0,1,2,...). Mivel p, ha j = i+1, P (X n+1 = j X n = i) = q, ha j = i 1, 0, egyébként, 142

144 így az átmeneti valószínűség mátrixa P =. 0 p q 0 p q 0 p q 0 p q 0 Pontosan ezzel a modellel írható le például egy korlátlan hitellel rendelkező játékos vagyoni helyzete n játék után, ha egy végtelen tőkéjű ellenfél ellen játszik, és minden játékban p valószínűséggel egy egységet nyer és q = 1 p valószínűséggel egy egységet veszít Példa. Egy véges tőkéjű játékos egy végtelen tőkéjű ellenféllel játszik és minden játékban p valószínűséggel egy egységet nyer és q = 1 p valószínűséggel egy egységet veszít, és nincs hitel. JelöljeX n azn-edik időpontban a játékosunk vagyonát. X n ismét diszkrét idejű homogén Markov-lánc, mivel a játék múltja csak a jelen állapoton keresztül befolyásolja a következő állapotot. Az állapottér ekkor a nem-negatív egész számok halmaza (i = 0,1,2,...) és.. P (X n+1 = j X n = i) = p, ha j = i+1 és i > 0, P (X n+1 = j X n = i) = q, ha j = i 1 és i > 0, P (X n+1 = 0 X n = 0) = 1, ha i = 0, P (X n+1 = j X n = i) = 0, egyébként. Az átmeneti valószínűség mátrix tehát q 0 p q 0 p P = q q. 143

145 Ezt a Markov-láncot tekinthetjük egy úgynevezett balról elnyelő falú véletlen bolyongásnak, azaz a Markov-lánc állapotai a számegyenesen a nem-negatív egész számok, és p valószínűséggel egyet lép jobbra, q = 1 p valószínűséggel egyet lép balra, kivéve ha a nullában van, mert akkor ott marad. Ennek általánosítása az alkalmazások szempontjából fontos elnyelő falú véletlen bolyongás: Példa. Az elnyelő falú véletlen bolyongás esetében a Markov-lánc állapotai a 0 n b egész számok a számegyenesen, és p valószínűséggel egyet lép jobbra, q = 1 p valószínűséggel egyet lép balra, kivéve ha a két végpont valamelyikében van, mert akkor ott marad. Az átmeneti valószínűség mátrix P = q 0 p q 0 p q q p q 0 p q 0 p q 0 p Példa. (Sikersorozatok) Végezzünk el egymás után és egymástól függetlenül egy Bernoulli-kísérletsorozatot. A kísérlet két lehetséges kimenetele legyen p valószínűséggel S siker és q = 1 p valószínűséggel B balsiker. Azt mondjuk, hogy n hosszúságú sikersorozatunk van, ha a B esemény bekövetkezése után n alkalommal az S siker következett be. Legyen X n az n-edik időpontban a sikersorozat hossza. (Például a BBSBSSB kísérletsorozat esetén X 1 = 0,X 2 = 0,X 3 = 1,X 4 = 0,X 5 = 1,X 6 = 2,X 7 = 0.) A sikersorozat hossza vagy p valószínűséggel eggyel nő, vagy q = 1 p valószínűséggel 0 lesz (marad), tehát homogén Markov-lánc és az átmeneti valószínűség mátrix q p 0 0 q 0 p 0 P = q 0 0 p. q

146 Jelölje egy Markov-lánc kezdeti valószínűség-eloszlását, azaz annak a valószínűségét, hogy a kiinduló időpillanatban a Markov-lánc a k-adik állapotban van: Π (0) = (P (X 0 = 1),P (X 0 = 2),P (X 0 = 3),...). Hasonlóan jelölje a k-adik lépés után a folyamat eloszlását Π (k) = (P (X k = 1),P (X k = 2),P (X k = 3),...). A kezdeti valószínűség-eloszlás és az átmeneti valószínűség mátrix segítségével meg tudjuk határozni a Markov-lánc valószínűség-eloszlását az első lépés után ÁLLÍTÁS. Legyen P egy Markov-lánc átmeneti valószínűség mátrixa és Π (0) a kezdeti valószínűség-eloszlás, akkor a Markov-lánc Π (1) valószínűségeloszlása az első lépés után Π (1) = Π (0) P. Bizonyítás. Ha a Markov-lánc lehetséges állapotai a 0, 1, 2, 3,..., akkor az X 0 = 0,X 0 = 1,X 0 = 2,X 0 = 3,... események teljes eseményrendszert alkotnak, így a teljes valószínűség tétele értelmében P (X 1 = j) = P (X 0 = k)p (X 1 = j X 0 = k). k= Példa. (Keresd a bűnözőt! - folytatás) Ha tudjuk, hogy a bűnöző a kezdeti napon milyen Π (0) valószínűség-eloszlás szerint választja az i-edik barátnője lakását búvóhelynek, akkor az átmeneti valószínűség mátrix segíségével meghatározhatjuk annak a Π (1) valószínűség-eloszlását, hogy hol lesz a következő napon. Legyen például az átmeneti valószínűség mátrix P =

147 és a kezdeti eloszlás Π (0) = ( 1 4 Akkor az első "váltás" utáni valószínűség eloszlás ( ) 17 Π (1) = Π (0) P = = ( ) A második nap végén ), Π (2) = Π (1) P = Π (0) P 2 = ( ). A negyedik nap után a valószínűség eloszlás míg például a tizedik nap után Π (4) = Π (0) P 4 = ( ), Π (10) = Π (0) P 10 = ( ). Azaz már (4 tizedes pontosságig) ugyanazt az eredményt kaptuk. Úgy néz ki, hogy egy időtől független ún. stacionárius eloszlást kapunk. Most annak a feltételeit szeretnénk vizsgálni, hogy mikor garantált az ilyen stacionárius eloszlás Állapotok osztályozása Azt mondjuk, hogy a j állapot elérhető az i állapotból, ha véges számú lépésben pozitív az i állapotból a j állapotba kerülés valószínűsége, azaz ha van olyan n, hogy a P n ji n-lépéses átmeneti valószínűség pozitív Definíció. Ha minden állapot elérhető minden állapotból, akkor a Markov-láncot irreducibilisnek nevezzük. Például a 5.9 példa Markov-lánca irreducibilis, ha minden p i pozitív, hiszen ekkor P 1 ji = p i > 0. Ha az i és j állapotok kölcsönösen elérhetőek, azaz az i állapotból elérhető a j állapot és a j állapotból is elérhető az i állapot, akkor a két állapotot kapcsolódónak nevezzük és a következő jelölést használjuk: i j. 146

148 5.18. ÁLLÍTÁS. A kapcsolódás reláció ekvivalencia reláció, azaz teljesül a következő három tulajdonság: a) (reflexív) i i, b) (szimmetrikus) ha i j, akkor j i, c) (tranzitív) ha i j, és j k,akkor i k. Bizonyítás. a) Mivel definíció szerint Pii 0 = 1, így minden állapot saját magával azonos osztályban van. b) Nyilvánvaló, hogy ha i j, azaz az i állapotból elérhető a j állapot és a j állapotból is elérhető az i állapot, akkor j i is fennáll. c) Ha i j, akkor van olyan n, hogy Pij n > 0, és j k miatt van olyan m, hogy Pjk m > 0. A 5.4 tétel szerint P n+m ik = l=0 P n ilp m lk P n ijp m jk > 0. Az ekvivalencia reláció egy osztálybasorolást indukál, azonos osztályban vannak a kapcsolódó elemek. Egy irreducibilis Markov-lánc elemei egyetlen osztályt alkotnak. A nem irreducibilis Markov-láncok tehát két vagy több osztályra bomlanak szét. A 5.12 példában a nulla állapot alkot egy osztályt, míg az összes többi állapot egy másik osztályt. A 5.13 példában három osztály van: a 0, b és {n : 0 < n < b}. Mindkét példában látható, hogy lehetséges az egyik osztályból a másikba jutni, de vissza már nem lehet kerülni. A P = átmeneti valószínűség mátrixú Markov-lánc esetén viszont a két osztály ({1,2} és {3,4}) között már egyirányú átjárás sem lehetséges. Igen érdekes annak a vizsgálata, hogy a Markov-lánc visszatér-e egy adott állapotába, és ha igen, akkor hány lépésen belül. A következő jelölés igen hasznos lesz ennek a kérdésnek a tárgyalásában. 147

149 5.19. Definíció. A Markov-lánc tetszőleges i állapota és n > 0 egész szám esetén jelölje f (n) i annak a valószínűségét, hogy pontosan n lépésben kerül először vissza a Markov-lánc az i állapotból az i állapotba. Egy rögzített i állapot esetén jelölje B k (k = 1,2,...,n) azt az eseményt, hogy a Markov-lánc pontosan a k-adik lépésben kerül először vissza az i állapotba és utána n k lépésben megint visszatér (mindegy hányszor) az = 1. Ekkor az az esemény, hogy a Markov-lánc az n-edik lépésben visszatér az i állapotba felbontható a diszjunkt B k (k = 1,2,...,n) események összegére, így a B k események definíciója miatt i állapotba. Használjuk azt a megállapodást, hogy P (0) ii így és értelemszerűen P (B k ) = f (k) k=1 i P (n k) ii, (k = 1,2,...,n), n 1 P (n) ii = f (k) i P (n k) ii +f (n) i, ha n > 1, P (1) ii = f (1) i, ha n = 1. Így rekurzíve ki tudjuk számítani minden n-re annak az f (n) i valószínűségét, hogy a Markov-lánc pontosan az n-edik lépésben kerül először vissza az i állapotba. Annak az f i valószínűsége, hogy mindegy hány lépésben, de visszatér a Markov-lánc az i állapotba a teljes valószínűség tétele miatt f i = k=1 f (k) i Definíció. Haf i = 1, azaz1valószínűséggel véges sok lépésben visszatér a Markov-lánc az i állapotba, akkor az i állapotot visszatérő állapotnak nevezzük. Ha egy állapot nem visszatérő, akkor azt átmenetinek nevezzük. Bizonyítás nélkül közöljük a következő tételt, amelyik a visszatérőség és az n-lépéses átmeneti valószínűség mátrix (átlója) elemei közti összefüggést adja meg. 148

150 5.21. TÉTEL. Egy i állapot akkor és csak akkor visszatérő, ha n=1 P (n) ii =. Az előző egyenletben P (n) ii annak a valószínűsége, hogy n lépésben a Markovlánc visszatér az i állapotba. Azonban lehet, hogy többször is visszatér, így a (5.21) tételben pontosan a visszatérések számának a várható értéke szerepel. Tehát a tételt úgy is átfogalmazhatjuk, hogy egyiállapot akkor és csak akkor visszatérő, ha a visszatérések számának a várható értéke végtelen. Mivel j állapotból a j állapotba nem csak úgy lehet visszatérni, hogy n lépésben először átmegyünk az i állapotba, majd valahány lépésben visszatérünk az i állapotba és végül m lépésben átmegyünk az j állapotba, ezért P (n+m+r) jj r=1 P (n) ji P (r) ii P (m) ji = P (n) ji P (m) ji r=1 P (r) ii. Innen viszont következik, hogy a n=1 P(n) ii sor divergenciája maga után vonja a n=1 P(n) jj sor divergenciáját is ( és felcserélve az indexeket fordítva is következik). Tehát beláttuk az előző tétel következményét: Következmény. Ha az i és a j állapotok kapcsolódóak, azaz i j, akkor vagy mindkettő visszatérő, vagy mindkettő átmeneti, tehát a visszatérőség osztálytulajdonság. Ha az i állapot visszatérő állapot, azaz a Markov-lánc 1 valószínűséggel véges számú lépésben visszatér az i állapotba, akkor van értelme az átlagos visszatérési időről beszélni: Definíció. Az i visszatérő állapot átlagos visszatérési ideje a visszatérések számának a várható értéke m i = n=1 nf (n) i Definíció. Egy i visszatérő állapotot visszatérő nulla állapotnak nevezünk, ha az átlagos visszatérés ideje végtelen. Ha az átlagos visszatérés ideje véges, akkor az állapotot pozitív visszatérő állapotnak nevezzük. 149

151 Tehát a visszatérő nulla állapot esetén f i = 1 és m i = Példa. Tekintsük a 5.11 példában vizsgált bolyongást. Minden állapotból pozitív valószínűséggel elérhető bármely állapot, ezért az összes állapot egyetlen ekvivalenciaosztályt alkot. Mivel a visszatérőség osztálytulajdonság, így elegendő egy állapotról (például a 0 állapotról) eldönteni, hogy viszatérő-e vagy sem. Nyilvánvalóan Az P (2n+1) 00 = 0, (n = 1,2,3,...), ( ) P (2n) 2n 00 = p n q n, (n = 1,2,3,...). n n! n n+ 1 2e n 2π Stirling-formulát felhasználva P (2n) 00 közelítő értéke Ismert, hogy P (2n) 00 (pq)n 2 2n πn = (4pq)n πn. (5.3) pq = p(1 p) 1 4 és p(1 p) = 1 4 p = q = 1 2, így a m=1 P (m) 00 = n=1 P (2n) 00 n=1 (4pq) n πn végtelen sor akkor és csak akkor divergens, ha p = q = 1 (ezt az esetet hívjuk 2 egydimenziós szimmetrikus véletlen bolyongásnak). Tehát az egydimenziós szimmetrikus véletlen bolyongás esetén minden állapot visszatérő. Kétdimenziós szimmetrikus véletlen bolyongásról beszélünk, ha a sík egész koordinátájú pontjain mozgó folyamat azonos 1 valószínűséggel mozdul el 4 jobbra, balra, előre vagy hátra, míg háromdimenziós szimmetrikus véletlen bolyongás esetén a tér egész koordinátájú pontjain mozgó folyamat azonos 1 valószínűséggel mozdul el jobbra, balra, előre, hátra, lefele vagy felfelé. A 6 150

152 fentihez hasonló gondolatmenettel látható be, hogy a kétdimenziós szimmetrikus véletlen bolyongás esetén minden pont visszatérő állapot, ezzel szemben a háromdimenziós szimmetrikus véletlen bolyongás esetén minden pont átmeneti állapot, tehát pozitív annak a valószínűsége, hogy nem tér vissza a jelenlegi állapotába Definíció. Egyiállapototd periódusú állapotnak hívunk, ha ap (n) ii > 0 feltételt kielégítő n számok legnagyobb közös osztója d. Ha d = 1, akkor az i állapotot aperiódikus állapotnak hívjuk ÁLLÍTÁS. Ha az i és a j állapotok kapcsolódóak, azaz i j, akkor mindkettő periódusa megegyezik, tehát a periódikusság is osztálytulajdonság. Bizonyítás nélkül közöljük az irreducibilis Markov-láncokra vonatkozó következő fontos tételt: TÉTEL. Ha egy Markov-lánc irreducibilis, akkor a következő három tulajdonság közül pontosan egy teljesül a Markov-lánc állapotaira: a) mindegyik állapot pozitív visszatérő állapot; b) mindegyik állapot visszatérő nulla állapot; c) mindegyik állapot átmeneti állapot Definíció. Egy diszkrét Markov-lánc ergodikus, ha irreducibilis, aperiodikus és minden állapota pozitív visszatérő. A (5.16) példában már láttuk, hogy a Markov-lánc n-edik lépés utáni Π (n) eloszlása "stabilizálódik" Definíció. Egy diszkrét Markov-láncnak a Π = (Π 1,Π 2,Π 3,...) eloszlás (Π i 0 és i=1 Π i = 1) stacionárius eloszlása, ha teljesül a mátrix egyenlet. Π = ΠP (5.4) A (5.4) mátrix egyenlet egyenletrendszer formájában felírva a következő: Π i = Π j P ji (i = 1,2,3,...). j=1 151

153 5.31. Definíció. Egy Markov-láncnak a Π = (Π 1,Π 2,Π 3,...) eloszlás a határeloszlása, ha léteznek a határértékek. lim n Π(n) i = lim P (X n = i) = Π i (i = 1,2,3,...) n A sorbanálláselmélet szempontjából fontosak az alábbi tételek, amelyek biztosítják a határeloszlás létezését, illetve a Markov-lánc lényeges tulajdonságainak teljesülését TÉTEL. Ha az X n homogén irreducibilis és aperiodikus Markov-lánc, akkor a kezdeti valószínűség eloszlástól függetlenül létezik a Π i = lim n Π (n) i (i = 1,2,3,...) határeloszlás. Ha a Markov-lánc állapotainak mindegyike pozitív visszatérő állapot, akkor a Markov-lánc ergodikus és Π i > 0 minden i esetén. Fennáll Π i = 1 m i (i = 1,2,3,...), (m i aziállapot visszatérési idejének a várható értéke), ésπ = (Π 1,Π 2,Π 3,...) stacionárius eloszlás, ahol Π i a Π i = 1, (5.5) i=1 Π i = Π j P ji (i = 1,2,3,...) j=1 egyenletrendszer egyértelmű megoldása. Ha a Markov-lánc állapotainak nem mindegyike pozitív visszatérő állapot (azaz vagy mindegyik visszatérő nulla vagy átmeneti állapot), akkor Π i = 0 minden i esetén, és nem létezik stacionárius eloszlás. A tétel első feléből következik, hogy ergodikus Markov-láncok esetén a határeloszlások és a stacionárius eloszlások egybeesnek, ezeket az eloszlásokat egyensúlyi eloszlásoknak nevezzük. Amikor a sorbanállási feladatoknál a Markov-láncokat alkalmazzuk, akkor éppen ezek az eloszlások a legfontosabbak. Ezért lényegesek az alábbi tételek, amelyek feltételeket adnak az ergodikusságra nézve, azaz mikor lesz egyensúlyi eloszlás. 152

154 5.33. TÉTEL. Ha egy véges sok állapotú Markov-lánc irreducibilis és aperiodikus, akkor ergodikus is TÉTEL. Egy pozitív, irreducibilis, aperiodikus Markov-lánc visszatérő és így ergodikus is, ha a P ji x j x i 1 j=1 egyenlőtlenségrendszernek van olyan nemnegatív megoldása, melyre teljesül a P 0j x j < egyenlőtlenség. j= TÉTEL. Egy pozitív, irreducibilis, aperiodikus Markov-lánc akkor és csak akkor visszatérő és így ergodikus is, ha a x j P ji = x i j=1 egyenletrendszernek létezik olyan nemnulla megoldása, amelyre teljesül a egyenlőtlenség. x j < j= Példa (Keresd a bűnözőt! - folytatás) Emlékeztetőül az átmeneti valószínűség mátrix P = A Markov-lánc nyilvánvalóan irreducibilis és aperiodikus (meg persze véges sok állapotú), így a 5.33 tétel alapján ergodikus és létezik a határeloszlása, 153

155 amely egyúttal stacionárius eloszlás is. A (5.5) egyenletrendszer most Π 1 +Π 2 +Π 3 = 1, Π 1 = 1 2 Π Π Π 3, Π 2 = 0Π Π Π 3, Π 3 = 1 2 Π Π Π 3, ahonnan Π = (Π 1 ;Π 2 ;Π 3 ) = ( 4 11 ; 3 11 ; 4 11 ). Ez azt jelenti, hogy ha a rendőrök nem ismerik a kezdeti eloszlást, akkor is pár nap múlva már igen jó közelítéssel ismerik az aznapi eloszlást. Említésre méltó, hogy a Π = ( 4 11 ; 3 11 ; 4 ) stacionárius megoldás, hiszen és ennek megfelelően ( 4 11 ; 3 11 ; 4 11 ) lim n Π(n) = = ( 4 11 ; 3 11 ; 4 11 ),

156 6. fejezet Sorbanálláselmélet 6.1. Poisson folyamat A független növekményű stacionárius folyamatok közül különösen hasznosak lesznek számunkra azok a folyamatok, amelyeknél annak a valószínűsége, hogy egy adott időintervallumban pontosan egy esemény következik be, egyenesen arányos az időintervallum hosszával, és egy nagyon rövid időintervallumban nem valószínű, hogy egynél több esemény következzen be. A pontos definícióhoz szükségünk van a következő fogalomra is: 6.1. Definíció. Egy f függvény o(h) ["kis-ordó h"] nagyságrendű, ha f (h) lim = 0. (6.1) h 0 h 6.2. Példa. a) Az f (x) = x 2 o(x) nagyságrendű, mivel x 2 lim x 0 x = limx = 0, x 0 b) Az f (x) = x nem o(x) nagyságrendű, mivel x lim x 0 x = lim1 0. x ÁLLÍTÁS. Ha egy f függvény o(h) nagyságrendű, akkor tetszőleges c konstans esetén a cf függvény is o(h) nagyságrendű, mivel cf (h) f (h) lim = clim = 0. h 0 h h 0 h 155

157 6.4. ÁLLÍTÁS. Ha egy f és g függvény is o(h) nagyságrendű, akkor az f+g függvény is o(h) nagyságrendű, mivel f (h) lim h 0 h + lim g(h) h 0 h = lim f (h)+g(h) = 0. h 0 h 6.5. Következmény. Ha az f 1,f 2,...,f n függvények mindegyike o(h) nagyságrendű, és c 1,c 2,...,c n konstansok, akkor a c 1 f 1 +c 2 f c n f n függvény is o(h) nagyságrendű, tehát tetszőleges lineáris kombinációjuk is o(h) nagyságrendű. A következő definíciót könnyű megjegyezni, ha arra az alkalmazásra gondolunk, amit majd tiszta születési folyamatnak fogunk hívni: Egy sokaságban N egyed van és időnként érkezik (születik) egy új tag. A születések pillanataiban bekövetkezik egy esemény. Az alábbi feltételekkel meg tudjuk határozni a sokaság N (t) létszámát a t időpontban Definíció. Egy N (t) számláló folyamat λ rátájú Poisson folyamat, ha a) Független növekményű, azaz a diszjunkt időintervallumokban bekövetkező események függetlenek egymástól. b) Stacionárius növekményű a folyamat, azaz egy időintervallumban bekövetkező események száma csak az időintervallum hosszától függ, és nem függ annak kezdeti időpontjától. c) Annak valószínűsége, hogy pontosan egy esemény következik be egy rövid időintervallumban egyenesen arányos az intervallum hosszával P [N (h) = 1] = λh+o(h). d) Lehetetlen, hogy egy rövid időintervallumban egynél több esemény következzen be P [N (h) > 1] = o(h). A c) és d) feltételek következménye, hogy mivel P [N (h) = 0] = 1 λh+o(h), P [N (h) = 0] = 1 P [N (h) > 0] = (6.2) = 1 P [N (h) = 1] P [N (h) > 1] = = 1 [λh+o(h)] o(h) = = 1 λh o(h) o(h) = 1 λh+o(h). 156

158 A Poisson folyamat definíciója meghatározza, hogy egy tetszőleges t hosszúságú intervallumban bekövetkező események száma λt paraméterű Poissoneloszlású valószínűségi változó: 6.7. TÉTEL. Legyen {N (t), t 0} egy λ rátájú Poisson folyamat, akkor egy tetszőleges t > 0 hosszúságú intervallumban bekövetkező események X száma λ paraméterű Poisson-eloszlású valószínűségi változó P (X = k) = (λt)k e λt, k = 0,1,2,... k! Bizonyítás. Jelölje P k (t) annak a valószínűségét, hogy a t időpillanatban a folyamat a k értéket veszi fel, azaz P k (t) = P (X = k), k = 0,1,2,... Először határozzuk meg P 0 (t) értékét. Mivel a folyamat stacionárius növekményű, így feltételezhetjük, hogy az időintervallum nullánál kezdődik. Vizsgáljuk P 0 (t+h) értékét, azaz annak a valószínűségét, hogy X a t + h időpillanatban 0. Ez csak úgy következhet be, hogy az X a t időpillanatban is 0 és a (t,t+h) intervallumban nem változik az értéke, ezért P 0 (t+h) = P ({N (t) = 0} {N (t+h) N (t) = 0}), de a {N (t) = 0} és {N (t+h) N (t) = 0} események függetlenek, így P 0 (t+h) = P (N (t) = 0) P (N (t+h) N (t) = 0). Az N (t+h) N (t) = 0 esemény csak úgy következhet be, ha N (h) = 0, tehát P 0 (t+h) = P 0 (t) P (N (h) = 0). A (6.2) tulajdonság miatt P 0 (t+h) = P 0 (t) (1 λh+o(h)), innen átrendezéssel, és felhasználva o(h) tulajdonságait P 0 (t+h) P 0 (t) h = λp 0 (t)+ o(h) h, 157

159 ahonnan a lim h 0 határértéket véve kapjuk a dp 0 (t) dt = λp 0 (t) differenciálegyenletet. Ennek általános megoldása Ce λt és kihasználva a P 0 (t) = 0 kezdeti feltételt a partikuláris megoldás P 0 (t) = e λt. Most vizsgáljukp n (t) értékét, han > 0. A megfelelő módosítással használjuk az előző gondolatmenetet. Az az esemény, hogy N (t+h) = n az csak a következő három módon történhet: a) N (t) = n és N (t+h) = n b) N (t) = n 1 és N (t+h) = n c) N (t) = n k és N (t+h) = n, k 2. Ez a három esemény páronként diszjunkt, így P n (t+h) értékét ezen három esemény valószínűségének összegeként kapjuk.: Átrendezéssel P n (t+h) = P n (t)(1 λh+o(h))+λhp n 1 (t)+o(h). P n (t+h) P n (t) h és a lim h 0 határértéket véve adódik a dp n (t) dt = λp n (t)+λp n 1 (t)+ o(h) h, = λp n (t)+λp n 1 (t) differencia-differenciálegyenlet. Mivel P 0 (t) = e λt, így ahonnan dp 1 (t) dt = λp 1 (t)+λe λt, P 1 (t) = λte λt, és teljes indukcióval kapjuk a tétel állítását P n (t) = (λt)n e λt, n = 0,1,2,... n! 158

160 Az X valószínűségi változó tehát λt paraméterű Poisson-eloszlású valószínűségi változó, így várható értéke és szórásnégyzete egyaránt λt. Ez rávilágít arra, hogy miért nevezzük a λ paramétert a Poisson-folyamat esetében a folyamat rátájának, hiszen az átlagos bekövetkezések száma (rátája) E(N (t)) t = λt t. Bizonyítás nélkül közöljük a következő tételt, amelyik leírja a szoros kapcsolatot az exponenciális és a Poisson-eloszlás között TÉTEL. Legyen adott egy N (t) számláló folyamat és legyenek az egymás utáni bekövetkezések időpontjai míg a köztük eltelt idő rendre t 1 < t 2 < < t n, τ 1 = t 1, τ 2 = t 2 t 1,...,τ n = t n t n 1. Ha a számláló folyamat λ rátájú Poisson-folyamat, akkor a τ i valószínűségi változók egymástól független λ paraméterű exponenciális eloszlású valószínűségi változók, és ha a τ i valószínűségi változók (a bekövetkezések között eltelt időtartamok) egymástól független λ paraméterű exponenciális eloszlású valószínűségi változók, akkor az N (t) folyamat λ rátájú Poisson-folyamat. Az (a, b) intervallumban egyenletes eloszlást úgy definiáltuk, hogy egy részintervallumban való bekövetkezés valószínűsége egyenesen arányos a részintervallum hosszával. Ha egyenletes eloszlás szerint választunk egy pontot, akkor azt mondjuk, hogy véletlenül választottuk a pontot. A következő tétel rávilágít arra, hogy miért "véletlen", valamint hol és miért lehet olyan sokszor jól modellezni a valóságot Poisson-folyamattal TÉTEL. Legyen N (t) egy λ rátájú Poisson-folyamat, és tudjuk, hogy N (t) = 1, azaz a (0,t) intervallumban egy esemény következett be. Legyen az Y valószínűségi változó az esemény bekövetkezéséig eltelt idő. Ekkor Y egyenletes eloszlású a (0,t) intervallumban Megjegyzés. Nincs ellentmondás az előző tétellel, hiszen itt nem két egymás utáni bekövetkezés között eltelt időről van szó. 159

161 Bizonyítás. Az előző tétel jelölésével legyen τ 1 az első bekövetkezésig eltelt idő P (Y < x) = P (τ 1 < x N (t) = 1) = = P ({τ 1 < x}{n (t) = 1}) = P (N (t) = 1) P ({N (x) = 1}{N (t) N (x) = 0}) = P (N (t) = 1) = a független növekményűséget felhasználva = = P ({N (t) N (x) = 0})P ({N (x) = 1}) P (N (t) = 1) P ({N (t x) = 0})P ({N (x) = 1}) = P (N (t) = 1) és a 6.7 tételt felhasználva = λxe λx e λ(t x) λte λt = x t. Ez éppen a (0,t) intervallumban egyenletes eloszlás definíciója Születési-halálozási folyamatok Általánosítsuk a Poisson-folyamatot, amikor nemcsak érkeznek (születnek), hanem távoznak is (meghalnak) egyedek. Bizonyos esetekben ésszerű feltételezni, hogy a születési és a halálozási ráta függ a népesség számától. Sorbanállási feladatoknál a születés az egy új egyed érkezése a sorba, míg egy egyed kiszolgálásával az az igény kikerül a sorból (meghal) Definíció. Egy N (t) számláló folyamatot születési-halálozási folyamatnak nevezünk, ha teljesülnek az alábbi feltételek: a) homogén Markov-lánc b) P (pontosan 1 születés N (t) = k) = λ k h+o(h), λ k 0 c) P (pontosan 1 halál N (t) = k) = µ k h+o(h), µ k 0 d) P (pontosan 0 születés N (t) = k) = 1 λ k h+o(h) e) P (pontosan 0 halál N (t) = k) = 1 µ k h+o(h). 160

162 Mivel a fenti négy valószínűség összege 1+o(h), így annak a valószínűsége, hogy egy rövid időtartamban egynél több esemény történjen az lehetetlen (o(h) nagyságrendű). N (t) számláló folyamat, tehát negatív nem lehet, így µ 0 = 0. A λ k és a µ k a születési illetve halálozási ráták. A születési-halálozási folyamatot is a differencia-differenciálegyenletével írjuk le. Hasonló módon állítjuk fel az egyenleteket, mint a 6.7 tétel bizonyításában. Először tekintsük az n = 0 esetet. Az N (t+h) = 0 esemény csak kétféle módon történhet meg: 1) A folyamat a t időpillanatban 0 és a (t,t+h) intervallumban nem változik az értéke, azaz nincs születés, ennek valószínűsége P 0 (t) (1 λ 0 h+o(h)), 2) A folyamat a t időpillanatban 1 és a (t,t+h) intervallumban 1 halál következik be, ennek valószínűsége P 1 (t) (µ 1 h+o(h)), innen P 0 (t+h) = P 0 (t) P 0 (t)λ 0 h+p 1 (t)µ 1 h+o(h), és átrendezés után P 0 (t+h) P 0 (t) h = P 1 (t)µ 1 P 0 (t)λ 0 + o(h) h, és a lim h 0 határértéket véve adódik a dp 0 (t) dt = P 1 (t)µ 1 P 0 (t)λ 0 (6.3) differenciálegyenlet. Azn > 0 esetben azn (t+h) = n csak háromféle diszjunkt módon történhet meg: 1) A folyamat a t időpillanatban n és a (t,t+h) intervallumban nem változik az értéke, azaz nincs születés, nincs halál, ennek valószínűsége P n (t) (1 λ n h+o(h)) (1 µ n h+o(h)). 161

163 2) A folyamat a t időpillanatban n+1 és a (t,t+h) intervallumban 1 halál következik be, ennek valószínűsége P n+1 (t) (µ n+1 h+o(h)). 3) A folyamat a t időpillanatban n 1 és a (t,t+h) intervallumban 1 születés következik be, ennek valószínűsége P n 1 (t) (λ n 1 h+o(h)). Mivel másképpen nem jöhet létre az N (t+h) = n esemény, így azaz P n (t+h) = P n (t) (1 λ n h+o(h)) (1 µ n h+o(h))+ +P n+1 (t) (µ n+1 h+o(h))+ P n 1 (t) (λ n 1 h+o(h)), P n (t+h) = P n (t) (1 λ n h µ n h)+p n+1 (t) µ n+1 h+p n 1 (t) λ n 1 h+o(h) és átrendezés után P n (t+h) P n (t) h = (λ n +µ n )P n (t)+µ n+1 P n+1 (t)+λ n 1 P n 1 (t)+ o(h) h. és véve a lim h 0 határértéket kapjuk a dp n (t) dt = (λ n +µ n ) P n (t)+µ n+1 P n+1 (t)+λ n 1 P n 1 (t) (6.4) differencia-differenciálegyenletet. Ha a kiinduló állapot az i volt, azaz i számú egyed volt a sokaságban, akkor a kezdeti feltételek P i (0) = 1 és P j (0) = 0 minden j i esetén. (6.5) Az (6.4) és (6.3) egyenletek, valamint az (6.5) kezdeti feltételek egy végtelen sok egyenletből álló differencia-differenciálegyenlet rendszert adnak, melynek a megoldása analitikus úton általában nagyon nehéz, de néhány fontos esetben lehetséges. Ilyen eset például a 6.7 tételben vizsgált Poisson-folyamat, ahol λ n = λ minden n esetén, míg µ n = 0. Általában, ha λ n = 0, akkor 162

164 tiszta halálozási folyamatról beszélünk, míg ha µ n = 0, akkor tiszta születési folyamatról. Tehát a Poisson-folyamat egy speciális tiszta születési folyamat. A speciális esetek vizsgálata helyett (amelyek persze adott esetben nagyon fontosak lehetnek) foglalkozzunk azzal a gyakorlatban fontos esettel, amikor az idő múlásával egyensúlyi helyzet áll be. Egyensúlyi helyzet alatt azt értjük, hogy a P n (t) valószínűségek nem függnek az időtől, azaz P n (t) = p n és ennek következtében dp n (t) = 0. dt Vegyük a lim határértéket a (6.4) és (6.3) egyenletek mindkét oldalán, így t a 0 = (λ n +µ n ) p n +µ n+1 p n+1 +λ n 1 p n 1, n > 0 0 = µ 1 p 1 λ 0 p 0, n = 0 (6.6) egyenletrendszert kapjuk az egyensúlyi állapotra, feltéve persze, hogy az létezik. A második egyenletből míg az első egyenletből p 1 = p 0 λ 0 µ 1, (6.7) µ n+1 p n+1 λ n p n = µ n p n λ n 1 p n 1, azaz ha létezik az egyensúlyi helyzet, akkor a µ n p n λ n 1 p n 1 kifejezés n-től független konstans, és a (6.6) egyenletből 0 = p 1 µ 1 p 0 λ 0, így tehát µ n p n λ n 1 p n 1 = 0, p n = p n 1 λ n 1 µ n. 163

165 Ebből a rekurzív formulából és (6.7)-ből kapjuk, hogy általában p 1 = p 0 λ 0 µ 1, p 2 = p 1 λ 1 µ 2 = p 0 λ 0 λ 1 µ 1 µ 2, p 3 = p 2 λ 2 µ 3 = p 0 λ 0 λ 1 λ 2 µ 1 µ 2 µ 3,..., p n = p 0 λ 0 λ 1 λ 2 λ n 1 µ 1 µ 2 µ 3 µ n. (6.8) Itt még p 0 függvényében kaptuk meg a p n valószínűséget, de mivel a p 0,p 1,p 2,...,p n,... valószínűségek valószínűségeloszlást alkotnak, így ( p i = p 0 1+ λ 0 + λ 1 + λ 0λ λ ) 0λ 1 λ 2 λ n 1 + = 1. µ 1 µ 2 µ 1 µ 2 µ 1 µ 2 µ 3 µ n i=0 Innen nullától különböző valószínűséget csak akkor kapunk, ha az S = 1+ λ 0 µ 1 + λ 1 µ 2 + λ 0λ 1 µ 1 µ λ 0λ 1 λ 2 λ n 1 µ 1 µ 2 µ 3 µ n + (6.9) végtelen sor konvergens. Ekkor van egyensúlyi állapot A sorbanállási elmélet elemei Mindennapi életünk elkerülhetetlen része a sorbanállás, sorakozunk a postán, a pénztárnál. Információkérésünk sorbanáll az interneten, a repülőjegy rendelésünk sorbanáll, amíg feldolgozza a központi szerver. A kamionok sorbanállnak a bepakolás és a kirakodás előtt. A műszaki, gazdasági, katonai feladatok széles skáláját lehet sorbanállási feladatként modellezni, és persze más és más lehet az a szempont, ami szerint optimálisnak tekintjük a sorbanállási rendszert. Van olyan áruházlánc, ahol hangsúlyt fektetnek arra, hogy ne kelljen sokáig sorakozni a pénztárnál, van, ahol direkt kevés pénztárost alkalmaznak, hogy ezzel is olcsóbbá tegyék az árakat. Nézzünk egy általános sorbanállási- kiszolgálási rendszert. Van egy sokaság, amelyikből valamilyen rendszer szerint időnként néhányan a kiszolgáló rendszerhez fordulnak. Lényeges, hogy ez a sokaság milyen nagy (a kiszolgáló kapacitáshoz viszonyítva). Eszerint célszerű véges, vagy végtelen sokaságot 164

166 feltételezni. Érdemes megemlíteni, hogy a modell kezelhetősége szempontjából egyszerűbb a végtelen sokaság feltételezése. Nyilvánvalóan érdekes, hogyan, milyen sűrűn érkeznek a kiszolgálandók (az igények). Sokkal nehezebb egy jó kiszolgáló rendszert kiépíteni, ha az igények csoportosan érkeznek, mintha egyenként. A modellek többségében feltételezzük, hogy milyen eloszlás szerint érkeznek az igények. Ha a kiszolgáló szabad, azonnal megkezdi a kiszolgálást, ha nem, akkor kell (kellene) beállni a sorba. Újból különböző modellt kapunk, ha figyelembe vesszük, hogy milyen az igények várakozási hajlandósága. Van olyan igény, amelyik elvész, ha nem szolgálják ki azonnal. Például szívinfartktus esetén 2 óra múlva már felesleges mentőt küldeni, de egy fájó foggal néha napokat is várunk, amíg orvoshoz megyünk. Ha várakozunk a kiszolgálóra (sorban állunk), akkor érdekes, hogy milyen elv szerint kerülünk be kiszolgálásra. Az angol terminológia alapján a leggyakrabban használt (és a gyakorlatot jól leíró) elvek: ki. ki. -FIFO (First In First Out) mindig a legkorábban érkezettet szolgálják -LIFO (Last In First Out) mindig a legutolsónak érkezettet szolgálják -SIRO (Service In Random Order) véletlenszerű a kiválasztás a kiszolgálásra. -PRI (Priority Service) bizonyos igényeknek elsőbbségük van (pl. mentőknél a közvetlen életveszély) Különbözik a sorbanállási-kiszolgálási rendszer, ha különbözik a kiszolgálók száma, ezért a kiszolgálók száma szerint is megkülönböztetjük a modelleket. Ha már bekerülünk a kiszolgálóhoz, akkor általában más-más ideig tart a kiszolgálás. A modellek többségében feltételezik, hogy a kiszolgálás ideje a véletlentől függ, és feltételezik a kiszolgálás idejének az eloszlását (exponenciális, Erlang, stb.). Azért, hogy könnyű legyen áttekinteni milyen rendszerrel foglalkozunk, használni fogjuk a Kendall-féle jelölést. Eszerint egy sorbanállási-kiszolgálási modell átalános alakja A/B/c/K/m/Z, ahol A az egymást követő beérkezések között eltelt idő; 165

167 B a kiszolgálási idő eloszlásának típusa; c a kiszolgáló egységek száma; K a kiszolgáló rendszer kapacitása (a sorbanállók száma plusz a kiszolgálás alatt lévők száma); m a sokaság létszáma (ahonnan az igények érkeznek); Z a sorból a kiszolgálásra való kerülés elve. A modell megfelelősége és bonyoultsága szempontjából a legmeghatározóbb az A és B "paraméter", azaz a beérkezések és a kiszolgálási idő eloszlásának a típusa. Hagyományosan a következő jelöléseket szokták használni: GI általános független beérkezések közötti idők; G általános kiszolgálási idő; E k Erlang -k eloszlású beérkezések közötti vagy kiszolgálási idő; M exponenciális eloszlású beérkezések közötti vagy kiszolgálási idő; D determinisztikus beérkezések közötti vagy kiszolgálási idő; A továbbiakban mi csak két modellt tárgyalunk: az M/M/1 rendszert, ahol a beérkezések közötti és a kiszolgálási idő is exponenciális eloszlású és 1 kiszolgáló van és az M/M/1/K rendszert, ahol a fenti feltevések mellett a rendszer kapacitása K (1 kiszolgálás alatt K-1 a sorban). Mindkét esetben a Kendall-féle jelölés rövidített változatát használtuk, azaz, ha valamelyik komponens korlátlan, akkor azt nem kell kiírni, és ha nincs megszorítás a kiszolgálás elvére, akkor azt sem írjuk ki. Egy-egy ilyen sorbanállási-kiszolgálási modellnek az a célja, hogy az adott feltételek között vizsgáljuk az átlagos kiszolgálási és a rendszeren töltött időt, a sorok hosszának eloszlását, a sorbanállók átlagos számát, a kiszolgáló átlagos foglaltsági idejét, a tétlenségi (nincs kiszolgálandó igény) idő eloszlását, a kiszolgálás alatt állók átlagos számát. Egy kiszolgálási rendszer tervezésekor a fenti paraméterek kiszámításával, majd a különböző kapacitások megfelelő megválasztásával lehet optimalizálni, illetve javítani a rendszer teljesítményét. Az optimalizálás szó természetesen túlzás, hiszen a figyelembe vehető változtatható paraméterek száma túl nagy ahhoz, hogy ezt szigorúan matematikai értelemben optimalizálásnak tekintsük, de az adott gazdasági, műszaki, politikai körülmények között viszonylag egyértelműen megadhatjuk azt az elvet, aminek a függvényében optimalizálni szeretnénk a rendszert. 166

168 Egy rakétaelhárító rendszer tervezésekor nyivánvalóan az a cél, hogy minden támadó rakétát "kiszolgáljunk", a támadónak pedig egy ilyen rendszerhez olyan beérkezési időpontokat kell rendelnie, hogy legyen olyan rakétája, amelyik elkerüli a "kiszolgálást" M/M/1 sorbanállási-kiszolgálási rendszer Az előbbiek szerint tehát a beérkezések közötti és a kiszolgálási idő is exponenciális eloszlású és 1 kiszolgáló van. A sokaság, ahonnan az igények érkeznek végtelen nagy és nem tudunk semmit arról, hogy a sorbanállók közül milyen elv alapján választják ki a következőt, akit kiszolgálnak. A 6.8 tétel alapján ez azt jelenti, hogy ha a beérkezések közötti idő λ paraméterű exponenciális eloszlás, akkor az időegység alatt beérkező igények száma ugyanolyan λ paraméterű Poisson-eloszlás. A klasszikus kiszolgálási modell elnevezés is szokásos, mivel ez volt az első sorbanállási modell, amivel részletesen foglalkoztak. Feltételezzük, hogy a beérkezések száma és kiszolgáltak száma független egymástól. Belátjuk, hogy a rendszerben tartózkodó igények számát egy születési-halálozási folyamat írja le. Legyen a beérkezések közötti idő λ paraméterű exponenciális eloszlás, így az időegység alatt beérkező igények száma λ paraméterű Poisson-eloszlás, azaz a várható értéke λ. Ezért indokolt λ-t a beérkezések intenzitásának nevezni. Az exponenciális eloszlás örökifjú tulajdonsága miatt annak valószínűsége, hogy a h intervallumban egy beérkezés legyen, ha nincs senki a rendszerben ugyanannyi, mintha n igény lenne a rendszerben. Tetszőleges h > 0 esetén jelölje X egy h hosszúságú intervallumban beérkező jelekszámát. Annak valószínűsége, hogy egy beérkezés legyen a h intervallumban a Poisson-eloszlás miatt P (X = 1) = (λh)1 1! e λh = ( = e λh λh = = λh+o(h). 1 (λh)1 1! + (λh)2 2! + ) λh = Másrészt számítsuk ki annak a valószínűségét, hogy nem érkezik be igény egy h hosszúságú intervallumban. Most az exponenciális eloszlás definícióját 167

169 használjuk. Az örökifjú tulajdonság azt jelenti, hogy lényegtelen, mennyi ideje nem érkezett igény, de ha a most következő h hosszúságú intervallumban nem jön igény, akkor X = 0, azaz P (X = 0) = 1 ( 1 e λh) = e λh = = 1 (λh)1 + (λh)2 1! 2! = 1 λh+o(h). + = Így annak valószínűsége, hogy egynél több beérkezés legyen a h intervallumban P (X > 1) = 1 P (X 1) = = 1 P (X = 0) P (X = 1) = o(h). Tehát a születési-halálozási folyamat születésre vonatkozó feltételei teljesülnek és λ n = λ. Hasonlóképpen, legyen a kiszolgálási idő µ paraméterű exponenciális eloszlás, azaz annak a valószínűsége, hogy egy kiszolgálás h időn belül befejeződik (ez az igény meghal) 1 e µh = µh+o(h), valamint a nulla kiszolgálás valószínűsége 1 µh+o(h). Tehát a születési-halálozási folyamatról van szó, és az örökifjú tulajdonság miatt µ n = µ. Az M/M/1 rendszer állapotátmeneti diagramja a (6.1) ábrán látható. Mivel λ n = λ és µ n = µ, így a (6.8) egyenletben p n = p 0 λ n µ n. Vezessük be a születési és halálozási ráta arányára a ρ = λ µ 168

170 6.1. ábra. M/M/1 rendszer állapotátmeneti diagramja jelölést, így az (6.9) egyenletben S = 1+ρ+ρ 2 +ρ 3 + = 1 1 ρ. Ez a formula is aláhúzza azt a magától értetődő tényt, hogy ha a kiszolgálási ráta kisebb, mint a születési ráta, akkor a sor hossza tart a végtelenhez. Tehát feltételezzük, hogy 0 < ρ < 1. Mivel így p i = 1, és p 0 = 1 S, i=0 Speciálisan az n = 0 esetben p n = ρ n (1 ρ), n = 0,1,2,3,... (6.10) p 0 = (1 ρ), 169

171 így kiszámítható az egyik legfontosabb jellemző: Annak valószínűsége, hogy a rendszer foglalt P (a rendszer foglalt) = 1 P (a rendszer üres) = = 1 P (N = 0) = = 1 (1 ρ) = ρ. Mivel (6.10) geometriai eloszlás, így a rendszerben tartózkodók számának a várható értéke és szórásnégyzete illetve L = E(N) = ρ 1 ρ, (6.11) D 2 (N) = ρ (1 ρ) 2, ahol az irodalomban szokásos jelöléseket használtuk: N: a rendszerben tartózkodó igények száma, L: az átlagos igényszám (a rendszerben). Az általunk felhasznált további szokásos jelölések: w: A várakozási idő (a rendszerben), mint valószínűségi változó, s: A várakozási idő a sorban, mint valószínűségi változó, q: A kiszolgálási idő, mint valószínűségi változó, W: Átlagos várakozási idő (a rendszerben), W q : Átlagos várakozási idő a sorban, W s : Átlagos kiszolgálási idő, L q : az átlagos sorhossz. Elég általános feltételek mellett igazak a Little- formula néven ismert, ránézésre nyilvánvalónak tűnő összefüggések: L = λw és L q = λw q. Ezeket a Little- formulákat és az M/M/1 rendszerre kapott (6.11) formulát felhasználva kapjuk az M/M/1 rendszert jellemző összefüggéseket: 170

172 Az átlagos várakozási idő (a rendszerben): Az átlagos várakozási idő a sorban: Az átlagos sorhossz: W = E(w) = L λ = E(s) 1 ρ. W q = E(q) = W E(s) = E(s) L q = E(N q ) = λw q = ρ2 1 ρ. ρ 1 ρ. Az M/M/1 rendszer esetében abban a szerencsés helyzetben vagyunk, hogy meg lehet határozni a sorban eltöltött idő (q) eloszlását is: A teljes várakozási idő (w) eloszlása P (q t) = 1 ρe t W. P (w t) = 1 e t W A várakozási idők paradoxona A buszmegállóban várakozva sokszor úgy érezzük, hogy a közlekedési vállalat becsap minket a kifüggesztett menetrenddel. Ha a kiírás szerint a buszok átlagos követési ideje pl. 10 perc, akkor arra számítunk, hogy nekünk a buszmegállóban átlag 5 percet kellene várnunk. Ezzel szemben a tapasztalatban az átlagos várakozási időnk közel van a 10 perchez. Becsaptak a kiírással? Nem feltétlenül! Ha a buszok svéd vasúti pontossággal közlekednének, akkor valóban 5 percnek kellene lennie az átlagos várakozási időnek. Azonban a városi forgalomban ha az egyik megállóban sokan vannak, akkor a busz késik, míg a mögötte jövőnek kevesebb utasa lesz, ezért az felgyorsul. Dugók, balesetek előfordulnak, így ténylegesen hol sűrűn jönnek a buszok, hol nagyon ritkán, de átlag 171

173 10 percenként. Ha mi véletlenszerűen érkezünk a megállóba, akkor sokkal nagyobb esélyünk van olyan időintervallumban érkezni, amikor nagy lesz a követési idő, mint a rövid követési idő intervallumában. Takács Lajos Introduction to the Theory of Queues c. könyvében megmutatta, hogy ha W t a várakozási időnk a következő busz érkezéséig, és τ a két busz érkezése között eltelt idő, akkor E(W t ) = 1 ( ) E(τ)+ D2 (τ). 2 E(τ) Ez valóban alátámasztja az intuíciónkat. Ha svéd pontossággal tartanák a menetrendet, akkord 2 (τ) = 0 lenne, és így 5 perc lenne az átlagos várakozási időnk is. Azonban, ha exponenciális eloszlású a követési idő, akkor tehát az átlagos várakozási időnk azaz éppen 10 perc. E(τ) = 1 λ, D(τ) = 1 λ, E(W t ) = λ + ( 1 λ 1 λ ) 2 = 1 λ, 6.5. Az M/M/1/K rendszer Az M/M/1/K sorbanállási-kiszolgálási rendszer egy véges befogadóképességű rendszer, egyszerre K igény lehet a rendszerben, a sorbanállók és a kiszolgálás alatt lévők összesen. Telekomunnikációs rendszerekben, illetve bizonyos számítógép rendszerekben csak egy adott K korlátú tárolókapacitással rendelkeznek, az ezen felül érkező igényeket elutasítják. Csak azok az igények léphetnek be a rendszerbe, amelyek érkezésekor a rendszerben lévő igények száma kisebb, mint K. Az M/M/1/K rendszer állapotátmeneti diagramja az (6.2) ábrán látható. A születési-halálozási folyamat modellbe a következőképpen illeszthetjük be az M/M/1/K rendszert. Legyen { λ, ha n = 0,1,2,...,K 1, λ n = 0, ha n K, 172

174 6.2. ábra. Az M/M/1/K rendszer állapotátmeneti diagramja illetve µ n = { µ, ha n = 1,2,...,K, 0, ha n > K. Ezzel a választással K 1 p n = p 0 i=0 ( ) ( K λ λ = p 0, ha n K, µ µ) és p n = 0, ha n > K. A p 0,p 1,p 2,,p K, számok most is valószínűség-eloszlást alkotnak, így p 0 +p 1 +p 2 + +p K = 1, ezért ( ) ( ) 2 ( ) K λ λ λ p 0 +p 0 +p 0 + +p 0 = 1. µ µ µ 173

175 Innen p 0 = 1 1+ λ µ + ( λ µ) A véges geometriai sor összegét kiszámítva p 0 = 1+ ( λ 1 µ ( λ µ 1 λ µ ) ) K 1 ( ) K. (6.12) λ µ 1 λ µ = ( ) K+1. λ 1 µ Ezt felhasználva 1 λ ( i µ λ ( ) K+1, ha 0 i K, p i = λ µ) 1 µ 0, egyébként. Most - az M/M/1 rendszerrel ellentétben - a rendszer mindig eléri az egyensúlyi állapotot, függetlenül a λ és µ viszonyától, hiszen λ > µ esetén is feltöltődik a sor (hiszen a K kapacitás véges), és utána tovább nem tud nőni a sorbanállók száma. A λ = µ speciális esetben a (6.12) formulából és p 0 = 1 1+K, 1, ha 0 i K, p i = 1+K 0, egyébként. 174

176 7. fejezet Készletgazdálkodási modellek, véletlen ütemezés 7.1. Bevezetés Hol fogyasztás van, van raktározás is. A modern társadalomban jelentős mértékben a költségek határozzák meg a készletgazdálkodás módját. Tekintsük át először, milyen költségek merülnek fel a raktározással kapcsolatban. a) Beszerzési, előállítási költségek: Ezek egy része konstans költség (gyártósor beindítása), más része arányos a megrendelt mennyiséggel (szállítási költségek), de függhetnek a rendelés mennyiségétől egy diszkont áron keresztül és függhetnek a szállítási határidőtől is b) Raktározási költségek: Kamatköltség, raktárbérleti díj vagy a raktár amortizációs költsége, kezelési költség, biztosítás, veszteség, stb. c) Hiányköltségek: Minden olyan veszteség, ami az anyaghiány miatti termelés kimaradásából származik, elmaradt haszon illetve kötbér. Egy anyag, alkatrész iránti igény lehet folyamatos vagy diszkrét, és lehet determinisztikus vagy sztochasztikus (pl. tartalékalkatrészek iránti igény). Az utánrendelésnél figyelembe kell vennünk, hogy a rendelés feladásától a kért tétel beérkezéséig idő telik el, ezt hívjuk szállítási időnek. A készlet alakulását az idő függvényében vizsgáljuk, ezt meghatározza az utánrendelési politika, a szállítás milyensége, valamint a felhasználás jellege. Egy készletgazdálkodási modell feladata a rendelési politika kialkítása bizonyos haszonfüggvény(ek) optimalizálása céljából. Ezek a modellek különböznek attól függően, hogy 175

177 az igényeket (azok mennyiségét és időpontját) ill. a beszállításokat (azok mennyiségét és időpontját) determinisztikusnak vagy véletlenszerűnek tekintjük, milyen költségeket veszünk figyelembe, illetve mely haszonfüggvényeket szeretnénk optimalizálni. A továbbiakban három különböző készletgazdálkodási modellt vizsgálunk, hogy bepillantást adjunk a lehetőségek széles tárházába Determinisztikus készletgazdálkodási modellek Az optimális tételnagyság modellje Az első klasszikus és sok helyütt még ma is alkalmazott modell. A következő feltételezéseket tesszük: 1. Az igény állandó és folytonos. 2. A rendelési és a tárolási költségek időben állandóak. 3. A tételnagyság nem feltétlenül egész szám. 4. Az egész megrendelt tételt egyszerre szállítják le. 5. Nem engedünk meg hiányt. A következő jelöléseket vezetjük be: h = egységenkénti és időegységenkénti tárolási költség, A = a beszerzési költség, d= az időegység alatti igény Q= a rendelt tételngyság C= az időegységre jutó költségek. Mivel nem engedjük meg a készlethiányt és nincs szükségünk biztonsági tartalékra sem, így minden tételt pontosan akkor kell leszállítani, amikor az előző tételt éppen felhasználták. A raktárkészlet időtől való függése ezért az 7.1 ábra szerint fog alakulni. 176

178 7.1. ábra. Készletszint determinisztikus esetben A tárolási és a rendelési költségek tehát a tételnagysággal változnak. Mivel az átlagos készletszint Q 2, az időegységre jutó átlagos rendelés d, így a teljes Q költség C = Q 2 h+ d Q A. Ennek a költségfüggvénynek minimuma ott lehet, ahol dc = 0, azaz dq h 2 d Q2A = 0, ahonnan az optimális tételnagyság. Q = 2Ad h 177

179 7.3. Sztochasztikus készletgazdálkodási modellek A determinisztikus modell több szempontból idealizált modell, mivel a kereslet mennyisége, a szállítási időpontok, a szállított mennyiségek, valamint a költségek is véletlen tényezőktől függnek. Ezért a valóságot jobban leíró modellt kapunk, ha bizonyos tényezőknél figyelembe vesszük a véletlent is, azaz sztochasztikus modellel dolgozunk. Még egy abszolút determinisztikusnak tűnő rendszer tervezése esetén is szükség lehet sztochasztikus modell vizsgálatára. Egy nagyforgalmú repülőtér leszálló pályájára 50 másodpercenként szállnak le a nagy utasszállító repülőgépek. Látszatra ez egy abszolút determinisztikus rendszer. Azonban a menetrendet úgy tervezik meg, hogy a rengeteg, előre ki nem számítható, de a tapasztalat szerint bizonyos statisztikai törvényszerűségek szerint előforduló zavaró tényezőket (ellenszél, sztrájk, műszaki hiba, stb.) úgy kalkulálják be, hogy az érkezési időpontokat egy Poisson-folyamattal írják le. A menetrendet úgy kell megszerkeszteni, hogy a repülőtér vonzáskörzetében ne legyen több gép, mint amennyit a légiirányítók még biztonsággal kezelni tudnak. A különböző véletlen tényezők eloszlásának a meghatározása a matematikai statisztika módszereivel történik Megbízhatósági típusú sztochasztikus készletmodell Most nem veszünk figyelembe költségtényezőket, csak az érdekel, hogy egy olyan indulókészletet tudjunk meghatározni, amelynek birtokában e rendelés beérkezésekor a raktárkészlet még előírt 1 ε biztonsággal fedezi a felhasználás igényét. Legyen d = az időegység alatti igény, 1 ε = a megbízhatósági szint, M 0 = az indulókészlet, T = az időszak hossza,amire a Td szükségletet megrendelik, X = a (véletlentől függő) szállítási időpont. Feltételezzük, hogy a megrendelt mennyiséget a [0, T] időszakon belül, valamilyan F (t) eloszlásfüggvényű eloszlás szerint egyszerre szállítják le. Az 178

180 előbbi feltétel úgy is fogalmazható, hogy F (T) = 1. Ebben az esetben az F eloszlásfüggvény meghatározása után a feladatunk nem más, mint az ( ) M0 F = 1 ε d egyenlet megoldása Példa. Egy folyamatos üzem részére 30 napra kell 99%-os biztonsággal fedezni a raktárkészletet. A napi igény az illető anyagból 100 egység. Az eddigi tapasztalatok szerint a szállítás időpontja egyenletes eloszlású a [0, 30] intervallumban. Határozzuk meg az M 0 indulókészletet! Megoldás. Miután az X M 0 d = M érték a feltételek szerint a [0,30] intervallumba esik, így az eloszlásfüggvény így azaz tehát F ( M0 d F (t) = t 30, ) = M 0 d 30 = 1 ε, M = 0,99, M 0 = = 2970 egységet kell megrendelnünk az adott biztonság eléréséhez Véletlen ütemezésű rész-szállítmányok esete Ilyen modelleket először Prékopa András és Ziermann Margit dolgozott ki. Azt feltételezzük, hogy a megrendelt mennyiség véletlen időpontokban és véletlen mennyiségekben érkezik be az adott [0, T] intervallumban, de a T 179

181 időpontig az egész megrendelt mennyiség beérkezik. A modell sokkal általánosabb és sokkal szélesebb területen alkalmazható, mint első látásra gondolnánk, hiszen a víztározók kapacitásának a problémája is ugyanilyen feladat. Most tegyük fel, hogy a rész-szálítmányok egyenlő nagyságúak. Legyenek a beérkezési időpontok t 1,t 2,...t n. Tegyük fel, hogy ezek teljesen véletlenszerűen helyezkednek el a [0, T] intervallumban, azaz egyenletes eloszlást követnek a [0, T] intervallumban, és ezekben az időpontokban a megrendelt mennyyiség n-edrésze érkezik be. Feladatunk annak az M 0 indulókészletnek a meghatározása, amely adott 1 ε megbízhatósági szinten biztosítja a folyamatos működést, azaz a raktárkészlet nem-negativitását. Használjuk ismét a következő jelöléseket: d = az időegység alatti igény, M 0 (n,ε) = az indulókészlet (most ez függvénye a rész-szállítások számának is). A [0,T] időszak igénye Td, ezt kell megfelelő idővel korábban megrendelnünk. Keressük azt az M 0 (n,ε) az indulókészletet, amely 1 ε biztonsággal biztosítja a termelés anyag-igényét. Az anyagfelhasználást a [0,t] intervallumban a z t = t d lineáris függvény írja le, míg a t időpontig a raktárba összesen beérkezett anyagmennyiséget (az indulókészlet és a t 1,t 2,...t n időpontokban beérkező Td leszállított mennyiségek összege) az n M 0, ha t < t 1, y t = M 0 +k Td n, ha t k < t < t k+1, M 0 +Td, ha t > t n lépcsős függvény írja le. Ha az y t z t egyenlőtlenség minden t [0, T] esetén teljesül, akkor tökéletes az anyagellátás. A mi feladatunk a ( ) P sup (y t z t ) 0 t T = 1 ε 180

182 feltétel teljesítése. A Szmirnov-tétel felhasználásával igazolható a következő tétel: 7.2. TÉTEL. Ha n > 20, akkor a [0,T] intervallumban az időegységre jutó d felhasználást 1 ε megbízhatósági szinten garantáló indulókészlet 1 M 0 (n,ε) = dt 2n ln 1 ε. 181

183 8. fejezet A szimuláció alapjai 8.1. Monte Carlo módszerek 8.1. Definíció. Monte Carlo módszereknek nevezzük matematikai feladatok megoldásának véletlen mennyiségek modellezését felhasználó numerikus módszereit. A véletlen számok fontos szerepet játszanak a véletlen helyzetek generálásában (pénzérme, dobókocka, szerencsejátékok), amelyek segítenek a tapasztalatszerzésben a valószínűségről és annak törvényszerűségeiről. Ne felejtsük el, hogy a valószínűség-számítás fogalmai, tételei feltételezik, hogy az elemzés tömegjelenségre vonatkozik. A véletlen számok legfontosabb alkalmazása a szimuláció, amely lehetővé teszi a tapasztalatszerzést a véletlenről, drága kísérletek modellezését, más módszerrel nehezen kiszámítható értékek meghatározását stb. Kezdetben ehhez vagy egyszerű kísérleteket (kockadobás) végeztek vagy előregyártott táblázatokat alkalmaztak. De az összetettebb jelenségek lefutásának vizsgálatához kockadobás is szükséges. További problémákat vet fel az egyenletesség és a különböző típusú "kockák" elkészítése. Ma már legtöbbször számítógépes algoritmusokat használunk. A szimuláció alapvető problémái: egy determinisztikus számítógépen közelítjük a véletlent. Diszkréttel közelítünk folytonosat vagy fordítva. Végtelen feladat korlátos modell, véges szimuláció. 182

184 8.2. Pszeudovéletlen számok Azokat az x 1,x 2,...,x n számokat, amelyeket egy adott algoritmus alapján számítottunk ki, és a véletlen számok helyett használhatók, pszeudovéletlen számoknak nevezzük. A generálásuknak és ellenőrzésüknek (egyenletesség, véletlenszerűség) külön elmélete alakult ki. Ezzel itt nem foglalkozunk. A legtöbb magasszintű számítógépi programozási nyelv elég jó generátort tartalmaz beépített eljárásként. Azért ajánlatos az ellenőrzés. Itt most két egyszerű pszeudovéletlenszám generátort adunk meg Példa. x 1 = 1, x n+1 125x n (mod 8192). (8.1) 8.3. Példa. x 1 = 1, x n x n (mod ). (8.2) Napjainkban majdnem minden számítógép (programozási nyelv, programcsomag) az előző példákhoz hasonló beépített kongruenciális generátort használ. Az x 1,x 2,...,x k számok generálására ilyen a lineáris kongruencia vagy hatványmaradék módszer, ekkor a következő rekurzív kapcsolat adott: x i+1 = αx i +c (mod m), (8.3) ahol α konstans szorzó, c a növekmény és m a modulus. Az x 0 kezdő érték az ún. "seed". Ha megoldjuk a 8.3 egyenletet, akkor azt kapjuk, hogy [ ] x n = α n x 0 +c αn 1 (mod m). (8.4) α 1 Nyilván a paraméterek határozzák meg a generátor "jóságát". A szokásos követelmények egy véletlenszámgenerátorral szemben: 1. Jó statisztikai tulajdonságok. Tehát legyenek függetlenek (korrelálatlanok) és aznos eloszlásúak. 2. Az ismétlődési periódus legyen hosszú, hogy sok és változatos problémánál legyen alkalmazható. 3. Ismételhető legyen. Tehát ugyanazokra a paraméterekre ugyanazt a sorozatot adja. 183

185 4. A szimulációk többsége sok véletlen számot igényel, ezért legyen gyors és könnyen számolható. 5. Legyen könnyű a szeparált sorozatok készítése. A paraméterek választására javasoljuk a [9] irodalmat Megjegyzés. Diszkrét egyenletes (klasszikus valószínűségi mező) eloszlást közelítenek a megadott rekurzív algoritmusok. Az 8.1 példa még számítógép nélkül is jól használható. A számítógépi algoritmusok legtöbbször (valójában mindig diszkrétet, hiszen véges a számábrázolásuk) a [0, 1] intervallumon egyenletes eloszlást próbálják közelíteni, mert ebből különböző módszerek segítségével a tanult eloszlások tulajdonságainak felhasználásával más eloszlású véletlen számokat tudunk előállítani Inverzfüggvény módszer Ha F szigorúan monoton növő eloszlásfüggvény és X F eloszlású, akkor Y = F(X) egyenletes eloszlású a [0,1] intervallumon. Fordítva, ha X U(0,1), akkor Y = F 1 (X) éppen F eloszlású Következmény. 1. Ha X U(0,1), akkor Y = (b a)x+a U(a,b). 2. Ha X U(0,1), akkor Y = 1 ln(x) Exp(λ). λ 3. Ha X U(0, 1), akkor Y = tg(π(x 0.5)) standard Cauchy eloszlású. 4. Ha X U(0,1), akkor Y = Φ 1 (X) standard normális eloszlású Az elfogadás-elvetés módszere Legyen az X valószínűségi változó sűrűségfüggvénye f, amelyhez létezik egy olyan g sűrűségfüggvény, hogy f(x) cg(x) (minden x-re és c egy véges konstans) és a g könnyen generálható eloszlású. Legyen az Y valószínűségi változó g sűrűségfüggvényű és U U(0, 1), amely független Y -tól, ekkor (Y ha cug(y) < f(y)) X, (8.5) azaz a feltételes valószínűségi változó éppen megfelel az X eloszlásának. 184

186 Bizonyítás. Valójában c = cg(y)dy f(y)dy > 0 és Tehát f(y) = 0, ha g(y) = 0. g(x)dxp P(Y [x,x+dx] cug(y) < f(y)) = P ( U < f(x) cg(x) ( U < f(y) cg(y) ) ) = g(x) f(x) cg(x) dx = = f(y) cg(y) g(y)dy =f(x)dx = P(X [x,x+dx]). (8.6) 8.6. Megjegyzés. Ez a módszer akkor praktikus, ha Y könnyen generálható és c nem nagyon nagy (tehát az elutasítás nem gyakori). Ha lehetséges, akkor az optimális választás a c konstansra c = sup x f(x) g(x) Példa. Ha Y Γ(1,a), akkor X = Y Γ(λ,a). Továbbá, ha X λ Γ(λ,a) és Z Γ(λ,b), akkor X+Z Γ(λ,a+b). Tehát elegendő csak olyan Y Γ(1,a) eloszlású véletlen számokat generálni, ahol a (0,1], ekkor a sűrűségfüggvény f Y a+e aeγ(a) g, ahol amikor is g(x) = eg 1(x)+ag 2 (x), a+e g 1 (x) = ax a 1, ha 0 < x < 1, 185

187 míg g 2 (x) = e x+1, ha 1 < x < +. Ekkor g 1 és g 2 is sűrűségfüggvény és mind a kettő szimulálható az inverzfüggvény módszerrel. g pedig a kettő keveréke, ahol a súlyok e a+e és a a+e. Generálunk egy egyenletest a (0, 1) intervallumon ez eldönti, hogy melyik függvénnyel folytatjuk felhasználva az inverzfüggvény módszert és utána az elfogadás-elvetés módszerével kapjuk az Y értékét. Tehát három U(0, 1) típusú véletlen számot használunk fel Normális eloszlás generálása A normális eloszlás eloszlásfüggvénye nehezen kezelhető, ezért számos generátort találtak ki a tulajdonságai alapján. Néhány példa Példa. Ha X i U(0,1)(i = 1,...,12), akkor 12 Y = X i 6 i=1 közelítőleg standard normális eloszlású. Ez a centrális határeloszlás-tétel egy véges alkalmazása. Nem hatékony, mert sok véletlen számot használ. A 8.1 ábrán látható, ha csak három összegét tekintjük Példa. A legtöbb statisztikai programcsomag a következő ún. Box- Müller módszert használja. Legyen ekkor U i U(0,1)(i = 1,2), X 1 = 2lnU 1 cos(2πu 2 ), X 2 = 2lnU 1 sin(2πu 2 ) közelítőleg statndard normális eloszlásúak. 186

188 8.1. ábra A Brown-mozgás Definíció. A Brown-mozgás olyan véletlen folyamat, ahol 1. W(0) = W(t) folytonos. 3. A W folyamat független növekményű. 4. W(t+s) W(s) N(0,σ 2 t). {W(t),t [0, )} (8.7) W(t) megfigyelt a [0,T] intervallumon és σ 2 = 1. Tudjuk, hogy a kovariancia függvény R(s, t) = min(s, t). (8.8) A sajátfüggvényekre T 0 R(s, t)ϕ(t)dt = λϕ(t), (8.9) 187

189 8.2. ábra. azaz ϕ(s) = λϕ (s), ϕ(0) = 0, ϕ (0) = 0. (8.10) Tehát megadható a Karhunen-Loeve sorfejtés [3], [16]: W(t) = ξ 0 t π + 2 π j=1 sin(jt) ξ j, (8.11) j ahol t [0,π], j N, ξ j N(0,1), azaz standard Gauss-eloszlású. Ez alapján készült szimulációkat láthatunk a 8.4, 8.5, 8.6 ábrán A közelítő integrálás hibája Az egyszerű Monte-Carlo módszer esetén a hibabecslés jellemzésére általában a szórást használjuk. 188

190 8.3. ábra. Legyen h egy tetszőleges valós függvény, amely esetén az h 2 (x)df(x) (8.12) létezik. Ez szükséges és elégséges feltétele, hogy az Y = h(x) valószínűségi változó, ahol X F eloszlásfüggvényű, szórásnégyzete létezzen. Továbbá legyen E(h(X)) = µ, és D 2 (h(x)) = σ 2, (8.13) akkor az X 1,X 2,...,X n minta esetén (X i F eloszlású) a hibabecslés szórásnégyzete D 2 (ε) = 1 n 2D2 (h(x 1 )+h(x 2 )+ +h(x n )) = σ2 n. (8.14) Ebből leolvashatjuk a Monte-Carlo módszer egy igen lényeges tulajdonságát: ha a mintaelemek számát növeljük a hiba illetve a jellemzését adó szórás 189