Valószín ségszámítás 2.

Átírás

1 Valószín ségszámítás 2. Csiszár Vill A kötet az Eötvös Loránd Tudományegyetem tankönyv- és jegyzettámogatási pályázatán elnyert forrás felhasználásával jelent meg. Szakmai lektor: Wintsche Gergely A kézirat lezárva: ISBN

2 Tartalomjegyzék 1. Statisztikai mez, elégséges statisztika 2 2. Becslések és jóságuk Maximum likelihood becslés Bayes becslések Kondenciaintervallumok Statisztikai próbák és jóságuk A normális eloszlás paramétereire vonatkozó próbák Khi-négyzet próbák Illeszkedésvizsgálat Függetlenségvizsgálat Homogenitásvizsgálat Folytonos eloszlású mintára a χ 2 -próba helyett alkalmazható próbák Lineáris modell, szórásanalízis Diszkrét idej Markov láncok Osztályok, periódus, visszatér ség Határeloszlás, stacionárius eloszlás Elnyel dési valószín ségek, elágazó folyamat Szimmetrikus bolyongás Folytonos idej folyamatok A Poisson folyamat Felújítási folyamatok Folytonos idej Markov láncok i

3 El szó Ez a jegyzet az ELTE osztatlan matematika tanárszak 10. félévében sorra kerül Valószín ségszámítás 2. el adás anyagát tartalmazza. A jegyzet szorosan követi az el adáson elhangzottakat, egy-két kiegészít megjegyzéssel kib vítve, melyek apró bet vel olvashatók. A Valószín ségszámítás 1. jegyzet tartalmát ismertnek feltételezem, de a teljesség kedvéért egyes deníciókat újra megadok. A Valószín ségszámítás 2. anyaga két f részre bomlik: az els anyagrész a statisztika, ebben vannak átfedések a Valószín ségszámítás 1. tárggyal, amit ott csak érint legesen tárgyaltunk, azt most részletesebben tanuljuk; a második anyagrész pedig véletlen (sztochasztikus) folyamatokkal foglalkozik. 1

4 1. Statisztikai mez, elégséges statisztika Mint azt már megtanultuk a Valószín ségszámítás 1. tárgyban, a matematikai statisztika alapfeladata, hogy egy véletlen jelenség mechanizmusát (pl. az t leíró valószín ségi változó eloszlását) a jelenség ismételt meggyelésével megismerjük. A statisztikán belül két fontos feladat a becslések megadása, illetve a hipotézisvizsgálat. Nézzünk most ezekre néhány példát! Becslések megadása : Egy munkáltatót a titkárn által gépelt szövegekben el forduló hibák száma érdekli. Pl. a hibák átlagos száma és a hibaszám szórása. A munkáltató 30 darab, közel azonos hosszúságú, a titkárn által legépelt szövegben megszámolja a hibákat. Ésszer feltenni, hogy a hibák száma Poisson eloszlású, de az eloszlás paramétere (λ) ismeretlen. A meggyelések alapján szeretne következtetni λ-ra, ebb l a várható érték és a szórás már kiszámolható. Másrészt, a várható értéket és a szórást becsülheti a Poisson feltételezés nélkül is. Egy fonalgyárban a fonalszakadásokat vizsgálják. Annak a valószín ségét szeretnék megbecsülni, hogy a fonal egy 8 órás m szak alatt egyszer sem szakad el. Ennek érdekében 20 fonalszál mindegyikér l feljegyzik, hogy mennyi id múlva szakad el. Ésszer feltenni, hogy a fonalak élettartama exponenciális eloszlású (örökifjú tulajdonságú), de λ ismeretlen. Egy kosárlabdázó p találati valószín ségét szeretnénk megbecsülni. Ehhez megkérjük, hogy dobjon a kosárra 10-szer. Egy gyár hétköznapi áramfogyasztását vizsgáljuk. Érdekel a várható értéke és a szórása. Ennek érdekében hétf t l péntekig naponta megmérjük a gyár áramfogyasztását. Ésszer normális eloszlást feltételezni, de m, σ ismeretlen paraméterek. Hipotézisvizsgálat : Egészségügyben: szeretnénk eldönteni, hogy egy gyógyszer vagy kezelés hatékonye egy adott betegség ellen. Iparban: min ségellen rzéskor el kell dönteni, hogy a termékek min sége megfelel e, vagy változtatni kell a termelési folyamaton, gépeken, beállításokon. 2

5 Irodalomtudományban: két szövegr l el szeretnénk dönteni, hogy ugyanaz a szerz írta-e ket. Szociológiában: felmérést kell végezni annak eldöntésére, hogy a pártpreferencia és az iskolázottság között van-e összefüggés. A Valószín ségszámítás 1. tárgyban már deniáltuk a statisztikai mez t és a mintát, de a teljesség érdekében ismételjük ezeket meg! 1.1. Deníció. Az (Ω, A, P) hármast statisztikai mez nek hívjuk, ahol Ω nemüres halmaz (eseménytér), A σ-algebra (események családja), P pedig a szóbajöhet valószín ségi mértékek családja. Azaz P = {P ϑ ϑ Θ}, ahol P ϑ egy lehetséges valószín ségi mérték. A Θ halmazt paramétertérnek nevezzük, ennek valamelyik eleme a jelenséget leíró valódi paraméter, de nem tudjuk, hogy melyik. Legtöbbször Θ egy véges dimenziós euklideszi tér részhalmaza, ekkor azt mondjuk, hogy paraméteres a feladat. Θ lehet ennél jóval nagyobb (például ha P az összes lehetséges valószín ségi mérték), ekkor nemparaméteres a feladat. A ϑ paraméter valódi értékét tehát nem ismerjük, csak azt tudjuk, hogy a Θ halmaz valamelyik eleme. Célunk, hogy a meggyeléseink alapján minél többet megtudjunk a valódi ϑ paraméterr l Deníció. Az X = (X 1,..., X n ) : Ω X R n valószín ségi változót n elem mintának nevezzük. Itt X a mintatér (a minta lehetséges értékeinek halmaza), n pedig a minta nagysága vagy elemszáma. Az X i koordináták a minta elemei. A minta az, amit meggyelünk, és amely egyáltalán információt ad nekünk arról, hogy mi is lehet az ismeretlen paraméter értéke Deníció. X független elem minta, ha X i -k az összes P ϑ szerint függetlenek. X azonos eloszlású minta, ha X i -k az összes P ϑ szerint azonos eloszlásúak. Ha másképp nem mondjuk, akkor fel fogjuk tenni, hogy a minta független és azonos eloszlású, azaz ugyanazt a véletlen jelenséget gyeljük meg n-szer, egymástól függetlenül. A minta eloszlásfüggvényeinek családja {F n;ϑ ϑ Θ}, ahol F n;ϑ (x 1,..., x n ) = P ϑ (X 1 < x 1,..., X n < x n ). 3

6 Ha X n elem, független, azonos eloszlású minta, akkor az eloszlásfüggvény szorzattá bomlik: n F n;ϑ (x 1,..., x n ) = F 1;ϑ (x i ), ahol F 1;ϑ az X i koordináták közös eloszlásfüggvénye (egy elem minta esetén az 1 indexet nem mindig írjuk ki, tehát F 1;ϑ = F ϑ ). Emlékezzünk rá, hogy az eloszlásfüggvény helyett diszkrét esetben a i=1 p n;ϑ (x 1,..., x n ) = P ϑ (X 1 = x 1, X 2 = x 2,..., X n = x n ) valószín ségeket, abszolút folytonos esetben pedig az f n;ϑ (x 1,..., x n ) s r ségfüggvényt is használhatjuk. Független, azonos eloszlású minta esetén ezek is szorzatra bomlanak Példa. Nézzük meg a becsléseknél felsorolt els példánál (titkárn ) a most deniált fogalmakat. El ször is emlékezzünk arra, hogy a valószín ségi változóknál maga a valószín ségi mez nem annyira fontos, elég csak az eloszlással dolgoznunk. Tehát nem mondjuk meg, mi az Ω eseménytér, mik az események, mik a valószín ségi mértékek, csak a minta eloszlásainak családját határozzuk meg. A minta: X = (X 1,..., X 30 ) : Ω N 30, ahol X i az i. szövegben talált hibák száma. A mintatér tehát az X = N 30 halmaz, vagyis a 30 dimenziós, nemnegatív egész koordinátájú vektorok halmaza. X független, azonos eloszlású minta (legalábbis ezt a legegyszer bb feltételezni, bár ha a titkárn egymás után gépeli a leveleket, akkor a fáradás miatt elképzelhet, hogy a kés bbi levelekben több hiba lesz, mint az elején írtakban). A mintaelemek szóbajöhet eloszlásainak családja: X i Poisson(ϑ), ahol ϑ pozitív paraméter, a paramétertér tehát Θ = (0, ) R, azaz egyparaméteres feladatról van szó. A minta szóbajöv együttes eloszlásainak családja részletesen kiírva: p 30;ϑ (x 1, x 2,..., x 30 ) = 30 i=1 p 1;ϑ (x i ) = 30 e ϑ ϑx i i=1 x i! = ϑ xi e 30ϑ xi! Deníció. A mintatéren megadott T : X R k függvényt, illetve magát a T = T (X) valószín ségi változót (k-dimenziós) statisztikának nevezzük. 4

7 Gyakran használt statisztikák a mintaátlag, a tapasztalati medián, a legkisebb mintaelem, a tapasztalati szórás. Finom megkülönböztetés, hogy ha a mintát valószín ségi változónak tekintjük, akkor a T (X) statisztika is valószín ségi változó, ha viszont a minta egy konkrét x realizációjával dolgozunk, akkor T (x) egy k-dimenziós vektor Példa. Néhány gyakran használt statisztika (X mind a hat esetben n elem minta): 1. T (X) = (X (n) 1, X (n) 2,..., X n (n) ) a rendezett minta, ahol X (n) 1 X (n) 2... X n (n). Azaz a minta elemeit nagyság szerint növekv en soroljuk fel. Például az x = (2, 4, 1, 3) minta realizációra T (x) = (1, 2, 3, 4). 2. T (X) = X n (n) X (n) 1 a mintaterjedelem, ez a legnagyobb és a legkisebb mintaelem különbsége. 3. T (X) = X = 1 n 4. T (X) = X (n) n 2 n X i a mintaátlag, vagyis a mintaelemek számtani közepe. i=1 X (n) n X (n) n ha n páratlan ha n páros a tapasztalati medián, vagyis a rendezett minta középs eleme, vagy a két középs átlaga. 5. T (X) = S 2 X = 1 n 6. T (X) = 1 n n (X i X) 2 a tapasztalati szórásnégyzet. i=1 n X i X az átlagos abszolút eltérés. i=1 Korábban deniáltuk a tapasztalati eloszlást, és a hozzá tartozó tapasztalati eloszlásfüggvényt: ˆF n (x) = 1 n n I(X i < x), x R. i=1 Erre igaz Glivenko tétele, azaz ha elég sok meggyelést végzünk, akkor a tapasztalati eloszlásfüggvény tetsz leges pontossággal megközelíti a valódi eloszlásfüggvényt. A következ fogalom, amivel megismerkedünk, az elégséges statisztika. Akkor fogjuk a T (X) statisztikát elégséges statisztikának nevezni, ha pont annyi információt hordoz az ismeretlen paraméterre nézve, mint az eredeti X minta. 5

8 Nézzük a titkárn s példát! Az X = (X 1,..., X 30 ) minta tartalmaz valamennyi információt a feltételezett Poisson eloszlás ismeretlen ϑ paraméterér l. Legyen például a minta realizációja x = (0, 2, 3, 2, 2, 1, 2, 5, 2, 1, 1, 4, 4, 3, 5, 2, 0, 1, 3, 1, 3, 2, 3, 3, 1, 1, 2, 4, 2, 2). Tehát az els levél hibátlan volt, a másodikban két hiba volt, és így tovább. Vegyük most a T (X) = i X i statisztikát, ami tehát azt fejezi ki, hogy összesen hány hiba volt a 30 levélben. A mi realizációnkra T (x) = 67. Vajon a mintaelemek összege elégséges statisztika? Ha tudjuk, hogy összesen 67 hiba volt a 30 levélben, az ugyanannyi információt ad az ismeretlen paraméterr l, mintha egyenként ismernénk, hogy melyik levélben hány hiba volt? Nyilvánvaló, hogy általában az eredeti minta több információt tartalmaz a paraméterr l, mint a bel le kiszámolt statisztika. Az X minta információtartalma abban rejlik, hogy a minta szóbajöhet valószín - ségei, vagyis a p 30;ϑ (x) = P ϑ (X = x) valószín ségek függnek ϑ-tól (bizonyos ϑ-kra nagy a valószín sége, hogy ezt a mintát kapjuk, másokra kisebb). A mi realizációnkra ϑ67 P ϑ (X = x) = e 30ϑ xi!, (1) például p 30;2 (x) = 1, , és p 30;5 (x) = 5, Mindkét valószín ség nagyon kicsi, de ha összehasonlítjuk ket, akkor a ϑ = 2 paraméter mellett mégis sokkal valószín bb, hogy az adott mintát kapjuk, mint a ϑ = 5 paraméter mellett. A T (X) statisztika is hordoz információt, hiszen a P ϑ (T (X) = t) valószín ség is függ ϑ-tól. Mivel most T (X) független Poisson eloszlású valószín ségi változók összege, ezért az is Poisson eloszlású, 30ϑ paraméterrel. Ezért a mi konkrét mintánkra 30ϑ (30ϑ)67 P ϑ (T (X) = 67) = e. (2) 67! Például P 2 (T (X) = 67) = 0,033 és P 5 (T (X) = 67) = 1,

9 Az (1) és (2) kifejezést összehasonlítva látható, hogy csak a 67! x i! (3) konstans (ϑ-tól független) szorzóban térnek el egymástól, ezért mondhatjuk, hogy a T (X) statisztika ugyanannyi információt ad ϑ-ról, mint az X minta. Vegyük észre, hogy a szorzási szabály szerint P ϑ (X = x) = P ϑ (X = x, T (X) = 67) = P ϑ (T (X) = 67) P ϑ (X = x T (X) = 67), vagyis a (3)-beli konstans szorzó éppen a P ϑ (X = x T (X) = 67) feltételes valószín ség. Összefoglalva, a fenti felírás alapján azt vehetjük észre, hogy ha a P ϑ (X = x T (X) = = T (x)) feltételes valószín ség valójában már nem függ az ismeretlen ϑ paramétert l, akkor a minta nem tartalmaz több információt, mint a statisztika. Ezt úgy is elképzelhetjük, hogy gy jtöttünk egy nagy x mintát, de nem volt kapacitásunk tárolni, ezért kiszámoltuk bel le az egyszer bb T (x) = t statisztikát, és csak ezt tartottuk meg, az eredeti mintát eldobtuk. Ha most valaki mégis számon kérné rajtunk az eredeti mintát, akkor a mintának a statisztikára vett feltételes eloszlásból tudunk egy y mintát generálni (mivel ez a feltételes eloszlás ismert, nem függ ϑ-tól). Az így kapott y minta pont olyan eloszlású lesz, mint az eredeti x, tehát nem fogunk lebukni, hogy csaltunk Deníció. Legyen X = (X 1,..., X n ) diszkrét minta az (Ω, A, P) statisztikai mez n. Azt mondjuk, hogy a T (X) statisztika elégséges a ϑ paraméterre, ha minden x, t párra a P ϑ (X = x T (X) = t) feltételes valószín ség nem függ ϑ-tól Példa. Legyen X i Ind(p), ahol 0 < p < 1 ismeretlen paraméter. Belátjuk, hogy i X i elégséges statisztika p-re, azaz elég feljegyezni, hogy összesen hány 1-es van a mintában, ezzel nem veszítünk információt p-r l. A deníció alapján számolunk. Ha n i=1 x i t, akkor nyilván P p (X = x n i=1 X i = t) = 0. Ha viszont n i=1 x i = t, akkor n P p (X = x X i = t) = i=1 n i=1 px i (1 p) 1 x i ( n ) = p x i (1 p) n xi ( pt (1 p) t n t n ) = ( 1 pt (1 p) t n t n t). Azaz a kapott feltételes valószín ség tényleg nem függ p-t l. Ha például egy cinkelt érmén a fejdobás ismeretlen valószín sége p, és erre szeretnénk következtetni, akkor n érmedobásból csak az a lényeg, hogy hány fej volt, az nem számít, hogy a fejek és az írások milyen sorrendben jöttek ki. A fenti számolásból látszik, hogy bármi 7

10 is a p paraméter értéke, adott t számú fej mellett mindegyik ( n t) sorrend egyformán valószín Tétel. (Neyman faktorizációs tétele.) Legyen X diszkrét eloszlású minta. A T (X) statisztika akkor és csak akkor elégséges, ha találhatók olyan h és g ϑ függvények, melyekre P ϑ (X = x) = h(x) g ϑ (T (x)). Bizonyítás. El ször tegyük fel, hogy T (X) elégséges statisztika. Ekkor P ϑ (X = x) = P (X = x T (X) = T (x)) P ϑ (T (X) = T (x)) = h(x) g ϑ (T (x)), felhasználva, hogy az els tényez nem függ ϑ-tól. A másik irányban, tegyük fel, hogy P ϑ (X = x) = h(x) g ϑ (T (x)) alakú, és meg szeretnénk mutatni, hogy T (X) elégséges statisztika. Ha T (x) = t, akkor P ϑ (X = x T (X) = t) = P ϑ(x = x, T (X) = t) P ϑ (T (X) = t) = P ϑ (X = x) P ϑ (X = y) = y:t (y)=t h(x) g ϑ (t) h(y) g ϑ (T (y)) = y:t (y)=t h(x) h(y), y:t (y)=t tehát nem függ ϑ-tól, ha pedig T (x) t, akkor a feltételes valószín ség nulla, tehát szintén nem függ ϑ-tól. A tételnek az a jelent sége, hogy módszert ad arra, hogyan lehet elégséges statisztikát találni Példa. Nézzük megint a Poisson eloszlás esetét, azaz X 1,..., X n Poisson(ϑ), keressünk elégséges statisztikát ϑ-ra! p n;ϑ (x) = e nϑ ϑ x i xi! = 1 xi! e nϑ ϑ x i = h(x) g ϑ ( xi ), ahol g ϑ (s) = e nϑ ϑ s, azaz a mintaelemek összege elégséges statisztika. Abszolút folytonos mintára az el z deníció nem m ködik, mivel sok T statisztikára a {T (X) = t} esemény minden t-re 0 valószín ség, így a feltételes valószín ség nem értelmes. Neyman faktorizációs tétele viszont egy olyan állítást fogalmaz meg, ami abszolút folytonos esetben is értelmes, ha a valószín ség helyett s r ségfüggvényt írunk. 8

11 1.6. Deníció. Legyen X abszolút folytonos eloszlású minta, s r ségfüggvényeinek családja legyen f n;ϑ (x). A T (X) statisztika elégséges a ϑ paraméterre, ha létezik a s r ségfüggvénynek f n;ϑ (x) = h(x) g ϑ (T (x)) alakú faktorizációja Példa. Legyen X i E(0, b), ahol az intervallum jobboldali b végpontja ismeretlen paraméter. Próbáljunk faktorizálni! f n;b (x) = n f 1;b (x i ) = i=1 n 1 b I(0 x i b) = I(x (n) 1 0) 1 }{{} b n I(x(n) n b), }{{} h(x) g b (x (n) n ) i=1 tehát T (X) = X n (n), azaz a legnagyobb mintaelem, elégséges statisztika. Ha T elégséges, akkor annak egy kölcsönösen egyértelm S függvénye is nyilván az, s t minden olyan S statisztika elégséges, amelyb l T kiszámolható. A gyakorlatban minél egyszer bb, úgynevezett minimális elégséges statisztikát keresünk. Ennek a fogalomnak adható precíz matematikai deníciója, de ezzel most nem foglalkozunk Példa. Keressünk minél egyszer bb elégséges statisztikát a normális eloszlás paramétereire! Tehát legyen a mintaelemek eloszlása X i N(m, σ 2 ), ahol (m, σ 2 ) ismeretlen kétdimenziós paramétervektor. A minta s r ségfüggvényeinek családja: f n;m,σ 2(x) = n 1 (x 2πσ 2 e i m) i=1 = 2 2σ 2 = ( ) n 1 e 1 2σ 2 (xi m) 2 = 2πσ 2 ( ) n 1 e 1 2σ 2 ( x 2 i 2m x i +nm 2) = 1 g m,σ 2( x i, x 2 2πσ 2 i ), ahol g m,σ 2(u, v) = ( ) n 1 e 1 2σ 2 (v 2mu+nm2). 2πσ 2 Tehát a h(x) = 1 választással látszik, hogy T (X) = ( X i, X 2 i ) kétdimenziós elégséges statisztika. Ugyanígy elégséges lenne S(X) = (X, SX 2 ), hiszen T és S kölcsönösen egyértelm függvényei egymásnak. 2. Becslések és jóságuk Vizsgáljuk meg, hogy egy meggyelt mintából hogyan lehet a paraméter ψ(ϑ) függvényét becsülni (gyakran magát a paramétert kell becsülni, de nem mindig)! 9

12 Nem remélhetjük, hogy a pontos értéket eltaláljuk, de azt igen, hogy jól meg tudjuk közelíteni. A ψ(ϑ) mennyiség becslése alatt valamely T (X) statisztikát értünk. Azért vezetünk be egy új elnevezést a T (X) statisztikára, mert most úgy gondolunk rá, mint a ψ(ϑ) mennyiséget jól közelít becslésre. A Valószín ségszámítás 1. tárgyban már megfogalmaztuk, mit jelent a torzítatlanság, pontosság és konzisztencia. Azt is láttuk, hogy a mintaátlag torzítatlan becslés a várható értékre, a korrigált tapasztalati szórásnégyzet pedig a szórásnégyzetre. A tapasztalati szórásnégyzet nem torzítatlan, de aszimptotikusan torzítatlan becslés a szórásnégyzetre. Ez azt jelenti, hogy ha a minta elemszáma nagy, akkor a becslés torzítása már kicsi. A következ példából kiderül, hogy torzítatlan becslés nem is mindig létezik Példa. Indikátor eloszlású mintánál (p (0, 1)) keressünk torzítatlan becslést ψ(p) = 1-re! Belátható, hogy 1 nem torzítatlan, s t, 1/p-t nem lehet torzítatlanul p X becsülni. Belátjuk ugyanis, hogy ψ(p)-t akkor és csak akkor lehet n elem indikátormintából torzítatlanul becsülni, ha ψ(p) p-nek legfeljebb n-edfokú polinomja. Legyen ugyanis T tetsz leges becslés. Ha T torzítatlan ψ(p)-re, akkor ψ(p) = E p (T (X 1,..., X n )) = T (x 1,..., x n ) p xi (1 p) n x i 0 < p < 1, x {0,1} n márpedig a jobboldalon álló kifejezés legfeljebb n-edfokú polinomja p-nek. Másrészt a T k = I(X 1 = 1,..., X k = 1) statisztika torzítatlan becslés a p k függvényre, ha 1 k n. Ha tehát ψ(p) = c 0 + m k=1 c kp k (m n) a p-nek legfeljebb n-edfokú polinomja, akkor erre torzítatlan becslés: T = c 0 + m c k T k. k=1 Vizsgáljuk most meg közelebbr l a becslések pontosságát! 2.1. Deníció. Legyenek T 1, T 2 torzítatlanok ψ(ϑ)-ra. Ekkor azt mondjuk, hogy T 1 hatásosabb T 2 -nél, ha D 2 ϑ (T 1) D 2 ϑ (T 2) minden ϑ Θ-ra. A T (torzítatlan) becslés hatásos, ha minden torzítatlan becslésnél hatásosabb. Fontos, hogy két becslés nem biztos, hogy összehasonlítható hatásosság szempontjából, hiszen lehet, hogy bizonyos ϑ-kra D 2 ϑ (T 1) < D 2 ϑ (T 2), másokra viszont D 2 ϑ (T 1) > D 2 ϑ (T 2). Nem torzítatlan becslések esetén az E ϑ [(T ψ(ϑ)) 2 ] átlagos négyzetes veszteséget akarhatjuk minimalizálni. 10

13 2.1. Tétel. Ha van hatásos becslés, akkor az egyértelm. Másképp, ha T 1 és T 2 is hatásos, akkor P ϑ (T 1 = T 2 ) = 1 minden ϑ Θ esetén. Bizonyítás. A torzítatlanság miatt E ϑ (T 1 ) = E ϑ (T 2 ) = ψ(ϑ), és mivel mindkét becslés hatásos, Dϑ 2(T 1) = Dϑ 2(T 2) minden ϑ-ra. Legyen most T = T 1 + T 2. 2 Egyrészt T is torzítatlan, hiszen E ϑ (T ) = ψ(ϑ), másrészt T 1 hatásossága miatt D 2 ϑ(t 1 ) D 2 ϑ(t ) = 1 4 ( D 2 ϑ (T 1 ) + D 2 ϑ(t 2 ) + 2cov ϑ (T 1, T 2 ) ) = 1 2 D2 ϑ(t 1 ) cov ϑ(t 1, T 2 ), azaz D 2 ϑ (T 1) cov ϑ (T 1, T 2 ). Átosztva kapjuk, hogy 1 cov ϑ(t 1, T 2 ) D ϑ (T 1 )D ϑ (T 2 ) = R ϑ(t 1, T 2 ). A korrelációs együttható nem lehet 1-nél nagyobb, és 1 is csak úgy lehet, ha a két változó egymásnak pozitív meredekség lineáris függvénye, azaz T 2 = at 1 + b, ahol a > 0. Ebb l D 2 ϑ(t 2 ) = D 2 ϑ(at 1 + b) = a 2 D 2 ϑ(t 1 ), de mivel T 1 és T 2 szórásnégyzete megegyezik, ezért a = 1 lehet csak. Másrészt, most már felhasználva, hogy a = 1, E ϑ (T 2 ) = E ϑ (T 1 + b) = E ϑ (T 1 ) + b. Mivel T 1 és T 2 várható értéke megegyezik, ezért b = 0 lehet csak. Azaz megkaptuk, hogy T 1 = T 2. Most megmutatjuk, hogy a várható érték lineáris becslései közül a mintaátlag a leghatásosabb, tehát minden mintaelemet azonos súllyal érdemes gyelembe venni. Ez az eredmény persze nem túl meglep Tétel. Legyen X 1,..., X n független, azonos eloszlású minta. Legyen ψ(ϑ) = = E ϑ (X i ), továbbá tegyük fel, hogy Dϑ 2(X i) < minden ϑ-ra. Ekkor ψ(ϑ) torzítatlan lineáris becslései közül X a leghatásosabb. 11

14 Bizonyítás. Vegyünk egy T = n i=1 c ix i lineáris becslést. Ez akkor és csak akkor torzítatlan, ha n i=1 c i = 1. Számítsuk ki a szórásnégyzetét! D 2 ϑ(t ) = ( n n Dϑ(c 2 i X i ) = A számtani és négyzetes közép közötti egyenl tlenségb l i=1 i=1 c 2 i ) D 2 ϑ(x i ). c 2 i n ci n = 1 n n, azaz c 2 i 1 n, i=1 és egyenl ség csak akkor teljesül, ha a súlyok egyenl ek, azaz c i = 1/n, vagyis amikor T éppen a mintaátlag Példa. Legyen X i E(0, b), adjunk torzítatlan becsléseket b-re! Mivel a mintaátlag torzítatlan a várható értékre, ami most b/2, ezért T 1 = 2 X torzítatlan becslés b-re. Másrészt láttuk, hogy a legnagyobb mintaelem elégséges statisztika b-re, tehát minden információt tartalmaz a b-re nézve. Próbáljunk ezért a legnagyobb mintaelem függvényében torzítatlan becslést keresni! Ehhez meg kellene határoznunk a legnagyobb mintaelem eloszlását. Nyilvánvaló, hogy a (0, b)-n egyenletes eloszlást megkaphatjuk úgy, hogy a (0,1)-en egyenletes eloszlást megszorozzuk b-vel (ellen rizze az olvasó!), tehát X i = b Y i, ahol Y i E(0,1). Ekkor X n (n) = b Y n (n), tehát elég az E(0,1) eloszlással foglalkozni. Y n (n) eloszlásfüggvénye: F (n) (t) = P (Y (n) n < t) = P (Y 1 < t, Y 2 < t,..., Y n < t) = t n, 0 < t < 1, amib l Y (n) n s r ségfüggvénye deriválással f (n) (t) = nt n 1, tehát E(Y (n) n ) = 1 0 t nt n 1 dt = n 1 n + 1 = n n

15 Ezért E b (X n (n) ) = be(y n (n) ) = n n + 1 b. Tehát a legnagyobb mintaelem nem torzítatlan b-re, viszont könnyen azzá tehet a következ képp: T 2 = n + 1 n X(n) n. A T 1 és T 2 becslések közül vajon melyik hatásosabb? Ehhez ki kell számítanunk a szórásnégyzeteket. Egyrészt D 2 b(t 1 ) = 4 D2 b (X i) n = 4 n b2 12 = b2 3n. Másrészt, ismét el ször az Y (n) n változóval számolva, D 2 (Y (n) n ) = 1 Továbbá D 2 b (X(n) n 0 ( ) 2 n t 2 nt n 1 dt = n ( ) 2 n n + 1 n + 2 = n + 1 = n(n + 1)2 n 2 (n + 2) = (n + 1) 2 (n + 2) ) = b 2 D 2 (Y (n) ), amib l n ( n + 1 Db(T 2 2 ) = n ) 2 D 2 b(x (n) n ) = b 2 n(n + 2). n (n + 1) 2 (n + 2). Összehasonlítva a két szórásnégyzetet, mivel n minden n-re, ezért T 2 hatásosabb T 1 -nél (minden n-re). A T 1 és T 2 becslések hisztogramját mutatja be az 1. ábra, méghozzá 5000-szer számoltuk ki a becsléseket n = 20 elem mintákból. Látszik, hogy a T 2 becslés valóban jobban koncentrálódik a valódi b = 5 paraméterérték körül. Továbbá T 1 eloszlása közelít leg normális, T 2 -é azonban nem. Végül a konzisztenciával kapcsolatban emlékeztetünk rá, hogy ha T n aszimptotikusan torzítatlan becsléssorozat ψ(ϑ)-ra és Dϑ 2(T n) nullához tart, ha n, akkor T n konzisztens. Így például az el z példában T 1 és T 2 is konzisztens, s t T 3 = X n (n) is az Maximum likelihood becslés Korábban megnéztük, hogy milyen általános becslési módszerek léteznek. Megismerkedtünk a tapasztalati becslésekkel, a momentum módszerrel, és a maximum like- 13

16 1. ábra. A T 1 és T 2 becslések hisztogramjai n = 20 elem mintákból, a paraméter értéke b = 5, az ismétlések száma (lásd 2.2. Példa) lihood módszerrel. Ez utóbbit, fontossága miatt, ismétlésként tekintsük újra át, illetve ismerkedjünk meg vele közelebbr l! 2.2. Deníció. Legyen az X = (X 1,..., X n ) minta eloszlásfüggvényeinek családja F n;ϑ. Ekkor az L n (ϑ) = L n (ϑ; x) likelihood függvényt a következ képpen deniáljuk: abszolút folytonos minta esetén L n (ϑ; x) = f n;ϑ (x), diszkrét minta esetén L n (ϑ; x) = = p n;ϑ (x) Deníció. Legyen x = (x 1,..., x n ) egy független, azonos eloszlású minta realizációja, Θ a paramétertér. Ekkor a ϑ paraméter maximum likelihood (ML) becslése ˆϑ, ha L n ( ˆϑ) = max{l n (ϑ) : ϑ Θ}, azaz a likelihood függvény maximumhelye. Tehát az a paraméter lesz a becslésünk, amely mellett a mintánk valószín sége (illetve s r ségfüggvénye) a lehet legnagyobb. A paraméter egy ψ(ϑ) függvényének ML becslése ψ( ˆϑ). 14

17 Elképzelhet, hogy a keresett maximumhely nem létezik, vagy ha létezik, nem egyértelm. Ha L n (ϑ) dierenciálható, akkor a maximumhelyet az (ln L n ) (ϑ) = 0 likelihood egyenlet megoldásaként szokás keresni Tétel. Ha létezik ML becslés, akkor az megadható a T elégséges statisztika függvényeként. Bizonyítás. A faktorizációs tétel alapján L n (ϑ) = h(x) g ϑ (T (x)), ahol a h(x) tényez nem játszik szerepet a ϑ szerinti maximumhely keresésében. Azaz a maximumhelyek halmaza csak T (x)-t l függ. A ML becslés általában nem torzítatlan. Azonban a következ tétel szerint bizonyos er s feltételek mellett a ML becslésnek jó aszimptotikus tulajdonságai vannak (ez azt jelenti, hogy nagy mintaelemszám esetén jó tulajdonságai vannak). Ez az egyik oka annak, hogy ez a módszer a legelterjedtebb a gyakorlatban Tétel. Tegyük fel, hogy a paramétertér egydimenziós. Bizonyos feltételek mellett elég nagy n-re a ˆϑ n ML becslés létezik, konzisztens, aszimptotikusan torzítatlan, továbbá aszimptotikusan normális eloszlású: n ( ˆϑn ϑ) N(0, σ 2 (ϑ)) eloszlásban (n ), ahol a σ 2 (ϑ) aszimptotikus szórásnégyzet a lehet legkisebb. Másképpen fogalmazva ez azt jelenti, hogy nagy n esetén ˆϑ n eloszlása jól közelíthet az N(ϑ, σ2 (ϑ) ) normális eloszlással. n Nézzünk most két példát, ahol a paramétertér kétdimenziós! 2.3. Példa. (Egyenletes eloszlás) Legyen X i E(a, b), ahol a < b ismeretlen paraméterek. Adjuk meg a paraméterek ML becslését! L n (a, b; x) = ( ) n 1 I(a x i b i), b a azaz a legkisebb olyan [a, b] intervallumot keressük, amely mindegyik meggyelést tartalmazza. Ennek megoldása â = x (n) 1, ˆb = x (n) n. 15

18 2.4. Példa. (Normális eloszlás) Legyen X i N(m, σ 2 ), adjuk meg a paraméterek ML becslését! L n (m, σ; x) = n 1 e (x i m) 2πσ i=1 2 2σ 2 = ( 1 2π ) n 1 σ (xi m) 2 n e 2σ 2, ez a paraméterek dierenciálható függvénye. Vegyük mindkét oldal logaritmusát: ( ) n 1 (xi m) 2 ln L n (m, σ; x) = ln n ln σ. 2π 2σ 2 A likelihood egyenlet most két egyenletb l áll, ugyanis mindkét parciális deriváltnak nullának kell lenni: és m ln L n(m, σ; x) = (xi m) σ 2 = 0 σ ln L n(m, σ; x) = n σ 2 (xi m) 2 = 0. 2σ 3 A két egyenlet megoldása ˆm = x és ˆσ 2 maximumhelyet határoznak meg. = S 2 x, és ellen rizhet, hogy ezek valóban 2.2. Bayes becslések Az eddigiekben nem vettük gyelembe a becslés el tt esetlegesen már meglév információkat a paraméter hozzávet leges értékér l (ezt a priori információnak nevezzük, azaz a kísérlet elvégzése el tt már meglév, el zetes ismeretnek tekintjük). Ha például egy cinkelt érmével 10 dobásból csupa fej jött ki, akkor a fejdobás ismeretlen p valószín ségének ML becslése ˆp = 1 (miért?), ami nem t nik reálisnak. Hogyan tudnánk a becslésbe belekalkulálni azt az el zetes feltevést, hogy a fejdobás valószín sége azért 1/2 körül van nagy eséllyel? Erre ad módszert a Bayes-i hozzáállás. Feltesszük, hogy a paraméter maga is egy valószín ségi változó, azaz van egy a priori eloszlása. A paraméter adott értéke mellett tudjuk a minta eloszlását. Ez a kett már meghatározza a paraméter és a minta együttes eloszlását. Az együttes eloszlásból pedig megkaphatjuk a paraméter a posteriori eloszlását, vagyis az a priori eloszlásnak a meggyelt minta által módosított változatát. Az a posteriori ismeret tehát az, amit a kísérlet elvégzése után, a minta gyelembevételével tudunk. 16

19 2.5. Példa. Valaki el vett néhány szabályos érmét, de nem tudjuk, hányat. Tegyük fel, hogy az érmék ismeretlen ϑ számának a priori eloszlása egyenletes az {1, 2, 3, 4, 5, 6} halmazon. Másszóval tudjuk, hogy 1, 2, 3, 4, 5 vagy 6 érmét dobott fel, és ezt a hat lehet séget egyformán valószín nek tartjuk. Ezután Valaki feldobta az érméket, és 3 érmén lett fej az eredmény. Mi lesz az érmék számának a posteriori eloszlása? Jelölje a ϑ paraméter egy lehetséges értékét t. Az a priori valószín ségek: q(t) = P (ϑ = t) = 1, t = 1, 2, 3, 4, 5, 6. 6 A meggyelésünk x = 3, ennek valószín sége a t paraméterérték mellett: ( ) ( ) t t 1 f t (x) = f t (3) = P t (X = 3) = P (X = 3 ϑ = t) =. 3 2 A Bayes tétel segítségével kapjuk meg az a posteriori eloszlást: q (t x) = q (t 3) = P (ϑ = t X = 3) = P (X = 3 ϑ = t)p (ϑ = t) 6 s=1 P (X = 3 ϑ = s)p (ϑ = s). Ezeket az értékeket kiszámolva, a következ a posteriori valószín ségeket kapjuk: t q (t 3) A következ kérdés, hogy mi legyen a ϑ paraméter becslése? Az t nik jó választásnak, ha az a posteriori eloszlás valamilyen középértékét vesszük, pl. a várható értékét vagy a mediánját. A leggyakrabban a várható értéket szokás venni, vagyis a ˆϑ = T (x) = E(ϑ X = x) érték lesz a ϑ paraméter Bayes becslése. Általánosabban, ha a paraméter egy ψ(ϑ) függvényét szeretnénk becsülni, ennek Bayes becslése ˆψ(ϑ) = T (x) = E(ψ(ϑ) X = x). Visszatérve a 2.5. Példára, a feldobott érmék számának Bayes becslése ˆϑ = T (3) = E(ϑ X = 3) = t t q (t 3) = = 4,81. 17

20 A Bayes becslés egyik hátrányára is rávilágít a példa: nyilván lehetetlen, hogy 4,81 érmét dobtak fel, tehát olyan becslést kaptunk, ami nincs is benne a paramétertérben. Ez pl. a maximum likelihood becslésnél nem fordulhat el (a ML becslés ebben a példában nem egyértelm, ˆϑ = 5 és ˆϑ = 6 egyaránt maximumhelye a likelihood függvénynek). Ha az a posteriori eloszlás mediánját választjuk becslésnek, akkor a ˆϑ = 5 becslést kapjuk. A fenti példában a paraméter és a minta is diszkrét érték. A gyakorlatban el forduló példákban természetesen lehetséges, hogy a minta és/vagy a paraméter folytonos skálán mozog. Mi a feltételes valószín ségeket csak pozitív valószín ség feltétel esetén deniáltuk, de ez a deníció kiterjeszthet az általános esetre is. Ha például a paraméter folytonos, a minta pedig diszkrét eloszlású, akkor legyen q(t) a paraméter a priori s r ségfüggvénye, f t (x) a minta eloszlása a t paraméterérték mellett, ekkor az a posteriori s r ségfüggvény: q (t x) = f t (x)q(t) Θ f s(x)q(s)ds = K(x)f t(x)q(t), (4) ahol K(x) egy t-t nem tartalmazó konstans, és a Bayes becslés ennek várható értéke: ˆϑ = Θ tq (t x) dt = K(x) tf t (x)q(t) dt. Θ A nevezetes diszkrét eloszlások esetén az ismeretlen paraméter vagy (0, 1)-beli (a binomiális, geometriai, negatív binomiális eloszlás p varamétere) vagy pozitív (a Poisson eloszlás λ paramétere). Szedjük össze, hogy milyen abszolút folytonos eloszlásokat ismerünk ezeken a tartományokon! A (0, 1) intervallumon az egyenletes eloszlást ismerjük. Ennek általánosítása a béta eloszlások családja, melyet a következ képp deniálunk. Legyenek a és b pozitív paraméterek. Az (a, b) paraméter béta eloszlás (jelölése Béta(a, b)) s r ségfüggvénye f(x) = 1 B(a, b) xa 1 (1 x) b 1, 0 < x < 1, egyébként pedig 0. Itt a B(a, b) = 1 0 xa 1 (1 x) b 1 dx normáló konstansra azért van szükség, hogy az f(x) függvény integrálja 1 legyen, vagyis valóban s r ségfüggvényt kapjunk. Az a = b = 1 választással visszakapjuk az egyenletes eloszlást. A 2. ábrán látható néhány béta eloszlás s r ségfüggvénye. Legyenek X 1, X 2,..., X n független, E(0, 1) eloszlású valószín ségi változók, és X (n) k a rendezett minta k-adik tagja. A 2.2. Példában láttuk, hogy a legnagyobb mintaelem 18

21 2. ábra. Különböz (a, b) paraméter béta eloszlások s r ségfüggvénye. Fent : fekete : (2, 2), zöld : (4,2). piros : (3, 2), Lent : fekete : (0.6, 3), piros : (0.3, 0.4), zöld : (1.5, 0.5). nxn 1, ami éppen a Béta(n, 1) eloszlás. Általánosabban is megmu(n) tatható, hogy Xk épp Béta(k, n + 1 k ) eloszlású. s r ségfüggvénye Ennek vázlatos levezetése a következ : jelölje a k-adik rendezett mintaelem eloszlásfüggvényét F(k) (x). Ekkor pici h-ra F(k) (x + h) F(k) (x) = P (x < (n) Xk n 1 k 1 < x + h) nh x (1 x h)n k, k 1 ahol elhanyagoltuk annak a valószín ségét, hogy az (x, x + h) intervallumba legalább két mintaelem esik (ennek a valószín ségnek a nagyságrendje h2 ). A s r ségfüggvény az eloszlásfüggvény deriváltja, tehát f(k) (x) = lim h 0 F(k) (x + h) F(k) (x) n 1 k 1 =n x (1 x)n k. h k 1 Ebb l megkaptuk azt is, hogy pozitív egész a, b esetén a béta eloszlás normáló konstansa B(a, b) = (a 1)! (b 1)!. (a + b 1)! 19

22 Számítsuk ki a béta eloszlás várható értékét (pozitív egész paraméterek esetén)! Legyen X Béta(a, b). E(X) = 1 0 x 1 B(a, b) xa 1 (1 x) b 1 dx = B(a + 1, b) B(a, b) = a a + b. Hasonlóan számítható ki, hogy szórásnégyzete D 2 (X) = ab (a + b) 2 (a + b + 1) Példa. Térjünk vissza a szakasz elején tárgyalt példára. Egy érmével tízszer dobunk, és szeretnénk az eredmény alapján megbecsülni a fejdobás ismeretlen ϑ valószín ségét. Azt kaptuk, hogy a fejdobások száma x = 10, vagyis csupa fejet dobtunk. Legyen az a priori eloszlás Béta(2, 2), ez szimmetrikus 0,5-re, várható értéke 0,5, szórása 0,22. Ekkor az a posteriori s r ségfüggvény a (4) képlet szerint q (t 10) = K(10)f t (10)q(t) = K(10) t 10 6t(1 t) = C t 11 (1 t) 1, ahol C konstans. Felismerjük, hogy ez a Béta(12, 2) eloszlás s r ségfüggvénye, azaz a Bayes becslés ˆϑ = = 0,86. Nézzük most meg, milyen eloszlást ismerünk a pozitív félegyenesen? Eddig az exponenciális eloszlást tanultuk, ebb l például konvolúcióval lehet új eloszlásokat csinálni. El ször számítsuk ki két független, azonos λ paraméter exponenciális eloszlású valószín ségi változó összegének eloszlását. A s r ségfüggvényekre vonatkozó konvolúciós képlet szerint az összeg s r ségfüggvénye h(z) = f(x)g(z x) dx = z 0 λe λx λe λ(z x) dx = λ 2 ze λz. Ezt ismételve megkapható (a számolást most nem részletezzük), hogy n darab független, λ paraméter exponenciális eloszlású valószín ségi változó összegének s r ségfüggvénye: f(x) = 1 (n 1)! λn x n 1 e λx x > 0. Ezt nevezzük n-edrend, λ paraméter gamma eloszlásnak, jelölésben X Gamma(n, λ). A 3. ábrán látható néhány gamma eloszlás s r ségfüggvénye. Mivel független valószí- 20

23 3. ábra. Különböz n-edrend, λ = 1 paraméter gamma eloszlások s r ségfüggvénye. Fekete: n = 2, piros: n = 4, zöld: n = 8, kék: n = 16. n ségi változókra a várható érték és a szórásnégyzet is összeadódik, ezért E(X) = n λ és D 2 (X) = n λ 2. Általánosabban is deniálható a gamma eloszlás, mégpedig úgy, hogy a rendje tetsz leges pozitív szám. A Gamma(a, λ) eloszlás s r ségfüggvénye: f(x) = 1 Γ(a) λa x a 1 e λx x > 0, ahol Γ(a) olyan normáló konstans, hogy az f(x) függvény integrálja 1 legyen (megmutatható, hogy a normáló konstans értéke nem függ λ-tól). A várható érték és szórásnégyzet képlete érvényben marad, csak n helyébe a-t kell írni. A denícióból nyilvánvaló, hogy egész n, m esetén a Gamma(n, λ) és a Gamma(m, λ) eloszlás konvolúciója a Gamma(n + m, λ) eloszlás. Általában is érvényes, hogy azonos paraméter gamma eloszlások konvolúciója (ugyanolyan paraméter ) gamma, a rendek összeadódnak Példa. Legyen az X minta Poisson eloszlású, és legyen a λ paraméter a priori eloszlása Gamma(a, µ). Ekkor az a posteriori s r ségfüggvény a (4) képlet szerint q (t x) = K(x)f t (x)q(t) = K(x)e nt t x i xi! 1 Γ(a) µa t a 1 e µt = C t a+ xi 1 e (µ+n)t, 21

24 ahol a C tényez ben nincs t. Felismerjük, hogy ez éppen az a + i x i rend és µ + n paraméter Gamma eloszlás s r ségfüggvénye, vagyis a λ Bayes becslése ˆλ = a + i x i µ + n. Látható, hogy a Bayes becslés az a priori információ és a minta kombinációja: az a priori várható érték a/µ, a minta tapasztalati várható értéke i x i/n, a Bayes becslés pedig valahol a kett között van. Kis mintaelemszám esetén az a priori információnak nagyobb jelent sége van, ha viszont a minta elemszáma nagy, akkor az a priori eloszlás már kevéssé van hatással a Bayes becslésre Kondenciaintervallumok Eddig úgynevezett pontbecslésekkel foglalkoztunk, azaz a paramétert (vagy annak függvényét) egyetlen értékkel becsültük meg. A pontbecslés bizonytalanságát a becslés szórásával fejezhetjük ki. Ha például a becslésr l belátható, hogy aszimptotikusan normális eloszlású, akkor az igazi paraméter kb. 95% valószín séggel a pontbecslés körüli 2 szórás sugarú intervallumban van. A becslésben rejl bizonytalanságot kifejezhetjük úgy is, hogy a paramétert nem egy értékkel, hanem egy intervallummal becsüljük Deníció. Legyen X = (X 1,..., X n ) minta F ϑ eloszlásból, ahol ϑ valós paraméter. Azt mondjuk, hogy a (T 1 (X), T 2 (X)) intervallum legalább 1 α megbízhatósági szint kondenciaintervallum ϑ-ra (röviden KI(1 α), ha P ϑ (T 1 (X) < ϑ < T 2 (X)) 1 α ϑ. Nyilvánvaló, hogy ha (T 1, T 2 ) KI(1 α) ϑ-ra, akkor ψ(ϑ)-ra a következ (S 1, S 2 ) kon- denciaintervallum legalább ugyanilyen megbízhatóságú lesz: S 1 = inf { ψ(ϑ) ϑ (T 1, T 2 ) } S 2 = sup { ψ(ϑ) ϑ (T 1, T 2 ) } Példa. Legyen X az E(0, ϑ) eloszlásból származó n elem minta. Adjunk KI-t ϑ- ra! Láttuk, hogy a legnagyobb mintaelem elégséges statisztika, tehát ésszer nek t nik ennek függvényében keresni a KI-t. Mivel X n (n) biztosan kisebb ϑ-nál, ezt választhatjuk 22

25 a KI bal végpontjának, a jobb végpontot pedig keressük c n X n (n) alakban! 1 α = P ϑ (X (n) n < ϑ < c n X n (n) ) = P ϑ (X n (n) > ϑ ) = 1 P ϑ (X n (n) < ϑ ) = c n c ( n ) n ϑ/cn 1 = 1 1 ϑ Ennek megoldása c n = 1/α 1/n. Például n = 10 elem minta esetén az (X (10) 10, 1,35X (10) 10 ) intervallum 95% eséllyel tartalmazza a ϑ paramétert. Az egyik legfontosabb (és legszebb) eset a normális eloszlás várható értékére vonatkozó KI konstruálása, ismert vagy ismeretlen szórás mellett. Nézzük meg ezeket, de el bb érdemes bevezetnünk egy új elnevezést, amely a medián, kvartilis, decilis fogalmának általánosítása Deníció. Legyen F egy tetsz leges eloszlásfüggvény, és legyen 0 < γ < 1. Az eloszlás γ-kvantilise x γ, ha F (x γ ) γ és F (x γ + 0) γ. (Emlékeztet : F (x + 0) a függvény jobboldali határértéke az x pontban.) Belátható, hogy a γ-kvantilis mindig létezik, de nem feltétlenül egyértelm Példa. Legyen X i N(m, σ 2 ), ahol σ ismert, m ismeretlen. Adjunk m-re (1 α) megbízhatóságú KI-t! Kiindulásként vegyük észre, hogy X N(m, σ2 ), azaz n X m n σ ( ) X m P n σ < u α = 1 α, 2. c n n N(0,1). Ezért ahol u α a standard normális eloszlás (1 α)-kvantilise. A zárójelben álló kifejezést átrendezve megkaphatjuk a KI alsó és fels határát: n σ X m < u α 2 Azaz kaptuk, hogy X m < σ u α 2 n T 1 = X σ u α 2 n, X σ u α 2 n T 2 = X + σ u α 2 n. < m < X + σ u α 2 n. 23

26 A KI hossza három dologtól függ: 1) a kívánt megbízhatóság (nagyobb megbízhatósághoz hosszabb KI kell), 2) az ismert szórás (ha a mintaelemek szórása nagyobb, a KI is hosszabb lesz), 3) a minta elemszáma (nagyobb minta esetén rövidebb a KI). Ha a σ szórás nem ismert, akkor nehezebb dolgunk van. A megoldáshoz ismételjük át a khi-négyzet eloszlás és a t eloszlás denícióját! n 2.6. Deníció. Legyenek X i N(0,1) függetlenek, és Y = Xi 2. Az Y valószín ségi változó eloszlását n szabadságfokú khi-négyzet eloszlásnak nevezzük, jelölés: Y χ 2 n. Továbbá Y eloszlását n szabadságfokú khi eloszlásnak nevezzük, jelölés: Y χ n. Legyen X N(0,1), Y χ n függetlenek. Legyen Z = n X. Ekkor a Z valószín ségi változó eloszlását n szabadságfokú t eloszlásnak, vagy n szabadságfokú Student Y eloszlásnak nevezzük, jelölés: Z t n. Számítsuk ki az 1 szabadságfokú khi-négyzet eloszlás s r ségfüggvényét! Ehhez el ször az eloszlásfüggvényt számoljuk ki, legyen tehát Y = X 2, ahol X standard normális. Legyen x > 0. i=1 F (x) = P (Y < x) = P ( X < x) = P ( x < X < x) = Deriválással kapjuk a s r ségfüggvényt: Φ( x) Φ( x) = 2Φ( x) 1. f(x) = F (x) = 2ϕ( 1 x) 2 x = 1 e x/2 = 1 x 1 2 e 1 2 x, 2πx 2π ami éppen a Gamma( 1, 1 ) eloszlás s r ségfüggvénye. Ebb l konvolúcióval következik, 2 2 hogy a χ 2 n eloszlás megegyezik a Gamma( n, 1) eloszlással. 2 2 A t n eloszlás s r ségfüggvénye is kiszámítható, de pontos alakjára nem lesz szükségünk. Könnyen látszik, hogy a s r ségfüggvény szimmetrikus, azaz E(Z) = 0 (n > 1). Megmutatható, hogy D 2 (Z) = n (n > 2). A t n 2 n eloszlás n esetén a standard normálishoz tart, de vastagabb a farka (s r ségfüggvénye nagy x-re kb. c n x (n+1) ). Néhány t eloszlás s r ségfüggvényét mutatja be a 4. ábra. A következ fontos és érdekes tételt nem bizonyítjuk Tétel. (Fisher-Bartlett) Legyen X i N(m, σ 2 ) független minta (i = 1,..., n). Ekkor X és Sn (n 1)S 2 n függetlenek, és = ns2 n χ 2 σ 2 σ n

27 4. ábra. Néhány t eloszlás s r ségfüggvénye. Fekete : standard normális, piros : zöld : Megjegyezzük, hogy ha a tételbeli t2, kék : Xi változókat standardizáljuk, akkor áttérhetünk Yi = (Xi m)/σ N (0,1) független változót felírhatjuk az Yi -k segítségével : az t5, t1, lila : t10. valószín ségi változókra. A tételben szerepl n n (n 1)Sn 2 X (Xi X)2 X = = (Yi Y )2. 2 σ2 σ i=1 i=1 Tehát független standard normálisak négyzetösszegét vesszük, csak éppen el bb minden tagból kivontuk az átlagot. Mivel az (Yi Y ) valószín ségi változók nem függetlenek (összegük nulla), eggyel csökken a szabadsági fok. Érdekesség, hogy a mintaátlag és a tapasztalati szórásnégyzet függetlensége karakterizálja a normális eloszlást Példa. KI(1 α)-t! Legyen Xi N (m, σ 2 ), és most m, σ ismeretlenek. Adjunk A Fisher-Bartlett tétel szerint X m n X m σ n = tn 1, n 1 Sn n 1 Sn σ 25 m-re

28 mivel az utolsó törtben a számláló standard normális eloszlású, a nevez (n 1) szabadságfokú khi-négyzet eloszlású, és függetlenek. Azaz ( ) X m P n < t n 1(α/2) = 1 α, S n ahol a t n 1 (α/2) kritikus érték a t n 1 eloszlás (1 α/2)-kvantilise. Ebb l a KI T 1 = X S n t n 1 ( α 2 ) n T 2 = X + S n t n 1 ( α 2 ) n. A centrális határeloszlás-tétel szerint sok független, azonos eloszlású valószín ségi változó összege közelít leg normális eloszlású, ezért más eloszlások esetén is adhatunk hozzávet leges kondenciaintervallumot az el z ekhez hasonlóan Példa. Legyen X i Ind(p). Adjunk p-re hozzávet leges( KI(1 α)-t! Kiindulásként vegyük észre, hogy X jó becslés p-re, és X N p, nagy. Standardizálva, n P p(1 p) n X p p(1 p) közelít leg standard normális, és így ( n ) X p < u α 1 α. p(1 p) 2 ), ha n elég A zárójelben álló egyenl tlenséget átrendezve a (n + u 2 α 2 )p 2 (2nX + u 2 α )p + nx 2 < 0 2 másodfokú egyenl tlenséget kapjuk. A KI tehát a baloldalon álló másodfokú kifejezés két gyöke közötti intervallum lesz. 3. Statisztikai próbák és jóságuk A Valószín ségszámítás 1. tárgyban már foglalkoztunk hipotézisvizsgálattal, megismerkedtünk az olyan alapfogalmakkal, mint nullhipotézis, ellenhipotézis, elfogadási és kritikus tartomány, els fajú és másodfajú hiba, terjedelem, er függvény. Felmerül a kérdés, hogy mikor tartunk egy döntési eljárást jó statisztikai próbának. Természetesen akkor, ha a hibavalószín ségek kicsik. Ezt formalizálja a következ három fogalom. 26

29 Egy próbát torzítatlannak nevezünk, ha a próba ereje legalább akkora, mint a terjedelme: β(ϑ) α ϑ Θ 1. Ez azt jelenti, hogy ha nem igaz a nullhipotézis, akkor legalább akkora valószín séggel utasítjuk el, mint ha igaz lenne. Másodszor tegyük fel, hogy ugyanarra a hipotézisvizsgálati feladatra van két különböz próbánk, melyeket az (X e, X k ) és az (X e, X k ) tartománypárok határoznak meg. Azt mondjuk, hogy az els próba egyenletesen er sebb, mint a második, ha β(ϑ) = P ϑ (X X k ) β (ϑ) = P ϑ (X X k) ϑ Θ 1, vagyis az els próba ereje pontonként legalább akkora, mint a másodiké. Ha el írjuk az α terjedelmet, akkor az (X e, X k ) tartományokkal megadott próbát egyenletesen leger sebbnek nevezzük, ha terjedelme legfeljebb α, és minden más legfeljebb α terjedelm próbánál egyenletesen er sebb. Végül tegyük fel, hogy egy hipotézisvizsgálati feladatban minden n mintaelemszámra van egy (Xe n, Xk n ) tartományokkal deniált próbánk, vagyis egy próbasorozatot vizsgálunk. Ezt most jelöljük a terjedelemben és az er függvényben is: az (Xe n, Xk n) tartományokkal megadott próba terjedelme legyen α n -t, er függvénye pedig β n. A próbasorozatot legfeljebb α terjedelm konzisztens próbasorozatnak nevezzük, ha α n α minden n-re, és β n (ϑ) n 1 minden ϑ Θ 1 esetén, azaz ha a nullhipotézis nem igaz, akkor ezt 1-hez tartó valószín séggel felismerjük, ha a minta elemszáma végtelenhez tart. A statisztikusok számos, a gyakorlatban lépten-nyomon el forduló hipotézisvizsgálati feladatra kidolgoztak jó próbákat. Ezek a klasszikus próbák, ezek közül ismerkedünk meg néhánnyal a továbbiakban A normális eloszlás paramétereire vonatkozó próbák Az egyik leggyakrabban el forduló eloszlás a normális eloszlás, melyet a várható értéke és a szórása jellemez. Ezekre a paraméterekre három típusú próbát tanulunk. 1. A várható értékre vonatkozó próba, ha a szórás ismert u-próba. 2. A várható értékre vonatkozó próba, ha a szórás ismeretlen t-próba. 27

30 3. A szórásra vonatkozó próba, ha a várható érték ismeretlen (vagy akár ismert) F -próba. A próbák ezen belül még különbözhetnek aszerint, hogy egymintásak vagy kétmintásak, illetve az ellenhipotézis jellege szerint (egyoldali vagy kétoldali ellenhipotézis). Ezek a próbák egyenletesen leger sebbek a legfeljebb ekkora terjedelm torzítatlan próbák között. Egymintás u-próba Az egymintás u-próbát akkor használjuk, ha egy mintasorozatunk van ismert szórású normális eloszlásból, melynek várható értékére vonatkozó hipotézist szeretnénk ellen rizni. Legyen tehát X 1,..., X n N(m, σ 2 ) ahol σ ismert, m ismeretlen. A hipotézisek: A próbastatisztika: a) H 0 : m = m 0 H 1 : m m 0 b) H 0 : m m 0 H 1 : m > m 0 c) H 0 : m m 0 H 1 : m < m 0 (5) u = X m 0 σ n H 0 N(0,1). Ezért ha a kívánt terjedelem α, akkor a kritikus tartomány: a) X k = { u > u α 2 } b) X k = {u > u α } c) X k = {u < u α } (6) ahol u δ a standard normális eloszlás (1 δ)-kvantilise, ezt a Φ(x) függvény táblázatából, vagy valamilyen statisztikai programmal keressük ki. A (5)-beli hipotézispárok közül az a) esetben kétoldali, a b) és c) esetekben egyoldali ellenhipotézisr l beszélünk. Határozzuk most meg az egymintás u-próba er függvényét kétoldali ellenhipotézis ese- 28

31 tén! Vezessük be a n (m) := m m 0 σ n jelölést. Ha m m0, akkor β n (m) = P m ( u > u α 2 ) = P m ( X m 0 σ n > u α 2 ) = 1 P m ( u α < X m 0 2 n < u α = 2 σ 1 P m ( u α < X m ) m m 0 2 n + n < u α = 2 σ σ 1 P m ( u α n(m) < X m ) 2 n < u α 2 σ n(m) 1 Φ(u α 2 n(m)) + Φ( u α 2 n(m)) = Φ( u α 2 + n(m)) + Φ( u α 2 n(m)), ahol felhasználtuk, hogy X m σ n N(0, 1). Az er függvény kapott képletéb l leolvasható, hogy 1) rögzített n esetén β n (m) folytonos és lim β n(m) = 1, m ± 2) rögzített m esetén β n 1 (m) < β n (m), azaz a minta elemszámának növekedésével az er n, és β n (m) n 1, azaz a próba konzisztens, 3) β n (m) > α, vagyis a próba torzítatlan. Az er függvény(eke)t mutatja be a 5. ábra. Kétmintás u-próba A kétmintás u-próbára akkor van szükség, ha két független mintasorozatunk van ismert szórású normális eloszlásokból, és a várható értéküket szeretnénk összehasonlítani. Legyenek X 1,..., X n1 N(m 1, σ 2 1) és Y 1,..., Y n2 N(m 2, σ 2 2) független minták, ahol σ 1, σ 2 ismert, m 1, m 2 ismeretlenek. A hipotézisek: ) = A próbastatisztika: a) H 0 : m 1 = m 2 H 1 : m 1 m 2 b) H 0 : m 1 m 2 H 1 : m 1 > m 2 c) H 0 : m 1 m 2 H 1 : m 1 < m 2 (7) u = X Y σ 2 1 n 1 + σ2 2 n 2 H 0 N(0,1). A kritikus tartományok ugyanazok, mint egymintás esetben, azaz (6) adja meg ket. Egymintás t-próba Ha nem ismerjük a szórást, akkor t-próbára van szükségünk. Egymintás esetben a 29

32 5. ábra. Az egymitás u-próba er függvénye, m0 = 5, σ = 4, α = 0,05. 3 (fekete), 5 (piros), 10 (zöld), 50 (kék). A minta elemszáma (n) : próbastatisztikát és annak eloszlását ugyanúgy kapjuk meg, mint a kon denciainter- X1,..., Xn N (m, σ 2 ) ahol m, σ mint az egymintás u-próbánál (5). vallum konstruálásánál. Legyen A hipotézisek : ugyanazok, ismeretlen. A próbastatisztika : t= ahol Sn X m0 H0 n tn 1, Sn a korrigált tapasztalati szórás. Jelölje a szabadsági fokot f, tehát f = n 1. A kritikus tartomány : a) Xk = { t > tf ( α2 )} b) Xk = {t > tf (α)} c) Xk = {t < tf (α)} (8) tf (δ) kritikus érték a tf eloszlás (1 δ)-kvantilise. α A tf ( )-t és a tf (α)-t a t-próba kritikus értékei cím táblázatból keressük ki, az 2 ahol a oszlopok fölött kell gyelni arra, hogy egyoldali vagy kétoldali próbánk van. Kétmintás t-próba A kétmintás t-próbára akkor van szükség, ha két független mintasorozatunk van is- meretlen szórású normális eloszlásokból, és a várható értéküket szeretnénk összeha- 30

33 sonlítani. Bár a szórásokat nem ismerjük, a próba akkor m ködik, ha feltehet, hogy a két minta szórása megegyezik. Legyenek X 1,..., X n1 N(m 1, σ 2 ) és Y 1,..., Y n2 N(m 2, σ 2 ) független minták, ahol m 1, m 2 és σ ismeretlenek. A hipotézisek: ugyanazok, mint a kétmintás u-próbánál (7). A próbastatisztika: t = X Y (n 1 1)Sn (n 2 1)Sn 2 2 Jelölje a szabadsági fokot f, tehát f = n 1 + n 2 2. n 1 n 2 (n 1 + n 2 2) n 1 + n 2 H 0 tn1 +n 2 2. A kritikus tartomány ugyanaz, mint az egymintás esetben (8). Vezessük le, hogyan jön ki a kétmintás t-próbánál a próbastatisztika. Egyrészt m 1 = = m 2 esetén X Y N(0, σ 2 /n 1 + σ 2 /n 2 ), azaz 1 σ (X Y ) n1 n 2 n 1 + n 2 N(0,1). Másrészt teljesül, hogy 1 σ 2 [ (n1 1)S n (n 2 1)S n 2 2 ] χ 2 n 1 1+n 2 1, mivel a tagok külön-külön χ 2 n 1 1 illetve χ 2 n 2 1 eloszlásúak, és függetlenek. Mivel pedig az el z két képletben felírt valószín ségi változók függetlenek is, az els t elosztva a második gyökével, és a szabadsági fok gyökével beszorozva, valóban t eloszlású próbastatisztikát kapunk. Ha a két minta szórása szignikánsan különbözik, akkor a fenti próbát kissé módosítani kell, ezt vagy szintén t-próbának, vagy Welch-próbának hívják. A módosítás abból áll, hogy most a próbastatisztika ahol az f szabadsági fok t = X Y S n1 2 n 1 + S 2 n 2 n 2 f = (g 1 + g 2 ) 2 és g i = S n i 2 /n i. Ha f nem egész, akkor kerekítjük. g 2 1 n g2 2 n 2 1 H 0 tf, A szórásra vonatkozó próbákhoz szükségünk lesz az F eloszlásra Deníció. Ha X f 1 szabadsági fokú, Y pedig f 2 szabadsági fokú, egymástól független khi-négyzet eloszlású valószín ségi változók, akkor a Z = X/f 1 Y/f 2 31, valószín ségi

34 6. ábra. Néhány F eloszlás s r ségfüggvénye. Fekete : F10,20, változó (f1, f2 ) szabadsági fokú szabadsági foka, F f2 F lila : F3,5, piros : zöld : F8,8, kék : F30,20. eloszlású, jelölésben Z Ff1,f2. Itt f1 a számláló a nevez szabadsági foka. (Érdekességként megjegyezzük, hogy az eloszlás várható értéke csak a nevez szabadsági fokától függ : A 6. ábra néhány F5,3, F -eloszlás E(Z) = f2.) f2 2 s r ségfüggvényét mutatja be. Kétmintás F -próba A kétmintás F -próbára akkor van szükség, ha két független mintasorozatunk van normális eloszlásokból, és a szórásukat szeretnénk összehasonlítani (például azért, mert utána kétmintás t-próbát szeretnénk végezni Y1,..., Yn2 N (m2, σ22 ) N (m1, σ12 ) és X1,..., Xn1 ahol m1, m2 és σ1, σ2 a várható értékükre). Legyenek független minták, ismeretlenek. A hipotézisek : a) H0 : σ1 = σ2 H1 : σ1 6= σ2 b) H0 : σ1 σ2 H1 : σ1 > σ2 A próbastatisztika : F = Sn 1 2 H0 Fn1 1,n2 1. Sn c) H0 : σ1 σ2 H1 : σ1 < σ2