Statisztika (jegyzet)

Átírás

1 Statisztika (jegyzet) Csiszár Vill 009. május 6.. Statisztikai mez A statisztika egyik ága a leíró statisztika. Ekkor a meggyelt adatokat áttekithet formába ábrázoljuk, pl. hisztogrammal (oszlopdiagrammal), kördiagrammal, egyéb grakookkal. Másrészt az adatokból kiszámítuk éháy fotos, jellemz értéket, pl. az átlagot (mitaközepet), tapasztalati szórást, széls értékeket. A matematikai statisztika alapfeladata: egy véletle jeleség mechaizmusát (pl. az t leíró valószí ségi változó eloszlását) em ismerjük, de meggyeléseket végezve, a meggyelésekb l szereték rá következteti. A következ témakörökkel foguk foglalkozi: Becsléselmélet: A valószí ségi változó valamilye jellemz jét szereték a mitából megbecsüli, illetve a becslés hibáját meghatározi. Miél potosabb, megbízhatóbb becslést keresük. Példák:. Egy mukáltatót egy titkár által gépelt szövegekbe el forduló hibák száma érdekli. Pl. a hibák átlagos száma és a hibaszám szórása. A mukáltató 30 darab, közel azoos hosszúságú, a titkár által legépelt szövegbe megszámolja a hibákat. Ésszer feltei, hogy a hibák száma Poisso eloszlású, de az eloszlás paramétere (λ) ismeretle. A meggyelések alapjá szerete következteti λ-ra, ebb l a várható érték és a szórás már kiszámolható. Másrészt, a várható értéket és a szórást becsülheti a Poisso feltételezés élkül is.. Egy foalgyárba a foalszakadásokat vizsgálják. Aak a valószí ségét szereték megbecsüli, hogy a foal egy 8 órás m szak alatt egyszer sem szakad el. Eek érdekébe 0 foalszál midegyikér l feljegyzik, hogy meyi id múlva szakad el. Ésszer feltei, hogy a foalak élettartama expoeciális eloszlású (örökifjú tulajdoságú), de λ ismeretle. 3. Egy kosarazó 0-szer kosárra dob. Betalál pot, em talál be 0 pot. Kapott potszám egy dobásból: Id(p), ahol a találat valószí sége p ismeretle, ezt szereték megbecsüli. 4. Hétf t l pétekig apota megézzük egy város áramfogyasztását. Ez feltehet leg ormális eloszlású, de m, σ ismeretle. 5. Hétf t l pétekig megmérjük, hogy meyit kell vári a buszra. Feltehet, hogy ez egyeletes eloszlású [0, b] itervallumo, ahol b ismeretle. Hipotézisvizsgálat: A jeleséggel kapcsolatba va egy el zetes feltételezésük, amelyet teszteli szereték. Ha a meggyeléseik összeegyeztethet k a feltevéssel, elfogadjuk azt, ha viszot elletmodaak eki, akkor elutasítjuk a feltevést. Jó dötési eljárást keresük. Példák: egészségügybe: gyógyszerek hatásosságáak bizoyítása; ipar: selejtaráy elle rzése: le kell-e a gépsort cseréli? irodalomtudomáy: szövegr l el kell dötei, hogy ugyaaz írta-e ket; szociológia: pártok épszer sége: va-e szigikás külöbség? szociológia: pártpreferecia és iskolázottság között va-e összefüggés?

2 .. Deíció. Az (Ω, A, P) hármast statisztikai mez ek hívjuk, ahol Ω emüres halmaz (eseméytér), A σ-agebra (eseméyek családja), P pedig a szóbajöhet valószí ségi mértékek családja. Azaz ahol P ϑ valószí ségi mértékek. P {P ϑ ϑ Θ}, A Θ halmazt paramétertérek evezzük. Legtöbbször Θ véges dimeziós euklideszi tér részhalmaza, ekkor azt modjuk, hogy paraméteres a feladat (pl.:.-5. paraméteres feladatok). Θ lehet eél jóval "agyobb", pl.: ha P az összes lehetséges valószí ségi mérték, ekkor emparaméteres a feladat... Deíció. Egy X (X,..., X ) : Ω X R valószí ségi változót ( elem ) mitáak evezük, ahol X a mitatér, pedig a mita agysága vagy elemszáma. Az X i koordiáták a mita elemei. Mi (majdem) midig olya mitákkal foguk foglalkozi, amikor ugyaazt a véletle jeleséget, egymástól függetleül, -szer gyeljük meg..3. Deíció. X függetle elem mita, ha X i -k az összes P ϑ szerit függetleek. X azoos eloszlású mita, ha X i -k az összes P ϑ szerit azoos eloszlásúak. A mita eloszlásfüggvéyeiek családja {F ;ϑ ϑ Θ}, ahol F ;ϑ (x,..., x ) P ϑ (X < x,..., X < x ). Ha X elem, függetle, azoos eloszlású mita, akkor F ;ϑ (x,..., x ) F ;ϑ (x i ), ahol F ;ϑ az X i koordiáták közös eloszlásfüggvéye. Emlékezzük rá, hogy az eloszlásfüggvéy helyett diszkrét esetbe a p ;ϑ (x,..., x ) P ϑ (X x, X x,..., X x ) valószí ségeket, abszolút folytoos esetbe pedig az i f ;ϑ (x,..., x ) s r ségfüggvéyt is haszálhatjuk. Függetle elem mita eseté ezek is szorzatra bomlaak... Példa. (titkár ) A mita: X (X,..., X 30 ) : Ω N 30 0, ahol X i az i. szövegbe talált hibák száma. X függetle, azoos eloszlású mita, a mitaelemek szóbajöhet eloszlásai: X i P oisso(ϑ), a paramétertér Θ (0, ) R, azaz egyparaméteres feladatról va szó. A valószí ségeket részletese kiírva p 30;ϑ (x, x,..., x 30 ) 30 i p ;ϑ (x i ) 30 i ϑxi ϑ e x i! ϑ xi e 30ϑ xi!..4. Deíció. Az mitatére megadott T : X R k függvéyt, illetve magát a T T (X) valószí ségi változót (k-dimeziós) statisztikáak evezzük... Példa. Néháy gyakra haszált statisztika (X midehol elem mita): ) T (X) X X i az X mita mitaátlaga. ) T (X) S X i (X i X) az X mita tapasztalati szóráségyzete. i 3) T (X) (X (), X () (pl. T (, 4,, 3) (,, 3, 4)). 4) T (X) X () X () 5) T (X) X (),..., X () X () + ) az X mita redezett mitája, ahol X () X () X () az X mita mitaterjedelme. ha páratla + X () az X mita tapasztalati mediája. + ha páros

3 .5. Deíció. Az (X,..., X ) mita tapasztalati eloszlása az a véletle diszkrét eloszlás, melyek lehetséges értéki az X i értékek, az értékekhez tartozó valószí ségek pedig a meggyelt relatív gyakoriságok. Azaz jelölje x < x < < x m a meggyelt (külöböz ) értékeket (m ), ekkor az x j -hez tartozó valószí ség: {i X i x j } I(X i x j ), ahol I(X i x j ), ha X i x j, és I(X i x j ) 0, ha X i x j. Az X mita tapasztalati eloszlásfüggvéye a tapasztalati eloszláshoz tartozó eloszlásfüggvéy: ˆF (x) I(X i < x), x R. Hogy éz ez ki? 4 3 X () () X () 4 X,3 i X () i 0 ha x X (), k ˆF (x) ha X() k < x X () k+, ha X () < x... Tétel. (Gliveko: A statisztika alaptétele.) Legyeek X,..., X függetle, azoos F eloszlásfüggvéy valószí ségi változók. Ekkor az ˆF tapasztalati eloszlásfüggvéy valószí séggel egyeletese tart F -hez, azaz P ( lim ˆF (x) F (x) 0). sup x R A tétel jeletése az, hogy ha elég sok meggyelést végzük, akkor tetsz leges potossággal visszakapjuk a valódi eloszlást. Azt köy beláti, hogy mide rögzített x R-re P ( lim ˆF (x) F (x) 0), hisze ez éppe a agy számok er s törvéye az I(X i < x) valószí ségi változókra. Megjegyezzük még, hogy a sup x R ˆF (x) F (x) maximális eltérés agységredje /... Feladat. Az -5 példákra adjuk meg a mitateret, a paraméterteret, és a mita eloszlásaiak családját! Mo: az X mita midegyik példába függetle, azoos eloszlású. ) X i az i. foalszál élettartama. X R 0 +, X i Exp(ϑ), Θ (0, ), 3. X i az i. dobás potszáma. X {0, } 0, X i Id(ϑ), Θ [0, ], 0 f 0;ϑ (x,..., x 0 ) f ;ϑ (x i ) p 0;ϑ (x,..., x 0 ) 0 i 4. X i az i. ap fogyasztása. X R 5 +, X i N(ϑ, ϑ ), Θ R R +, f 5;ϑ (x,..., x 5 ) i p ;ϑ (x i ) 0 i 5 f ;ϑ (x i ) i 0 i ϑe ϑxi ϑ 0 e ϑ x i. ϑ xi ( ϑ) xi ϑ x i ( ϑ) 0 x i. 3 5 e (x i ϑ ) πϑ i ϑ.

4 5. X i az i. apo a várakozási id. X R 5 +, X i E(0, ϑ), Θ (0, ), f 5;ϑ (x,..., x 5 ) 5 f ;ϑ (x i ) i 5 i ϑ I(0 x i ϑ) ϑ 5 I(x() 0 és x (5) 5 ϑ)... Feladat. Végezzük el 8-szor a következ kísérletet: addig dobuk egy érmével, amíg fejet em kapuk. Jelölje X i, hogy az i. kísérletbe háyszor kellett dobi. Az X mita egy kokrét realizációjára adjuk meg a tapasztalati eloszlásfüggvéyt, és számítsuk ki az. Példába szerepl statisztikákat! Mo: Ha például a mita a következ : x x x 3 x 4 x 5 x 6 x 7 x 8 A tapasztalati eloszlás: érték valószí ség mitaátlag: 9/8.38 tapasztalati szóráségyzet: 95/64.48 mitaterjedelem: 4 tapasztalati mediá: x (8), x (8) 3,4,5 x (8) 6,7 x (8) 8.3. Feladat. Legye X függetle, azoos eloszlású mita, a koordiáták közös eloszlásfüggvéye F. Számoljuk ki ˆF (x) várható értékét és szóráségyzetét! Mo: ˆF (x) Bi(, F (x)). Így E( ˆF (x)) F (x) és D( ˆF (x)) F (x)( F (x))/.. Elégségesség Az X mita iformációt tartalmaz arról, hogy melyik ϑ Θ az igazi paraméter. A P ϑ (X x) valószí ség függ ϑ-tól (bizoyos ϑ-kra agy a valószí sége, hogy ezt a mitát kapjuk, másokra kisebb). A T (X) statisztika is hordoz iformációt, hisze a P ϑ (T (X) t) valószí ség is függ ϑ-tól. Az eredeti mita általába több iformációt tartalmaz a paraméterr l, mit a bel le kiszámolt statisztika. Pl. ha diszkrét mitát veszük, akkor a P ϑ (X x) valószí ségek sokfélesége hordozza a ϑ-ra voatkozó iformációt. A T (X)-be rejl iformáció pedig a P ϑ (T (X) t) valószí ségek sokféleségéb l származik. A {T (X) t} eseméy felbomlik {X x} eseméyekre, olya x-ekre, melyekre T (x) t. Az X-be tartalmazott plusziformáció tehát a P ϑ (X x T (X) t) valószí ségek sokféleségéb l adódik, olya x-ekre, melyekre T (x) t. Ha a P ϑ (X x T (X) t) feltételes valószí ségek már em függek ϑ-tól, akkor, mivel P ϑ (X x) P (X x T (X) T (x))p ϑ (T (X) T (x)), a mita em tartalmaz több iformációt, mit a statisztika... Deíció. Legye X (X,..., X ) diszkrét mita az (Ω, A, P) statisztikai mez. Azt modjuk, hogy a T (X) statisztika elégséges a ϑ paraméterre, ha mide x, t párra a P ϑ (X x T (X) t) valószí ség em függ ϑ-tól... Példa. Legye X i Id(p), ahol 0 p ismeretle paraméter. Pl. 00 kockadobás midegyikér l feljegyezzük, hogy hatos-e. Belátjuk, hogy i X i elégséges statisztika p-re, azaz em kell a 4

5 dobásokról egyesével feljegyezi, hogy melyik volt hatos, melyik em, haem elég feljegyezi, hogy összese háy hatos volt. Ezzel em veszítük iformációt p-r l. A deíció alapjá számoluk: 0 ha x i t P p (X x X i t) i t t {}}{{}}{ ) p xi ( p) x i ( ) pt ( p) t p t ( p) t i pxi ( p) xi ( t Azaz a kapott feltételes valószí ség téyleg em függ p-t l. t }{{} biom; Id ( t) ha i x i t.. Tétel. (Neyma faktorizációs tétele) Legye X diszkrét eloszlású mita. A T (X) statisztika akkor és csak akkor elégséges, ha találhatók olya h és g ϑ függvéyek, melyekre P ϑ (X x) h(x) g ϑ (T (x)). Bizoyítás. : Tegyük fel, hogy T (X) elégséges statisztika. Ekkor P ϑ (X x) P ϑ (X x T (X) T (x)) P ϑ (T (X) T (x)) h(x) g ϑ (T (x)), felhaszálva, hogy az els téyez em függ ϑ-tól. : Most tudjuk, hogy P ϑ (X x) h(x) g ϑ (T (x)), meg kell mutati, hogy T (X) elégséges statisztika. P ϑ (X x T (X) t) P ϑ(x x, T (X) t) P ϑ (T (X) t) h(x) g ϑ (t) P ϑ (X y) y:t (y)t i h(x) g ϑ (t) h(y) g ϑ (T (y)) y:t (y)t h(x), ha T (x) t, h(y) y:t (y)t egyébkét pedig a feltételes valószí ség ulla. A tételek az a jelet sége, hogy módszert ad arra, hogya lehet elégséges statisztikát találi... Példa. Legye X,..., X P oisso(λ), keressük elégséges statisztikát λ-ra! p ;λ (x) P λ (X x) e λ λxi x i! e λ e λ λ x i }{{}, i azaz a mitaelemek összege elégséges statisztika. λ x i i x i! i x i! }{{} h(x) g λ ( xi ) }{{} :T (x) Abszolút folytoos mitára az el z deíció em m ködik, mivel sok T statisztikára a {T (X) t} eseméy mide t-re 0 valószí ség, így a feltételes valószí ség em értelmes. Neyma faktorizációs tétele viszot egy olya állítást fogalmaz meg, ami abszolút folytoos esetbe is értelmes, ha a valószí ség helyett s r ségfüggvéyt íruk... Deíció. Legye X abszolút folytoos mita, s r ségfüggvéyeiek családja legye f ;ϑ (x). A T (X) statisztika elégséges a ϑ paraméterre, ha létezik a s r ségfüggvéyek f ;ϑ (x) h(x) g ϑ (T (x)) alakú faktorizációja..3. Példa. Legye X i E(0, b), b a paraméter. Próbáljuk faktorizáli! f ;b (x) f ;b (x i ) b I(0 x i b) I(x () 0) }{{} b I(x() b), i i }{{} h(x) g b (x () ) tehát X () elégséges statisztika. 5

6 Mj.: Nyilvá, ha T elégséges, akkor aak egy kölcsööse egyértelm S függvéye is az, s t mide olya S statisztika elégséges, amelyb l T kiszámolható. A gyakorlatba miél egyszer bb, úgyevezett miimális elégséges statisztikát keresük. Eek a fogalomak adható precíz matematikai deíció, de ezzel most em foglalkozuk... Feladat. Keressük elégséges statisztikát a paraméter(ek)re a következ mitákból: ) X i Geo(p) ) X i Bi(m, p) m ismert 3) X i Exp(λ) 4) X i N(m, σ) 5) X i E( a, a) Mo: ) X i elégséges: p ;p (x) ( p) xi p ( p) x i p. ) X i elégséges: 3) X i elégséges: p ;p (x) i x i i ( ) m p xi ( p) m xi p ( ) x i ( p) m xi m. f ;λ (x) λe λxi λ e λ x i. i 4) Ha (m, σ) ismeretle, akkor ( X i, X i ) elégséges: f ;m,σ (x) (x πσ e i m) i σ ( ) e σ (xi m) πσ Ha σ ismert, akkor X i elégséges: ( ) f ;m (x) e σ x i e σ (m m x i). πσ Ha m ismert, akkor (X i m) elégséges. 5) max X i elégséges: f ;a (x) i i x i ( ) e σ ( x i m x i+m ). πσ I( a < x < +a) a (a) I( x i < a i,..., ) (a) I( x () < a). 3. Becslések és jóságuk Legye X,..., X (függetle, azoos eloszlású) mita az F ϑ eloszlásfüggvéy eloszlásból. Szereték a paraméter ψ(ϑ) függvéyét becsüli (gyakra magát a paramétert kell becsüli, de em midig). Nem remélhetjük, hogy a potos értéket eltaláljuk, de azt ige, hogy jól meg tudjuk közelítei. 3.. Deíció. A ψ(ϑ) meyiség becslése valamely T (X) statisztika. Azért vezettük be egy új elevezést a T (X) statisztikára, mert most úgy godoluk rá, mit a ψ(ϑ) meyiséget jól közelít becslésre. Mit várhatuk el a T (X) becslést l? ) A T (X) becslés agyjából ψ(ϑ) körül igadozzék. ) A T (X) miél kevésbé igadozzék ψ(ϑ) körül, azaz a becslés legye miél potosabb. 3) Tegyük fel, hogy mide mitaelemszámra va egy T becslésük. Megkövetelhetjük a T (X,..., X ) ψ(ϑ) sztochasztikus kovergeciát. 6

7 3.. Deíció. A T (X) becslés torzítatla ψ(ϑ)-ra, ha E ϑ (T (X)) ψ(ϑ) ϑ Θ. Általába a T (X) becslés torzítása a b T (ϑ) E ϑ (T (X)) ψ(ϑ) függvéy. 3.. Példa. Legye X,..., X F ϑ és ψ(ϑ) E ϑ (X i ). Ekkor X torzítatla becslés, mivel E ϑ (X) E ϑ ( X i ) i E ϑ (X i ) ψ(ϑ). }{{} ψ(ϑ) Ez alkalmazható például a Poisso vagy az idikátor eloszlás paraméteréek becslésére. i 3.. Példa. Idikátor eloszlású mitáál keressük torzítatla becslést ψ(p) p -re! Belátható, hogy X em torzítatla, s t, /p-t em lehet torzítatlaul becsüli. Belátjuk ugyais, hogy ψ(p)-t akkor és csak akkor lehet elem idikátor-mitából torzítatlaul becsüli, ha ψ(p) p-ek legfeljebb -edfokú poliomja. Legye ugyais T tetsz leges becslés. E p (T (X,..., X )) T (x,..., x ) p xi ( p) x i, x {0,} ez pedig legfeljebb -edfokú poliomja p-ek. Másrészt p k egy torzítatla becslése: I(X ) I(X ) I(X k ) (k ) Deíció. T (X,..., X ) aszimptotikusa torzítatla becsléssorozat ψ(ϑ)-ra, ha ϑ Θ-ra E ϑ (T (X,..., X )) ψ(ϑ) ( ). A gyakorlatba, ha elég agy a mita, akkor általába egy aszimptotikusa torzítatla becslés is megfelel Deíció. Legyeek T, T torzítatlaok ψ(ϑ)-ra. Ekkor azt modjuk, hogy T hatásosabb T -él, ha D ϑ (T ) D ϑ (T ) mide ϑ Θ-ra. A T (torzítatla) becslés hatásos, ha mide torzítatla becslésél hatásosabb. Mj: Két becslés em biztos, hogy összehasolítható hatásosság szempotjából, hisze lehet, hogy bizoyos ϑ-kra D ϑ (T ) < D ϑ (T ), másokra viszot D ϑ (T ) > D ϑ (T ). Mj: Nem torzítatla becslések eseté az átlagos égyzetes veszteséget, azaz az E ϑ [(T ψ(ϑ)) ] meyiséget akarhatjuk miimalizáli. 3.. Tétel. Ha T és T is hatásos, akkor valószí séggel megegyezek, azaz P ϑ (T T ) mide ϑ Θ eseté. Bizoyítás. A torzítatlaság miatt E ϑ (T ) E ϑ (T ) ψ(ϑ), és mivel midkét becslés hatásos, D ϑ (T ) D ϑ (T ) mide θ-ra. Legye most T T + T. Egyrészt T is torzítatla, hisze E ϑ (T ) ψ(ϑ), másrészt T hatásossága miatt D ϑ(t ) D ϑ(t ) 4 azaz D ϑ (T ) cov ϑ (T, T ). Átosztva kapjuk, hogy ( D ϑ (T ) + D ϑ(t ) + cov ϑ (T, T ) ) D ϑ(t ) + cov ϑ(t, T ), cov ϑ(t, T ) D ϑ (T )D ϑ (T ) R ϑ(t, T ), azaz az ismert tétel szerit T at + b teljesül valószí séggel. A várható értékek és szórások egyezése miatt azoba a és b 0 lehet csak. 7

8 3.. Tétel. Legye X (X,..., X ) függetle, azoos eloszlású mita. Legye ψ(ϑ) E ϑ (X i ), továbbá tegyük fel, hogy Dϑ (X i) < mide ϑ-ra. Ekkor X hatásosabb becslése ψ(ϑ)-ak mide i c ix i alakú torzítatla becslésél. Bizoyítás. Vegyük el ször észre, hogy i c ix i akkor és csak akkor torzítatla, ha i c i. Számítsuk ki a szóráségyzeteket! Azt kell tehát beláti, hogy Dϑ(X) D ϑ (X i), D ϑ( c i X i ) Dϑ(c i X i ) ( c i )Dϑ(X i ). i A számtai és égyzetes közép közötti egyel tleségb l c i. c i ci, azaz c i Példa. Legye X i E(0, b), és vizsgáljuk a következ két becslést b-re: T + X(), T X. T yilvá torzítatla, és T is az: legye ugyais X i b Y i, ahol Y i E(0, ), ekkor X () elég az E(0, ) eloszlással foglalkozi. Y () t, tehát + 0 E(Y () ) 0 eloszlásfüggvéye: P (Y () t t dt + +. < t) t, Y () b Y (), tehát s r ségfüggvéye: Ebb l E b (T ) b. Melyik becslés a hatásosabb? Másrészt D b(t ) 4 D b (X i) 4 b b 3. D (Y () ) 0 ( ) t t dt ( ) Továbbá Db (X() ) b Db () (Y ), azaz ( + Db(T ) ) D b(x () ) Kaptuk tehát, hogy T hatásosabb T -él (mide -re). ( + ) ( + ) ( + ) ( + ) b ( + ). ( + ) ( + ) Deíció. A T (X,..., X ) becsléssorozat kozisztes ψ(ϑ)-ra, ha T ψ(ϑ) sztochasztikusa ( ), azaz P ϑ ( T ψ(ϑ) > ε) 0 ϑ Θ. 8

9 3.4. Példa. a) A mitaátlag kozisztes becslés a várható értékre: X E ϑ (X i ) sztochasztikusa (ez a agy számok gyege törvéye). b) Ha E ϑ (T ) ψ(ϑ) (azaz T torzítatla becslés, de az is elég lee, hogy aszimptotikusa torzítatla) és D ϑ (T ) 0 ( ), akkor T kozisztes, mivel c) Legye X i E(0, ϑ), és T + P ϑ ( T ψ(ϑ) > ε) Cseb D ϑ (T ) ε 0. X(). Ez a fetiek szerit kozisztes becsléssorozat, hisze D ϑ( + X () ϑ ) 0. ( + ) 4. Fisher-iformáció 4.. Deíció. Legye az X (X,..., X ) mita eloszlásfüggvéyeiek családja F ;ϑ. Ekkor az L (x; ϑ) likelihood függvéyt a következ képpe deiáljuk: abszolút folytoos mita eseté L (x; ϑ) f ;ϑ (x), diszkrét mita eseté L (x; ϑ) p ;ϑ (x). 4.. Deíció. Az elem, F ;ϑ eloszlásfüggvéy mita Fisher-iformációja az érték, ha a derivált létezik, és ez a meyiség véges. I (ϑ) E ϑ ([ ϑ l L (X; ϑ)] ) 4.. Tétel. (*) Legyeek X,..., X függetle, azoos eloszlású mitaelemek, és jelölje egy mitaelem likelihood függvéyét L (x i ; ϑ). Tegyük fel, hogy I (ϑ) <, továbbá hogy Ekkor I (ϑ) I (ϑ). E ϑ ( ϑ l L (X ; ϑ)) 0. Bizoyítás. A feltétel miatt I (ϑ) D ϑ ( ϑ l L (X ; ϑ)), továbbá Ebb l következik, hogy E ϑ ( ϑ l L (X; ϑ)) E ϑ ( ϑ l L (X i ; ϑ)) I (ϑ) D ϑ( ϑ l L (X; ϑ)) D ϑ( i i ϑ l L (X i ; ϑ)) E ϑ ( ϑ l L (X i ; ϑ)) 0. }{{} 0 i Dϑ( ϑ l L (X i ; ϑ) ) I (ϑ). }{{} I (ϑ) i Mj: A feltétel gyakra teljesül, mivel ez egy bederiválhatóság álruhába bújtatva. Tegyük fel modjuk, hogy a mita abszolút folytoos. Tudjuk, hogy + f ;ϑ (x) dx ϑ + f ;ϑ (x) dx 0. Ha a deriválás és itegrálás felcserélhet, azaz be lehet deriváli, akkor kapjuk, hogy ϑ f ;ϑ(x) dx ϑ f + ;ϑ(x) f ;ϑ (x) f ;ϑ(x) dx ϑ l f ;ϑ(x) f ;ϑ (x) dx E ϑ ( ϑ l f ;ϑ(x )). 9

10 Diszkrét esetbe, hasolóa, a tétel feltétele azzal ekvivales, hogy p ;ϑ (x ) ϑ ϑ p ;ϑ(x ). x x Ez biztosa teljesül, ha a valószí ségi változó értékkészlete véges. 4.. Példa. Legye X i Id(p). Ekkor L (x, p) p x ( p) x (x {0, }), amib l p l L (x, p) x p x p. Elle rizzük a (*) Tétel feltételét! ( ) E p p l L (X i, p) Tehát az egyelem mita Fisher-iformációja: ( ) I (p) Dp p l L (X i, p) Dp és I (p) I (p) p( p). 4.. Példa. Legye X i N(ϑ, σ 0 ), ahol σ 0 ismert. Ekkor p p p p 0. L (x, ϑ) e (x ϑ) πσ 0 ( ) Xi p( p) σ 0. p( p), Logaritmust véve l L (x, ϑ) l Elle rizzük a (*) Tétel feltételét! [ E ϑ ( ] ϑ l L (X i, ϑ) πσ 0 (x ϑ) σ0. [ ] (Xi ϑ) E ϑ σ0 0. Ebb l I (ϑ) D ϑ ( ) Xi ϑ σ 0 D ϑ (X i) σ 4 0 σ0, és I (ϑ) σ0. Mj: Nézheték azt is, hogy a mita meyi iformációt tartalmaz a paraméter valamely ψ(ϑ) függvéyére, illetve meyi iformációt tartalmaz egy paramétervektorra ézve. Ezekkel most em foglalkozuk. Bizoyítás élkül megjegyezzük a következ t. Legye X mita, a bee rejl iformáció I X (ϑ). Továbbá legye T T (X) egy statisztika, a bee rejl iformációt jelölje I T (ϑ). Belátható, hogy (bizoyos regularitási feltételek mellett) I T (ϑ) I X (ϑ), és egyel ség akkor és csak akkor va, ha T elégséges statisztika. Például a következ regularitási feltételeket szokták tei: ) L (x, ϑ) folytoosa diereciálható ϑ szerit, ) > I (ϑ) > 0, és I (ϑ) folytoos ϑ-ba. Ha ezek teljesülek, akkor mide szép és jó, pl. ekkor teljesül a (*) tétel bederiválhatósági feltétele. A következ tétel arról szól, hogy egy torzítatla becslés em lehet tetsz legese potos, a szóráségyzetre adható egy alsó korlát, mely a mitába található iformáció meyiségt l függ (azoba ez az alsó korlát általába em éles). 0

11 4.. Tétel. (Cramér-Rao egyel tleség) Legye X (X,..., X ) mita, és tegyük fel, hogy teljesülek a (*) tétel feltételei. Legye még T (X) olya torzítatla becslése ψ(ϑ)-ak, melyre Dϑ (T ) < mide ϑ-ra. Feltesszük még a következ bederiválhatósági feltételt: ( ψ (ϑ) E ϑ T (X) ) ϑ l L (X; ϑ). Ekkor D ϑ (T ) (ψ (ϑ)) I (ϑ) teljesül mide ϑ-ra. Bizoyítás. Az ötlet: tudjuk, hogy mide S-re cov ϑ (T, S) D ϑ(t )D ϑ(s) D ϑ(t ) cov ϑ(t, S) D ϑ (S). Ez olya S választással ad haszálható korlátot, melyre cov ϑ (T, S) E ϑ (T S) E ϑ (T )E ϑ (S) E ϑ (T S) ψ(ϑ)e ϑ (S) em függ T -t l. Legye S ϑ l L (X; ϑ), ez a feltétel szerit jó lesz. Egyrészt E ϑ (S) 0 (ez volt a (*) Tétel egyik feltétele), tehát cov ϑ (T, S) E ϑ (T S) ψ (ϑ), másrészt D ϑ (S) I (ϑ). Mj: Nézzük a feltételt! ψ(ϑ) E ϑ (T ) T (x)f ;ϑ (x) dx. Bederiválhatóság eseté ebb l ψ (ϑ) T (x) ( ϑ f ;ϑ(x) dx E ϑ T (X) ) ϑ l L (X; ϑ). Az alsó korlát, azaz a (ψ (ϑ)) meyiség eve iformációs határ. Ha Dϑ I (ϑ) (T ) (ψ (ϑ)) I (ϑ) teljesül mide ϑ-ra, akkor azt modjuk, hogy a T becslés eléri az iformációs határt. Nyilvá, ha a T torzítatla becslés eléri az iformációs határt, akkor hatásos. Speciálisa, ha magát a paramétert akarjuk becsüli, akkor ψ(ϑ) ϑ, azaz az iformációs határ /I (ϑ). 4.. Feladat. Legye X i N(ϑ, σ 0 ), ϑ-ra keressük hatásos becslést! Az iformációs határ /I (ϑ) σ 0/, ugyaakkor D ϑ (X) σ 0/, ezért X hatásos becslés ϑ-ra. 4.. Feladat. Legye X i Id(p), p-re keressük hatásos becslést! Az iformációs határ /I (p) p( p)/, ugyaakkor D p(x) p( p)/, ezért X hatásos becslés p-re Feladat. Legye X i Exp(λ), ψ(λ) λ-t szereték becsüli. Tudjuk, hogy X torzítatla becslés. Szóráségyzete Dλ(X) λ λ. A Fisher-iformáció: [ ] E λ λ l f ;λ(x i ) [ ] [ ] E λ λ (l λ λx i) E λ λ X i 0. ( Ebb l I (λ) Dλ λ X i) D λ (X i ) λ, I (λ) λ. Most ψ(λ) /λ, ψ (λ) /λ. Az iformációs határ tehát ( ) λ λ λ. Kaptuk, hogy X hatásos becslés /λ-ra.

12 4.4. Feladat. Legye X i Poisso(λ). Mutassuk meg, hogy X hatásos becslés λ-ra! 4.5. Feladat. Legye X i E(0, ϑ). Most em teljesülek a regularitási feltételek, rögzített x mellett f ;ϑ (x) em { folytoosa deriválható ϑ szerit. f ;ϑ (x) ϑ ha 0 x ϑ 0 egyébkét [ ( ) ] [ ( I (ϑ) E ϑ ϑ l L (X ; ϑ) E ϑ ϑ l ) ] ( ) ϑ ϑ ϑ, felhaszálva, hogy valószí séggel X < ϑ, azaz valószí séggel L (X ; ϑ) deriválható. Ugyaakkor [ ( I (ϑ) E ϑ ϑ l ( ) ) ] ( ϑ ) ϑ ϑ I (ϑ). x rögzített, ϑ a változó ϑ rögzített, x a változó f ;ϑ (x) itt em deriválható ϑ f ;ϑ (x) 0 x ϑ 5. Becslési módszerek 5.. Blackwellizálás El ször ézzük egy kis ismétlést! Ha X, Y diszkrét valószí ségi változók, akkor X feltételes várható értéke az Y y feltétel mellett E(X Y y) x x P (X x Y y) V (y). Az X feltételes várható értéke az Y változóra ézve pedig E(X Y ) V (Y ). Ez tehát em egy szám, haem egy valószí ségi változó. Bizoyítás élkül eleveítsük fel a következ tulajdoságokat: ) E(c Y ) c ) E(X + X Y ) E(X Y ) + E(X Y ) 3) E(cX Y ) ce(x Y ) 4) X X E(X Y ) E(X Y ). Ezeke kívül szükségük lesz még éháy tulajdoságra: 5) Teljes várható érték tétele: E (E(X Y )) E(V (Y )) y V (y) P (Y y) x P (X x Y y) P (Y y) y x x P (X x Y y) P (Y y) x P (X x) E(X). x y x }{{} P (Xx) teljes valószí ség tétele 5) Kiemelés: E(XW (Y ) Y ) W (Y )E(X Y ), magyarázat: Y rögzítése mellett W (Y ) kostas, azaz kiemelhet a várható értékb l 6) Teljes szóráségyzet tétele: E ( (X E(X Y )) Y ). Bizoyítás: D (X) E ( D (X Y ) ) + D (E(X Y )), ahol D (X Y ) D (X Y ) E ( X XE(X Y ) + E(X Y ) Y ) E(X Y ) E (XE(X Y ) Y ) + E ( E(X Y ) Y ) E(X Y ) E(X Y )E(X Y ) + E(X Y ) E(X Y ) E(X Y ).

13 Várható értéket véve: E ( D (X Y ) ) E ( E(X Y ) ) E ( E(X Y ) ) E(X ) E(X) [ E ( E(X Y ) ) E(X) ]. }{{}}{{}}{{} E(X ) D (X) D (E(X Y )) Következméykét kapjuk, hogy D (E(X Y )) D (X). 5.. Példa. Dobjuk fel egy szabályos kockát -szer. Legye X a hatosok száma, Y a páratlaok száma. Az {Y y} feltétel mellett X eloszlása Bi( y, /3). Tehát E(X Y ) ( Y )/3. Erre Másrészt Végül E(E(X Y )) E(( Y )/3) E(Y ) 3 6, E(X) 6. D (X Y ) ( Y ) 3 3 ( Y ), E(D (X Y )) 9 9. D (X) 5 36, D (E(X Y )) Tétel. (Rao-Blackwell tétel) Legye X diszkrét mita, S torzítatla becslése ψ(ϑ)-ak, T pedig elégséges statisztika ϑ-ra. Ekkor U E(S T ) is torzítatla becslés ψ(ϑ)-ra, és hatásosabb S-él. Bizoyítás. A feltételes várható érték tulajdoságaiból rögtö kötetkezik: E ϑ (U) E ϑ (E ϑ (S T )) E ϑ (S) ψ(ϑ), D ϑ(u) D ϑ (E ϑ (S T )) D ϑ(s). Mj: Azt, hogy T elégséges statisztika, ott haszáltuk fel, hogy az E(S T ) várható érték em függ ϑ-tól, azaz a mitából kiszámolható meyiség. Az eljárásak léyege tehát az, hogy egy akármilye torzítatla becslés hatásosságát javíthatjuk azzal, ha egy elégséges statisztikára vett feltételes várható értékét képezzük. Eek az eljárásak elevezése blackwellizálás. A tételb l következik, hogy ha va hatásos becslés, akkor az tetsz leges elégséges statisztikáak függvéye. 5.. Példa. Legye X i Geo(p), p-t szereték becsüli. Elégséges statisztika: T X i. egyszer torzítatla becslés: S I(X ). Blackwellizáljuk, azaz számoljuk ki az U E(S T ) V (T ) becslést! V (l) E p (S T l) 0 P p (S 0 T l) + P p (S T l) P p (X i i i X i l) i Egy P p (X, i X i l) P ( i X. i l) A számláló P p (X, X l) P p (X, X i l ) P p (X )P p ( X i l ). A evez él pedig azt haszáljuk, hogy i X i NegBi(, p). Tehát V (l) P p(x )P p ( i X i l ) P ( i X p( ) l p ( p) l ) i l) p ( p) l l. Azaz U V ( i X i) lesz az S blackwellizáltja (megmutatható, hogy ez hatásos becslés). i X i ( l i 3

14 5.. Feladat. Legye X i P oisso(λ), keressük jó torzítatla becslést ψ(λ) e λ -ra blackwellizálással! Els ötlet: e X, de belátható, hogy ez em torzítatla. Vegyük észre, hogy e λ P λ (X 0), azaz S I(X 0) jó lesz. Továbbá T i X i elégséges. E λ (S T l) P λ (X 0 i X i l) e λ e ( )λ (( )λ) l l! e λ (λ)l l! ( ) l. Felhaszáltuk, hogy i X i Poisso(λ) és i X i Poisso(( )λ). Azaz a megjavított becslés: V ( ) X i ( ) }{{} e X. 5.. Feladat. Legye X i Id(p), keressük jó torzítatla becslést ψ(p) p -re blackwellizálással! Els ötlet: X, de ez em torzítatla. S I(X, X ), T i X i, E p (S T l) P p (X, X X i l) p p ( ) l p l ( p) l(l ) ) pl ( p) l ( ), azaz a megjavított becslés V 5.. Tapasztalati becslés Xi i Xi. A tapasztalati becslés azt jeleti, hogy az elméleti eloszlás valamely jellemz jét a tapasztalati eloszlás megfelel jellemz jével becsüljük. Ezek a becslések általába kozisztesek, mivel a tapasztalati eloszlásfüggvéy tart az elméletihez. A következ táblázatba tapasztalati becslésre látuk éháy példát. Jellemz Elméleti eloszlásé Tapasztalati eloszlásé várható érték E(X) i X i X szóráségyzet D (X) i (X i X) S terjedelem sup{ x F (x) < } if{ x F (x) > 0 } X () ( l X () eloszlásfüggvéy F (x) P (X < x) i I(X i < x) ˆF (x) 5.3. Maximum likelihood becslés 5.. Deíció. Legye X,..., X mita F ϑ eloszlásból, ϑ Θ. Ekkor a ϑ maximum likelihood (ML) becslése ˆϑ, ha L (X; ˆϑ) max{l (X; ϑ) : ϑ Θ}. Lehet, hogy ilye em létezik, vagy em egyértelm. Ha L (X; ϑ) "elég sima", akkor a következ t szokás csiáli: ϑ l L (X; ϑ) 0 likelihood egyelet megoldását keressük Példa. X i Exp(λ). L (X; λ) i λ e λ X i, l L λe λxi (X; λ) l λ λ X i, λ l L (X; λ) λ X i, ez akkor 0, ha λ Xi X, azaz ˆλ X Példa. X i Egyeletes(ϑ, ϑ + ). L (X; ϑ) I(ϑ X i ϑ +, i) ( ) () I(ϑ X, X () ϑ + ). Eek a függvéyek a maximumhelye em egyértelm, mide ˆϑ [ ] X (), X () érték ML becslés. 4

15 5.. Tétel. Ha létezik ML becslés, akkor az megadható a T elégséges statisztika függvéyekét. Bizoyítás. A faktorizációs tétel alapjá L (X; ϑ) h(x) g ϑ (T (X)), ahol h(x) em játszik szerepet a ϑ szeriti maximumhely keresésébe. Azaz a maximumhelyek halmaza csak T (X)-t l függ Tétel. Legye X,..., X mita az F ϑ eloszlásból, ϑ ML becslése pedig ˆϑ. Ekkor ψ( ˆϑ) ML becslés ψ(ϑ)-ra. Bizoyítás. Legye L (x; ψ) sup { L (x; ϑ) ψ(ϑ) ψ } az idukált likelihood függvéy. Deíció szerit ψ(ϑ) ML becslése L (x; ψ) maximumhelye ψ-be. L (x; ψ) L (x; ˆϑ) és L (x; ψ( ˆϑ)) L (x; ˆϑ). Tehát L (x; ψ( ˆϑ)) { } max ψ L (x; ψ) A ML becslés általába em torzítatla. Azoba a következ tétel szerit bizoyos er s feltételek mellett a ML becslések jó aszimptotikus tulajdoságai vaak. Ez az egyik oka aak, hogy ez a módszer a legelterjedtebb a gyakorlatba Tétel. Bizoyos (er s) regularitási feltételek mellett elég agy -re a ˆϑ ML becslés létezik, kozisztes, a) aszimptotikusa ormális eloszlású: ( ˆϑ ϑ) N(m(ϑ), σ(ϑ)) eloszlásba ( ). b) aszimptotikusa torzítatla: m(ϑ) 0. c) aszimptotikusa optimális: σ (ϑ) I. (ϑ) 5.5. Példa. X ( i E(a, ) b), adjuk meg a paraméterek ML becslését! L (X; a, b) I(a X i b i), azaz a legkisebb olya [a, b] itervallumot keressük, amely b a midegyik meggyelést tartalmazza. Azaz â X (), ˆb X () Példa. X i N(m, σ), adjuk meg a paraméterek ML becslését! ( ) L (X; m, σ) e (X i m) σ i πσ π σ (Xi m) e σ, ( ) (Xi m) l L (X; m, σ) l l σ. π σ A likelihood egyelet most két egyeletb l áll: m l L (Xi m) (X; m, σ) σ 0, σ l L (X; m, σ) σ (X i m) σ 3 0 () Xi m ˆm Xi X (Xi m) σ σ (Xi m) () 5.4. Mometumok módszere ˆσ (Xi X) S Ezt a módszert akkor szokás alkalmazi, ha sok ismeretle paraméter va, és a ML becslést ehéz kiszámítai. Az eljárás a következ. Eljárás ) Az eloszlás l. (elméleti) mometuma: µ l E ϑ (Xi l) Felíruk ayi mometumot, ameyi meghatározza az eloszlást. ) Kifejezzük az ismeretle paramétereket a mometumok segítségével. 3) E ϑ (Xi l) helyébe Xi l -et íruk (ezek a tapasztalati mometumok). i 5.7. Példa. Legye X i E(a, b). µ E a,b (X i ) a + b, µ E a,b (Xi ) D a,b (X i) + E a,b (X i ) (b a) + ( a + b ) 5

16 (b a) µ µ b a (µ µ ) b µ + 3(µ µ ) a µ 3(µ µ ) â X 3( X i X ) X 3S, ˆb X + 3( X i X )X + 3S Példa. Legye X i E( a, a). µ E a (X i ) 0 µ E a (X i ) a 3 a 3µ â 3 Xi Itervallum becslések Eddig úgyevezett potbecslésekkel foglalkoztuk, azaz a paramétert (vagy aak függvéyét) egyetle értékkel becsültük meg. A potbecslés bizoytalaságát a becslés szórásával fejezhetjük ki. Ha például a becslésr l belátható, hogy aszimptotikusa ormális eloszlású, akkor az igazi paraméter kb. 95% valószí séggel a potbecslés körüli szórás sugarú itervallumba va. A becslésbe rejl bizoytalaságot kifejezhetjük úgy is, hogy a paramétert em egy értékkel, haem egy itervallummal becsüljük. 5.. Deíció. Legye X (X,..., X ) mita F ϑ eloszlásból, ahol ϑ valós paraméter. Azt modjuk, hogy a (T (X), T (X)) itervallum legalább α megbízhatósági szit kodecia-itervallum ϑ-ra (rövide KI( α), ha P ϑ (T (X) < ϑ < T (X)) α ϑ. Mj: A KI potos megbízhatósági szitje if { P ϑ(ϑ (T, T )) }. ϑ Θ 5.5. Tétel. Ha (T, T ) KI( α) ϑ-ra, akkor (S, S ) KI( α) ψ(ϑ)-ra, ahol S if { ψ(ϑ) ϑ (T, T ) } S sup { ψ(ϑ) ϑ (T, T ) }. Az egyik legfotosabb (és legszebb) eset a ormális eloszlás várható értékére KI kostruálása, ismert vagy ismeretle szórás mellett. Nézzük meg ezeket! 5.9. Példa. Legye X i N(µ, σ), ahol σ ismert, µ ismeretle. Adjuk µ-re KI( α)-t! σ Kiiduláskét vegyük észre, hogy X N(µ, ), azaz X µ N(0, ). Ezért σ ( ) X µ P σ < u α α, ahol u α az az érték, melyre Φ(u α ) α, ezt táblázatból ézhetjük ki. u α u α Ebb l megkaphatjuk a KI alsó és fels határát: α α α Azaz kaptuk, hogy σ X µ < u α σ u α X µ < T X σ u α, X σ u α T X + σ u α. < µ < X + σ u α. 6

17 Ha a σ szórás em ismert, akkor ehezebb dolguk va. A megoldáshoz meg kell ismerük két új eloszlást, a χ -eloszlást és a t-eloszlást Deíció. Legyeek X i N(0, ) függetleek, és Y Xi. Az Y valószí ségi változó eloszlását szabadságfokú khi-égyzet eloszlásak evezzük, jelölés: Y χ. Továbbá Y eloszlását szabadságfokú khi eloszlásak evezzük, jelölés: Y χ. Köy láti, hogy ha Y χ, akkor E(Y ) és D (Y ). A khi-égyzet eloszlás s r ségfüggvéye is kiszámolható, erre azoba em lesz szükségük. Csak megjegyezzük, hogy -re a s r ségfüggvéy πx e x/, -re pedig az Exp(/) eloszlást kapjuk. Ha 3, akkor a s r ségfüggvéy egy darabig mooto, majd mooto csökke Deíció. Legye X N(0, ), Y χ függetleek. Legye Z X. Ekkor a Z valószí ségi Y változó eloszlását szabadságfokú t eloszlásak, vagy szabadságfokú Studet eloszlásak evezzük, jelölés: Z t. A t eloszlás s r ségfüggvéye is kiszámítható, de potos alakjára em lesz szükségük. Köye látszik, hogy a s r ségfüggvéy szimmetrikus, azaz E(Z) 0 ( > ). Megmutatható, hogy D (Z) ( > ). A t eloszlás eseté a stadard ormálishoz tart, de vastagabb a farka (s r ségfüggvéye agy x-re kb. c x (+) ). α vsz t (α) 5.6. Tétel (Fisher-Bartlett). Legye X i N(µ, σ). Ekkor X és S függetleek, és S σ χ. Mj: Legye X i N(µ, σ), és Y i (X i µ)/σ. Ekkor S σ (Y i Y ). Mivel az (Y i Y ) i valószí ségi változók em függetleek, csökke a szabadsági fok. Mj: A mitaátlag és a tapasztalati szóráségyzet függetlesége karakterizálja a ormális eloszlást. i 5.0. Példa. Legye X i N(µ, σ), és most µ, σ ismeretleek. Adjuk µ-re KI( α)-t! Legye S (Xi X) a korrigált tapasztalati szórás. Ekkor a Fisher-Bartlett tétel szerit Azaz ebb l a KI X µ S X µ N(0, ) σ t S. χ σ ( X µ P < t ( α ) ) α, S T X S t ( α ) T X + S t ( α ). 5.. Példa. Legye X i Id(p). Adjuk p-re hozzávet leges ((aszimptotikus) KI( α)-t! ) Kiiduláskét vegyük észre, hogy X jó becslés p-re, és X N p,, ha elég agy. p( p) ( X p N(0, ) P ) X p < u α α. p( p) p( p) 7

18 A zárójelbe álló egyel tleséget kell most p-re átredezi. Más módszer: a evez be lév p helyébe X-et íruk, és a egyel tleséget redezzük át. X( X) X p < u α 5.3. Feladat. Legye X i Exp(λ). Adjuk hozzávet leges KI( α)-t λ-ra! 5.4. Feladat. Egy cukorgyárba kockacukrokat gyártaak. Tegyük fel, hogy a cukrok milliméterbe kifejezett élhosszúsága közelít leg ormális eloszlású. 6 darab cukor élhosszúságát megmérve, a következ adatokat kaptuk: Az adatok átlaga 0.06, tapasztalati szórása (a) Adjuk az élhossz m várható értékére KI(0.95)-t, ha tudjuk, hogy a szórás σ 0.5. (b) Adjuk KI-t m-re, ha a szórás ismeretle! (c) Ismert és ismeretle szórás mellett is adjuk KI(0.9)-t m 3 -re, azaz egy átlagos kockacukor térfogatára (ami em egyel a kockacukrok átlagos térfogatával)! 6. Statisztikai próbák és jóságuk A statisztikai próba olya eljárás, mellyel eldötjük, hogy a meggyeléseik alapjá egy el zetes feltételezésük (hipotézisük) tartható-e, vagy a meggyelések elletmodaak a feltételezések. Nézzük egy példát! Tegyük fel, hogy egy gyárba mi ségelle rzést végzük, azaz megvizsgáljuk, hogy a gyártott termékek mi sége megfelel -e. El zetes feltételezésük szerit a gyártási folyamat redbe va, azaz a termékek legfeljebb 5%-a selejtes. A feltételezés elle rzéséhez 5 véletleszer e választott terméket megvizsgáluk, és ha legfeljebb 3 selejtes va köztük, akkor a feltételezést elfogadjuk. Ellekez esetbe a feltételezést elvetjük. Kérdés, hogy jó-e ez az eljárás? Mivel dötésük egy véletleszer e választott mitára épül, teljes bizoyossággal em tudjuk eldötei, hogy a feltételezésük helyes-e. Kétféle hibát követhetük el: Ha igaz a feltételezés, mégis elutasítjuk, akkor els fajú hibát vétük, Ha em igaz a feltételezés, mégis elfogadjuk, akkor másodfajú hibát vétük. Mekkora eze hibák valószí sége? Kiszámításához az egyszer ség kedvéért tegyük fel, hogy a mitát visszatevéssel vesszük. Továbbá jelölje p a selejtaráyt. El ször tegyük fel, hogy a feltételezés igaz, azaz p P p (els fajú hiba) P p ( 4 selejt) 5 k4 ( ) 5 p k ( p) 5 k. k Ez a valószí ség akkor a legagyobb, ha p 0.05, így az els fajú hiba valószí sége legfeljebb α sup P p ( 4 selejt) P 0.05 ( 4 selejt) p 0.05 Most tegyük fel, hogy a feltételezés hamis, azaz p > A másodfajú hiba valószí sége P p ( 3 selejt) 3 k0 ( ) 5 p k ( p) 5 k, k például ha a selejtaráy p 0., akkor valószí séggel fogjuk a feltételezést tévese elfogadi. Deiáljuk most formálisa az alapfogalmakat! 8

19 6.. Deíció. Legye (Ω, A, P) paraméteres statisztikai mez, tehát P {P ϑ : ϑ Θ}, ahol Θ a paramétertér. Hipotézisek: ullhipotézis: H 0 : ϑ Θ 0 ellehipotézis: H : ϑ Θ, ahol Θ Θ 0 Θ a paramétertér diszjukt felbotása (Θ 0 Θ ). Mita: X (X,..., X ) vektorváltozó (legtöbbször függetle, azoos eloszlású), lehetséges értékeiek halmaza az X mitatér. Statisztikai próba: elfogadási tartomáy: X e kritikus (elutasítási) tartomáy: X k, ahol X X e X k a mitatér diszjukt felbotása (X e X k ). Ha X X e, akkor H 0 -t elfogadjuk, ha X X k, akkor H 0 -t elutasítjuk. Az bevezet példába Θ [0, ], Θ 0 [0, 0.05], Θ (0.05, ]. A mita: X (X,..., X 5 ), ahol X i, ha az i-edik kiválasztott termék selejtes, X i 0, ha az i-edik kiválasztott termék hibátla. Azaz X {0, } 5. A próbát meghatározó tartomáyok: X e {x X : 5 i x i 3}, X k {x X : 5 i x i 4}. Nagyo fotos, hogy a két hipotézis szerepe általába em egyeragú. Az alapfeltevést csak agyo idokolt esetbe szereték elutasítai, ezért az els fajú hiba súlyosabbak számít, mit a másodfajú. Az els fajú hiba maximális valószí ségét szokás megadi, emellett természetese a másodfajú hiba esélyéek miimalizására törekszük. Ebb l kifolyólag a dötések értelmezése is külöböz : H 0 -t elfogadjuk: em jeleti azt, hogy igaz, csak azt, hogy ics okuk elutasítai. H 0 -t elutasítjuk: komoly bizoyítékot találtuk arra, hogy H 0 em igaz. Például egy új gyógyszer vizsgálatál a gyögyszer hatásosságára keresük bizoyítékot, ezért a hipotézisek: H 0 : a gyógyszer em hatásos, H : a gyógyszer hatásos. Folytassuk a deíciókat! 6.. Deíció. Els fajú hiba: H 0 igaz, mégis elutasítjuk. Eek valószí sége: P ϑ (X X k ) ϑ Θ 0. A próba terjedelme: α sup ϑ Θ 0 P ϑ (X X k ). Másodfajú hiba: H 0 hamis, mégis elfogadjuk. Eek valószí sége: P ϑ (X X e ) ϑ Θ. A próba er függvéye: β(ϑ) P ϑ (X X e ) P ϑ (X X k ) ϑ Θ. Másképp β(ϑ ) a próba ereje a H : ϑ ϑ ellehipotézissel szembe. Ha egy próbasorozatot vizsgáluk, azaz mide mitaelemszámra va egy (X e, X k ) tartomáyokkal deiált próbák, akkor ezt jelölhetjük a terjedelembe és az er függvéybe is: α helyett α -t, β helyett β -t írhatuk. 6.. Példa. Legye X E( t, + t) egyetle meggyelés, ahol t > 0 ismeretle. H 0 : t 0 (egyszer hipotézis Θ 0 egyelem halmaz em kell sup a terjedelembe) H : t > 0 (összetett hipotézis Θ többelem halmaz). A próba: X e (0., 0.85), (X R). α P 0 (X X k ) P 0 (X X e ) P 0 (0. < X < 0.85) er függvéy: β(t) P t (X X k ) P t (0. < X < 0.85) t. 9

20 β(t) 4 kis t-re kicsi a próba ereje t agy t-re agy Mikor jó a próba? ) Torzítatla: a próba ereje legalább akkora, mit a terjedelme: β(ϑ) α ϑ Θ. ) Er s: Az (X e, X k ) próba egyeletese er sebb, mit a (X e, X k ) próba, ha β(ϑ) P ϑ (X X k ) β (ϑ) P ϑ (X X k ) ϑ Θ. 3) Kozisztes: Az (Xe, Xk ) legfeljebb α terjedelm kozisztes próbasorozat, ha (terjedelem) α α és β (ϑ) ϑ Θ Deíció. A (X e, X k ) próba egyeletese leger sebb, ha mide más, legfeljebb ekkora terjedelm próbáál egyeletese er sebb. Az egyeletese leger sebb próba olyasmi a hipotézisvizsgálatba, mit a hatásos becslés a becsléselméletbe. Ilye próbát általába em köy kostruáli. Arra az esetre viszot tuduk egyeletese leger sebb próbát adi, ha két egyszer hipotézis között kell dötei. Ehhez szükségük lesz a véletleített próba fogalmára. Eddigi próbák másképp megfogalmazva: Legye Ψ : X {0, } egy függvéy. Ha x X -et gyeljük meg, akkor Ψ(x) valószí séggel utasítjuk el H 0 -t. Ekkor: X e { x Ψ(x) 0 } X k { x Ψ(x) } 6.4. Deíció. Véletleített próba: Legye Ψ : X [0, ] egy függvéy (eek eve próbafüggvéy). Ha x X -et gyeljük meg, akkor Ψ(x) valószí séggel utasítjuk el H 0 -t. Számítsuk ki véletleített próba eseté a hibavalószí ségeket (modjuk diszkrét esetet véve)! P ϑ (H 0 -t elutasítjuk) x Ψ(x)P ϑ (X x) E ϑ (Ψ(X)). Így α sup ϑ Θ0 E ϑ (Ψ(X)), és β(ϑ) E ϑ (Ψ(X)) (ϑ Θ ). 6.. Tétel. (Neyma-Pearso lemma) Legye H 0 és H két egyszer hipotézis: H 0 : ϑ ϑ 0, vagy másképp: a mita likelihood-függvéye L (0; x) H : ϑ ϑ, vagy másképp: a mita likelihood-függvéye L (; x), ha L(,x) L > c (0;x) ahol X egy elem mita. Tekitsük a következ próbafüggvéyt: Ψ(x) γ ha L(,x) L (0;x) c. Ekkor 0 ha L(,x) L < c (0;x) ) Mide 0 < α eseté létezik c és γ, hogy a Ψ próba terjedelme potosa α ) A Ψ próba egyeletese leger sebb az összes α terjedelm próba között (és léyegébe egyértelm ). Bizoyítás. ) Legye Y L(;X) L (0;X). Ekkor a próba terjedelme α P 0 (Y > c) + γ P 0 (Y c) P 0 (Y c) + γ P 0 (Y c), 0

21 azaz α P 0 (Y c) γ P 0 (Y c). Ha va olya c 0, melyre P 0 (Y c 0 ) α akkor a c c 0, γ 0 választás jó lesz. Ha em létezik ilye c 0, akkor is va olya c 0, melyre P 0 (Y < c 0 ) α < P 0 (Y c 0 ). Ekkor legye c c 0, γ P 0(Y c 0 ) ( α) (0 < γ ). P 0 (Y c 0 ) ) Legye Ψ egy másik próba próbafüggvéye. A feltevés szerit E 0 (Ψ (X)) α E 0 (Ψ(X)). Azt kell beláti, hogy az er kre E (Ψ (X)) E (Ψ(X)) áll fe. Tegyük fel, hogy a mita abszolút folytoos eloszlású, ekkor L (; x) f ; (x), ahol f ; (x) a mita együttes s r ségfüggvéye a H mellett, hasolóa L (0; x) f ;0 (x), ahol f ;0 (x) a mita együttes s r ségfüggvéye a H 0 mellett. Megmutatjuk, hogy R (Ψ(x) Ψ (x)) (f ; (x) c f ;0 (x)) dx 0. () Ugyais, ha f ; (x) c f ;0 (x) 0, akkor az itegradus ulla. Ha f ; (x) c f ;0 (x) > 0, akkor Ψ(x), viszot Ψ (x), így Ψ(x) Ψ (x) 0, tehát az itegradus 0. Ha f ; (x) c f ;0 (x) < 0, akkor Ψ(x) 0, így Ψ(x) Ψ (x) 0, tehát az itegradus megit 0. Az () itegrált szétbotva, 0 Ψf ; Ψ f ; c Ψf ;0 +c Ψ f ;0 E (Ψ(X)) E (Ψ (X)) c E 0 (Ψ(X))+c E 0 (Ψ (X)). Átredezve kapjuk, hogy E (Ψ(X)) E (Ψ (X)) c [E 0 (Ψ(X)) E 0 (Ψ (X))] 0. A próba eve: likelihood-háyados próba. Véletleítésre általába csak diszkrét miták eseté va szükség, hogy a teljes terjedelmet ki tudjuk haszáli, és egyúttal öveljük az er t. Eek ikább elméleti, mit gyakorlati jelet sége va. Megmutatható, hogy (függetle, azoos elem mitákra) a próba kozisztes, mivel β c, ahol c a két likelihood függvéyt l függ (egyél kisebb) kostas. 6.. Példa. Egy érmével kétszer dobuk. H 0 : P (fej), H : P (fej) 6. A mitatér: X {F F, F I, IF, II}, és a rövidség kedvéért jelölje a likelihoodokat L és L 0. A likelihoodok, illetve likelihoodháyadosok táblázata: F F F I IF II L 36 L 0 4 L L Legye el ször α 0.5. A Neyma-Pearso lemma alapjá olya γ, c párt keresük, melyre a Ψ(x) ha L L 0 > c γ ha L L 0 c próba terjedelme α, azaz 0.5 α P 0 ( L L 0 > c) + γ P 0 ( L L 0 c). A terjedelmet úgy 0 ha L L 0 < c szedjük össze, hogy a legagyobb likelihood-háyadostól, 5/9-t l iduluk. Látszik, hogy c ( 5 9, 5 9 ) jó lesz, és véletleítésre ics szükség (γ 0), tehát II eseté H 0 -t elutasítjuk, mide más esetbe H 0 -t elfogadjuk. Ha most α 0.3, akkor tovább kell mei. Ha 5 9 < c < 5 9, akkor az els fajú hiba 0.5 < 0.3 ha viszot 9 < c < 5 9, akkor az els fajú hiba > 0.3. Tehát c 5 9, és a megoldadó egyelet: γ , amib l γ 0.. Tehát II eseté H 0 -t elutasítjuk, F F eseté H 0 -t elfogadjuk, IF vagy F I eseté véletleítük: H 0 -t 0.9 valószí séggel elfogadjuk, 0. valószí séggel elvetjük. Mekkora a próba ereje? ( ) ( ) L L β P > c + γ P c L 0 L

22 6.3. Példa. Egy urába 7 db golyóból k piros, 7 k zöld. H 0 : k 3, H : k 4. Három golyót kihúzuk visszatevés élkül, jelölje X a pirosak számát a kihúzottak között (X {0,,, 3}). Adjuk meg az α 0. terjedelm likelihood-háyados próbát! ( 3 4 ) ( 4 3 ) L 0 (x) x)( 3 x ( 7, L (x) x)( 3 x ( 7. 3) 3) Ezért a táblázat: L 35 4 L 0 35 L L Mivel /35 < 0., de /35+/35 > 0., így c 3. Továbbá a γ 35 egyeletb l γ 0.5. Tehát ha legfeljebb egy piros golyót húzuk, akkor elfogadjuk a ullhipotézist, ha három piros golyót húzuk, akkor elvetjük a ullhipotézist, ha pedig két piros golyót húzuk, akkor véletleítük: / valószí séggel elvetjük, / valószí séggel elfogadjuk a ullhipotézist. A próba másodfajú hibája: β P (H 0 -t elfogadjuk) Példa. Legye X Exp(λ) egy villaykörte élettartama (évekbe kifejezve). H 0 : λ, H : λ 3. Adjuk meg az α /8 terjedelm likelihood-háyados próbát! Most X (0, ). A s r ségfüggvéyek és háyadosuk: L 0 (x) e x, L (x) 3 e 3 x, L (x) L 0 (x) 3 e x x 3 3 e x 6. Mivel a mita folytoos eloszlású, véletleítésre em lesz szükség. Kell tehát: α 8 P 0 ( ) ( 3 e X 6 > c P 0 X > 6 l 3c ) ( F 0 6 l 3c ) ( 3 3c 3 l e. 3c) Ebb l pedig c 4 3. Megkaptuk tehát c-t, de igazából em ez a fotos, haem az, hogy mikor utasítjuk el a ullhipotézist. A számítás másképp: α ( ) 8 P 0 3 e X 6 > c P 0 (X > d) F 0 (d) e d, amib l d 6 l 4.6. Tehát akkor utasítjuk el a ullhipotézist, ha a villaykörte tovább él, mit 4.6 év. Mj.: a kapott próba egyeletese leger sebb a H 0 : λ, H : λ < hipotézisvizsgálati feladatra, mivel mide H : λ λ (< ) egyszer ellehipotézisre ugyaez a próba a leger sebb. 6.. Feladat. Legye öt elem miták λ paraméter Poisso eloszlásból. H 0 : λ, H : λ. Adjuk meg az α 0.05 terjedelm likelihood-háyados próbát! 6.. Feladat. Legye elem miták az N(m, ) ormális eloszlásból. H 0 : m 0, H : m. Adjuk meg az α 0.05 terjedelm likelihood-háyados próbát! 7. A ormális eloszlás paramétereire voatkozó próbák Az egyik leggyakrabba el forduló eloszlás a ormális eloszlás, melyet a várható értéke és a szórása jellemez. Ezekre a paraméterekre három típusú próbát tauluk. Ezek a típusok:. A várható értékre voatkozó próba, ha a szórás ismert u-próba.

23 . A várható értékre voatkozó próba, ha a szórás ismeretle t-próba. 3. A szórásra voatkozó próba, ha a várható érték ismeretle (vagy akár ismert) F -próba. A próbák eze belül még külöbözhetek aszerit, hogy egymitásak vagy kétmitásak, illetve az ellehipotézis jellege szerit (egyoldali vagy kétoldali ellehipotézis). Ezek a próbák egyeletese leger sebbek a legfeljebb ekkora terjedelm torzítatla próbák között. Egymitás u-próba Legye X,..., X N(m, σ) ahol σ ismert, m ismeretle. A hipotézisek: a) H 0 : m m 0 H : m m 0 b) H 0 : m m 0 H : m > m 0 c) H 0 : m m 0 H : m < m 0 () A próbastatisztika: u X m 0 H0 N(0, ). σ Ezért ha a kívát terjedelem α, akkor a kritikus tartomáy: a) X k { u > u α } b) X k {u > u α } c) X k {u < u α } (3) ahol az u δ kritikus érték olya, hogy Φ(u δ ) δ, ezt a Φ(x) függvéy táblázatából keressük ki. Mj.: ()-be az a) esetbe kétoldali, a b) és c) esetekbe egyoldali ellehipotézisr l beszélük. Hogy éz ki a próba er függvéye (kétoldali ellehipotézisre)? Vezessük be a (m) : m m0 σ jelölést. β (m) P m ( u > u α ) P m P m ( u α < X m σ ( X m 0 + m m 0 σ σ < u α > u α ) ( P m u α < X m 0 σ ) P m ( u α (m) < X m σ < u α ) < u α (m) Φ(u α (m)) + Φ( u α (m)) Φ( u α + (m)) + Φ( u α (m)), ahol felhaszáltuk, hogy X m σ N(0, ). Az er függvéy kapott képletéb l leolvasható, hogy ) β (m) folytoos ) β (m) < β (m) (m m 0 ) és β (m) (a próba kozisztes) 3) β (m) > α (m m 0 ) (er agyobb mit a terjedelem - a próba torzítatla) 4) lim β (m) m ± 7.. Példa. Legye X,..., X 6 N(m, ) mita, melyre X 0,. Hipotéziseik: H 0 : m 0, H : m 0. α 0, terjedelem mellett szereték dötei. Egymitás u-próbát kell végezi, a kritikus érték: ) 0.95 α Φ(u α ) tábl. u α.65. A próbastatisztika: u 0, Mivel , elfogadjuk H 0-t. Keressük most meg a legagyobb terjedelmet, ami mellett még elfogadjuk H 0 -t! u α 0.4 Φ(u α ) 0.66 α α 0.34 α

24 Kétmitás u-próba Legyeek X,..., X N(m, σ ) és Y,..., Y N(m, σ ) függetle miták, ahol σ, σ ismert, m, m ismeretleek. A hipotézisek: A próbastatisztika: a) H 0 : m m H : m m b) H 0 : m m H : m > m c) H 0 : m m H : m < m (4) u X Y σ + σ H 0 N(0, ). Tehát a kritikus tartomáyok ugyaazok, mit egymitás esetbe, azaz (3) adja meg ket. Egymitás t-próba Legye X,..., X N(m, σ) ahol m, σ ismeretle. A hipotézisek: ugyaazok, mit az egymitás u-próbáál (). A próbastatisztika: t X m 0 S ahol S (Xi X). Jelölje a szbadsági fokot f, tehát f. A kritikus tartomáy: H0 t, a) X k { t > t f ( α )} b) X k {t > t f (α)} c) X k {t < t f (α)} (5) ahol a t f (δ) kritikus érték olya, hogy F (t f (δ)) δ, ha F jelöli az f szabadsági fokú t-eloszlás eloszlásfüggvéyét. A t f ( α )-t és a t f (α)-t a t-próba kritikus értékei cím táblázatból keressük ki, az oszlopok fölött kell gyeli arra, hogy egyoldali vagy kétoldali próbák va. Kétmitás t-próba Legyeek X,..., X N(m, σ) és Y,..., Y N(m, σ) függetle miták, ahol m, m és σ ismeretleek. A hipotézisek: ugyaazok, mit a kétmitás u-próbáál (4). A próbastatisztika: t X Y ( )S + ( )S Jelölje a szbadsági fokot f, tehát f +. A kritikus tartomáy ugyaaz, mit az egymitás esetbe (5). ( + ) + H 0 t+. Vezessük le, hogya jö ki a kétmitás t-próbáál a próbastatisztika. Egyrészt m m eseté X Y N(0, σ / + σ / ), azaz σ (X Y ) + N(0, ). Másrészt teljesül, hogy [ ] σ ( )S + ( )S χ +, 4

25 mivel a tagok külö-külö χ illetve χ eloszlásúak, és függetleek. Mivel pedig az el z két képletbe felírt valószí ségi változók függetleek is, háyadosuk a szabadsági fok gyökével beszorozva valóba t eloszlású lesz. Mj.: Ha a két mita szórása szigikása külöbözik, akkor a feti próbát kissé módosítai kell, ezt vagy szité t-próbáak, vagy Welch-próbáak hívják. A módosítás abból áll, hogy most a próbastatisztika t X Y S + S H 0 tf, ahol az f szabadsági fok f (g + g ) g + g és g i S i / i. Ha f em egész, akkor kerekítjük. A szórásra voatkozó próbához szükségük lesz az F eloszlásra. 7.. Deíció. Ha X f szabadsági fokú, Y pedig f szabadsági fokú, egymástól függetle, χ eloszlású valószí ségi változók, akkor a Z X/f Y/f valószí ségi válozó (f, f ) szabadsági fokú F -eloszlású, jel. F f,f. Itt f a számláló szabadsági foka, f a evez szabadsági foka. (E(Z), f f.) Kétmitás F -próba Legyeek X,..., X N(m, σ ) és Y,..., Y N(m, σ ) függetle miták, ahol m, m és σ, σ ismeretleek. A hipotézisek: A próbastatisztika: a) H 0 : σ σ H : σ σ b) H 0 : σ σ H : σ > σ c) H 0 : σ σ H : σ < σ F S H S 0 F,. Jelölje a szbadsági fokokat f és f. A kritikus tartomáy: a)x k {F < F f,f ( α ) vagy F > F f,f ( α )} b)x k {F > F f,f (α)} c)x k {F < F f,f ( α)}, (6) ahol az F f,f (δ) kritikus érték olya, hogy G(F f,f (δ)) δ, ha G jelöli az (f, f ) szabadsági fokú F -eloszlás eloszlásfüggvéyét. A kritikus értékeket az F -próba kritikus értékei cím táblázatból keressük ki. A próbastatisztika H 0 melletti eloszlása: F S S ( ( ( )S σ ( )S A próba praktikusabb formája kétoldali ellehipotézisre: F < F f,f ( α/) σ ) ) F,. F f,f ( α/) < F F f,f, ezért F f,f (α/) F f,f ( α/). Így a kritikus tartomáy ekvivales alakja: { } X k F > F f,f (α/) vagy F > F f,f (α/). 5

26 A gyakorlatba haszált α-kra a kritikus érték -él agyobb, ezért elég F és /F közül a agyobbikat összehasolítai a megfelel kritikus { értékkel. } A próba tehát: az F S max statisztikát hasolítjuk össze vagy az F, (α/) vagy az S, S S F, (α/) kritikus értékekkel. Legye X,..., X N(m, σ) ahol m, σ ismeretle. A hipotézisek: A próbastatisztika: Jelölje a szabadsági fokot f. A kritikus tartomáy: Egymitás F -próba (vagy χ -próba) a) H 0 : σ σ 0 H : σ σ 0 b) H 0 : σ σ 0 H : σ > σ 0 c) H 0 : σ σ 0 H : σ < σ 0 χ ( ) S σ0 H 0 χ. a)x k {χ < χ f ( α ) vagy χ > χ f ( α )} b)x k {χ > χ f (α)} c)x k {χ < χ f ( α)}, ahol a χ f (δ) kritikus érték olya, hogy G(χ f (δ)) δ, ha G jelöli az f szabadsági fokú χ -eloszlás eloszlásfüggvéyét. A kritikus értékeket a χ -próba kritikus értékei cím táblázatból keressük ki. Ehelyett végezhetük az F S σ0 H 0 F, statisztikára F -próbát, azaz ekkor a kritikus tartomáyt (6) adja meg (az F, eloszlás a χ eloszlás átskálázott változata). 7.. Példa. Kétféle altató (A és B) hatásosságát tesztelték 0 betege. Az alábbi táblázat azt mutatja, hogy az altató meyivel övelte meg a betegek éjszakai alvásidejét (órába mérve). Beteg sorszáma A altató B altató külöbség Vajo va-e szigikás külöbség a két gyógyszer hatásossága között ( α 0.0 terjedelem mellett)? Hipotézisek: H 0 : m m, H : m m. A két mita azoba em függetle, mert ugyaazoko a betegeke próbálták ki mid a két gyógyszert. Vegyük ezért az A B külöbséget, és teszteljük egymitás t-próbával a H 0 : m 0, H : m 0 hipotéziseket! S.3, X.58, t X m0 S A kritikus érték: t9 (0.005) 3.35, így, mivel 4.06 > 3.35, a ullhipotézist elvetjük, azaz a két gyógyszer hatásossága között szigikás külöbség va. Tegyük most fel, hogy a két gyógyszert más-más 0 betege tesztelték (de továbbra is a feti táblázat adatait haszáljuk). Ekkor a két mita függetle, kétmitás t-próba végezhet. X.33, Y 0.75, S A 4, S B 3.8. A kétféle gyógyszer hatásáak szórásai feltételezhet e egyel ek, de elle rizhetjük 6