Átírás

1 Bevezetes a matematikai statisztikaba Dr. Ketskemety Laszlo, iter Marta Budapest, 999. ovember. Lektoralta: Dr. Gyor Laszlo Szerkesztette: Gy}ori Sador

2

3 Tartalomjegyzek. A matematikai statisztika alapfogalmai 5. Becsleselmelet 9.. Torztatla, kozisztes becsles Hatasos becslesek Elegsegesseg Maximum-likelihood becsles Itervallumbecslesek Hipotezisvizsgalat Alapfogalmak Neyma{earso- es Stei-lemma arameteres probak Egymitas u-proba Aketmitas u-proba Az egymitas t-proba Aketmitas t-proba Az F-proba AWelch-proba Nemparameteres probak probak Kolmogorov{Szmirov-probak Regresszioaalzis Veletle meggyeles Liearis regresszio ket valtozo kozott oliomialis regresszio Liearisra visszvezethet}o ketparameteres regresszios osszefuggesek keresese A regresszios illeszkedes josagaak merese Tervezett (determiisztikus) meggyeles Sztochasztikus approximacio Liearis regresszios feladat Negyzetes hiba miimalizalasa Eloszlasbecsles Eloszlasfuggvey becslese Vapik{Chervoekis-elmelet

4 4 Tartalomjegyzek 6. S}ur}usegfuggvey becslese Az L hiba A hisztogram Regressziobecsles A regresszios problema Lokalis atlagolaso alapulo becsl}ok Empirikus hibamiimalizalas Alakfelismeres A Bayes-dotes es kozeltese Lokalis tobbsege alapulo dotesek Empirikus hibamiimalizalas Ajalott irodalom 5

5 . fejezet A matematikai statisztika alapfogalmai Avalosz}usegszamtas elmeletebe az (; F; ) Kolmogorovvalosz}usegi mez}o fogalmaztuk megateteleiket, azaz a valosz}usegi merteket vegig adottak teteleztuk fel. Agyakorlati problemakal azoba a valosz}useg em ismert, legfeljebb logikus el}ofeltetelezeseik vaak rola. A matematikai statisztika alapfeladata eppe az, hogy a veletle kserletre, vagy aveletle tomegjelesegre voatkozo meggyelessorozat segtsegevel kovetkezteti tudjuk a jeleseghez tartozo adekvat valosz}usegi mertekre vagy aak egy jellemz}ojere, azt megfelel}o potossaggal kozeltei tudjuk. Ilye ertelembe a veletle jelesegek matematikai modellezeseel a matematikai statisztika modszerei megel}ozik a valosz}usegszamtas modszereit. A matematikai statisztika fogalomkore, modszertaa viszot a valosz}usegszamtas fogalmai es modszerei alapul, es ilye szempotbol a matematikai statisztika koveti a valosz}usegszamtast. Ugyaugy, mit a valosz}usegszamtasal, a veletle kserlet (K) alapfogalmabol iduluk ki. Azt is feltesszuk, hogy ismert az elemi esemeyek halmaza es az esemeyek F halmazredszere. A valosz}useg potosa em ismert, csak azt tudjuk, hogy a K veletle kserlethez tartozo valosz}useg eleme egy halmazak. Tehat 8 esete Kolmogorovfele valosz}usegi mez}ot kapuk. A matematikai statisztika alapfeladata eze halmazbol kivalasztai azt a valosz}usegi merteket, amely teylegese a kserlethez tartozik. A valosz}usegi mertekosztalyra eseteket szokasos bizoyos megkotesekkel eli. Ilye pl. az, amikor -t domialtak tetelezzuk fel valamilye adott -veges mertekre ezve. Eze azt ertjuk, hogy adott az (; F) merhet}o tere olya -veges mertek, amelyre 8 abszolut folytoos, azaz ha valamely A F esete (A),akkor (A) is8 -re. A K veletle kserlethez meggyelessorozatot szervezuk, azaz adatokat gy}ujtuk. Matematikailag ezt ugy fogalmazzuk meg, hogy adottak tetelezuk fel egy X ;:::;X R d ertek}u fuggetle, azoos eloszlasu valosz}usegi vektorvaltozo sorozatot, amelyet statisztikai mitaak evezuk. A valosz}useg esete a mita kozos eloszlasa X (A) (X A) lesz, ahol A B d d-dimezios Borel-halmaz. Tehat mide esete (R d ; B d ; X ) Kolmogorov-fele valosz}usegi mez}o lesz. Jelolje Q X eze X eloszlasok osztalyat. Az (R d ; B d ; Q X ) harmast statisztikai mez}oek evezzuk. A statisztikai vizsgalatok celja ezuta az, hogy a Q X eloszlascsaladbol valasszuk ki az X ;:::;X mitahoz tartozo eloszlast. Statisztikai modellekbe altalaba adott egy # : Q X! R k fukcioal, amelyek ertekeit akarjuk miel potosabba megbecsuli. Ha teljesul, hogy #( () X ) 6 #(() X ) esete () X 6 () X,a# fukcioalt parameterek (parametervektorak) evezzuk. Ilyekor a #-ak megfelel}o eloszlast # -val fogjuk jeloli: Q X f # ; # g, ahol a parameterter, azaz a # 5

6 6. FEJEET A matematikai statisztika alapfogalmai lekepezes ertekkeszlete. arameteres problema domialt statisztikai mez}o esete praktikusa azt jeleti, hogy a mita eloszlasa valamilye parametert}ol fugg}o diszkret vagy folytoos eloszlascsaladbol szarmazhat csak. eldaul, ha feltesszuk, hogy a mitak eloszlasa ormalis, akkor a # (m; D) parametervektor egyertelm}ue meghatarozza a Q X ketparameteres eloszlasosztalyt, ahol 8 < : # : # (B) m;d (x) Y x i, B d m;d (x) 9 ; p e, (t,m) D dt: D Abba az esetbe viszot, ha ilye # parameterfuggvey em ismert, a statisztikai mez}oes a rajta megfogalmazott problemak emparameteresek. eldaul, ha feltesszuk, hogy az X statisztikai mita 8 esete veges varhato ertekkel redelkezik, azaz je X j R X d ; 8 -re. Ilyekor a # () E X fukcioal em feltetleul parameter, # jo becslese em jeleti meg jo valosz}usegi mertek megvalasztasat. Adott tovabba egy t : R! R k merhet}o lekepezes, melyet statisztikai fuggveyek evezuk. A t(x ;X ;:::;X ) osszetett fuggvey a statisztika. A statisztika tehat em mas, mit 8 esete egy valosz}usegi vektorvaltozo az(; F; ) Kolmogorov-fele valosz}usegi mez}o... decio: Legye (; F) merhet}o ter, es valosz}usegi mertekek egy halmaza, ahol 8 esete (; F; ) Kolmogorov-fele valosz}usegi mez}o. Az X (X ;X ;:::;X ) T statisztikai meggyelest statisztikai mitaak evezzuk, ha X i -k teljese fuggetle, azoos eloszlasu valosz}usegi valtozok 8 esete (; F; )-, azaz 8 -re < (X i <x)f (x) (i ; ; 3;:::;) es (X i <x i ;X i <x i ;:::;X ik <x ik ) ky F (x i ) (8 k ): a mita elemszama, F (x) a mita eloszlasfuggveye, X i az i-edik mitaelem, (A) (X i A), A B d a mita eloszlasa. Egy! esete az szam -es a mita egy realizacioja. Megjegyzes: X (!) x ;X (!) x ;:::;X (!) x. Amikor egy statisztikai modszert alkalmazuk, midig egy statisztikai mita realizaltja all a redelkezesukre. Ez a szam -es azoba a veletlet}ol fugg, hisze ha megismetelek a mitavetelezest, egesze biztos, hogy mas adatokhoz jutak. A modszerek elmeleteek targyalasakor ezert a mitat fuggetle, azoos eloszlasu valosz}usegi valtozok sorozataak tekitjuk.

7 . Ha az X statisztikai mita, a Lebesgue-mertek, akkor a eloszlasosztaly domialtsaga most azt jeleti, hogy a mita abszolut folytoos, azaz 8 esete letezik a mita s}ur}usegfuggveye, amelyet f (x)-szel jeloluk. Ha viszot a szamlalo mertek, vagyis (B) azt adja meg, hogy a B halmazba meyi elem va a mita megszamlalhato ertekkeszleteb}ol, a domialtsaga -ra ezve azt jeleti, hogy a statisztikai mita eloszlasa diszkret. 7

8 8. FEJEET A matematikai statisztika alapfogalmai

9 . fejezet Becsleselmelet.. Torztatla, kozisztes becsles Legye fg egy parameteres valosz}usegi mertek-csalad. Feladat olya t (X ;X ;:::;X ) R k ( ; ;:::) statisztikasorozat megadasa, amely segtsegevel jol" tudjuk becsuli a # parametervektort. Ha a parametert potosa" meg " " tudjuk becsuli, akkor ez egybe azt is jeleti, hogy az adekvat # eloszlast is kozelt}oleg megkapjuk. Az alabbiakba az elvarado jo", potos" becslesi tulajdosagokat deialjuk. " "... decio: A t (X ;X ;:::;X ) R k statisztika a # R k parameter torztatla becslese, ha 8 esete a t -ek mit valosz}usegi vektorvaltozoak letezik varhatoertekvektora es E t # () : Megjegyzes:. Az E t azt jeloli, hogy a varhatoertek-vektor fugg attol, hogy melyik valosz}usegi mertek alapja szamoljuk az F t (x ;x ;:::;x k ) eloszlasfuggveyt, majd abbol a varhato erteket. t () <x ;t () <x ;:::;t (k) <x k. Tudjuk, hogy egy valosz}usegi valtozo ertekei a varhato erteke korul igadozak, tehat, hogy egy statisztika a parameter torztatla becslese, azt az elvarhato tulajdosagot fejezi ki, hogy a becslesi statisztika realizaltjai az ismeretle parameter korul igadozak a parameterterbe.... decio: A t (X ;X ;:::;X ) R k statisztikasorozat a # R k parameter aszimptotikusa torztatla becslese, ha 8 esete a t -ek, mit valosz}usegi vektorvaltozoak letezik varhatoertek-vektora es lim! E t # () : A torztatlasagbol yilvavaloa kovetkezik az aszimptotikusa torztatlasag, tehat ez utobbi a gyegebb tulajdosag...3. decio: A t (X ;X ;:::;X ) R k statisztikasorozat a # R k parameter kozisztes becslese, ha 8 es 8" > esete lim (kt st, #k >"),azaz t,! #, t! sztochasztikusa kovergal a # parameterhez. 9

10 . FEJEET Becsleselmelet Megjegyzes:. A kozisztecia mas kovetelmeyt fejez ki, mit a torztatlasag. A kozisztecia tulajdosaga azt a jogos elvarast fogalmazza meg, hogy a meggyelesek szamaak ovekedtevel javuljo a becsles potossaga.. Mivel t (i), # i k j t (j) t (j) jk, # j kt, #k k max, # j ; ezert a valosz}usegi vektorvaltozo sztochasztikus kovergeciaja ekvivales a koordiataketi sztochasztikus kovergeciaval...4. decio: A t (X ;X ;:::;X ) R k statisztikasorozat a # R k parameter egyzetes kozepbe kozisztes becslese, ha lim! E jjt, #jj.... tetel: Ha a t ( ; ;:::) statisztikasorozat egyzetes kozepbe kozisztes becslese #-ak, akkor kozisztes becslese is. Bizoytas: A Markov-egyel}otlesegb}ol: kt, #k >" E #jjt, #jj! (!): "... tetel: Ha a t ( ; ;:::) statisztikasorozat aszimptotikusa torztatla becslese #-ak es lim! t (i) (i ; ;:::; k), akkor kozisztes becslese is. Bizoytas: E (t (i) E (t (i), # i ) E (t (i), E t (i) ) +(E t (i) Viszot a Markov-egyel}otleseg szerit:, E t (i) h, # i ) +E + E t (i), # i ) (t (i) (t (i) )+(E t (i), # i )! ;!: t (i), # i >" (t (i), # i ) >" amib}ol mar kovetkezik az alltas., E t (i) )(E t (i), # i ) E (t (i), # i ) "! ; i... pelda: (Varhato ertek becslese) Az X statisztikat az X ;X ;:::;X statisztikai mita atlag- vagy empirikus kozep statisztikajaak evezzuk. Legye az X valosz}usegi valtozo adott. Tegyuk fel, hogy 8 -re 9E X. Legye most a parameter # #() E X. Legye tovabba X ;X ;:::;X ;::: statisztikai mita, amelyek eloszlasfuggveye X-evel azoos 8 -re. Akkor X i

11 . Torztatla, kozisztes becsles (i) Az X X i empirikus kozep statisztika a# varhato ertek torztatla becslese. (ii) Ha a feltetelekhez azt is hozzavesszuk, hogy 8 -re X< is, ugy X egyzetes kozepbe kozisztes becsles is. Bizoytas: (i) E X E X i (ii) E, X, # X E X i # #: X i X i X X! :... pelda: (Szorasegyzet becslese) Az s (X i, X ) statisztikat az X ;X ;:::;X statisztikai mita empirikus szorasegyzet statisztikajaak evezzuk. s + p s az empirikus szoras statisztika. Az s, (X i, X ) statisztikat az X ;X ;:::;X p statisztikai mita korrigalt empirikus szorasegyzet statisztikajaak evezzuk. s + s a korrigalt empirikus szoras statisztika. Legye az X valosz}usegi valtozo adott. Tegyuk fel, hogy 8 -re X<. Legye most a parameter # #() X. Legye tovabba X ;X ;:::;X ;::: statisztikai mita, amelyek eloszlasfuggveye X-evel azoos 8 -re. (i) Az s (X i, X ) empirikus szorasegyzet statisztika a# szorasegyzet aszimptotikusa torztatla becslese, az s, (X i, X ) korrigalt empirikus szorasegyzet statisztika pedig a # szorasegyzet torztatla becslese. (ii) Ha a feltetelekhez azt is hozzavesszuk, hogy 8 -re E X 4 is, ugy s kozisztes, s egyzetes kozepbe kozisztes becsles is. Bizoytas: Fel fogjuk haszali a Steier-tetelt: Segedtetel: (Steier) Tetsz}oleges a; x ;x ;:::;x valos szamokra (a, x i ) (a, x ) + Masreszt a valasztassal, atredezes uta: (x, x i ) (x, x i ) x i, x : (x, x i ) :

12 . FEJEET Becsleselmelet A segedtetel bizoytasa: (a, x i ) (a, x ) +(a, x ) A kozeps}o tag ulla, gy az alltast igazoltuk. Az alltas bizoytasa: (i) E s E Mivel s (ii) Belathato, hogy, Xi, X! E, # +(E X ), (a, x +x, x i ) (x, x i )+ # +(E X ), s ) E s, E s #: s X i, ( X )! (x, x i ) :, #! # (!) E X 4,, 3 (, ) (, ) #! ; s! : Hivatkozva a... tetelre s koziszteciaja bizoytott. E X i,e ( X )..3. pelda: (Kovariacia es korrelacios egyutthato becslese) Legye most az (X ;Y ) T ; (X ;Y ) T ;:::;(X ;Y ) T T statisztikai meggyeles ketdimezios statisztikai mita, ahol az (X i ;Y i ) T parok azoos eloszlasu, teljese fuggetle valosz}usegi vektorvaltozok. Ekkor a c,, Xi, X Yi, Yi, statisztika az (X ;Y ) T ; (X ;Y ) T ;:::;(X ;Y ) T mita empirikus kovariaciaja, pedig az empirikus korrelacios egyutthatoja, ahol pl. s X vu u t,, Xi, X az X ;X ;:::;X statisztikai mita korrigalt empirikus szorasat jeloli. c s X s Y (i) A c empirikus kovariacia az E (X, E X)(Y, E Y ) kovariacia torztatla becslese. Ha meg azt is feltehetjuk, hogy 9E X 4 ; E Y 4 is, akkor c egyzetes kozepbe kozisztes becsles is. (ii) Az empirikus korrelacios egyutthato akorrelacios egyutthato aszimptotikusa torztatla becslese. Ha meg azt is feltehetjuk, hogy 9E X 4 ; E Y 4 is, akkor kozisztes becsles is.

13 . Torztatla, kozisztes becsles 3 Bizoytas: (i) Jelolje cov (X i ;Y i )c; EX i EY i m: Ekkor Tehat azaz EX i Y i c + m; EX i Y E XYi (c + m) c + m; E X Y c + m: (, ) c,,, Xi, X Yi, Y Xi Y i, X iy, YiX + X Y ; E ((, ) c )(c + m), (c + m), (c + m)+(c + m) (, ) c: Megmutathato, hogy ahol c m + s s (, ) + c (, ) ; m E (X i, EX i ) (Y i, EY i ) ; s X i ; s Y i : Mivel c,! ; gyakozisztecia mar kovetkezik. (ii) Nem bizoytjuk. Bizoytasa megtalalhato Cramer: Mathematical statistics c. koyvbe...4. pelda: (Eloszlasfuggvey becslese) Tekitsuk azokat az ord k (x ;x ;:::;x )skalar{vektor fuggveyeket, melyek decioja: x k ord k (x ;x ;:::;x )x j ; ha x j a k-adik legagyobb elem x ;x ;:::;x kozott. Az X k ord k (X ;X ;:::;X ) (k ; ;:::;) statisztikak a redezett mitaelem-statisztikak. Megjegyzes:. A redezett mitaelem-statisztikak kozott 8 esete valosz}useggel feall, hogy X X X. Specialisa X mi fx ;X ;:::;X g,es X max fx ;X ;:::;X g :. Ha a mita eloszlasfuggveyet F (x)-szel jeloljuk, koy}u megmutati, hogy a redezett mitaelemek eloszlasfuggveyeit es egyuttes eloszlasfuggveyeit az alabbi modo lehet szamoli: F k (x) (Xk <x) [F (x)] i [, F (x)],i ; i ik F k;l (x; y) (Xk <x;x l <y)

14 4. FEJEET Becsleselmelet i X i i,, Az ix ik jl i X i! j!(i, j)!(, i)! [F (x)]j [F (y), F (x)] i,j [, F (y)],i ; (X <x ;X <x ;:::;X <x )! i!(i, i )! (, i )! [F (x )] i [F (x ), F (x )] i,i [, F (x )],i : 8 < : ; ha x X k ; ha X k <x X k+ F (x) (k ; ;:::;, ) ; ha x>x veletle fuggveyt az X ;X ;:::;X statisztikai mita empirikus eloszlasfuggveyeek evezzuk. Haszalatos az el}oz}ovel ekvivales F (x) I fxi <xg decio is, ahol I fxk <xg ; ha Xk <x ; ha X k x : Az empirikus eloszlasfuggvey mide rogztett x R esete statisztika, azaz valosz}usegi valtozo! F (x) mide realizacioja diszkret eloszlasfuggvey, azaz olya lepcs}os fuggvey, melyek ugrashelyei a veletle mitatol fuggeek, es az ugrasok magassaga valosz}useggel : Legye az X valosz}usegi valtozo adott. Legye tovabba X ;X ;:::;X ;::: statisztikai mita, amelyek eloszlasfuggveye X-evel azoos. Rogztsuk most az x R valos szamot. Ekkor X eloszlasfuggveye az x potba a parameter: # #() F (x). Akkor az F (x) empirikus eloszlasfuggvey erteke a # eloszlasfuggvey-ertek torztatla, egyzetes kozepbe kozisztes becslese. Bizoytas: Az empirikus eloszlasfuggvey deciojabol yilvavalo, hogy es es F (x) (F (x) k) (k db i idexre X i <x; (, k) dbj idexre j 6 i X j x) [F (x)] k [, F (x)],k ) F (x) B(; #): k Azaz F (x) biomialis eloszlasu es F (x) # parameterekkel. Viszot ekkor Iet pedig E (F (x)) # (F (x)) #(, #): E (F (x)) # es # (, #) (F (x))! (!) 4 kovetkezik, ami az alltast igazolja. Felhaszaltuk, hogy #(, #). 4

15 . Torztatla, kozisztes becsles 5 Mivel a egyzetes kozepbe valo koziszteciabol kovetkezik a kozisztecia, ezert 8" > ; 8x R; 8 -re (jf (x), F (x)j >")! (!): Eel az alltasal leyegese er}osebbet fogalmaz meg a kovetkez}o tetel: az empirikus eloszlasfuggvey valosz}useggel, egyeletese kovergal az eloszlasfuggveyhez. Elmeleti jelet}osege miatt a tetelt a matematikai statisztika alapteteleek is hvjak...3. tetel: (A matematikai statisztika alaptetele, Gliveko{Catelli) Legye X ;X ;:::;X ;::: a statisztikai mita. Jelolje F (x) a mita eloszlasfuggveyet, es F (x) az empirikus eloszlasfuggveyt. Akkor lim sup jf (x), F (x)j! xr : Bizoytas: Legye " > ; x R tetsz}oleges! Megmutatjuk, hogy 9 N > es C F : (C) ; hogy 8! C esete, ha > N, ugy jf (x), F (x)j < ". Legye m olya pozitv egesz szam, hogy m < ",es legyeek R egy m itervallumbol allo redszereek osztopotjai x (m), ; x (m) m +; x (m) k sup x : F (x) k m : Jelolje az itervallumokat: J k ; k ; ;:::;m, : Tegyuk fel, hogy a szoba forgo x-re i xr eppe x (m) k ;x (m) k+ x J k, ) x (m) k, <xx(m) k teljesul most. Az eloszlasfuggvey tulajdosagai miatt: ) F (x (m) k ) k m F (x(m) k +) F (x (m) ) k, k, m F (x(m) +) ) () F (x (m) k ) k m F (x(m) +)+ k, m : k, A agy szamok er}os torveye ertelmebe a relatv gyakorisag valosz}useggel kozelti az elmeleti valosz}useget: 9A k F : (A k ) es 8! A k : 9B k F : (B k ) es 8! B k : Legye C my k lim! lim! A k B k,. Akkor (C) Tehat 8! C esete 9N : >N;akkor Igy x J k, -re Masreszt I fxi <x (m) k g, F (x(m) k ) < " ; es my k! I fxi <x (m) k g (!) F (x (m) k ):! I fxi x (m) g(!) F (x (m) +): k, k, A k B k,! ) (C) : I fxi x (m) k, g, F (x(m) k, +) < " : F (x), F (x) F (x (m) k ), F (x (m) ) F k, (x(m) +)+ k, m, F (x (m) +) k, m + " : F (x), F (x) F (x (m) +), F k, (x (m) k ) F (x (m) k ), m, F (x (m) k ), m, " : Azaz jf (x), F (x)j < " + m <" ) alltas.

16 6. FEJEET Becsleselmelet.. Hatasos becslesek... decio: Legyeek ^t es ~t a # R parameter torztatla becslesei, ahol 9 ^t es ~ t (8 ). Azt modjuk, hogy ^t hatasosabb becslese #-ak mit ~t, ha ^t ~ t 8 - re es 9 : ^t < ~t:... pelda: Legye az X valosz}usegi valtozo adott. Tegyuk fel, hogy X egyeletes eloszlasu valosz}usegi valtozo a[;#] itervallumo, ahol #> ismeretle parameter. Most 8 -re F X;# (x) # x ; df X;# (x) dx f X;# (x) # ; x (;#); E # X #; # X # : Legye tovabba X ;X ;:::;X ;::: statisztikai mita, amelyek eloszlasfuggveye X-evel azoos. Tekitsuk a T + X ; T X + X ; T 3 +, (X, X ) ; T 4 X statisztikakat! Megmutatjuk, hogy midegyikuk torztatla, de kuloboz}o szorasu becsles, tehat elter a hatasossaguk. E # T 4 E # X E # X E # X # # ) T 4 torztatla: # T 4 4 # X 4 # X 4 # # 3! ) T 4 egyzetes kozepbe kozisztes: Az X eloszlasfuggveye: (X <x)[f X;# (x)] x ; x [;#] # ) s}ur}usegfuggveye f ;# (x) x, # ; x (;#) : E # X # ) E # T #; torztatla. ( +) xf ;# (x)dx # + # T E # T, (E #T ) x # dx x + # # + + # # x x, # dx, # x + # #, # ( + +,, )# + ( +) ) T is egyzetes kozepbe kozisztes. # ( +)! :

17 . Hatasos becslesek 7 Az X eloszlasfuggveye: (X <x), [, F X;#(x)] #, x, ; x [;#] # E # T E # X + E # X Vegrehajtva a #, x y ) dx dy + #, # azaz T is torztatla. # (#, x), ) f ;# (x) # ; x (;#): + # + # xf ;# (x)dx, valtozocseret, (#, y) y, dy + # + + # + # # T # X + # X +cov # (X ;X ): # x(#, x), dx y #, y + # #, # #; + X es X em fuggetleek, gy ki kell szamoluk a kovariaciajukat: (X <x;x <y)(x <y), (X x; X <y) [F X;# (y)], (x X <y;x X <y;:::;x X <y) [F X;# (y)], Y [F X;# (y)], [F X;# (y), F X;# (x)] ; X es X egyuttes s}ur}usegfuggveyegy: (x X i <y) x; y [;#] ; (X <x;x (, ) [F X;# (y), F X;# (x)], f X;# (y)f X;# (x) (, ) cov # (X ;X ) u y, x helyettestessel y # y y, x xy(, ) # u, (y, yu) (, ) # # du A dy, # y + # dy, ( +) # (y, x), # :, # dxdy, E #X E # X ( +) #

18 8. FEJEET Becsleselmelet Mivel gy: Hasoloa: + #, E (X ) #, ( +) # ( +)( +) # : + # + + # ( +3 +,, ) # ( +)( +) # X ( +)( +) #, ( +) # ( +)( +) # ; ( +) ( +) # : Tehat X # ( +) ( +) # + x x, # # dx, + + #, ( +) # # T # X + # X +cov # (X ;X ) ( +) ( +) # + T is egyzetes kozepbe kozisztes. + # T 3, ( +) ( +) #, # X + # X, cov # (X ;X ) T 3 is egyzetes kozepbe kozisztes. Vegul: E # T 3 +, (E #X, E # X ) +, Az eredmeyt osszegezve: # T < # T < # T 3 < # T 4. # ( +) ( +) : ( + )( +) #! ; (, )( +) #! ; + #, + # # ) torztatla:... pelda: A liearis statisztikak kozott a X statisztika a leghatasosabb, azaz, ha tetsz}oleges c ;c ;:::;c ; c i valos sulyokkal tekitjuk a t c i X i liearis becslest, akkor t torztatla, es X t : Bizoytas: El}oszor is megjegyezzuk, hogy a c i (i ; ;:::;) sulyvalasztassal az atlagstatisztikat kapjuk, tehat az atlagstatisztika is liearis becsles. Legye " i c i, (i ; ;:::;): Ekkor Igy c i X i! X " i c i, : c i X i X c i X " i + " i + " i +! X i X

19 . Hatasos becslesek 9... decio: Ha a t torztatla statisztikara igaz, hogy t akkor t -ot hatasos becslesek evezzuk. mi Et# t< t (8 ); A Csebisev-egyel}otlesegb}ol tudjuk, hogy egy valosz}usegi valtozo aal kisebb mertekbe igadozik a varhato erteke korul, miel kisebb a szorasa. Ez az oka, hogy a torztatla becslesek kozott a hatasos becsles megkeresese a cel, hisz varhatoa ez potosabb, mit barmely mas torztatla becsles. A kovetkez}o tetel azt modja ki, hogy ha va hatasos becsles, akkor leyegebe csak egy va.... tetel: Ha t es t a parameter hatasos becslesei, akkor (t t ) (8 ): Bizoytas: Legye t egy tetsz}oleges torztatla becsles. Ez akkor is igaz, ha t t +t : Igy t t + t 4 Ie atredezes uta E t E t E t #; t t t: t + t +E (t, #)(t, #) : t t t E (t, #)(t, #) cov(t ;t ): Viszot tudjuk a Cauchy{Buyakovszkij{Schwartz-fele egyel}otlesegb}ol, hogy cov(t ;t ) t t : Ez csak ugy lehet, ha cov(t ;t ) t t ; vagyis t es t kozott valosz}useggel liearis kapcsolat all fe: (t ct )(8 ): Viszot t (ct ) t ) c ; cov(t ;t ) ) c +: Ahoa mar kovetkezik az alltas.... tetel: (Cramer{Rao-egyel}otleseg) Tegyuk fel, hogy az X (X ;X ;:::;X ) T statisztikai mita egyparameteres F (x) F # (x) eloszlasfuggveye abszolut folytoos: 9 df #(x) dx f # (x); # (a; b). Jelolje L # (x) L # (x ;x ;:::;x ) Y f # (x i ) a mita egyuttes s}ur}usegfuggveyet! Feltetelek: R a) I R L dx # < (Fisher-fele iformacios meyiseg.) (x) b) Legye g :(a; b)! R tetsz}oleges dierecialhato fuggvey.

20 . FEJEET Becsleselmelet c) Legye a R t(x) statisztika ag(#) torztatla becslese, azaz E # (t) g(#) (8 # (a; b) ): d) 9 # t (t(x), g(#)) L # (x)dx: R Ekkor R R t i (x)l # (x)dx t i #(x) R R dx; (i ; ): # t [g(#)] I (#) : Bizoytas: A c) tulajdosagbol, midket oldalt derivalva t(x)l # (x)dx t(x) # (x) R R Masreszt, mivel L # (x) egyuttes s}ur}usegfuggvey: Ezt is derivalva # L # (x)dx R Midket oldalt beszorozva g(#)-val: R g(#) R L # (x)dx : # # (x) dx dg(#) d# : (*) : dx : (**) () es () kulobseget (t(x), g(#) ) # (x) dx dg(#) d# : R Most a Cauchy{Buyakovszkij{Schwarz-fele egyel}otleseget alkalmazva:, g R (t(x), (t(x) p, g(#)) L # (x) L # #(x) p L # (x) R R (t(x), g(#) ) L # (x)dx Ie atosztassal, mar kovetkezik az alltas. R L # (x) dx A dx # (x) L # (x)dx # ti (#):

21 . Hatasos becslesek Megjegyzes:. A Cramer{Rao-egyel}otleseg elvi also korlatot ad a torztatla becslesek szorasegyzeteire. Ha tehat egy statisztikara belatjuk, hogy szorasegyzete eppe az also korlattal egyel}o, akkor az biztosa hatasos, s}ot a... tetel szerit az egyetle hatasos becsles.. A bizoytas sora felhaszalt Cauchy{Buyakovszkij{Schwarz-egyel}otlesegbe es csak akkor va egyel}oseg, ha 9 v(#) : # (x) L # (x) l L #(x) ) v(#)(t(x),g(#)) majdem mide x-re feall. 3. Ha specialisa g(#) #, akkor # t I (#) : 4. Mivel L # (x) L # (x ;x ;:::;x ) Y f # (x i ) ) l L # (x) l f # (x i ): Ebb}ol I (#) l L# (X) # l f# (X i l f # (X i ) I (#): l f# (X i ) A levezetesbe a szumma kiemeleset a mitaelemek teljes fuggetlesege miatt tehetjuk meg. 5. A Cramer{Rao-egyel}otleseg diszkret valosz}usegeloszlasok esete is erveybe marad, ha L # (x) L # (x ;x ;:::;x )-t mit a mita egyuttes eloszlasat ertelmezzuk: L # (x) L # (x ;x ;:::;x )(X x ;X x ;:::;X x ): A feltetelekbe a tobbes itegralok helyett tobbszoros szummakat kell vei, az e) regularitasi tulajdosagok a derivalas es az osszegzes sorredjeek felcserelhet}oseget kovetelik meg. 6. A Cramer{Rao-egyel}otleseg az elemi (cov(x; Y )) X Y egyel}otlesegek felel meg, amikor X t; l L #(X). Ugyais cov E # ; mert Igy E # l L #(X) l L l L# (X) E # R R t(x) l L # (x) dx : L # #(x) L # t(x) L # (x)dx g (#): R

22 . FEJEET Becsleselmelet 7. Belathato, hogy I l L# (X) #, hisze # de R # (x) es gy L # # (X) dx miatt E # L # (X) # (X) E # L # (X) # (X) L # (X) L # (x) # (X), E # L # # (x) L # (x) L # (x) R E # L # (X) L # (x)dx I # # # (X) ; dx..3. pelda: (Az atlagstatisztika hatasossaga ormalis esetbe) Legye az X valosz}usegi valtozo adott. Legye tovabba X ;X ;:::;X ;::: statisztikai mita, amelyek eloszlasfuggveye X-evel azoos valamilye m; D parameter}u ormalis eloszlashoz tartozik, ahol D > ismert, m ismeretle. Eel a feladatal az ismeretle parameter tehat a ormalis eloszlas varhato erteke: # m E X. A... peldaba bizoytottuk, hogy altalaba az X atlagstatisztika az m torztatla becslese. A ormalis eloszlasak valameyi mometuma letezik, tehat X egyzetes kozepbe kozisztes becsles is. A Cramer{Rao-egyel}otleseg segtsegevel most megmutatjuk, hogy hatasos is. A mita egyuttes s}ur}usegfuggveye most: L m (x) Y ' m;d (x i ) p D e, D A Cramer{Rao-tetel utai. megjegyzest gyelembe l L m l L m (x) l ' m;d (x i ), l( p D l ' m;d (x i ) D (x i,m) : (x i, m) ; i, m) (x (x D, m) ) x hatasos:..4. pelda: (Az atlagstatisztika hatasossaga expoecialis esetbe) Legye X egy valosz}usegi valtozo. Legye tovabba X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye X-evel azoos valamilye ismeretle > parameter}u expoecialis eloszlashoz tartozik. # E X. A mita egyuttes s}ur}usegfuggveye l L # (x) L l # e # Y, x i, e,x i e # e # x i l #, # # (x, #) ) x hatasos becsles: x i : x i!, # + # x i

23 . Hatasos becslesek pelda: (Az atlagstatisztika hatasossaga a oisso-eloszlas esetebe) Legye X diszkret valosz}usegi valtozo. Legye tovabba X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye X-evel azoos valamilye ismeretle > parameter}u oisso-eloszlashoz tartozik. Eel a peldaal legye az ismeretle parameter a oisso-eloszlas elmeleti varhato erteke: # E X. L # (x) most a mita egyuttes eloszlasa lesz: L # (x) (X x ;X x ;:::;X x ) Y # x i (x i )! # szeriti derivalas l L # (x) e,# ) l L # (X) (l #) # Y (X i x i ) x i, l Y (x i )! Y! # x i (x i )! e,#, #: x i, # (x, #) ) x hatasos becslese #-ak:..6. pelda: (Az egyeletes eloszlas esete) Legye most az X ;X ;:::;X mita eloszlasa U(;#), ahol # > ismeretle parameter. Lattuk a... peldaba, hogy a T + X statisztika torztatla becsles volt g(#) #-ra, ahol T #. Szamoljuk ki ebbe az esetbe az (+) I (#) iformacios also hatart! azaz I (#) # # dx # ; I (#) I (#) # : Az a meglep}o eredmeyt kaptuk, hogy a T torztatla becsles szorasegyzete kisebb, mit a Cramer{Rao-tetelbe az iformacios also hatar! Az elletmodas abbol adodik, hogy az egyeletes eloszlas esete em teljesulek a Cramer{Rao-tetel e) regularitasi feltetelei. Most L # (x) ; 8x i (;#); # es mg L L # (x)dx ; R # # #, # + dx, # :

24 4. FEJEET Becsleselmelet.3. Elegsegesseg A statisztikak elvart, jo tulajdosagai kozott alapvet}o fotossagu az elegsegesseg. Eze azt fogjuk ertei, hogy a statisztika a mita eloszlasaak parameterere voatkozoa mide iformaciot magaba s}urt, egymaga kepes helyettestei a mitat. A parameterek becsleseihez a megfelel}o statisztikakat " elegseges" az elegseges statisztika fuggveyei kozott keresi..3./a. decio: Legye adott a parameteres eloszlascsalad, es az X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye abszolut folytoos 8 # -re: F # (x) x, f # (t)dt; x R: f # (x) a mita s}ur}usegfuggveye. Jelolje a t (X ;X ;:::;X ) statisztika s}ur}usegfuggveyet g ;# (y); az X ;X ;:::;X es t egyuttes s}ur}usegfuggveyet pedig h # (x ;x ;:::;x ;y). Ha az X ;X ;:::;X mitaak a t -re voatkozo egyuttes felteteles s}ur}usegfuggveye em tartalmazza a # parametert, vagyis f X ;X ;:::;X jt (x ;x ;:::;x j y ) h #(x ;x ;:::;x ;y) ; g ;# (y) em fugg #-tol, akkor,at statisztika a# parameter elegseges becslese..3./b. decio: Legye adott a f # ; # g, valosz}usegi mertekek egy tere es az X ;X ;:::;X statisztikai mita, amelyek eloszlasa diszkret 8 # -re. Legye t (X ;X ;:::;X ) statisztika. Ha az X ;X ;:::;X mitaak a t -re voatkozo egyuttes felteteles eloszlasa em tartalmazza a # parametert, vagyis (X x ;X x ;:::;X x j t y ) #(X x ;X x ;:::;X x ;t y) ; # (t y) em fugg #-tol, akkor a t statisztika a# parameter elegseges becslese..3.. pelda: (Az atlagstatisztika elegsegessege ormalis esetbe) Legye X valosz}usegi valtozo. Legye tovabba X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye X-evel azoos valamilye m; D parameter}u ormalis eloszlashoz tartozik 8 -re, ahol D > ismert, m ismeretle. Az ismeretle parameter a ormalis eloszlas elmeleti varhato erteke: # m E X. Az atlagstatisztika teljese fuggetle, N( #; D ) eloszlasu valosz}usegi valtozok kovolucioja, tehat maga is ormalis eloszlasu, # es p D parameterekkel. Igy az X ;X ;:::;X mita egyuttes X y-ra vett felteteles s}ur}usegfuggveye: f X ;X ;:::;X j X (x ;x ;:::;x j y) 8 >< >: f X ;X ;:::;X (x ;x ;:::;x ) f X (y), ha y egyebket x i : Mivel es f X ;X ;:::;X (x ;x ;:::;x ) p, D, e, D f X (y) p p e, D (y,#) ; D (x i,#)

25 .3 Elegsegesseg 5 ezert Mivel 8 >< >: f X ;X ;:::;X j X (x ;x ;:::;x j y) p p e, D ( D), (x i,#),(y,#), ha y x i egyebket (x i, #), (y, #) x i, y ; ha x i y ) a felteteles s}ur}usegfuggvey em fugg a parametert}ol, amib}ol mar kovetkezik az alltas..3.. pelda: (Az atlagstatisztika elegsegessege expoecialis esetbe) Legye az X valosz}usegi valtozo adott. Legye tovabba X X ;:::;X statisztikai mita, amely eloszlasfuggveye X-evel azoos valamilye # parameter}u expoecialis eloszlashoz tartozik. Az ismeretle parameter tehat az expoecialis eloszlas varhato erteke: E # X #., Az atlagstatisztika teljese fuggetle, E # eloszlasu valosz}usegi valtozok kovolucioja, eloszlasa ; # parameter}u gamma eloszlas, melyek s}ur}usegfuggveye: f X (x) A mita egyuttes s}ur}usegfuggveye most Az f X ;X ;:::;X (x ;x ;:::;x ) f X ;X ;:::;X j X (x ;x ;:::;x j y) # x, e, x # 8 < : Y (, )! x>: f Xi (x i ) # e, x i # 8x i > : f X ;X ;:::;X (x ;x ;:::;x ) f X (y), ha y egyebket : x i kepletbe behelyettestve: f X ;X ;:::;X j X (x ;x ;:::;x j y) 8 >< >: x i # e, # ( # ) y, e, y # (,)!, ha y egyebket x i : Egyszer}ustesek uta: f X ;X ;:::;X j X (x ;x ;:::;x j y) 8 < : (,)! y,, 8 >< >: x i (,)!e, + # y # x i y,, ha y egyebket ha y egyebket x i Lathato, hogy a fuggvey em fugg a parametert}ol, azaz az atlagstatisztika ebbe az esetbe is elegseges becslest ad. :

26 6. FEJEET Becsleselmelet.3.3. pelda: (Az atlagstatisztika elegsegessege a oisso-eloszlas esetebe) Legye az X diszkret valosz}usegi valtozo adott. Legye tovabba X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye X-evel azoos valamilye #> parameter}u oisso-eloszlashoz tartozik. Az ismeretle parameter tehat aoisso-eloszlas varhato erteke: # E X. Az atlagstatisztika eloszlasa most: ( X y) A mita egyuttes eloszlasa: X i y (X x ;X x ;:::;X x )! (#)y e,# y ; ; ;::: : y! Y Igy a mitaak az atlagra voatkozo felteteles eloszlasa: (X x ;X x ;:::;X x j X y) (X i x i ) # Y x i Y (X i x i ) x i! e,# :, X y y! Q ha y x i, ami em fugg a parametert}ol, azaz az atlagstatisztika aoisso-eloszlas esete is elegseges. y ; x i!.3.4. pelda: (elda emelegseges statisztikara) Vizsgaljuk meg a t X statisztikat"! Most " (X x ;X x ;:::;X x jx y ) 8 >< >: Y i # (X i x i ); ami lathato, hogy tartalmazza a parametert. 8 >< >: Y # (X i x i ) # (X y) ; ha x y ; ha x 6 y ha x y ; ha x 6 y.3.. tetel: (Rao{Blackwell{Kolmogorov) Legye adott, valosz}usegi mertekek egy #-parameteres tere, es az X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye abszolut folytoos 8 -re. Jelolje T (X ;X ;:::;X ) a # parameter egy elegseges statisztikajat, t (X ;X ;:::;X ) pedig a parameter g fuggveyeek tetsz}oleges torztatla becsleset: E # t g(#). Akkor letezik olya h fuggvey, hogy E # (h(t )) g(#) es # (h(t )) # t. Tovabba h(t )E # (t jt ). Bizoytas: A h(t ) em fugg #-tol, csak a mitatol, hisze T elegseges statisztika volt. Tehat h(t )teyleg statisztika. A felteteles varhato ertek tulajdosagait felhaszalva: E # (h(t )) E # (E # (t jt )) E # t g(#); h(t ) torztatla:

27 .3 Elegsegesseg 7 Masreszt: # t E # (t, g(#)) E # [t, h(t )+h(t ), g(#)] E # (t, h(t )) + #(h(t )) + E # [(t, h(t ))(h(t ), g(#))] : De E # [(t, h(t ))(h(t ), g(#))] E # [E # [(t, h(t ))(h(t ), g(#)) jt ]] E # [(h(t ), g(#))e # [(t, h(t )) jt ]]; mert E # [(t, h(t )) jt ]E # [t jt ], h(t ): Ie mar # t # (h(t )) adodik. Ha letezik hatasos becsles, akkor az az elegseges becsles fuggveyeket all el}o. A tetel azt em alltja, hogy a h(t ) mar hatasos lee, csak azt, hogy egy tetsz}olegese adott t torztatla becslesel az elegseges statisztika segtsegevel lehet hatasosabbat el}oalltai, de az em biztos, hogy egybe hatasos is!.3.. tetel: (Neyma{Fisher faktorizacios tetel) Legye adott,valosz}usegi mertekek egy #-parameteres tere, amelyhez adott az X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye abszolut folytoos 8 -re. A T statisztika a # parameter elegseges becslese () 9 k : R! R es g : R! R fuggveyek, hogy 8x (x ;x ;:::;x ) T R es 8#-ra L # (x ;x ;:::;x )k(x ;x ;:::;x )g(t (x ;x ;:::;x );#): Bizoytas: Nem bizoytjuk. A bizoytas megtalalhato Lehma: Testig Statistical Hipotheses, 49. old pelda: (A faktorizacios tetel alkalmazasa egyeletes eloszlasra) Legye az X ;:::;X statisztikai mita egyeletes eloszlasu a (;#) itervallumo. Ekkor a mita egyuttes s}ur}usegfuggveye alakba rhato, ahol L # (x) Y # u(;x i )u(x i ;#) ; ha a<b u(a; b) : egyebket Mivel az X <#;X <#;:::;X <# () X max fx i g <#,ezert Igy L # (x) Y u(x i ;#)u(x ;#): # u(x ;#) Y u(;x i ); azaz teljesul a faktorizacios tetel az -edik redezett mitaelem statisztikara. Belattuk tehat, hogy az X max fx ;:::;X g statisztika elegseges a # parameterre.

28 8. FEJEET Becsleselmelet A maradek, elem}u mitaak az X t feltetelre voatkoztatott s}ur}usegfuggveye Q em fugg a # parametert}ol. Megmutathato, hogy ez a s}ur}usegfuggvey alaku, most f # (x i ) F # (t),, specialisa t. Vagyis a maradek mita egyeletes eloszlasu a(;t) itervallumba. Ha szimulaluk, veletle szamot a (;t)-, az t-vel egyutt statisztikailag ekvivales mitat fog alkoti, mit az eredeti X ;:::;X, amelyek eloszlasa meg fuggott #-tol. Az X teljes statisztika kepviseli" a # parametert, jobba modva magaba tomorti a #-ra voatkozo " iformaciokat..4. Maximum-likelihood becsles Eddig csak arrol volt szo, hogy milye jo tulajdosagai lehetek egy statisztikaak, de meg em tudjuk, milye modszerekkel lehet egy adott becslesi problemahoz alkalmas statisztikat el}oalltai. A kovetkez}okbe ket altalaos becslesi modszert foguk ismerteti..4./a. decio: Legye adott, valosz}usegi mertekek egy tere es az X ;X ;:::;X statisztikai mita, amelyek eloszlasfuggveye abszolut folytoos 8 # -re. Jelolje most L(x; #) Y f # (x i ) a mita egyuttes s}ur}usegfuggveyet. A # parameter maximum-likelihood becslese azt a (X ;X ;:::;X ) statisztikat ertjuk, melyre teljesul (8x R ). L(x; (x)) max L(x; #) #Rk.4./b. decio: Legye adott, valosz}usegi mertekek egy tere es az X ;X ;:::;X diszkret eloszlasu statisztikai mita E R ertekkeszlettel 8 # -re. Jelolje most L(x; #) # (X x ;X x ;:::;X x ) Y # (X i x i ) a mita egyuttes eloszlasat. A # parameter maximum-likelihood becslese azt a (X ;X ;:::;X ) statisztikat ertjuk, melyre teljesul (8x E ). L(x; (x)) max L(x; #) #Rk Megjegyzes:. L(x; #)-t likelihood fuggveyek is evezik. Az elevezes jogos, mert most az egyuttes s}ur}usegfuggveybe em x-et, haem #-t tekitjuk valtozoak.. A modszer alapgodolata a kovetkez}o: mitavetelezes sora az x realizaciot kaptuk. Feltetelezzuk, hogy azert eppe ezt a realizaciot kaptuk, es em mast, mert az oszszes realizaciok kozul eek a legagyobb a bekovetkezesi valosz}usege. Vegyuk tehat, az osszes # parametervektor kozul azt, amelyel eppe az x realizacio bekovetkezese a maximalis. A valaszt mid a folytoos, mid a diszkret esetbe a L(x; #)! max #R k szels}oertek-feladat megoldasabol kapjuk meg.

29 .4 Maximum-likelihood becsles 9 3. Mivel a termeszetes alapu logaritmusfuggvey szigorua mooto ovekv}o, az L(x; #)! max feladat helyett sokszor celszer}u azl L(x; #)! max szels}oertek-feladatot megoldai, ugyais ugyaott lepek fel a maximumhelyek. Az l(x; #) ll(x; #) fuggveyt #Rk #Rk log-likelihood fuggveyek evezzuk. l(x; #) c l f # (x i ): 4. A maximumhelyet i ; i ; ;:::;k egyeletredszer megoldasai kozott kereshetjuk..4.. pelda: (A varhato ertek maximum-likelihood becslese ormalis esetbe, amikor ismert a szoras.) Legye f # (x) p e, D (x,#) ; D ahol D > ismert, # R az ismeretle parameter. Most a likelihood fuggvey: a log-likelihood fuggvey pedig L(x;#) l(x;#) l p e, D p D D i,#) (x ;, D (x i, #) : A maximumhely keresese: dl(x;#) d# D (x i, #) ) # x i x : Mivel d l(x;#) d#, D a kapott stacioarius hely maximumhely. Tehat az atlagstatisztika ormalis esetbe a varhato ertek maximum-likelihood becslese..4.. pelda: (A varhato ertek es a szorasegyzet maximum-likelihood becslesei ormalis esetbe.) Legye f # ;# (x) p e, # (x,# ) ; # ahol # > es # R az ismeretle parameterek. Most a likelihood fuggvey: L(x;# ;# ) < ; p e, # # i,# ) (x ;

30 3. FEJEET Becsleselmelet a log-likelihood fuggvey pedig A maximumhely keresese: ;# ) l(x;# ;# ), l p, l #, ;# ) #, # + l(x;# ;# ) (x i, # ) ) # (x i, # ) ) l(x;# ;# ) #, # l(x;# ;# ), # a kapott stacioarius hely s, (s ), # ; A ; (x i, # ) ; (x i, # ); (x i, # ) : x i x (x i, # ) s amib}ol latszik, hogy a hely maximumhely, tehat az atlagstatisztika es az empirikus szorasegyzet statisztikak ormalis esetbe az elmeleti varhato ertek es szorasegyzet maximum-likelihood becslesei pelda: (A varhato ertek maximum-likelihood becslese oisso-eloszlas esetebe.) Most a mita eloszlasa: p # ; i #i i! e,# i ; ; ;:::: A likelihood fuggvey, a mita egyuttes eloszlasabol szamolhato: a log-likelihood fuggvey pedig: L(x;#) l(x;#)l# A stacioarius helyek # Y # x i x i, x i! # x i Y x i! x i, #, l e,# ; Y ) # x i!! : x i x :

31 .4 Maximum-likelihood becsles 3 l(x;#), # x i < ; a kapott stacioariushely maximum. Tehat a oisso-eloszlas esete is a parameterek maximum-likelihood becslese az atlagstatisztika pelda: (Maximum-likelihood becsles egyeletes eloszlas esete) Legye az X ;:::;X statisztikai mita eloszlasa U(;#), ahol #> a becsuled}o parameter. A likelihood fuggvey most ahol Nyilvavalo, hogy L(x;#) # U(a; b) max # Y Y u(;x i )u(x i ;#); ; ha a b ; ha a>b : u(x i ;#); es ez a maximum eleretik mide # max fx ;:::;x g x esete. Masreszt #,ha# x x. Ezert L # (x ;:::;x ) a maximumat eppe a (x ;:::;x )x helye fogja felvei, tehat # maximum-likelihood becslese az X max fx ;:::;X g maximumstatisztika lesz. A maximum-likelihood becsles redelkezik ehay agyo jo tulajdosaggal, amelyeket a kovetkez}o ket tetelbe fogalmazuk meg..4.. tetel: Legye adott, valosz}usegi mertekek egy tere es az X ;X ;:::;X statisztikai mita. Jelolje most L(x;#) a likelihood fuggveyt es a maximum-likelihood statisztikat! (i) Ha letezik hatasos becsles a # parameterre, akkor maga a hatasos becsles. (ii) Ha letezik T elegseges becsles a # parameterre, akkor megadhato olya h(x) fuggvey, mellyel h( )T ; azaz az elegseges becsles a maximum-likelihood statisztika fuggveyeket all el}o. Bizoytas: (i) A Cramer{Rao-tetel uta tett. megjegyzes szerit t hatasos becsles, k(#)(t (x), #) teljesul majdem mide x R vektorra. De a maximum-likelihood statisztikat eppe egyelet megoldasabol kapjuk, azaz k(#)(t (x), #) ) t (x) (x) # ) alltas:

32 3. FEJEET Becsleselmelet (ii) A Neyma{Fisher faktorizacios tetelb}ol: 9 g; k fuggveyek: L(x;#)g(T (x);#) k(x): l ) 9 h fuggvey: h(t (X)) (x):.4.. tetel: (Cramer{Dugue) Legye adott, valosz}usegi mertekek egy tere es az X ;X ;:::;X ;::: statisztikai mita, amelyek eloszlasfuggveye abszolut folytoos 8 -re. Tegyuk fel, hogy a mita s}ur}usegfuggveye f # (x); # (a; b) kielegti az alabbi a), b), c) felteteleket: a) l f # (x) i i ; ; 3 8# (a; b): b) 9H (x); H (x); H 3 (x) fuggveyek, melyekre: c) <I (#) + #(x) <H f # (x), +, 9K : H (x)dx<; l f# (x) f# (x)dx<: <H (x); f # (x) 3 H (x)dx<; H 3 (x) f # (x)dx<k 8# (a; b): Legye tovabba a # parameter maximum-likelihood statisztikaja. Ekkor (i) az # parameter kozisztes becslese, <H 3 (x): (ii) aszimptotikusa ormalis eloszlasu, azaz p I (#) (, #) e! N(; ). Bizoytas: Az (i) bizoytasa. A b) feltetelb}ol kovetkezik, hogy a derivalas es az itegralas sorredje felcserelhet}o. Igy mivel +, f # (x)dx ) # (x) dx ; f # (x) dx : Legye # (a; b) ateyleges parameter. ATaylor-formulabol kapjuk, l f # l f #(x) ## l f # (x) ahol jj < ( esetleg fugghet x-t}ol es #-tol is.) Mivel L(x;#) ## (#, # )+ H 3(x) (#, # ) ; Y f # (x i );

33 .4 Maximum-likelihood becsles 33 gy ahol l l f # (X i ) B B B 3 B + B (#, # )+ B 3(#, # ) l f # (X i ) ## l f # (X i ) ## H 3 (X i ) : a mita es # fuggveye, de jj <. Figyeljuk meg, hogy B ;B ;B 3 fuggetle, azoos eloszlasu valosz}usegi valtozok l L(X;#) A maximum-likelihood becsles az egyelet megoldasabol all el}o, azaz B + B (#, # )+ B 3(#, # ) : Felhaszaljuk, hogy E l f # (X i )! ; ## E l f # (X i ) ##!,I ; hisze E l f # (X i )! # (x) ##, f # (x)dx ## es miatt E # f # (X i f # (X i ) f # (x) E l f # (X i ) ##! E #,, l f # (X i ) A agy szamok gyege torveyeb}ol kovetkezik, hogy B l f# (X i )!,I : ##, ##! st! ; B st!,i ; B 3 st! E # H 3 (X) <K: f # (x)dx ##

34 34. FEJEET Becsleselmelet Ezert 8 <"<es << I (K+) -hez 9 ("; ) kuszobszam, hogy > esete (jb j ) < " 3 ; (B, I ) < " 3 ; (jb 3 j K) < " 3 : A Boole-egyel}otleseget, ( A A A3 ), (A ), (A ), (A 3 ) felhaszalva: (jb j < ;B <, I ; jb 3 j < K), ": Megmutatjuk, hogy a # # + potba a B +B (#,# )+ B 3(#,# ) kifejezes egatv erteket vesz l L(x;#) ## + B + B + B 3 < + I < (K +) (K +), I :,I + / /K l L(x;#) Tehat < ; ha # # + es x kielegti a jb j < ;B <, I ; jb 3 j < K feltetelredszert. Masreszt # #, -val ugyaarra az l L(x;#) j ##, B, B + B 3 >, + I >, (K +)+ I l L(x;#), / /K > I (K +)+ (K +) I : Mivel az fuggvey dierecialhato, gy folytoos, ezert a (#, ; # + ) itervallumba kell, hogy legye gyoke. Maskeppe fogalmazva, 8 <"<es << I 9 ("; ) kuszobszam, hogy > esete tobb mit, " valosz}useggel a likelihood egyeletek va gyoke a(#, ; # + ) itervallumba, azaz (j (X), # j <), "; vagyis a maximum-likelihood becsles kozisztes. A (ii) bizoytasa. A egyeletb}ol: B + B ( (X), # ) + B 3( (X), # ) (X), # majd midket oldalt p I (# )-lal megszorozva: p I (# )( (X), # ),B B + B 3 ( (X), # ) ; p p I (# ) B, B (I (#, B ((X),# ) )) 3 (I (# )) p I (# ) p -hez l l f # (X i ) ##, B (I (#, B ((X),# ) )) 3 (I (# ))

35 .4 Maximum-likelihood becsles 35 ## Az Y l f #(X i ) eloszlasuak. Tovabba: jelolessel, az Y i valosz}usegi valtozok teljese fuggetleek es azoos E # Y i E l f# (X i ) # Y i l f# (X i ) A cetralis hatareloszlas tetelt alkalmazva: U Y p i p p I (# ) I (# ) p Felhaszalva a Csebisev-fele agy szamok torveyet: j ## ; j ## I (# l f # (X i ) st st st! # ; B!,(I (# )); B 3! E # H 3 (X i ) <K; ## e! N(; ): amib}ol kovetkezik. Mivel U, B (I (# )), B (, # ) 3 (I (# )) st! e! N(; ); st!, gy U e! N(; ); azaz p I (# )(, # ) e! N(; ): A maximum-likelihood modszer az el}oz}o tetelek miatt alapvet}o fotossagu a becsleselmeletbe. Ahol lehet, celszer}u alkalmazi. Vaak azoba esetek, amikor a likelihood egyelet a parameterre traszcedes egyeletet ad, azaz a parameter kifejtese lehetetle. Ilye esetekbe sokszor haszos a mometumok modszere. A modszer leyege az, hogy a mita mometumai fuggveykapcsolatba vaak az eloszlas parametereivel, es ebbe az ismert fuggveybe a mitabol becsult empirikus mometumokat berva kapjuk a becslesi statisztikakat..4.. decio: Legye adott, valosz}usegi mertekek egy tere es az X ;X ;:::;X statisztikai mita. Tegyuk fel, hogy letezek az m j E # X j i g j(#) (j ; ;:::;k) mometumok, es Tekitsuk az 9g, j (m ;m ;:::;m k )# j (j ; ;:::;k): ^m j X j i empirikus mometum statisztikakat. Akkor az (j ; ;:::;k) m j g, j (^m ; ^m ;:::; ^m k ) (j ; ;:::;k) statisztikak a # j parameterek mometumos becslesei. A mometumok modszere em redelkezik olya optimalis tulajdosagokkal, mit a maximum-likelihood modszer, de azert az altalaos feltetelek mellett belathato, hogy a becslesei kozisztesek. A kozisztecia azo mulik, hogy az empirikus mometumok is kozisztes becslesei az elmeleti mometumokak.

36 36. FEJEET Becsleselmelet.4.5. pelda: (A ormalis eloszlas parametereiek becslese a mometumok modszerevel) A mita s}ur}usegfuggveye f m;d (x) p D e, (x,m) D : A ormalis eloszlas esete tudjuk, hogy m g (m ;m )m ; D g (m ;m )m, m. Az empirikus mometumok: ^m X i. Igy a mometumbecslesek egyb}ol adodak: D g (^m ; ^m ) X i X ; ^m m g (^m ; ^m ) X ; X i, X i! s : Lathato, hogy ugyaazok a statisztikak adodtak, mit a maximum-likelihood modszerel pelda: (A oisso-eloszlas parametereek becslese a mometumok modszerevel) A mita eloszlasa most # (X i k) #k k! e,# (k ; ; ;:::): A #> parameter eppe a varhato ertek, az els}o mometum, gy a mometumbecsles egyb}ol adodik: # ^m X. Ezuttal is ugyaazt a statisztikat kaptuk, mit a maximum-likelihood modszerel..5. Itervallumbecslesek A korabbi szakaszokba az ismeretle parametervektort a mita egy fuggveyevel, azaz egyetle statisztikaval probaltuk meg kozeltei. Kokret realizacioal tehat, a parameterter egy potjat egy masik pottal becsuljuk. Ezert beszeluk potbecslesr}ol. De tudjuk azt is, hogy folytoos eloszlasokal, aak valosz}usege, hogy a valosz}usegi valtozo az ertekkeszleteek eppe egy tesz}olegese kivalasztott potjat fogja felvei, ulla. Tehat folytoos esetbe ulla aak valosz}usege, hogy eppe a parametert talaltuk el a becslessel. Az itervallumbecslesekel a mitabol kesztett tartomayokat deialuk, amely tartomayok agy valosz}useggel lefedik a kerdeses parameterpotot. A temakort egydimezios parameter esete targyaljuk..5.. decio: Legye adott valosz}usegi mertekek egy tere es az X ;X ;:::;X statisztikai mita. Legye <" < rogztett. Azt modjuk, hogy a # parameterhez megadtuk egy legalabb, " szigikaciaszit}u kodeciaitervallumot, ha t (X ;X ;:::;X ) es t (X ;X ;:::;X ) olya statisztikak, hogy feall mide # -re. # (t (X ;X ;:::;X ) # t (X ;X ;:::;X )), " Ahhoz, hogy peldakat mutassuk kodecia itervallumra, be kell bizoytauk a Lukacs-tetelt, es deiali kell a -es a Studet-eloszlasokat.

37 .5 Itervallumbecslesek decio: Legyeek Y;X ;X ;:::;X stadard ormalis eloszlasu, teljese fuggetle valosz}usegi valtozok. Ekkor Xi -eloszlast kovet szabadsagfokkal, melyek s}ur}usegfuggveye f(x), e, x x, ; x>;, R ahol,(s) e,t t s, dt a gamma-fuggvey. Masreszt szabadsagfoku t- (Studet-) eloszlast fog koveti, melyek s}ur}usegfuggveye.5.. tetel: (Lukacs),, + g(x),,,, p + x! + Y s X i ; x R: Legye X ;X ;:::;X N(m; D) eloszlasbol szarmazo statisztikai mita. Ekkor (i) X N(m; D p ), azaz m; D p parameter}u ormalis eloszlas, (ii) s D (iii), ; azaz, szabadsagfoku -eloszlas, X es s fuggetleek ( X es s is fuggetleek). Bizoytas: (i) X karakterisztikus fuggveye: ' X (t) E i j t X j amib}ol leolvashato, hogy X N(m; D p ): Y A E exp j t ix j exp im t, D t ; Y j ' Xj t (ii) Segedtetel: Tekitsuk a H E, T cetralo matrixot. A kepletbe az olya vektort jelol, melyek midegyik kompoese -es, E pedig az egysegmatrix. Ekkor a) H H H (idempotes), C A

38 38. FEJEET Becsleselmelet b) H szimmetrikus, pozitv szemideit, c) det H ; rak H, ; d) H sajatertekei az(, )- szeres multiplicitassal, esa. A segedtetel bizoytasa: a) H E, E, T,, T E + ( T ) T E, T H. b) H szimmetrikus trivialisa. Legye x R tetsz}oleges: x T H x x T H H x H x pozitv szemideit, sajatertekei emega- H, E det H, E det H, p E det H + p E : Tehat, ha sajatertek, akkor + p is az. Igy csak es lehet sajatertek! Masreszt, tvak. c) det trace H,, csak ugy lehet, ha, es : Y d) det H j ; rak H j,; mert, darab sajaterteke va. j j A segedtetelt haszalva bizoythatjuk a tetel. alltasat. X T H X X T X, XT T X X i,, X s : Legyeek i X i, m N(;D); teljese fuggetleek. H d i ( i, ) Felhaszaljuk H spektralfelbotasat: (X i, m) X, m; ((X i, m), ( X, m)) s : H G L G T, ahol G G T G T G E es L diag(; ;:::;; ): Igy s X T H X T H T G L G T Y T LY Y G T N (G;DE ), azaz Y i D N(; ) teljese fuggetleek s, Yi D D,. (iii) A sajatertekhez tartozo sajatvektor: g p ( p ; p ;:::; p ) T ; mert H g E p, T p g, g : Igy Y g T p i p. Mivel s d, X es s is fuggetleek., X Y i : Y i ; X + m p Y + m; es Y i -k teljese fuggetleek voltak, gy

39 .5 Itervallumbecslesek 39 N(m; D) eloszlasbol szar- Felhaszalva a Lukacs-tetelt belathato, hogy ha X ;X ;:::;X mazo statisztikai mita, akkor az X, m p (, ) s N(; ); es az D D, statisztikak fuggetleek, gy X,m D r p (,) s D, X, m s p t, (, szabadsagfoku Studet-eloszlasu)..5.. pelda: (Kodeciaitervallum szerkesztese az ismeretle varhato ertekre ismert szorasu ormalis eloszlas esetebe) Legye X ;X ;:::;X N(m; D ) eloszlasbol szarmazo statisztikai mita, ahol D > ismert, m R ismeretle. Szerkesszuk m-re adott <"< mellett (, ")-szit}u kodeciaitervallumot! A Lukacs-tetelb}ol tudjuk, hogy u,m X p D N(; ), azaz a statisztika s}ur}usegfuggveye: '(x) p e, x : '(x) segtsegevel megadhato olya u " > szam, hogy +u ",u " '(t)dt (,u " <u<u " )(u " ), (,u " )(u " ),, " teljesuljo. Az u " > szam meghatarozasat a (u " ), " egyeletb}ol, stadard ormalis eloszlas tablazata segtsegevel hatarozhatjuk o meg. Mivel a f,u " <u<u " g esemey ekvivales az X, u" p D <m< X + u" p D esemeyel, ezert X, u " D p <m< X + u " D p, "; azaz a T X, u " D p ; (, ")-szit}u kodeciaitervallum m-re. T X + u " D p.5.. pelda: (Kodeciaitervallum szerkesztese az ismeretle varhato ertekre ismeretle szorasu ormalis eloszlas esetebe) Legye X ;X ;:::;X N(m; D) eloszlasbol szarmazo statisztikai mita, ahol D>ises, m R is ismeretle. Szerkesszuk m-re adott <"< mellett (, ")-szit}u kodeciaitervallumot! A Lukacs-tetel uta lattuk, hogy,m X p s t,, azaz az, szabadsagfoku Studet-eloszlashoz tartozo tablazatbol kiolvashato olya t " > szam, amellyel X, " (,t " <, p s <t" ) X, t " s p <m< X + t " s p statisztikapar lesz (, ")-szit}u kodeciai- azaz most a T X, t" p s ; T X + t" p s tervallum m-re.