Propositio 1 (Jese-egyelőtleség Ha f : kovex, akkor tetszőleges ξ változóra f (M (ξ M (f (ξ feltéve, hogy az egyelőtleségbe szereplő véges vagy végtele várható értékek létezek Bizoyítás: Megjegyezzük, hogy kovex függvéyekre miig létezik a ± be vett, esetlegese végtele értékű, határérték, így ha az M (ξ létezik, akkor a bal olali kifejezés értelmes 1 Tegyük fel először, hogy az M (ξ és az f (M (ξ véges Tekitsük egy az (M (ξ, f (M (ξ poto átmeő olya ax + b alakú egyeest, hogy mie x számra f (x a x + b Az f függvéy kovexitása miatt ilye egyees biztosa va 1 alapul vett valószíűségi mező mie ω kimeetelére De ekkor az f (ξ (ω a ξ (ω + b Mikét olalt itegrálva, az ax + b egyees választása alapjá M (f (ξ a M (ξ + b M (1 f (M (ξ Ha M (f (ξ, az állítás evies 3 Tegyük fel, hogy M (ξ Ha létezik t, hogy f (t > 0, akkor a kovexitásból következő f (ξ f (t + f (t (ξ t egyelőtleséget itegrálva és kihaszálva, hogy az itegrálok létezek M (f (ξ f (t + f (t (M (ξ t, tehát az egyelőtleség teljesül Ha mie t-re f (t 0, akkor az f mooto csökke, vagyis f ( f (ξ és ezért M (f (ξ f ( f (M (ξ 4 Az M (ξ, aalóg, csak az f (t < 0 esetből kell kiiuli 5 Végezetül ha M (f (ξ, és va olya t, amelyre f (t > 0, akkor az imét említett móo M (ξ, és az egyelőtleség a már bemutatott iokolható Ha f 0, és va olya t, hogy f (t < 0, akkor egyrészt az 1 Ha f eriválható, akkor a eriváltja éppe ilye, ha em akkor a kovexitás miatt létező f + jobb, illetve f bal olali eriváltak, illetve a köztük halaó bármely másik egyees megfelelő 1
f csökke, másrészt a már korábba elmoottak miatt M (ξ, vagyis f (M (ξ f (ξ Ha f 0, akkor az f véges kostas, és az M (f (ξ em teljesülhet Az egyelőtleségbe explicite feltettük, hogy az M (ξ és az M (f (ξ várható értékek létezek Éppe ezért em érektele a következő észrevétel: Propositio Ha f : kovex és az M (ξ várható érték véges, akkor M ( f (ξ <, következésképpe az M (f (ξ véges vagy végtele várható érték létezik Bizoyítás: A kovexitás miatt ismételte f (t f (0 + f (0 t, amiből következésképpe f (t f (0 f (0 t, vagyis f (t max ( f (t, 0 f (0 + f (0 t, M ( f (ξ f (0 + f (0 M ( ξ < Example 3 A maximum likelihoo elv ioklása Legye µ tetszőleges mérték és legyeek p és q a µ mérték szeriti sűrűségfüggvéyek A logaritmus függvéy kokáv, így a Jese-egyelőtleség szerit p (l q l p µ p l q ( p µ M l q ( ( q l M p p ( l p q ( p µ l qµ l 1 0 Ebből következőe p l qµ p l pµ, (1 feltéve, hogy mi a két olal véges Az egyelőtleség alkalmazásakét tegyük fel, hogy a ξ 1, ξ,, ξ változók azoos eloszlásúak, és a közös sűrűségfüggvéyük A µ lehet pélául a számláló mérték Ilyekor a iszkrét eloszlásokat kezeljük és az itegrálok egyszerű összegek
legye f (x, θ, ahol θ egy ismeretle paraméter amely értékét a (ξ k k1 változók megfigyelése alapjá próbáljuk megbecsüli Képezzük az L (ξ 1,, ξ, θ f (ξ k, θ likelihoo függvéyt Ha a ξ k változók függetleek, akkor a agy számok törvéye alapjá l L (ξ 1,, ξ, θ k1 k, θ M (l f (ξ, θ, ahol ξ tetszőleges olya változó, amely eloszlása megegyezik a ξ k változók közös eloszlásával 3 Ha θ 0 a θ paraméter valói értéke, akkor a traszformált valószíűségi változók várható értékére voatkozó formula alapjá M (l f (ξ, θ l f (ξ, θ P l f (x, θ f (x, θ 0 µ (x k1 Az (1 alapjá M (l f (x, θ l f (x, θ f (x, θ 0 µ (x l f (x, θ 0 f (x, θ 0 µ (x M (l f (x, θ 0 Ebből következőe a θ 0 ismeretle paraméter θ becslését úgy célszerű meghatározi, hogy maximalizáljuk a várható értéket közelítő l L (ξ 1,, ξ, θ átlag értékét a θ paraméter szerit Ez ekvivales avval, hogy aott eseté a θ paraméter szerit maximalizáljuk az L likelihoo függvéyt Mekkora a becslés hibája, vagyis mekkora a θ θ 0 eltérés? Tekitsük az l L függvéy Taylor-kifejtését a θ 0 helyes érték körül: l L (θ l L (θ 0 + l L θ (θ 0 (θ θ 0 + 1 l L θ (θ 0 (θ θ 0 + 3 (θ θ 0 3 A kifejtést mit poliomot θ szerit eriválva, felhaszálva, hogy az első tag kotas l L l L (θ (θ 0 + l L θ θ θ (θ 0 (θ θ 0 + 3 3 (θ θ 0 3 Feltéve persze, hogy a várható érték létezik 3
A θ heléybe a θ becslést behelyettesítve és a T 3 új jelölést bevezetve ( θ θ l L l L (θ 0 + l L θ θ (θ 0 ( θ θ0 + T 3 ( θ θ0 A θ értékét a maximálással becsültük, a maximumba a erivált ulla, így a jobb olalo θ ( θ l L 0, vagyis 0 l L θ Ebből elemi átreezéssel ( l L ( θ θ0 θ A két olalt -bel beszorozva (θ 0 + l L θ (θ 0 ( θ θ0 + T 3 ( θ θ0 ( (θ 0 + T 3 ( θ 1 l L θ0 θ (θ 0 ( θ θ0 ( l L θ l L (θ 0 + T 3 ( θ θ0 ( l L θ (θ 0 + T 3 ( θ θ0 ( l L 1 θ (θ 0 θ (θ 0 1 Vizsgáljuk meg az egyes kifejezések határértékét! 1 l L θ (θ 0 k1 θ l f (ξ k, θ 0 A cetrális határeloszlás tételét akarjuk haszáli, e ehhez szükségük va az összeaaók várható értékre és szórására Számoljuk ki az η k θ l f (ξ k, θ 0 változók közös várható értékét ( ( M θ l f (ξ 1 k, θ 0 M f (ξ k, θ 0 θ f (ξ k, θ 0 1 f (x, θ 0 θ f (x, θ 0 f (x, θ 0 µ θ f (x, θ 0 µ f (x, θ µ θ θ 1 0 4
Vegyük észre, hogy a számolás sorá kihaszáltuk, hogy θ 0 a paraméter helyes értéke, így az M várható érték az f (x, θ 0 szeriti itegrálással számolható Ugyacsak felhaszáltuk, hogy a eriválás és az itegrálás felcserélhető, amely yilvá általába em teljesül Ez megszorítást jelet a számba jöhető f (x, θ párokra és yilvá a kokrét alkalmazásokba elleőrízi kell ezt a regularitási tulajoságot Számoljuk ki az η k változók közös szórását Mivel a várható érték ulla elég kiszámoli a másoik mometumot Egyrészt a már felhaszált regularitási szabály alapjá θ θ l f (x, θ f (x, θ µ ( 1 f (x, θ f (x, θ µ θ f (x, θ θ θ θ f (x, θ 1 f (x, θ µ f (x, θ f (x, θ µ θ θ θ f (x, θ µ θ 1 0 Az itegrálba beeriválva a szorzat eriválási szabálya szerit ugyaez 0 l f (x, θ f (x, θ µ θ θ ( l f (x, θ f (x, θ µ θ θ l f (x, θ f (x, θ µ + θ + θ l f (x, θ f (x, θ µ θ Ahol ismételte többször kihaszáltuk, hogy az f (x, θ kifejezés elég jó ahhoz, hogy a eriválás és az itegrálás felcserélhető Ebből a már többször haszált azoosság szerit 4 l f (x, θ f (x, θ µ θ 4 Ugyais az összeg ulla θ f (x, θ l f (x, θ f (x, θ θ θ l f (x, θ f (x, θ µ θ θ l f (x, θ l f (x, θ f (x, θ µ θ ( l f (x, θ f (x, θ µ θ 5
Ha most θ θ 0, akkor az f (x, θ 0 a valói sűrűségfüggvéy, így az itegrálok a traszforált változók várható értékét aják: ( ( ( M θ l f (x, θ 0 M θ l f (x, θ 0, vagyis ( D θ l f (ξ k, θ 0 D (η k M ( η ( ( M θ l f (x, θ 0 ( M θ l f (ξ k, θ 0 ϕ Ebből a cetrális határeloszlás tétel szerit l L θ (θ 0 lim lim lim N (0, ϕ k1 θ l f (ξ k, θ 0 Ugyaakkor a agy számok törvéye szerit k1 (η k M (η k N (0, D (η l L (θ θ lim 0 k1 l f(ξ k,θ (θ θ lim 0 ( M θ l f (ξ, θ 0 ϕ 3 Tegyük fel, hogy a becslés elég aszimptotikusa kozisztes, vagyis a Taylor-közelítés maraékjára T 3 ( θ θ 0 lim Ez teljesül pélául akkor, ha a harmaik erivált a becslés köryezetébe korlátos és a paramétertér, vagyis a θ lehetséges értékei halmaza pélául szité korlátos De számos más egyéb a kokrét helyzetbe elleőrizeő feltétel eseté teljesül Ilyekor eloszlásba lim ( θ θ0 N (0, ϕ ( ϕ 1 N (0, ϕ 1 6
Emlékeztetük, hogy ( ϕ M θ l f (ξ k, θ 0 A agy számok törvéye szerit ( M θ l f (ξ k, θ 0 k1 k1 l f (ξ θ k, θ 0 l f θ ( ξ k, θ 7