A maximum likelihood becslésről

Hasonló dokumentumok
Nagy számok törvényei Statisztikai mintavétel Várható érték becslése. Dr. Berta Miklós Fizika és Kémia Tanszék Széchenyi István Egyetem

e (t µ) 2 f (t) = 1 F (t) = 1 Normális eloszlás negyedik centrális momentuma:

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Least Squares becslés

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Általánosan, bármilyen mérés annyit jelent, mint meghatározni, hányszor van meg

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

x, x R, x rögzített esetén esemény. : ( ) x Valószínűségi Változó: Feltételes valószínűség: Teljes valószínűség Tétele: Bayes Tétel:

Készítette: Fegyverneki Sándor

A Statisztika alapjai

Principal Component Analysis

Gazdasági matematika II. vizsgadolgozat, megoldással,

5. előadás - Regressziószámítás

KÖVETKEZTETŐ STATISZTIKA

Leíró és matematikai statisztika el adásnapló Matematika alapszak, matematikai elemz szakirány 2016/2017. tavaszi félév

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Lineáris regressziós modellek 1

Kabos: Statisztika II. t-próba 9.1. Ha ismert a doboz szórása de nem ismerjük a

Matematikai statisztika szorgalmi feladatok

Matematikai statisztika c. tárgy oktatásának célja és tematikája

Miért fontos számunkra az előző gyakorlaton tárgyalt lineáris algebrai ismeretek

Abszolút folytonos valószín ségi változó (4. el adás)

Line aris f uggv enyilleszt es m arcius 19.

Kísérlettervezés alapfogalmak

egyetemi jegyzet Meskó Balázs

Kísérlettervezés alapfogalmak

Statisztika - bevezetés Méréselmélet PE MIK MI_BSc VI_BSc 1

Loss Distribution Approach

A valószínűségszámítás elemei

Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )

Matematikai geodéziai számítások 5.

STATISZTIKA ELŐADÁS ÁTTEKINTÉSE. Matematikai statisztika. Mi a modell? Binomiális eloszlás sűrűségfüggvény. Binomiális eloszlás

Valószínűségi változók. Várható érték és szórás

Matematikai alapok és valószínőségszámítás. Statisztikai becslés Statisztikák eloszlása

1. Adatok kiértékelése. 2. A feltételek megvizsgálása. 3. A hipotézis megfogalmazása

4. Az A és B események egymást kizáró eseményeknek vagy idegen (diszjunkt)eseményeknek nevezzük, ha AB=O

Elméleti összefoglaló a Valószín ségszámítás kurzushoz

STATISZTIKA. Egymintás u-próba. H 0 : Kefir zsírtartalma 3% Próbafüggvény, alfa=0,05. Egymintás u-próba vagy z-próba

Gyak. vez.: Palincza Richárd ( Gyakorlatok ideje/helye: CS , QBF10

Elméleti összefoglaló a Sztochasztika alapjai kurzushoz

Mintavétel fogalmai STATISZTIKA, BIOMETRIA. Mintavételi hiba. Statisztikai adatgyűjtés. Nem véletlenen alapuló kiválasztás

Statisztikai becslés

[Biomatematika 2] Orvosi biometria

5. elıadás március 22. Portfólió-optimalizálás

Véletlen jelenség: okok rendszere hozza létre - nem ismerhetjük mind, ezért sztochasztikus.

Hipotéziselmélet - paraméteres próbák. eloszlások. Matematikai statisztika Gazdaságinformatikus MSc szeptember 10. 1/58

Számítógépes döntéstámogatás. Statisztikai elemzés

Valószínűségszámítás és Statisztika I. zh november MEGOLDÁS

Statisztikai következtetések Nemlineáris regresszió Feladatok Vége

Megoldások. ξ jelölje az első meghibásodásig eltelt időt. Akkor ξ N(6, 4; 2, 3) normális eloszlású P (ξ

14 A Black-Scholes-Merton modell. Options, Futures, and Other Derivatives, 8th Edition, Copyright John C. Hull

LINEÁRIS MODELLBEN május. 1. Lineáris modell, legkisebb négyzetek elve

BIOMATEMATIKA ELŐADÁS

A következő feladat célja az, hogy egyszerű módon konstruáljunk Poisson folyamatokat.

A mérési eredmény megadása

Matematikai geodéziai számítások 6.

7. Előadás tartalma. Lineáris szűrők: Inverz probléma dekonvolúció: Klasszikus szűrők súly és átviteli függvénye Gibbs jelenség

Gazdasági matematika II. vizsgadolgozat megoldása A csoport

minden x D esetén, akkor x 0 -at a függvény maximumhelyének mondjuk, f(x 0 )-at pedig az (abszolút) maximumértékének.

STATISZTIKAI ALAPOK. Statisztikai alapok_eloszlások_becslések 1

f (M (ξ)) M (f (ξ)) Bizonyítás: Megjegyezzük, hogy konvex függvényekre mindig létezik a ± ben

Statisztika elméleti összefoglaló

Ha ismert (A,b,c T ), akkor

Diverzifikáció Markowitz-modell MAD modell CAPM modell 2017/ Szegedi Tudományegyetem Informatikai Intézet

Matematikai geodéziai számítások 6.

Osztályozóvizsga követelményei

Matematikai geodéziai számítások 5.

Matematikai statisztikai elemzések 3.

Likelihood, deviancia, Akaike-féle információs kritérium

Normális eloszlás tesztje

[Biomatematika 2] Orvosi biometria

CHT& NSZT Hoeffding NET mom. stabilis november 9.

Matematikai statisztika I. témakör: Valószínűségszámítási ismétlés

Statisztika I. 8. előadás. Előadó: Dr. Ertsey Imre

Biostatisztika VIII. Mátyus László. 19 October

A bergengóc lakosság szemszín szerinti megoszlása a négy tartományban azonos:

egyenletesen, és c olyan színű golyót teszünk az urnába, amilyen színűt húztunk. Bizonyítsuk

Anyagvizsgálati módszerek Mérési adatok feldolgozása. Anyagvizsgálati módszerek

Gazdasági matematika II. vizsgadolgozat megoldása, június 10

Statisztika 1. zárthelyi dolgozat március 21.

Gauss-Jordan módszer Legkisebb négyzetek módszere, egyenes LNM, polinom LNM, függvény. Lineáris algebra numerikus módszerei

Biometria az orvosi gyakorlatban. Korrelációszámítás, regresszió

A mérések általános és alapvető metrológiai fogalmai és definíciói. Mérések, mérési eredmények, mérési bizonytalanság. mérés. mérési elv

BAGME11NNF Munkavédelmi mérnökasszisztens Galla Jánosné, 2011.

Valószínűségszámítás összefoglaló

4. A méréses ellenırzı kártyák szerkesztése

Norma Determináns, inverz Kondíciószám Direkt és inverz hibák Lin. egyenletrendszerek A Gauss-módszer. Lineáris algebra numerikus módszerei

Statisztikai alapismeretek (folytatás) 4. elıadás (7-8. lecke) Becslések, Hipotézis vizsgálat

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Adatmodellez es, f uggv enyilleszt es m arcius 12.

(Independence, dependence, random variables)

Matematikai statisztika Tómács Tibor

Eseményalgebra. Esemény: minden amirl a kísérlet elvégzése során eldönthet egyértelmen hogy a kísérlet során bekövetkezett-e vagy sem.

6. Előadás. Vereb György, DE OEC BSI, október 12.

Brósch Zoltán (Debreceni Egyetem Kossuth Lajos Gyakorló Gimnáziuma) Megoldások

A L Hospital-szabály, elaszticitás, monotonitás, konvexitás

f(x) vagy f(x) a (x x 0 )-t használjuk. lim melyekre Mivel itt ɛ > 0 tetszőlegesen kicsi, így a a = 0, a = a, ami ellentmondás, bizonyítva

Villamosmérnök A4 11. hét Kétdimenziós normális eloszlás, cht - Megoldások

Sergyán Szabolcs szeptember 21.

Átírás:

A maximum likelihood becslésről Definíció Parametrikus becsléssel foglalkozunk. Adott egy modell, mellyel elképzeléseink szerint jól leírható a meghatározni kívánt rendszer. (A modell típusának és rendszámának megválasztásával most nem foglalkozunk, adottnak tekintjük.) A modellnek vannak szabad paraméterei, melyeket méréssel kívánunk meghatározni. A mérési eredményeink zajjal terheltek. Azaz, magukat a paramétereket nem tudjuk mérni, csak egy valószínűségi változót, mely több-kevesebb összefüggést mutat a modell paraméterrel. Kérdés, hogy a mért értékekből hogyan becsüljük meg a modell paramétereit, hogy a lehető legpontosabb becslést kapjuk. Egyáltalán mit értsünk legpontosabbon? Az egyik legáltalánosabb becslési stratégia, amit parametrikus becslésnél használunk, az ún. maximum likelihood eljárás. (A magyar szakirodalomban is az angol kifejezést használják, nincs meghonosodott magyar kifejezés rá, talán a legnagyobb valószínűség elvének fordíthanánk.) A módszert abban az esetben alkalmazzuk, mikor a modell paraméterek sűrűségfüggvényei ismeretlenek (hiszen a modellben szereplő paraméterek is valószínűségi változók a mérés szempontjából), viszont a mérést terhelő zaj eloszlása ismert. Amennyiben egy eloszlásról semmit sem tudunk, legkézenfekvőbb megoldás egyenletesnek tételezni föl. A maximum likelihood becslés tehát a következőt jelenti: maximalizálni kell a P {ezt mértem a paraméter ennyi és ennyi} feltételes valószínűséget. Formálisan a bayes-döntésből vezethetjük le. A bayes döntést az alábbi formula írja le: P {p y m } = P {y m p} P {p} P {y m } () (ahol p a paramétervektort, y m a mért vektort jelenti) ML döntés esetén ez a képlet leegyszerűsödik: P {p y m } = CP {y m p} (2) hiszen a paraméterek egyenletes eloszlásúak, a P {y m } pedig csak súlyozó tényezőként működik.

Az L(y m p) = P {y = y m p} függvényt likelihood függvénynek nevezzük, és mindig meghatározható kizárólag a mérési zaj eloszlásának ismeretében. A paramétervektor maximum likelihood becslése (p ML ) pedig a likelihood függvény p szerinti maximalizálásával adódik. Megjegyzés: A logaritmus függvény monotonitása miatt a maximalizálás szempontjából ekvivalens a likelihood függvény helyett annak logaritmusát maximalizálni, ami sokszor számítástechnikai okoból célszerű lehet.. Példa Adjunk becslést N db zajos mérésből egy vekni súlyára. A modellünk a következő: y = g + n (3) ahol y a mért érték, g a valódi súly, n pedig a mérést terhelő zaj. Tudjuk, hogy a mérési zaj Gauss-eloszlású, az egyes mérések zaja egymástól független. Ezek alapján a likelihood függvény kiszámolható: N N L(y m g) = P {y i g} = f n (y i g) (4) ahol f n jelöli a zaj sűrűségfüggvényét. Mivel a zaj normális eloszlású, így a likelihood függvény: L(y m g) = ( 2πσ 2 N exp (y i g) 2 ) (5) n Esetünkben a likelihood függvény logaritmusát egyszerűbb lesz maximalizálni, így felírjuk az ún. log-likelihood függvényt: ln L = C 2σ 2 n 2σ 2 n ((y i g) 2 (6) ahol C egy konstans. A vekni súlyának ML becslése ezek alapján. g ML = N y i (7) Vagyis eredményül azt kaptuk, hogy a vekni súlyának ML becslését úgy kapjuk, hogy a mért értékek számtani átlagát képezzük. 2. Példa Legyen z,..., z m egy normális valószínűségi változó független megfigyelései. A valószínűségi változó várható értéke legyen µ, a szórása σ. Határozzuk meg ezen paraméterek ML becslését. 2

Első lépésként a likelihood függvényt ell felírnunk. ( L(z,..., z m µ, σ) = L(z µ, σ) = 2πσ 2 m exp ) m n 2σ 2 (z i µ) 2 (8) A log-likelihood függvény: ln L = m 2 ln ( 2πσ 2) 2σ 2 m (z i µ) 2 (9) Most µ és σ szerint külön-külön kell maximalizálni (9)-t, hogy rendre megkapjuk µ és σ ML becslését: µ ML = m z i (0) m σml 2 = m (z i µ ML ) 2 () m A várható érték becslésére a jól ismert mintaátlag adódott. Jegyezzük meg, hogy a várható értékre torzítatlan (lásd később), míg a szórásnégyzetre torzított becslését kaptuk a valódi paraméternek. Az ML becslő tulajdonságai Az alábbiakan az ML becslő tulajdonságait összegezzük. Ez azért fontos, mert ha sikerül általános esetre belátni az alábbiakat, akkor egyedi esetekben nem kell végigszámolni a levezetéseket, hanem a vecslő tulajdonságai zsebből előhúzhatóak. Általában a levezetések a következő feltételezésekkel élnek: a mérési zaj mérésről mérésre független, s ugyanolyan eloszlású (i.i.d); és a log-likelihood függvény kétszer differenciálható; Egyedi esetekben előfordulhat, hogy kevésbé szoros feltevések mellett is bizonyítható némelyik tulajdonság. Egyértelműség Bizonyítható, hogy a ML becslés egyértelmű a fenti feltevések mellett. Konzisztencia Az ML becslő konzisztens. Vagyis igaz, hogy lim P { p ML p > δ} = 0 δ > 0 (2) m 3

Aszimptotikusan torzítatlan Bizonyítható, hogy az ML becslő aszimptotikusan torzítatlan. Ez azt jelenti, hogy ha a mérések száma a végtelenbe nő, akkor a becslés torzítatlan lesz. (Torzítatlanságon a következőt értjük: E [p ML ] = p vagyis a becslő várható értéke megegyezik a valódi paraméterrel.) Bizonyítás helyett csak az előző példa kapcsán teszünk megjegyzést: a várható érték becslése (0) torzítatlan, hiszen (0) várható értéke éppen µ. Ezzel szemben a szórásra kapott becslő () torzított, a torzítás mértéke σ 2 /m. Azaz nagy (m ) esetben a torzítás eltűnik: a becslő aszimptotikusan torzítatlan. Hatásosság Az ML becslő kovarianciamátrixa aszimptotikusan tart a Fischer-információs mátrix inverzéhez, ami azt jelenti, hogy aszimptotikus értelemben a lehető legjobb becslő: C p = F (3) ahol F a Fischer információs mátrix, melynek definíciója: [ ( ) T ( ) ] F = E p ln L p ln L p (4) A Fischer mátrix azt írja le, hogy mennyi a mérésekben jelenlevő információmennyiség a paraméterekre nézve. A (4) azt fejezi ki, hogy annál kisebb a becslés bizonytalansága, minél több információ van a mérési adatokban. Ezt az elvet lehet arra felhasználni, hogy olyan kísérleteket tervezzünk, melyek során a lehető legtöbb információt tartalmazó mérési eredmények születhetnek. Bizonyítható, hogy a Fischer információs mátrix inverzénél kisebb kovariancia mátrixú torzítatlan becslő nem létezik. Ez azt jelenti, hogy a becslő kovarianciájára létezik egy alsó határ, a mérési adatok függvényében. Ezt nevezzük Cramér-Rao korlátnak. (Létezés természetesen független az ML becslőtől.) Az ML becslő aszimptotikus értelemben megközelíti ezt a korlátot, ezért nevezzük aszimptotikusan hatásosnak. Aszimptotikusan normális eloszlású A p ML becslő zajos mérési adatok függvéye, így önmaga is valószínűségi változó, amit a sűrűségfüggvényével írhatunk le. Ha a kísérletek száma nagy, akkor az ML becslő normális eloszlású lesz. 4

Az invariancia elv Ha p ML a K-dimenziós p ML becslője, akkor g(p ML ) az L-dimenziós g(p) ML becslője, L K esetén. A gyakorlatban ez egy nagyon fontos tulajdonság, hiszen például az előző példában a szórásnégyzet becslőjének kiszámolásából nem következtethetnénk a szórás becslőjére, ha ez az elv nem lenne érvényes. Összefoglalás A maximum likelihood-becslő tulajdonságainak felsorolásából látható, hogy az ideális becslő minden tulajdonsága érvényes rá, bár csak aszimptotikus értelemben. Ezért a mérések számát nagynak kell választani, a jó minőségű becslés érdekében. Mindezeknek köszönhetően a parametrikus mérések világában a legelterjedtebb megközelítés a maximum likelihood becslés. 5