Statisztikai becslés

Átírás

1 Kabos: Statisztika II. Becslés 1.1 Statisztikai becslés Freedman, D. - Pisani, R. - Purves, R.: Statisztika. Typotex, Reimann J. - Tóth J.: Valószínűségszámítás és matematikai statisztika. Tankönyvkiadó, Statisztikai becslés a becslés torzítatlansága, a becslés hatásossága, valószínűség becslése. Freedman: 16.,17.,18.,20.,23. fejezet Reimann: fejezet. Példa: időjárási adatok OMSz napi adatok, január december 31-ig date temp.ave.( C) precip.(mm) precip.type snow no precip snow snow no precip snow

2 Kabos: Statisztika II. Becslés 1.2 Kabos: Statisztika II. Becslés 1. Kabos: Statisztika II. Becslés 1. Példa: időjárási adatok Kabos: Statisztika II. Becslés 1. Slide 4 Slide 4 Slide 4 Slide 5 Slide 5 Slide nap nap napi középhőmérséklet [ C] napi középhőmérséklet [ C] 36 a napnapi átlaghőmérséklet a napi átlaghőmérséklet napi = középhőmérséklet [ C] = anapi csapadékösszeg napi átlaghőmérséklet [mm] napi csapadékösszeg [mm] = a csapadék fajtája [eső/hó] a csapadék fajtája [eső/hó] napi csapadékösszeg [mm] a csapadék fajtája [eső/hó] Példa: időjárási adatok Szóhasználat: Szóhasználat: ave = átlag ave = átlag Szóhasználat: tr.ave = trimmelt átlag = elhagyjuk a tr.ave = trimmelt átlag = elhagyjuk a ave legkisebb = átlag(itt) 20% -ot és a legnagyobb 20% -ot, és a legkisebb (itt) 20% -ot és a legnagyobb 20% -ot, és a tr.ave megmaradó = trimmelt 60% átlagát = vesszük elhagyjuk a megmaradó 60% átlagát vesszük legkisebb median = (itt) medián 20% -ot és a legnagyobb 20% -ot, és a median = medián megmaradó 60% átlagát vesszük median = medián Slide 6 Slide 6 Slide 6 Torzítatlan becslés Torzítatlan becslés az alapsokaság átlagára: Torzítatlan becslés az alapsokaság átlagára: a becslés várhatóértéke = az alapsokaság átlaga. a becslés várhatóértéke = az alapsokaság átlaga. Torzítatlan becslés az alapsokaság átlagára: a becslés várhatóértéke = az alapsokaság átlaga.

3 Kabos: Statisztika II. Becslés 1.3 Példa: időjárási adatok Példa: időjárási adatok Látjuk, hogy a várhatóérték és a variancia illesztése mellett is jelentős különbség van a hisztogram és sűrűségfüggvény között: csak egy egészen hozzávetőleges modell mondhatja azt, hogy a napi átlaghőmérséklet normális eloszlású, és az itt látott eltérést a véletlen okozza. Az eltérést a statisztikai mutatók is jellemzik, például a napi átlaghőmérsékletek mediánja=11.5 viszont az illesztett normális eloszlás mediánja = a várhatóérték = Látjuk, hogy a várhatóérték és a variancia illesztése mellett is jelentős különbség van a hisztogram és sűrűségfüggvény között: csak egy egészen hozzávetőleges modell mondhatja azt, hogy a napi átlaghőmérséklet normális eloszlású, és az itt látott eltérést a véletlen okozza. Példa: időjárási adatok A hisztogram és az illesztett sűrűségfüggvény eltérését a statisztikai mutatók is jellemzik, például a napi átlaghőmérsékletek mediánja=11.5 viszont az illesztett normális eloszlás mediánja = a várhatóérték =

4 átlag = stand.hiba = stand.eltérés = Kabos: Statisztika II. Becslés 1.4 Bootstrap normális eloszlásból 25 elemű EVMintát vettünk a várhatóértékű, varianciájú normális eloszlásból, meghatároztuk a mintaátlagot, (kétoldalról 20-20% -kal) trimelt mintaátlagot és a minta mediánját. Mindezt elvégeztük független ismétlésben. 25 elemű EVMintát vettünk a várhatóértékű, varianciájú normális eloszlásból, meghatároztuk a mintaátlagot, (kétoldalról 20-20%-kal) trimelt mintaátlagot és a minta mediánját. Mindezt elvégeztük független ismétlésben. Bootstrap normális eloszlásból elemű EVMintát vettünk a várhatóértékű, varianciájú normális eloszlásból, meghatároztuk a mintaátlagot, (kétoldalról 20-20%-kal) trimelt mintaátlagot és a minta mediánját. Mindezt elvégeztük független ismétlésben averages átlag = stand.hiba = stand.eltérés elemű EVMintát = vettünk a várhatóértékű, varianciájú normális eloszlásból, meghatároztuk a mintaátlagot, (kétoldalról 20-20%-kal) trimelt mintaátlagot és a minta mediánját. Mindezt elvégeztük tr.averages független of 25 elements ismétlésben. SRS átlag = stand.hiba = stand.eltérés histogram = of medians átlag = stand.hiba = stand.eltérés = Bootstrap normális eloszlásból averages átlag = stand.hiba = stand.eltérés = átlag = stand.hiba = stand.eltérés = medians átlag = stand.hiba = stand.eltérés = averages átlag = stand.hiba = stand.eltérés =

5 Kabos: Statisztika II. Becslés 1.5 A 25-elemű átlagok tulajdonságai a 1 = a 2 = n=1 50 X n az első mintavétel átlaga X n a második mintavétel átlaga n=26 a = n= X n a ik mintavétel átlaga. A 25-elemű átlagok tulajdonságai a 1 várhatóértéke = a 1 standard hibája = = és a 1, a 2, a 3... függetlenek és azonos eloszlásúak, tehát {a 1, a 2,..., a } EVM egy µ= és σ= paraméterű eloszlásból. (lásd: Freedman 17. és 20. fejezet) A 25-elemű átlagok tulajdonságai µ becslése: a = σ becslése: s s = k= k=1 a k = ( a k a ) 2 =

6 Kabos: Statisztika II. Becslés 1.6 Becslések értékelése d 2 = átlagos négyzetes eltérés illetve d = standard eltérés d = ( 2 a k µ) = s = k= k=1 ( a k a ) 2 = A 25-elemű átlagok tulajdonságai Az s standard hiba a mintaátlagtól vett (négyzetes) eltéréseket, viszont d az alapsokaság átlagától vett (négyzetes) eltéréseket összegezi. A 25-elemű átlagok tulajdonságai Az a becslés a pontosabb, ahol az átlagos négyzetes eltérés kisebb. Az ábrákon a piros vonal jelzi az alapsokaság átlagát (µ = ), tehát akkor pontosabb a becslés, ha a hisztogramja (valamilyen átlagos értelemben) közelebb van a piros vonalhoz.

7 Kabos: Statisztika II. Becslés 1.7 Bootstrap az időjárási adatokból 25 elemű EVMintát vettünk Az napi hőmérsékleti átlagok eloszlásából, mint alapsokaságból. Az alapsokaságbeli várhatóérték , a variancia Meghatároztuk a mintaátlagot, a trimelt mintaátlagot és a minta mediánját. Mindezt elvégeztük független ismétlésben. 25 elemű EVMintát vettünk Az napi hőmérsékleti átlagok eloszlásából, mint alapsokaságból. Az alapsokaságbeli várhatóérték , a variancia Meghatároztuk a mintaátlagot, (kétoldalról 20-20%-kal) trimelt mintaátlagot és a minta mediánját. Mindezt Bootstrap elvégeztük független azismétlésben. időjárási adatokból elemű EVMintát vettünk Az napi hőmérsékleti átlagok eloszlásából, mint alapsokaságból. Az alapsokaságbeli várhatóérték , a variancia Meghatároztuk a mintaátlagot, (kétoldalról 20-20%-kal) trimelt mintaátlagot és a minta mediánját. Mindezt elvégeztük független ismétlésben averages átlag = stand.hiba = stand.eltérés elemű EVMintát = vettünk Az napi hőmérsékleti átlagok eloszlásából, mint alapsokaságból. Az alapsokaságbeli várhatóérték , a variancia Meghatároztuk a mintaátlagot, (kétoldalról 20-20%-kal) tr.averages trimelt of 25 elements mintaátlagot SRS és a minta mediánját. Mindezt elvégeztük független átlag ismétlésben. = stand.hiba = stand.eltérés histogram = of medians of 25 elements SRS átlag = stand.hiba = stand.eltérés = Bootstrap az időjárási adatokból averages átlag = stand.hiba = stand.eltérés = átlag = stand.hiba = stand.eltérés = medians átlag = stand.hiba = stand.eltérés = averages átlag = stand.hiba = stand.eltérés = átlag = stand.hiba = stand.eltérés =

8 medians átlag = Kabos: Statisztika II. Becslés 1.8 Szimulált adatok, 1. Az eredeti időjárási adatrendszerhez kétoldalt nagy eltéréseket is tartalmazó eloszlás részeket csatoltunk úgy, hogy a várhatóérték változatlanul maradt, de a medián 3.44 Szimulált adatok, 1. Az eredeti időjárási adatrendszerhez kétoldalt nagy eltéréseket is tartalmazó eloszlás részeket csatoltunk úgy, hogy a várhatóérték változatlanul = de a medián = 3.44 Az eredeti időjárási adatrendszerhez kétoldalt nagy eltéréseket is tartalmazó eloszlás részeket csatoltunk úgy, hogy a várhatóérték változatlanul maradt, itt a medián 10.2 Bootstrap szimulált adatokból 1. Data set averages átlag = stand.hiba = stand.eltérés = átlag = stand.hiba = stand.eltérés =

9 Data set 1 Bootstrap szimulált adatokból 1. method 20= averages Kabos: Statisztika II. Becslés 1.9 Data set 1 method 20 = 20 tr.averages 60 method = medians 60 averages átlag = stand.hiba = stand.eltérés = átlag = stand.hiba = stand.eltérés = A baloldali 20 oszlopban az átlagok átlaga , 60ami egészen jó közelítésnek tűnik. 60 átlag = stand.hiba = stand.eltérés = medians átlag = stand.hiba = stand.eltérés = A bal oldali oszlop torzítatlan, de nagy szórású, a másik két oszlop az alapsokaságbeli várhatóértékre nézve torzított, de kis szórású becslést ad. A középső oszlopban a trimmelt átlagok átlaga ( ), ez nagyon messze van a valódi várhatóértéktől ( ). Mindennek ellenére az átlagos négyzetes eltérés a középső oszlopban egy picit még jobb is, mint a baloldali oszlopban. A jobboldali oszlop a középsőhöz hasonló, de nagyobb az átlagos négyzetes eltérés. averages átlag = stand.hiba = stand.eltérés = Bootstrap szimulált adatokból 1. A bal oldali oszlop torzítatlan, de nagy szórású, a másik két oszlop az alapsokaságbeli várhatóértékre nézve torzított, de kis szórású becslést ad. medians átlag = stand.hiba = stand.eltérés = A bal oldali oszlop torzítatlan, de nagy szórású, a másik két oszlop az alapsokaságbeli várhatóértékre nézve torzított, de kis szórású becslést ad. A középső oszlopban a trimmelt átlagok átlaga ( ), ez nagyon messze van a valódi várhatóértéktől ( ). A baloldali oszlopban az átlagok átlaga , ami egészen jó közelítésnek tűnik. Mindennek ellenére az átlagos négyzetes eltérés a középső oszlopban egy picit még jobb is, mint a baloldali oszlopban. A jobboldali oszlop a középsőhöz hasonló, de nagyobb az átlagos négyzetes eltérés. A középső oszlopban a trimmelt átlagok átlaga ( ), ez nagyon messze van a valódi várhatóértéktől ( ). Bootstrap szimulált adatokból 1. A bal oldali oszlopban az átlagok átlaga , ami egészen jó közeĺıtésnek tűnik. Mindennek ellenére az átlagos négyzetes eltérés a középső oszlopban egy picit még jobb is, mint a baloldali oszlopban. A jobb oldali oszlop a középsőhöz hasonló, de nagyobb az átlagos négyzetes eltérés.

10 Kabos: Statisztika II. Becslés 1.10 Az eredeti időjárási adatrendszerhez kétoldalt nagy eltéréseket is tartalmazó eloszlás részeket csatoltunk úgy, hogy a várhatóérték változatlanul maradt, de a medián 3.44 Szimulált adatok, 2. Az eredeti időjárási adatrendszerhez kétoldalt nagy eltéréseket is tartalmazó eloszlás részeket csatoltunk úgy, hogy a várhatóérték változatlanul maradt, itt a medián 10.2 Szimulált adatok, 2. Az eredeti időjárási adatrendszerhez kétoldalt nagy eltéréseket is tartalmazó eloszlás részeket csatoltunk úgy, hogy a várhatóérték változatlanul = de a medián = 10.2 Bootstrap szimulált adatokból 2. Data set averages átlag = stand.hiba = stand.eltérés = átlag = stand.hiba = stand.eltérés = medians

11 Data set 2 Kabos: Statisztika II. Becslés 1.11 Bootstrap szimulált adatokból Data set averages átlag = stand.hiba = stand.eltérés = átlag = stand.hiba = stand.eltérés = medians átlag = stand.hiba = stand.eltérés = A 60 baloldali 20 oszlop 20 60átlaga adja az 60 alapsokaságbeli várható értékre 60a legjobban közelítő 60 becslést, de a középső és különösen a jobb oldali oszlopot az átlagos négyzetes eltérés kedvezőbb tulajdonságúnak értékeli. Bootstrap szimulált adatokból 2. averages átlag = stand.hiba = stand.eltérés = A bal oldali oszlop átlaga adja az átlag = stand.hiba = stand.eltérés = alapsokaságbeli várható értékre a legjobban közeĺıtő becslést, de a középső és különösen medians átlag = stand.hiba = stand.eltérés = a jobb oldali oszlopot az átlagos négyzetes eltérés kedvezőbb tulajdonságúnak értékeli. A baloldali oszlop átlaga adja az alapsokaságbeli várható értékre a legjobban közelítő becslést, de a középső és különösen a jobb oldali oszlopot az átlagos négyzetes eltérés kedvezőbb tulajdonságúnak értékeli. Becslés hatásossága Azonos mintanagyság mellett két becslés közül az a hatásosabb, amelyiknek kisebb a standard eltérése.

12 Kabos: Statisztika II. Becslés 1.12 Torzítatlan becslés hatásossága Azonos mintanagyság mellett két torzítatlan becslés közül az a hatásosabb, amelyiknek kisebb a standard hibája. Valószínűség becslése p = P { egy véletlenszerűen kiválasztott napon volt csapadék (eső vagy hó) } N elemű EVM, ebben a mintában az esős napok gyakorisága: X az esős napok relatív gyakorisága: r = X N Valószínűség becslése Álĺıtás: r torzítatlan becslés p-re p (1 p) Álĺıtás: r standard hibája = N ( ) Bizonyítás: X B N, p azaz N rendű és p paraméterű binomiális eloszlás (lásd: Freedman 21. fejezet.)