FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Átírás

1 FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 9

2 IX. ROBUsZTUs statisztika 1. ROBUsZTUssÁG Az eddig kidolgozott módszerek főleg olyanok voltak, amelyek valamilyen értelemben optimálisak, ha a feltételezett paraméteres modell pontosan leírja a megfigyelések eloszlását. Természetes kérdésként merül fel azonban az alkalmazhatóság, hiszen ezek a modellek pontosan szinte sohasem igazak. Ennek okait négy csoportba foglalták össze: 1. a nagy hibák előfordulása, 2. a kerekítés és osztályozás, 3. a modell csak közelítőleg érvényes, 4. eltekintve az eloszlásra vonatkozó feltevésektől a függetlenségi feltétel (vagy valamilyen más korrelációs struktúra) csak közelítőleg teljesülhet. A nagy hibák előfordulását pedig gyakorlatilag további két csoportba lehet osztani: 1. ritkán előforduló kiugró értékek (outliers), 2. nagyobb százalékban előforduló szennyeződések (contaminations). Ezek a hibák általában nem hagyhatók figyelmen kívül a gyakorlatban, mivel még nagyon enyhe eltérések is teljesen elronthatják az "optimális" becslés viselkedését. Maga a robusztusság (robustness) kifejezést G. E. P. Box (1953) használta először. Robusztusság: Sok statisztikai módszer, beleértve a valószínűségi szinteket, függ a feltételek pontosságától, pl. a vizsgált változó normális eloszlású-e. Ha a feltételek változására az eredmények csak kissé befolyásolódnak, pl. ha egy próba szignifikancia pontjai csak kissé változnak, ha a populáció lényegesen eltér a normálistól, akkor a próbát robusztusnak nevezzük. Még általánosabb értelemben egy statisztikai eljárás robusztus, ha nem nagyon érzékeny azokra a feltételekre, amelyektől függ. Definíció: Legyen M-becslésnek nevezzük azokat a becsléseket, amelyek minimalizálják a összeget -ra nézve adott minta esetén. Megjegyzés: Nagyon sokszor azonosítják az M-becsléseket a egyenletekkel. Tegyük fel, hogy a függvény deriváltjai alapján (ha léteznek) felírt parciális deriváltak léteznek, s ekkor az M-becslésekre teljesül, hogy A rövidség kedvéért sokszor csak a függvényeket használjuk az M-becslések definiálására. 2. A HELYPARAMÉTER NÉHÁNY BECsLÉsE 1. Ha akkor a megfelelő M-becslés az átlag, amelyik nem robusztus.

3 2. Ha akkor az M-becslés a medián, amely robusztus. 3. A Huber-féle becslés: ahol eloszlásfüggvényre. amelyhez tartozó becslés robusztus. Az optimális robusztus eset a normális 4. Sajnos a helyparaméter M-becslései általában nem skálainvariánsak, ezért szükséges a skálaparamétert valamilyen módszerrel megbecsülni. Ha gyorsan akarjuk a skálaparamétert becsülni, akkor az általánosan alkalmazott a medián abszolút eltérés (MAD) konstans szorosa, azaz ahol a minta mediánját jelöli, míg azt biztosítja, hogy a becslés konzisztens és torzítatlan legyen. Például esetén 5. Általában a helyparaméter meghatározására, a paramétert meghatározó egyenlet megoldására a következő rekurzív algoritmusok javasoltak: (a) Newton-módszer: (b) H-módszer (módosított Newton-módszer): (c) Súlyozott legkisebb négyzetek módszere: ahol A módszerekhez javasolt kiinduló érték:

4 3. A skálaparaméter NÉHÁNY BECsLÉsE 1. A maximum likelihood becslés esetén Tudjuk, hogy a regularitási feltételek mellett az ehhez tartozó becslésnek a legkisebb az aszimptotikus szórásnégyzete. De például esetén amely nem robusztus. 2. A medián abszolút eltérés viszont robusztus, amelynél 3. A Huber-féle becslés a skálaparaméterre a helyparaméterre vonatkozó becslés alapján készült, azaz ahol a helyparaméter becsléséhez bevezetett függvény. Ez robusztus. A skálaparaméter becslésére csak egy általánosan jól használható algoritmust javasol a szakirodalom: ahol és a helyparaméter becslése. A skálaparaméterre kiinduló értékként javasolt az 4. KIUGRÓ ÉRTÉK Kiugró értékek meghatározása: Enyhe kiugró értékről beszélünk, ha az adat eltérése a mediántól legalább 1.5-szerese a kvartilis terjedelemnek (a felső és az alsó kvartilis különbsége), de legfeljebb 3-szorosa. Extrém kiugró értékről beszélünk, ha az adat eltérése a mediántól legalább 3-szorosa a kvartilis terjedelemnek. PÉLDA Példa: Enyhe és extrém kiugró érték meghatározása, ha a mintarealizáció a következő:

5 medián = -dik legnagyobb adat = a 45-dik és 46-dik átlaga= ( )/2= Alsó kvartilis= -dik adat = dik adat = Felső kvartilis= -dik adat = dik adat = Kvartilis terjedelem =Felső kvartilis - Alsó kvartilis =312.5 Alsó belső határ = Alsó kvartilis- 1.5 Kvartilis terjedelem = -39 Felső belső határ = Felső kvartilis Kvartilis terjedelem = Alsó külső határ = Alsó kvartilis- 3 Kvartilis terjedelem = Felső külső határ = Felső kvartilis + 3 Kvartilis terjedelem = Enyhe kiugró érték = KIUGRÓ ÉRTÉK MEGHATÁROZÁsA GRUBBs ELMÉLETE ALAPJÁN A rendezett minta: Felső oldali kiugró statisztika: Alsó oldali kiugró statisztika: PÉLDA Példa: Adatok: 10.2, 9.5, 10.1, 10.3, 9.8, 9.9, 11.9, 10.0 Kritikus értékek (0.01 szint): 0.05 szint:

6 PÉLDA Példa: Grubbs-féle statisztikák: Adatok: , 0.482, 0.414, 0.361, 0.328, 0.268, 0.228, 0.080, 0.155, 0.232, 0.526, 0.687, így a statisztikák értékei és a kritikus értékek 95% 99%

7 Grubbs-féle kritikus értékek táblázata Digitális Egyetem, Copyright Fegyverneki Sándor, 2011