Határeloszlástétel a maximumokra 3. előadás, 2017. március 1. Zempléni András Valószínűségelméleti és Statisztika Tanszék Természettudományi Kar Eötvös Loránd Tudományegyetem Áringadozások előadás Tétel (Fisher és Tippet, 1928) Legyen X 1, X 2,..., X n,... független, azonos eloszlású, M n = max(x 1, X 2,..., X n ). Ha vannak {a n } és {b n } > 0 sorozatok, hogy ( Mn a n P b n ) z G(z) ha n valamilyen nem-elfajuló G eloszlással, akkor ez a G szükségképpen max-stabilis (vagy más néven extrém-érték eloszlás) { } ( G(x) = exp 1 + ξ x µ ) 1 ξ, σ ahol 1 + ξ x µ σ > 0 ha ξ 0. ξ = 0 esetén G(x) = exp( exp( x)). A max-stabilitás: minden n-hez létezik a n, b n, hogy F (n) (x) = F(a n x + b n ). Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 1 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 2 / 30 Típusok A bizonyítás vázlata A normalizált maximumok lehetséges határeloszlásainak az eloszlásfüggvényei: Frechet: Φ α (x) = exp( x α ) (x>0) α pozitív paraméter. Weibull: Ψ α (x) = exp( ( x) α ) (x<0) Gumbel: Λ(x) = exp( exp( x)) Kapcsolat az eloszlások között: X Φ α ln X α Λ X 1 Ψ α [max(x 1, X 2,..., X n ) a n ]/b n eloszlásfve: F n (b n x + a n ) F n (b n x + a n ) G(x) pontosan akkor, ha n log(f(b n x + a n )) log(g(x)) Ebből differenciálegyenlet Megoldás visszahelyettesítése A normáló tényezők (legyen X max-stabilis): Frechet: M n n 1/α X Weibull: M n n 1/α X Gumbel: M n X + ln n. Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 3 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 4 / 30
Egy kis történelem Megjegyzések Eredeti tétel a max-stabilis eloszlásokról: Fisher-Tippet (1928) Általánosított extrém-érték eloszlás: Jenkinson (1953): { ( G(x) = exp 1 + γ x a ) } 1/γ, b ha ( 1 + γ x a ) b > 0. Frechet(α) (Φ α ) megfelelője: GEV(1/γ) Vonzási tartományok karakterizációja: Gnedenko (1943) 1 F(x) x γ L(x) a GEV(1/γ) vonzási tartományába tartozik Megjegyzés: ha a minimumok eloszlására vagyunk kiváncsiak, akkor tekintsük az ellentettek maximumát Az eredmények hasonlóak a stabilis eloszlások karakterisztikus függvényeihez. Érdekes kérdés: adott F eloszlásfügvény esetén melyik határeloszláshoz konvergál az F eloszlású minta normalizált maximuma? Nem minden esetben lehet normálni: Diszkrét eloszlásokra oszcillálhat a maximum eloszlása. Folytonos eloszlásra ellenpélda: F(x) = exp{ x sin(x)} Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 5 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 6 / 30 Néhány példa A normálhatóság feltétele Folytonos eloszlásokra az eloszlásfüggvény reguláris viselkedése szükséges a felső végpont közelében (teljesül minden fontos eloszlásra): F az α paraméterű Fréchet eloszlás max-vonzási tartományához tartozik (F MDA(F α )), akkor és csak akkor, ha 1 F( x) x α L(x) (L lassú változású függvény: L(cx)/L(x) 1 ha x ) F MDA(W α ), akkor és csak akkor, ha x F < és 1 F(x F 1/x) x α L(x). A Gumbel MDA jellemzése bonyolultabb, lényegében az exponenciális lecsengésű eloszlások tartoznak ide (példa: exponenciális, normális). ábra: GEV eloszlások sűrűségfüggvénye Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 7 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 8 / 30
Bizonyítás vázlat VaR, visszatérési szint Az egyszerűbb irány: a túlélésfüggvény reguláris változásából kövekezik, hogy F MDA(F α ). Legyen a n = F (1 1 n ). nf(a n x) nf(a nx) nf(a n ) x α (n ), mert a n és így x > 0-ra P(M n < a n x) = F n (a n x) = exp{n ln(1 F(a n x)} exp{ x α } ha n. Ha pedig x < 0, akkor F(x) < 1 és így F n (a n x) 0. GEV p-kvantilise: z p = { µ σ γ γ (1 yp ), γ 0 µ σ log(y p ), γ = 0 ahol y p = log(1 p), G(z p ) = 1 p az az érték, amelyet átlagosan 1/p megfigyelésenként egyszer halad meg az adatsor. Annak valószínűsége, hogy 1/p -nél előbb megjelenik, nagyobb 1/2-nél! Ha γ < 0, akkor az eloszlás becsült felső végpontja µ σ/γ. Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 9 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 10 / 30 Visszatérési szint ábra ML becslés z p vs log(1 p), logaritmikus skálán. Lineáris, ha γ = 0, Konkáv, a határértéke µ σ γ ha γ < 0 Konvex, ha γ > 0 ábra: Continuous: γ = 0.2, Broken: γ = 0.2 GEV eloszlás sűrűségfüggvénye: g(x) = 1 ( 1 + γ x a ) 1 { γ 1 exp b b ( 1 + γ x a ) 1 } γ, b ha ( 1 + γ x a ) b > 0. Ebből a loglikelihood függvény (ha 1 + γ(x i b)/a > 0 minden i-re) n log(b) ( 1 n ( γ + 1) log 1 + γ x ) i a + b i=1 { n i=1 ( 1 + γ x i a b ) 1 γ Numerikus módszerekkel található meg a maximumhely (figyelni kell a kezdőértékre és arra, hogy a feltétel mindig teljesüljön) }. Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 11 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 12 / 30
Tulajdonságok Illusztráció: árvíz-idősorok Maximum likelihood: Nincs explicit megoldása A szokásos aszimptotikus tulajdonságokkal (optimalitás, normalitás) rendelkezik, ha γ > 0, 5. γ < 1 esetén nincs lokális maximuma a sűrűségfüggvénynek, a maximális mintaelem a globális maximum - ez konzisztens. Alternatív módszerek: probability-weighted-moments Rendezett mintán alapuló eljárások (később visszatérünk rá) Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 13 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 14 / 30 Konfidencia tartomány Profil likelihood A (számunkra érdekes) reguláris esetekben aszimptotikusan jó a normális határeloszlás alkalmazása De: a konvergencia általában nem túl gyors, különösen a VaR esetén általában nem pontosak a kapott eredmények Ezért célszerű alternatív módszerek alkalmazása Kis mintákra sokkal jobb tulajdonságú lehet a klasszikus, normalitáson alapuló módszernél A háttér itt is aszimptotikus eredmény: a reguláris esetben {ϑ : 2(l( ˆϑ) l(ϑ)) h 1 α,k } aszimptotikusan 1 α megbízhatóságú konfidencia intervallum. h 1 α,k a k szabadságfokú chi-négyzet eloszlás 1 α kvantilise, k pedig a vizsgált paraméterek száma (tipikusan k = 1). Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 15 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 16 / 30
Alkalmazás: árvíz-idősorok Az időfüggés vizsgálata mozgó ablakokkal ábra: 10 éves visszatérési szintek, 50 éves ablakok alapján Minden évben csak a megelőző 50 évet használtuk Fekete: becsült 90%-os kvantilis (10 éves visszatérési szint) Kék/piros: 95% felső/alsó profil likelihood konfidencia intervallum Fekete körök: azok az árvizek 10 éven belül, amik nagyobbak a becsült kvantilisnél (több van, mint a várt, felfelé mutató trend látszik) Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 17 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 18 / 30 Illeszkedésvizsgálat Klasszikus tesztek: Chi-négyzet Kolmogorov-Szmirnov nem túl erősek Cramér-von Mises típusú tesztek: a tapasztalati és az elméleti eloszlás eltérésének (esetleg súlyozott) integrálját használják C n = (F n (x) F(x)) 2 df(x) De a becsléses eset miatt a K-S, a CvM (AD) teszteknél szimulált kritikus értékeket kell használni! Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 19 / 30 Alternatívák Anderson-Darling teszt: Kiszámítása: A 2 = A 2 = n n i=1 (F n (x) F(x)) 2 F (x)(1 F(x)) df(x) (2i 1)(log(z i ) + log(1 z n+1 i )) n ahol z i = F(X i ). Az eloszlás mindkét szélén érzékeny. Módosítás: B 2 (F n (x) F(x)) 2 = df(x) (1 F(x)) (a maximumra; az eloszlás felső szélére súlyoz). Ennek kiszámítása: B 2 = n n 2 (2i 1) log(1 z n+1 i ) z n i=1. Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 20 / 30
További lehetőségek Kritikus értékek Egy másik teszt pedig a GEV eloszlások stabilitási tulajdonságát használja: minden m N re megadható a m, b m hogy F(x) = F m (a m x + b m ) (x R) A tesztstatisztika: h(a, b) = sup x n F(x) F 2 (ax + b). Becslési alternatívák: Találjuk meg azt az az a, b párt, ami minimalizálja h(a, b) értékét (számításigényes algoritmus kell hozzá). Becsüljük meg a GEV paramétereit maximum likelihood módszerrel és ezeket helyettesítsük be a stabilitási tulajdonságba. A határeloszlás eloszlásmentes az ismert paraméterek esetére. Például: F(x) sup n F 2 (a 2 x + b 2 ) sup B(x) xb( x) x x ahol B a Brown híd a [0,1]-en. Mivel a határeloszlások a normális eloszlás függvényei, a maximum likelihood becslés hatását be lehet építeni a kovariancia struktúra transzformációjával. Gyakorlatban: szimulált kritikus értékeket célszerű használni (különösen előnyös kis mintáknál). Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 21 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 22 / 30 A teszt erejének vizsgálata Alkalmazások A helyes döntés valószínűsége (p=0,05): n 100 200 400 100 200 200 400 teszt eloszlás Neg.bin. exp. norm. K-S 0,27 0,49 0,88 0,36 0,61 0,19 0,23 B 0,02 0,27 0,49 0,17 0,58 0,05 0,08 A-D 0,31 0,62 0,96 0,72 0,97 0,21 0,34 h 0,67 0,87 0,99 0,75 0,91 0,10 0,14 A tipikus alternatívák esetére az A-D teszt tűnik a legerősebbnek. A h teszt ereje erősen függ az aktuális eloszlás alakjától. Speciális esetekben, ahol az eloszlás felső széle a legfontosabb, (pl. árvízi adatoknál), a B-teszt a legérzékenyebb. Ha a fenti teszteket árvízi adatokra alkalmaztuk (éves maximumok; 50 évnyi ablakok), akkor jónéhány esetben el kellett utasítani a GEV hipotézist a 95%-os szinten. Lehetséges okok: Nemstacionaritás A folyó medrének változása miatt (alak, vegetáció stb). Klímaváltozás? Periodikusság? Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 23 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 24 / 30
Többdimenziós extrém-érték eloszlások Többdimenziós extrém-érték eloszlások/2 Tipikusan a koordinátánkénti maximum definiálja Megj.: ez nem biztos, hogy egyidejőleg fordul elő! A peremeloszlást tetszőlegesen megválaszthatjuk, a hagyományos a Frechet(1) - elérhető tetszőleges (ismert) F j perem esetén: Y j = 1/ log(f j (X j )) Legyenek X 1, X 2,..., X n független, azonos eloszlású d-dimenziós valószínűségi változók. Ha vannak a n, b n normáló vektorok, hogy [max(x 1, X 2,..., X n ) a n ]/b n nemelfajuló határeloszláshoz közelít, akkor ez a határeloszlás szükségképpen d-dimenziós max-stabilis vagy úgynevezett extrém-érték eloszlás (MGEV). Max-stabilitás: minden n-hez van a, b, hogy F n (x) = F(ax + b). Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 25 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 26 / 30 Reprezentáció (de Haan, 1984) Tulajdonságok Legyen x = x 1 + + x d S d a d-dimenziós egységszimplex: {x 0 : x = 1} Létezik egy véges H mérték S d -n, amire minden j = 1,..., d-re H elnevezése: spektrálmérték Ezzel G(x) = exp{ V (x)}, ahol ω j V (x) = max dh(ω) 1 j d x j S d Az MGEV eloszlások pozitív kvandránsösszefüggiek: Függetlenség esete: G(x) G 1 (x 1 )G 2 (x 2 )... G d (x d ). G(x) = G 1 (x 1 )G 2 (x 2 )... G d (x d ). Ennek a G-nek a vonzási tartományába eső F eloszlásokat aszimptotikusan függetlennek nevezzük G spektrálmértéke a szimplex csúcsaiba helyez egységnyi mértékeket Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 27 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 28 / 30
Aszimptotikusan független eloszlások Hivatkozások Tétel (Sibuya) Az F kétdimenziós vektor pontosan akkor aszimptotikusan független, ha P(X 1 > q 1 (u) X 2 > q 2 (u)) 0, ha u 1 (q i (u) az i-edik marginális eloszlás u-kvantilise) Következmény: a többdimenziós normális eloszlás aszimptotikusan független, ha a páronkénti korrelációkra ρ < 1. Rachev, S.T.(ed): Handbook of Heavy Tailed Distributions (2003) Embrechts, P., Klüppelberg, K., Mikosch, T.: Modelling Extremal Events. for Insurance and Finance (2000) Smith. R.L.: Maximum likelihood in a class of nonregular cases. Biometrika, 1985. Profil likelihood: http://www.unc.edu/courses/2010fall/ecol/563/ 001/docs/lectures/lecture11.htm#marginal de Haan, L.: A spectral representation for max-stable processes (1984). Zempléni, A.: Goodness of fit for generalized extreme value distributions (1991). Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 29 / 30 Zempléni András (ELTE) 3. előadás, 2017. március 1. Áringadozások előadás 30 / 30