módszerek és alkalmazásuk Markov lánc Monte Carlo Altenburger Gyula Szimpózium Vasas Krisztina

Átírás

1 Markov lánc Mone Carlo módszerek és alkalmazásuk Vasas Krszna Alenburger Gyula Szmpózum

2 Markov láncok Irreducblás : egy oszály van Aperodocás : mnden elem peródusa Vsszaérıség : mnden elem az oszályban vsszaérı

3 Markov-láncok saconárus eloszlása Ha a lánc aperodkus és rreducbls pozív vsszaérı akkor léezk π(y) saconárus eloszlás Ha egy ergodkus lánc kelégí a dealed balance feléel azaz: ( y ) lm P ( X n y X 0 y ) π n m ( y ) ( y x ) ( y ) x y állapoér K ( x y ) π ( x ) K π akkor a lánco reverzblsnek nevezzük

4 Egy gyakorla probléma Bayes módszerek a saszkában: π ( x y ) L ( y x ) p ( x ) arányosság ényezı: L ( y x ) p ( x ) dx Ez nehéz (vagy nem s lehe) analkus módszerekkel kszámoln Ugyanígy ha x öbbdmenzós a margnáls poserorok vagy az E ( ( X ) y ) várhaó érék kszámíása s bonyolul

5 Megoldások Numerkus negrálás approxmácó A poseror eloszlásból veszünk mná majd a kszámoln kíván mennységeke ennek segíségével becsüljük: ez a Markov lánc Mone Carlo módszer lényege Az elsı alkalmazás: aomok energasznjének meghaározása (953Meropols) majd 970- ben saszka problémák megoldása

6 Az MCMC-algormusok álalános elve I. Legyenπ(x) egy céleloszlás amelybıl mná kívánunk venn (közvelenül nem udunk) Generáljunk egy Markov-lánco amely aperodkus és rreducbls és amelynek saconárus eloszlása éppen π(x) Ha a generál sor elég hosszú akkor a agok eknheık egy π(x) eloszlásból való függelen mnának

7 Az MCMC-algormusok álalános elve II. Ebbıl a mnából becsülhejük a céleloszláshoz kapcsolódó mennységeke pl. a várhaó éréke: n n n π ahol X egy realzácó ( ) ( X ) E ( X )

8 Hogyan generáljunk jó lánco? Jelölje K(xy) az ámenekernelazaz ha mos x-ben van a lánc akkor a feléeles eloszlásá a lánc kövekezı (y) állapoának feléve a jelenleg állapoo Ahhoz hogy π(x) sac.eloszlású lánco generáljunk olyan K(xy) kell amre: Kπ π Ha a lánc reverzbls ( π ( x ) K ( x y ) π ( y ) K ( y x ) ) akkor mnden olyan K(xy)-nak am eljesí a feléel π(x) a saconárus eloszlása

9 Meropols-Hasngs algormus Legyen x ( x K x k ) az állapovekor amelynek az. komponensé újíjuk fel q ( x y ) eszıleges eloszlás amelybıl generálunk egy y ( x K x y x K x k ) eleme Ez az eleme α ( x y ) mn ( y ) q ( y x ) ( ) ( ) x q x y valószínőséggel elfogadjuk mn a lánc kövekezı elemé ha nem fogadjuk el akkor a lánc ugyanabban az állapoban marad π π

10 Ámenevalószínőségek a M-H álal P ( x A ) generál láncban Legyen annak valószínősége hogy a lánc kövekezı állapoa az A halmazba esk feléve hogy mos x-ben van. ( ) ( ) ( ) I K x y q x y α x y K ( x y ) dy ( ) ( ) P ( x A ) χ P(xA) kelégí a dealed balance feléel π(x)-re vonakozóan π(x)-e elég konsans szorzó erejég smern Ha q(xy) szmmerkus egyszerő az elfogadás valószínőség A A x r x r ( x ) q ( x y ) α ( x y ) Ω dy

11 A Gbbs-sampler M-H specáls esee akkor alkalmazhaó ha a láncelemek feléeles sőrőségfüggvénye smerek π ( x ) ( y x j ) y ( ) π j Ekkor α q ( x y ) ( ) ( x y ) : ( y x ) ha x ( ) y ( ) π 0 ( y ) π y x ( ) ( x ) π x y ( ) ( ) ( ) egyébkén ( y ) π y y ( ) ( x ) π x x ( ) ( ) ( ) K k ( y ) ( ) ( x ) π π π π π π ( )

12 Egyéb algormusok Random-walk ( x y ) f ( y x ) q Függelen sampler ( x y ) f ( y ) q azaz a lánc pllanany állapoáól függelenül válaszjuk a kövekezı Kombnál samplerek

13 Felmerülı kérdések és problémák Hány erácó hajsunk végre a felújíások során? Mkoról lesz a lánc saconárus? Mlyenek az egyes algormusok keverés ulajdonsága? M legyen a kezdı állapo? Melyk algormus a (leg)jobb?

14 Modellválaszás probléma Olyan modellek közül próbálunk válaszan amelyekben a paraméerek száma maga s paraméer azaz dmenzók közö ugrálunk Pl. a leheséges modellek: {M k k єκ} ahol M k paraméervekora Megoldás: reversble jump MCMC Green 995 k R n k

15 RJMCMC I. Legyen mos π(dx) mérék q(xdy) egy magfüggvény amelybıl a jelöl eleme válaszjuk lleve defnáljunk mozgásípusoka (m2 ) amellyel egy dmenzóból a máskba kerülünk Ha x-ben vagyunk éppen akkor legyen az együes eloszlása q m (xdy) annak hogy y a kövekezı leheséges jelöl és m a kválaszo mozgás ípusa α m ( x y ) mn π ( dy ) q ( ) m y dx π ( dx ) q ( x dy ) m

16 A RJMCMC megvalósíása I. Tegyük fel hogy az m mozgás ípus segíségével juunk el x-bıl y-ba (y magasabb dmenzóban van) M lehe az m?válasszunk egy x-ıl függelen u vélelen vekor és legyen y ennek és x-nek deermnszkus függvénye (y(xu)) y-ból x-be az nverz ranszformácó segíségével juhaunk

17 Példa a mozgásípusok defnícójára Ké leheséges alér: Hogyan juunk 2 2 -bıl vssza C -be? Például az f( 2 )½( 2 ) ranszformácóval. Azaz: C 2 { } R és { } R C 2 2 { } 2 { } ( ) { } És vssza -ból? Válaszunk egy u vélelen vekor függelenül -ól és u lleve 2 -u.

18 Az RJMCMC megvalósíása II. Ha π ( dx ) q m ( x dy ) léezk véges sőrőségfüggvénye valamlyen (szmmerkus) mérékre nézve akkor az (my) pár elıállíhajuk az együes sőrőségfüggvényükbıl Ekkor α ( x y ) mn p p ( y ) r ( ) m y y ( x ) r ( x ) q ( u ) ( x u ) m

19 Egy érsaszka probléma megoldása MCMC segíségével Cél : épülebzosíások kárszámadaanak modellezése Posson-modellel lleve magyarország elepülések veszélyesség kaegórákba sorolása 3222 elepülés adaa állnak rendelkezésre Ezekbıl 68 ksérsége képezünk Térbel összefüggés muaó számláló ípusú adaok

20 Posson-modell Az alkalmazo modell: ( ) y λ z E λ e E z y : az. ksérséghez arozó kárszám (Posson-elo. λ z E várhaó kárszámmal) z : az. ksérség mlyen veszélykaegórába arozk éréke ermészees számok és 6 közö y Mnden kaegórához arozk egy (nap) kárnenzás ez a λ j E : módosío aram azaz a kockázaban ölö dı napokban módosíva az épüleípus falaza és eı ípusának haásával y!

21 Paraméerbecslés Paraméerek: a z(z z 68 ) és a λ(λ λ 6 ) nenzásparaméer-vekor és a ψ nerakcóparaméer Felada: a paraméerek együes a poseror eloszlásából generáljuk a paraméerek becslése

22 A pror sőrőségfüggvények I. Pror a z-re: ahol U ( z ) χ { z ~ a szomszédság relácó z } ~ ' jelöl. Szomszédnak nevezünk ké elepülés ha 30 km-nél közelebb vannak egymáshoz. U ehá az számolja meg hogy egy ado szomszédság srukúrában hány azonos kaegórába arozó szomszéd van. p ( z ψ ) z e e ψ U ( ) ( ) log z k e ψu ψ { K 6 } 68 k ( z ) ( ψ ) '

23 A pror sőrőségfüggvények II. Ψ nemnegaív paraméer nerakcó-paraméernek nevezzük a ψ0 érék a kockáza oszályokba való függelen besorolás jelen ({..k}-n egyenlees eloszlás szern) a érbel függıség nı ha ψ nı a pror eloszlásá egyenleesnek ekneük a {00. } halmazon Pror λ j -re: λ ~ Γ ( α β ) j α és β y E Az együes a pror sőrőségfüggvény p 6 α β λ ( α β ) k! χ { λ < λ 2 < K < λ 6 } Γ ( α ) λ j α j βλ e j

24 Az a poseror együes sőrőségfüggvény p ( z λ ψ y ) p ( ψ ) p ( λ α β ) p ( z ψ ) p ( y z λ ) A z vekor Gbbs-samplng segíségével becsüljük ehhez a full condonal : y λ j E ψ n P z j y e ( ) j ψ λ e n j : azon szomszédanak száma akk sznén j oszályba vannak sorolva Ψ felújíása random-walk MCMC-vel ±0.0-os perurbácókkal

25 Az nenzásparaméer felújíása Meropols-Hasngs algormus A jelöl eloszlás normáls ebbıl λ logarmusá generáljuk am exp. függvénybe helyeesíünk Az elfogadás valószínőség: ( ) 6 ' : ' : mn j E y j j j z j j j z e β λ λ α λ λ

26 A log-poseror grafkonja (00000 erácó)

27 Az nenzásparaméerek A paraméerek auokorrelácófüggvénye gyorsan lecseng nullához ez jelz hogy a lánc eleme konvergálnak a kíván eloszláshoz. Az uolsó 5000 erácóban már nagyon kevese váloznak a paraméerek éréke am sznén a jó konvergencára ual λ λ 2 λ 3 λ 4 λ 5 Álagos paraméerérék λ

28 Az nenzásparaméerek rajekórá

29 Az nenzásparaméerek rajekórá az uolsó 5000 erácóban

30 A z és ψ paraméerek becslése Veszélyesség érkép: egy érképen beszínezzük a ksérségek régóközponja mnden veszélyoszálynak egy szín megfeleleve. Az elsı kockáza oszály a legkevésbé veszélyes(lla) a 6. (fekee) a legveszélyesebb károkozás szemponjából A ψ becslése körül ngadozk A legkockázaosabb elepülések ÉK-en lleve Pécs környékén alálhaóak Budapes ks mérékben kockázaosnak eknheı

31 Veszélyesség érkép

32 A modell leheséges javíása A kockáza oszályok számá nem mondjuk meg elıre hanem az s paraméerkén kezeljük. (RJMCMC)

33 Egy rezsmváló auoregresszív modell Y ( c ) I az akuáls rezsm ípusa: 0 ha a növekvı rezsmbe arozk ha a csökkenı rezsmbe arozk. I Markov-lánc a kövekezı ámenevalószínőség-márxxal: A generáló zajok feléelesen függelenek: ε ~ Γ(αλ) a növekvı rezsmben (pozív sokkok) ε 2 ~ N(0 σ 2 ) a csökkenı rezsmben Y a Y ε P p p c 00 0 ε p p 2 0 f f I I 0

34 A modell saconarása A modell a kövekezı szochaszkus dfferencaegyenle alakjában írhaó: Y a Y b ahol a χ χ a { I 0 } { I } b ε χ ε χ I { I 0 } 2 { } Brand(996) éelébıl kövekezk hogy az egyérelmő saconárus megoldás : mvel E b a a a b Y L ( ( ) ) ( ) log a < 0 and E b 0 log ( ) < 0

35 A modell becslése A modell paraméere: (p 00 p α λ η a c) aholη/σ 2. A láens válozók (I ) a modell becslésé megnehezík. Kézenfekvı leheıségek: Maxmum lkelhood (A lkelhood felírhaó de csak rekurzív formában a láens válozók ma) Markov Chan Mone Carlo (MCMC) Effcen Mehod of Momens (EMM).

36 Az a poseror sőrőségfüggvény ( ) { } T d T ( { Y } ) f { I } { Y } f I f ( { } { } ) T I Y f { Y } { I } ( ) ( { } ) T T f I ( ) f T ( Y Y ) [ ] { } [ ] χ I 0 χ ( )) { I } n n n n f f Y c a Y c p p p p ( ) Γ ( ) ( α λ (0 σ 2 ) f N Ahol például n 00 #(I - 0 and I 0).

37 Markov Chan Mone Carlo módszer Az együes poserorból kell mná vennünk hogy meg kapjuk a becsléseke Erre a megfelelı módszer egy Markov-lánc készíése a kövekezı saconárus eloszlással: ( { } { } ) T f I Y. A reje állapooka (I ) a srukuráls paraméekhez hasonlóan felújíjuk Gbbs-samplnge szernénk használn amkor csak lehe Konjugál prorok segíségével 6 paraméernek felírhaóak a megfelelı feléeles eloszlása A Meropols-Hasngs lépés csak a növekvı rezsmben jelenlévı gamma eloszlás alakparaméerének (α) becslésekor szükséges

38 Gbbs samplng Ha felírhaóak a eljes feléele eloszlások: a mnavéel a feléeles eloszlásokból realzálhaó: ( ) ( ) ( ) j n j j j n j j j n j j j d π π π K K K K K K ( ) ( ) ( ) ( ) ( ) ( ) ) ( ) ( 2 ) ( ) ( ) ( 3 ) ( 2 2 ) ( ) ( 3 ) ( 2 ~ ~ ~ n n n n n π π π K M K K

39 Meropols-Hasngs Válaszzunk egy Y jelöle q(y () ) eloszlásból az erácó mnden lépésében A jelöl pono fogadjuk el az alább valószínőséggel α ( y ) ( ) ( ( ) ) π q y ( ) ( ( ) ( ) ) π y q y mn ( ) ekkor () y és mnden egyéb eseben () ().

40 A prorok megválaszása α ~ Γ(α u λ u ) λ~ Γ(rβ) η ~ Γ(qρ) a ~ N(µτ) c~ N(νκ) p 00 ~ β(u v ) p ~ β(u 2 v 2 ) Y Remember he model: Y ( c ) a Y ε P p p 00 0 c ε p p 2 0 ε ~ Γ(αλ) ε 2 ~ N(0 σ 2 ) f f I I 0

41 Teljes feléelesek λ ra és η-ra λ eloszlása: ( { Y } { I } α ) ~ ( n α r ( Y ) ) λ Γ Y 0 β 0 I η eloszlása: η ( { } { } ) Γ 2 Y ( ( ) ) I a c ~ q Y c a Y c ρ 2 I n

42 Teljes feléelesek a-ra és c-re C eloszlása: a eloszlása: { } { } ( ) ( ) ( ) ( ) ( ) κ κ υκ ~ a n a n ay Y a N a I Y c I { } { } ( ) ( )( ) ( ) ( ) 2 2 ~ I I I c Y c Y c Y c Y N c I Y a η τ η τ η µτ

43 Teljes feléelesek az ámenevalószínőségekre P 00 eloszlása: ( { I } ) ~ β ( n u n ) p v P eloszlása: ( { I } ) ~ β ( n u n ) p v 0

44 A eljes feléelesek a reje állapookra P I P I e.g.: ( 0 I 0 I 0 Y Y ) ( I I Y Y ) 2 p 00 Γ ( Y Y ) 2 p 00 Γ ( Y Y ) ( p 00 )( p ) N ( Y c a ( Y c ) ) 2 p N ( Y c a ( Y c ) ) ( p )( p ) Γ ( Y Y ) p N ( Y c a ( Y c ) ) 00 2

45 Azα felújíása A Meropols-Hasngs lépések soránαfelújíására normáls eloszlás alkalmazunk: α * ~ N(αδ 2 )

46 M örénk ha az állapo-folyama mégsem Markov? A Markovás kövekezménye hogy az egy rezsmben elölö dı geomera eloszlású Egy leheséges álalánosíás: Legyen a növekvı rezsmek hosszának eloszlása: NegBn(βp ) A csökkenı rezsmek maradjanak geomera eloszlásúak: Geom(p 0 ) A rezsmhosszak maradjanak függelenek Specáls ese: β (az elızı modell nyerjük)

47 Az álalánosío modell becslése:. megközelíés A srukuráls paraméerek: (α λ η a c p 0 β p ) A poseror a megfelelı módon válozahaó β-ra gamma eloszlású pror feléelézünk Mnden lépés ugyanaz mn az elızı modellben kvéveβ- p - I -ke β Meropols-Hasngs lépésekkel újíjuk fel Az I -k eloszlása már nem csak Y - Y I - és I -ıl függ hanem a uán 0 és fuamok hosszáól s.

48 Az álalánosío modell becslése: A reversble jump megközelíés Az I -k helye vezessük be a rezsmek válásponja mn láens válozóka: A csökkenı peródusok végponja: s(s...s k ) A növekvı peródusok végponja: (... k ) A kezdıérékeke és a válásponok számá az elızı modellbıl becsülük meg Ha smerjük a válásponoka {I } meghaározhaó így az elızı algormus nagy része alkalmazhaó Az új probléma és felada: a válásponok felújíása

49 És ha a válásponok száma s paraméer? A valóságban a válásponok számá nem udjuk elıre meghaározn A megoldás: legyen ez s paraméer és a srukuráls válozókhoz hasonlóan újísuk fel ez s A sandard MCMC echnkák már nem alkalmazhaóak reversble jump MCMC- kell felépíen (see Green 995)

50 A reversble jump algormus 3 lépés defnálunk: Sep. : Mnden paraméer felújíunk kvéve a válásponok számá Sep 2. : Szüleés lépés: egy új váláspono szúrunk be ké vélelenszerően kválaszo már meglévı váláspon közé Sep 3. : Halál lépés : egy vélelenszerően kválaszo váláspono örlünk A lépéseke a kövekezı valószínőségekkel válaszjuk: q q B q D q q B q D.

51 A válásponok felújíása az elsı lépésben Teljes feléeles az s -re: Ahol a másodk ag : (N negaív bnomáls N 2 geomera eloszlású) { } ( ) ( ) { } ( ) ( ) y y s P y s Y P x s P x s Y P ( ) ( ) ( ) 2 N N P x N P x s P ( ) ( ) ( ) ( ) y p y Geom p b y NegBn p x Geom p b x NegBn { } ( ) Y x s P

52 Elfogadás valószínőségek a másodk és harmadk lépésben A szüleés lépésében az alább mozgás ípus * * elfogadásának valószínősége: s s ( ) ( ) α brh mn f ( { } ) * * k s Y f ( k s { Y } ) 2 q k q l D B ( m 2 2)( m ) A halál lépésben a fen valószínőség nverze lesz az elfogadás esély

53 Eredmények Tvadar eseében Mndké megközelíés kpróbáluk a fx dmenzós jobbnak bzonyul β 4.77 (s.e..38); szgnfkánsan különbözk - ıl A növekvı rezsmek álagos hossza 2.5 nap A csökkenı rezsmek álagos hossza 4.4 nap a 0.85 (s.e ); magas perzszenca a csökkenı rezsmben α (s.e ); a növekvı rezsme majdnem ecponencáls

54 A modell vsszaadja a hdrográf aszmmerkus alakjá

55 Az erede (red) és a szmulál(kék) dısorok sőrőségfüggvénye

56 Köszönöm a fgyelme!