Monte-Crlo-módszerek sttisztikábn* Kehl Dániel, Pécsi Tudományegyetem Közgzdságtudományi Kránk tnársegéde E-mil: kehld@ktk.pte.hu A tnulmány Monte-Crlo-módszerek sttisztiki lklmzásáról nyújt áttekintést és néhányt be is mutt, elsősorbn véletlen értékek generálásánk technikáj és numerikus integrálás területéről. Az MCintegráláshoz kpcsolódón ismerteti főbb vrincicsökkentő módszerek lklmzását is. Ezek z ismeretek elkerülhetetlenül szükségesek byesi sttisztik lklmzás esetén, hol poszterior eloszlásbn rejlő információk kinyerése gykrn csk szimuláció segítségével lehetséges. A cikkben bemuttott módszerek közös jellemzője, hogy lcsony dimenziószám esetén lklmzhtók htékonyn. TÁRGYSZÓ: Monte-Crlo-módszer. Véletlenérték-generálás. Vrincicsökkentő módszerek. * A szerző ezúton mond köszönetet tnulmányhoz fűzött megjegyzésekért és tnácsokért Hunydi László professzornk, Abligeti Gllusznk és intézeti kollégáink, vlmint Rosztoczy Alpítványnk nygi támogtásáért. Minden esetleges fennmrdó hibáért természetesen szerzőt terheli felelősség.
5 Kehl Dániel Monte-Crlo-módszerek összefoglló névvel illetünk számos eljárást, technikát, melyek közös jellemzője, hogy véletlenszám-soroztok generálásán lpulnk. A módszerek népszerűségének ok rendkívül egyszerű: nlitikusn követhetetlen feldtok eredményeit vgyunk képesek tetszőleges közelítéssel meghtározni velük. A robbnásszerű elterjedéshez mtemtiki lpok lefektetésén kívül szükség volt egy másik összetevőre, véletlen értékeket generáló, számításokt gyorsn elvégző számítógépekre. A bemuttott példákt népszerű, ingyenes R (0) progrmcsomg segítségével oldottm meg, kérésre kódokt rendelkezésre bocsátom. Npjinkr modern sttisztik lpvető eszközévé nőtte ki mgát ez széles terület, melyről megkísérlek átfogó, de nem túlságosn mély képet nyújtni. A tnulmány felépítése témávl fogllkozó szkkönyvek (Albert [009]; Csell Berger [00]; Rizzo [008]; Robert Csell [004], [00]) struktúráját követi, zokból néhány példát is átvesz. Az áltlános bevezető után különböző eloszlásokból vló véletlenérték-generálás egyszerű technikáit szemlélteti, mjd z egyik gykrn lklmzott területet, Monte-Crlo-integrálást és z ehhez kpcsolódó vrincicsökkentő módszereket tárgylj. Fő célj módszerek mögötti intuíció és lehetséges felhsználási területek bemuttás.. A Monte-Crlo-módszerekről áltlábn A véletlen események felhsználásánk ötlete nem új sttisztikábn, már számítógépek megjelenése előtt is voltk lklmzási, elég csk Buffon-féle tűproblémár ( π közelítése pdlór dobott tűk segítségével XVIII. százdbn) vgy Gossett nevéhez fűződő, t-eloszlásról szóló cikkre (Student [908]) utlni. A véletlen értékek felhsználásánk történetéről, módszerek fejlődéséről z érdeklődő Olvsónk például Robert Csell [0] nyújt kimerítő irodlomjegyzéket. A vlós sttisztiki lklmzások felsorolás, zok sokszínűsége mitt szinte lehetetlen: hgyományos lklmzási terület különböző tesztek erőfüggvényeinek kiszámítás, kritikus értékek vgy becslőfüggvények jellemzőinek (prméterek, MSE, percentilisek stb.), konfidenciintervllumok tkrási vlószínűségének meghtározás. Ebbe körbe trtoznk Bootstrp- és Jckknife-módszerek is. Ezen kívül fontos szerepet töltenek be Monte-Crlo- (MC-) és Mrkov-lánc Monte-Crlo- (MCMC-) módszerek byesi sttisztikábn (Hunydi [0]), hol feldt össze- Lásd erről Kehl [0] Sttisztiki Szemle hsábjin megjelent rövid ismertetőjét.
Monte-Crlo-módszerek sttisztikábn 53 tett, sokdimenziós sűrűségfüggvények (poszteriorok) leírás, mely szinte minden esetben integrálok meghtározását jelenti gykorltbn. A hrmdik ngy felhsználási terület sztochsztikus optimlizáció, mely összetett függvények szélsőértékeit, illetve szélsőértékhelyeit keresi. Tipikusn ilyen problém z összetett likelihood függvények mximumánk keresése ML-becslés meghtározáskor. Tnulmányombn véletlen számok generálásáról áltlábn, vlmint z egyszerűbb MC integrálási technikákról ejtek szót. Az MC optimlizációs, vlmint MCMC-technikák bemuttás jelen írásnk nem célj, utóbbikt egy későbbi cikkben tervezem tárgylni. A szimulációk következtetéses sttisztikábn történő lklmzás és sztochsztikus optimlizáció önmgábn szintén egy-egy átfogó dolgozt témáj lehetne.. Véletlen számok egyszerű generálási technikái A számítógépes véletlenszám-generálás lpj gykorltilg z egyenletes eloszlás. Nem kívánok részletesen fogllkozni zzl, hogy számítógépek csupán ún. pszeudo véletlen szám létrehozásár képesek. Az ilyen módszerek tuljdonképp egy hosszú soroztot állítnk elő, mely mtemtiki tuljdonsági lpján megfelelő minőségűnek tekinthető. Vlmennyi, számítási célokt is szolgáló progrmcsomg trtlmz egyenletes eloszlásból szármzó véletlenszám-generátort, R-ben ez függvény runif(), Excelben vél(), Mtlbbn pedig rnd(). A szoftverek lpértelmezésben z ún. Mersenne Twister-eljárást hsználják, mely egy gyors, jó minőségű, pszeudo véletlen számokt generáló lgoritmus (Mtsumoto Nishimur [998]). Véletlen számon tehát ezentúl pszeudo, számítógép áltl generált véletlen számokt értek. A különböző ismert, gykrn hsznált eloszlásokból szármzó véletlen számok htékony generálásánk komoly irodlm vn, mivel szintén nem kívánok fogllkozni. A következőkben röviden bemuttom egy-egy illusztrtív példávl kiegészítve leggykrbbn lklmzott véletlenszám-generálási eljárásokt. Hngsúlyozom, hogy példák döntő többsége pusztán illusztrtív, cél módszerek mögötti intuíció, z előnyök és hátrányok bemuttás, nem htékony módszerek fejlesztése... Inverz eloszlásfüggvény módszer A véletlen számok generálásánk tlán legegyszerűbb módj z ún. inverz eloszlásfüggvény módszer (inverse trnsform method), hátrány zonbn, hogy nem min- Létezik olyn R-csomg, mely www.rndom.org honlpon keresztül igzi véletlen számokt hsznál, zonbn tudományos célokr megfelelően jó minőségű pszeudo véletlen számok teljesen elfogdottk.
54 Kehl Dániel den esetben lklmzhtó (például többváltozós eloszlások). H X folytonos vélet- U = F X Unif 0,, zz len változó FX ( x ) eloszlásfüggvénnyel, kkor X egyenletes eloszlású [ 0, ] intervllumon (ún. probbility integrl trnsform). Hsonlón beláthtó, hogy (mennyiben z inverz létezik) F ( U ) meghtározás, mjd vélet- megegyezik X eloszlásávl, zz feldtunk FX ( U ) len u Unif ( 0,) generálás és F ( u) X eloszlás X kiszámítás. Az elmélet kiterjeszthető (Angus [994]) z inverz foglom áltlánosításávl többek között folytonos eloszlásokról diszkrétekre. Példként tekintsük Cuchy-eloszlás eloszlásfüggvényét: F( x ) = x μ rctn = +, miből z F ( u) =μ+σtn π u inverz egyszerű π σ átrendezéssel dódik. Nincs más dolgunk tehát, mint kívánt számú 0 közötti egyenletes eloszlású érték generálás, mjd zokon z inverz trnszformáció elvégzése. Hsonló módon állíthtó elő például exponenciális, logisztikus vgy Ryleigh-eloszlású véletlenváltozó-sorozt. A csonkolt normális eloszlás példáját muttj be Várploti [008] dolgozt függelékében... Direkt trnszformációs módszer A kívánt véletlen értékek előállítás sok esetben megoldhtó ismert eloszlások közötti mtemtiki összefüggések segítségével. Stndrd normális véletlen változók négyzetre emelésével és összegzésével állíthtunk elő χ k eloszlást. Csell és Berger ([00] 67. old.) átfogó képet dnk gykrn lklmzott eloszlások kpcsolti hálójáról, mi lpján módszer könnyedén implementálhtó. Példként említhetném még lognormális véletlen változó generálását stndrd normális eloszlásból, vgy F-, illetve Student t-eloszlású értékek létrehozását. Trnszformáción lpul normális eloszlású változókt generáló Box Müller [958] lgoritmus is, mely egy egyenletes változópárból normális eloszlású változópárt állít elő. A direkt trnszformációs módszer nyilvánvló hátrány, hogy nem szokványos eloszlások esetén ilyen lehetőség ritkán áll fent..3. Az elfogdás-elutsítás módszere Az elfogdás-elutsítás módszer (cceptnce-rejection method) lklmzásához szükségünk vn egy olyn eloszlásr (forráseloszlásr g ), melyből könnyedén tu-
Monte-Crlo-módszerek sttisztikábn 55 dunk véletlen számokt generálni, rádásul megfelelően közel vn hhoz z eloszláshoz, melyből generálni szeretnénk (céleloszlás f ). Legyen X és Y két véletlen változó és jelölje sűrűségfüggvényüket rendre f és g. Tegyük fel továbbá, hogy létezik olyn c konstns, melyre () f t g t c // fennáll minden olyn t -re, hol f ( t ) > 0. A cél elegendően lcsony, lehetőleg leglcsonybb c megtlálás //-ben egy olyn g -hez, mely elég htékony és könnyen generálhtó. Amennyiben megtláltuk megfelelő forráseloszlást és hozzá trtozó konstnst, következő lépéseket kell elvégeznünk:. Generáljunk egy véletlen y számot Y eloszlásból.. Generáljunk u Unif ( 0, c g( y) ) egyenletes eloszlású véletlen értéket. 3. Amennyiben teljesül u< f ( y), fogdjuk el y-t X -ből szármzó véletlen számként, zz x : = y, ellenkező esetben utsítsuk el, mjd térjünk vissz z. pontr. f ( y) Adott Y = y feltételhez trtozó elfogdási vlószínűség tehát 3. lépés és cg ( y) z egyenletes eloszlás eloszlásfüggvénye lpján. Bármely iteráció összesített (feltétel nélküli) elfogdási vlószínűsége g ( y ) dy =, így egy X -ből szárm- f ( y) cg ( y) c zó véletlen szám átlgosn c iterációt, zz c ( c forrás, c z egyenletes eloszlásból) véletlen szám generálását igényli. Amennyiben nem tláljuk meg megfelelő (minimális) c -t, módszer lklmzhtó mrd, de nem htékony. A c konstns trtlmilg jvsolt forráseloszlás mximális távolságát méri céleloszlástól. Az elfogdás-elutsítás módszer bemuttásár stndrd normális változókt állítunk elő. Első lépésként egy, stndrd normálishoz hsonló, könnyen generálhtó eloszlást kell keresnünk. Legyen ez már megismert Cuchy-eloszlás stndrd változt, hisz bból könnyedén tudunk generálni megírt inverz eloszlásfüggvény eljárás vgy beépített függvény segítségével. Megfelelő válsztás lenne természetesen bármely egyéb, vlós tengelyen értelmezett függvény is. Prktikus, h olyn függvényt válsztunk, mely vstgbb eloszlásszéllel rendelkezik, mint céleloszlás. Második lépésként meg kell htároznunk lehető legkisebb konstnst //-ben kiválsztott g -hez, ehhez írjuk fel sűrűségfüggvények hánydosát:
56 Kehl Dániel f ( x) g x x π ( x + ) x e = π = e c. π + ( x ) A hánydos felülről korlátos, zz Cuchy-eloszlás megfelelő forrás normális céleloszláshoz. Keressük meg zokt z x 0 értékeket, melyeknél függvény mximumát veszi fel. A hánydos deriváltj lpján könnyen megállpíthtó, hogy függvénynek két mximum vn z x 0 = ± pontokbn (vlmint lokális minimum z x = 0 pontbn). A mximumhelyeken függvény értéke, zz lehetséges minimális konstns π e = c,5. A módszer megértését segíti z. ábr, melyen stndrd normális ( f ), Cuchy ( g ) és konstnssl szorzott Cuchy ( c g) eloszlásokt, vlmint 00 iterációvl kpott véletlen értékeket ábrázoltm.. ábr. Elfogdás-elutsítás módszer 0,5 0,4 f eloszlás g forráseloszlás c g korrigált forráseloszlás 0,3 0, 0, 0 A folytonos vonlll feltűntetett normális eloszlásból kívánunk generálni, méghozzá pontozott vonlll ábrázolt Cuchy-eloszlás segítségével. Ehhez megkerestem zt legkisebb c -t, mellyel Cuchy-eloszlást szorozv megnyújtott görbe lefedi teljes céleloszlást (szggtott vonl). Ezután Cuchy-eloszlásból generá- c g y közötti egyenletes eloszlás- lunk egy véletlen számot ( y ), miről 0 és y
Monte-Crlo-módszerek sttisztikábn 57 y dönt: két görbe között helyezkedik-e el (elutsítás kereszt) vgy normális eloszlás sűrűségfüggvénye ltt (elfogdás kör). A körrel jelölt pontok első koordinátái stndrd normális vlószínűségi változóból generált véletlen értékeket képeznek. Ahogy említettem, c egyben z egy céleloszlásból szármzó véletlen számhoz szükséges iterációk átlgos számát is jelenti. Amennyiben például 0 000 stndrd normális vlószínűségi változót szeretnénk generálni, úgy átlgosn 5 00 iterációr, zz 30 400 véletlen szám előállításár vn szükség. Végül megjegyzendő, hogy módszer bbn z esetben is lklmzhtó, h céleloszlásnk csupán z lkját ismerjük, normlizáló konstnst nem, hogy ez ból szármzó véletlen érték és z dott pontbn érvényes f byesi sttisztikábn gykrn előfordul. Ebben z esetben zonbn c nem z elfogdás vlószínűsége, mert z ismeretlen normlizáló konstns beszivárog c -be. 3. Integrálási módszerek Első látásr tlán szoktln integrálási módszerekről olvsni sttisztiki tnulmánybn, mégis gykrn kell élnünk ezzel z eszközzel. Integrálás eredményeképp kphtjuk meg folytonos vlószínűségi változók várhtó értékét, egyéb momentumit, kvntiliseit. A byesi sttisztikábn mind prior, mind poszterior sűrűségfüggvénnyel írhtó le, normlizáló konstns (mi z egységnyi integrálértéket biztosítj) zonbn gykrn nem ismert és nlitikusn nem is meghtározhtó. Az ilyen és ehhez hsonló esetek megoldásár muttok be olyn módszereket, melyek nlitikusn nem kezelhető htározott integrálok meghtározásár szolgálnk. Az ismert determinisztikus módszerek függvényt egyszerű lkztokkl közelítik, hátrányuk, hogy mgsbb dimenziószám esetén konvergenciájuk lssul. A véletlen értékek generálásán lpuló ún. MC-módszerek implementálásánk egyszerűsége mgsbb dimenziószám esetén is megmrd, ezért összetettebb, sokváltozós problémák esetén előszeretettel hsználják őket. A hgyományos MC-becslés vrinciáját csökkentő eljárásokt 4. fejezetben fogom bemuttni. 3.. Determinisztikus módszerek Tekintsünk egy egydimenziós integrált, melyet úgy közelítünk, hogy z integrálási intervllumot k részre osztjuk, részintervllumokr kpott integrálokt pedig összegezzük:
58 Kehl Dániel hol z [ b, ] intervllumot [, ] b k xi + f ( x) dx= f ( x) dx, // i i i= 0 xi x x + intervllumokr osztottuk, úgy, hogy i= 0,,, k és x0 =, xk = b. A részintervllumok területének közelítése lpján különböző módszerek léteznek. A legegyszerűbb esetben bl oldli végpontbn vett függvényérték és z xi+ xi lépésköz szorztként, zz egy tégllppl közelíthetjük területet. Másként foglmzv függvényt minden részintervllumon egy konstns értékkel helyettesítjük, lépcsőssé lkítjuk, ez z ún. Riemnn-közelítés. Amennyiben minden részintervllum egyenlő hosszúságú, számítás tovább egyszerűsödik, // Riemnn közelítése ekkor: k Rˆ ( k) = Δ x f ( + iδx). /3/ i= 0 Amennyiben f integrálhtó, úgy k esetén ˆ b R k f x dx. Természetesen Riemnn-közelítés függ k értékétől. Amennyiben több különböző k -r kívánjuk megkpni közelítést, gykori válsztás k = l után z k = l osztópont válsztás, hisz második számítás esetén rácspontok felén már ismerjük függvényértéket. A szkszonkénti konstns érték helyett lklmzhtó lineáris vgy mgsbb fokú polinom függvénnyel vló közelítés is, melyeket trpezoid és Simpson-féle eljárásnk nevezünk. Újfent éljünk zzl z egyszerűsítéssel, hogy egyenlő hosszúságú szk- b, intervllumot, ekkor trpezoid szbály szerinti becslés: szokr osztjuk z [ ] k ˆ Δx Δx T( k) = f ( ) + f ( b) +Δ x f ( + iδx). /4/ A Simpson-féle módszer részintervllumok végpontjin kívül zok középpontjit is felhsználj, három ponton átmenő másodfokú polinomot lklmzv függvény és terület közelítésére. Az integrál Simpson-féle közelítése felírhtó: i= k ˆ Δx S( k) = f ( ) + 4f + i Δ x + f ( + iδ x) + f ( b) 6 i=. /5/
Monte-Crlo-módszerek sttisztikábn 59 A három módszeren kívül természetesen léteznek egyéb, hsonló megoldások (például Romberg-módszer, Guss-módszer), melyekre jelen cikkben nem térek ki. Annk eldöntése, hogy milyen függvény esetén melyik módszer konvergál leggyorsbbn, komoly tpsztltot igényel, z integrálok közelítő meghtározás zonbn rendkívül gyors. A. ábr három módszer közelítését muttj be egy kiválsztott részintervllum ábrázolásávl. Az ábr lpján láthtó, hogy módszerek pontosság nem zonos bemuttott esetben, mikor inflexiós pont is vn trtománybn, egyértelműen Simpson-féle módszer tűnik legpontosbbnk. Azokbn z esetekben, mikor függvény z dott szkszon egyenletes közeli, z egyszerűbb módszerek konvergálnk gyorsbbn.. ábr. Numerikus integrálási módszerek Riemnn-módszer Trpezoid-módszer Simpson-módszer A különböző módszerek konvergenciáját muttj be következő,. táblázt egy olyn függvény integrálj esetében, hol ismerjük tényleges keresett értéket. Konvergenci sebessége három különböző integrálási módszernél. táblázt 4 e x dx Riemnn- Trpezoid- Simpson- módszer k = 0 0,94 0,74095 0,4308 k = 00 0,8937 0,7035 0,67730 k = 000 0,7367 0,7097 0,6995 k = 0 000 0,7033 0,7096 0,707 Tényérték e e = 0,70964 4 A numerikus integrálás több nehézsége felmerül már egydimenziós esetben is, például végtelen intervllumon vett integrál kiszámítás. Áltlánosságbn ez z
530 Kehl Dániel eredeti függvény vlmilyen trnszformálásávl kezelhető. Szintén meg kell említeni, hogy z implementálás egyszerűsítése mitt gykrn vesszük részintervllumokt egyenlő hosszúságúnk, noh jóvl pontosbb közelítést kpnánk már lcsony k értékek mellett, h sűrűn helyeznénk el z osztópontokt zokon helyeken, hol függvény gyorsn változik, és viszonylg ritkán zokon helyeken, hol függvény megközelítőleg állndó. Többdimenziós függvények esetén bemuttott determinisztikus módszerek nehezen progrmozhtók, és konvergenci egyre lssbb. A következő pontbn szereplő, véletlen számok generálásán lpuló módszerek z egyszerűbb esetekben lssbbn konvergálnk, zonbn z összetettebb integrálok esetén is könnyen implementálhtók és konvergenci tuljdonságikt megtrtják. 3.. Monte-Crlo-integrálás A Monte-Crlo-integrálás egy véletlen szám generáláson lpuló sttisztiki módszer, mely z 940-es évek vége ót ismert, elsősorbn Neumnn János és Stnislw Ulm munkásságánk köszönhetően. A véletlen kísérletekből vló következtetés gondolt hogy zt említettem már sokkl korábbn létezett, de z első számítógépek óriási lendületet dtk z lklmzások elterjedésének. Tudjuk, hogy h X véletlen változó g ( x ) sűrűségfüggvénnyel, kkor h( X ) trnszformált véletlen változó várhtó értéke: μ= E h X = h x g x dx. /6/ Amennyiben rendelkezünk véletlen mintávl X eloszlásából, úgy függvényértékek átlg /6/ torzíttln becslését dj, n esetén hol μ ˆ = n h( Xi ) μ, /7/ n i = X i z i -edik mintelemet reprezentáló véletlen változót jelöli. b h x dx b, zz z integrálást viszszvezetjük egy várhtó érték meghtározásánk problémájár. Legyen X Unif (, b), így E h( X) =
Monte-Crlo-módszerek sttisztikábn 53 b A következő lépéseket kell elvégeznünk z h x dx integrál Monte-Crlo közelítéséhez:. Legyen n független Xi Unif (, b) véletlen változó.. Számítsuk ki z átlgos függvényértéket: h( X) h( X ) ˆ. 3. A közelítő integrál érték: μ= ( b ) h( X) n i n i = =. Egyszerű Monte-Crlo-integrálást lklmzhtunk z. tábláztbn példként felhsznált 4 x e dx kiszámításár (Rizzo [008]). Az integrál közelítését 0 000 vé- letlen számból számítv, egy lehetséges eredmény 0,7947, mi ugyn csk negyedik tizedes jegyben tér el tényleges értéktől, zonbn ponttlnbb determinisztikus módszereknél. Vegyük észre, hogy determinisztikus módszerekkel ellentétben most eredményeink véletlen értékeknek köszönhetően futttásról futttásr kis mértékben eltérőek lehetnek! Az MC-becslés vrinciáj véletlen számok drbszámánk növelésével csökkenthető, mi számításigényes. A konvergenci lssbb, mint determinisztikus esetben (főként trpezoid és Simpson-féle módszerhez képest), de mgsbb dimenziókbn is megmrd konvergenci sebessége, míg determinisztikus módszerek egyre lssbbá vgy lklmzhttlnná válnk. Összetettebb problémák esetén jellemzően nem z MC-integrálás implementálás okoz nehézséget, hnem lssú konvergenci. Fontos olyn módszerek lklmzás, melyekkel vrinci csökkenthető, viszont számítási időt egyáltlán nem, vgy lig növelik meg. 4. A vrinci csökkentése Monte-Crlo-módszerek esetén A fejezetben hgyományos MC-integrálás vrinciáját, vlmint négy olyn módszert muttok be, melyek nem mintelemszám növelésével csökkentik MCbecslés vrinciáját. Beláthtó, hogy mintátlgon lpuló Monte-Crlo-becslés torzíttln és vrinciáj: ( ) ( ) ( i ) ( ) /8/ b b Vr ( μ ˆ ) = Vr h X Vr h X, = n i n
53 Kehl Dániel hol véletlen értékek függetlenségét hsználjuk ki. Jelen fejezetben épp ezt függetlenséget sértjük meg oly módon, hogy torzíttlnság továbbr is fennálljon, vrinci zonbn csökkenjen. Az MC-becslés vrinciáj tehát z integrálási htároktól, generált véletlen számok számától és sűrűségfüggvény lkjától függ. A központi htáreloszlás-tétel szerint pedig elégségesen ngy mintelemszám mellett mi gykorltilg mindig igz z integrálr (tehát függvényértékek átlgár) vontkozó ( b ) MC-becslések normális eloszlást követnek, zz μˆ N μ, Vr( h( X) ). n Az 4 x e dx integrál érték MC közelítésének eloszlásához meg kell tehát htároz- nunk ( ) Vr h X értékét. A várhtó értéket, z integrál tényleges értékét, vlmint többi prmétert ismerjük. Tekintsük áltlánosn z X Unif (, b) vlószínűségi változót és htározzuk X meg h( X) = e vlószínűségi változó első és másodrendű momentumit! Alklmzhtjuk /6/-ot, hol tudjuk, hogy g( x) = b. vlmint b b X x x b e e E e = e dx= e = b b b b x b b X X x e e e b b ( b ) E e = E e = e dx = = zz vrinci:,, b X X X e e b ( e e ) Vr e = E e E e = b b. /9/ A /9/ képletet lklmzv =, b= 4 esetére zt kpjuk, hogy X e Vr e = 8, zz /8/ lpján 0 000 elemű mintából álló becslés elméleti e eloszlás:
Monte-Crlo-módszerek sttisztikábn 533 ( ) b 4 e ˆ N, Vr( h( X) ) N μ μ = e e,. 8 n 0 000e A 3. ábrán z elméleti és 0 000-szer megismételt, egyenként 0 000 véletlen számot felhsználó MC-becslés eredményei láthtók. A 3. ábrár és becslés vrinciájár később, vrincicsökkentő eljárások bemuttás során visszutlok, ugynez z elméleti sűrűségfüggvény szerepel 4. ábrán is. 3. ábr. Az integrál érték átlgoláson lpuló MC-becslésének elméleti és empirikus eloszlás, vlmint tényleges érték 700 600 500 400 300 00 00 0 Az eloszlás ismerete lehetőséget teremt rr, hogy becslésünk köré konfidenciintervllumot építsünk szokásos módon, ám most csupán benchmrkként fogjuk zt felhsználni. ( θ ) ( θ ) Vr Amint z ismert, θ becslőfüggvény htásosbb θ -nél, h < és Vr mindkét becslőfüggvény torzíttln módon becsüli θ -t. Ebben z esetben θ hsznált θ helyett vrinciábn százlékos csökkenést eredményez. Vr Vr ( θ ) Vr θ θ 00 /0/
534 Kehl Dániel A vrinci csökkentésére következőkben négy fontos eljárást muttok be, z ellentétes (ntitetikus) változók (ntithetic vribles), z ellenőrző változók (control vribles), fontossági mintvételezés (importnce smpling) és rétegző mintvételezés (strtified smpling) módszereit. Ezek lpötlete nem ismeretlen, z ellenőrző változók módszere regressziós becslés, fontossági mintvételezés hánydosbecslés, rétegző mintvételezés rétegzett mintvétel (Glmbosné [0]) logikáját lklmzz vrinci csökkentésére. 4.. Antitetikus változók módszere Tekintsük két zonos eloszlású, X és X vlószínűségi változó átlgát. Az átlg vrinciáj: X + X = + + 4 ( (, ) ) Vr Vr X Vr X Cov X X. // Amennyiben X és X függetlenek, úgy kovrincitg //-ben 0. H tehát olyn változókt hsználunk, hol kovrinci negtív, z átlg vrinciáj csökkenthető független esethez viszonyítv. Ez z lpvető ötlet húzódik z ntitetikus változók módszere mögött. A Monte-Crlo-szimulációk esetén keresett integrál becslése [ 0, ] egyenletes véletlen változók vlmilyen függvénye: X= h( U, U,, U n ). Tekintsük X = h( U, U,, Un ) ntitetikus becslést, ekkor két vlószínűségi változó eloszlás megegyezik. Páronként véletlen változók közötti kovrinci negtív, értéke. Ekkor bizonyíthtó (Rizzo [008] 9. old.), hogy bármely monoton h függvényre ( ( n) ( n) ) Cov h U, U,, U, h U, U,, U 0. A módszer gykorlti lklmzás egyszerű. Generáljunk n mintelemet szükséges egyenletes eloszlásból, mjd ezekből további n ellentétes változót. A negtív kovrinci mitt z ily módon előállított becslés vrinciáj lcsonybb lesz, mint hgyományos, n drb véletlen számból álló MC-becslésé. Korábbn z 4 x e dx integrál becsléséhez 0 000 véletlen számot hsználtunk fel melyek,
Monte-Crlo-módszerek sttisztikábn 535 U mjd z U 6 U Unif (,4) U Unif,4 eloszlásúk voltk. Amennyiben 5 000 drb véletlen számot generálunk -ből, = véletlen értékeket párosítjuk hozzájuk, becslés vrinciáj lcsonybb lesz. A 0 000 lklomml elvégzett becslés eredményeinek empirikus eloszlását z 4. ábr muttj be hisztogrmon, feltüntetve 3. ábrán bemuttott (eredeti MC-) becslés elméleti eloszlását is. Az összehsonlíthtóság érdekében korábbi ábr vízszintes tengelyét (0,4 0,0) megtrtottm. 4. ábr. Az ntitetikus változók hsználtánk htás z MC-becslés eloszlásár 500 000 500 0 A /0/ rány lpján könnyedén meghtározhtjuk módszer htékonyságjvulását, mi 88 százlék körüli értéket mutt, zz ntitetikus változók hsználtávl becslésünk vrinciáját ngymértékben sikerült csökkenteni, úgy, hogy számítási költség, generált véletlen értékek szám nem lett ngyobb. A szóródás csökkenése 4. ábr lpján is érzékelhető. Hsonló ábrát rjzolhtnánk további bemuttndó módszerek esetén is, ettől zonbn eltekintünk, csupán vrinci csökkenésének rányát számítjuk ki. 4.. Kontrollváltozók módszere b Tegyük fel, hogy célunk hxdx becslése, és vn egy olyn l függvénnyel leírhtó (kontroll-) változó, mely E l( X) η= várhtó értékét ismerjük, és két vál-
536 Kehl Dániel tozó korrelál. A két függvényből konstruálhtó olyn becslőfüggvény, mely torzíttln 3 bármely c konstns esetén: ( ) μ ˆ cont = h X + c l X η. // Ekkor // vrinciáj felírhtó, és célunk c függvényében ennek legkisebb értékét megtlálni: ( μ cont ) = + ( ) + Vr ˆ c Vr l X ccov h X, l X Vr h X. /3/ A /3/ összefüggés c -ben másodfokú és konkáv, így minimális értékét (, l ( X )) Cov h X c = Vr l X /4/ helyen veszi fel, hol vrinci értéke (, l ( X )) Vr l ( X ) Cov h X Vr ( μ ˆ cont ( c )) = Vr h( X ). /5/ Láthtjuk, hogy kivonndó tggl csökken vrinci. Ezt tudv kiszámíthtjuk /0/ lpján vrinci százlékos csökkenését: Vr (, l ( X )) Vr θ θ Cov h X = = Corr ( h( X ), l ( X )). Vr θ Vr h X Vr l X /6/ A /6/ képletből egyértelműen látszik, hogy olyn l (.) függvényre vn szükségünk, hogy l( X ) erősen korrelál h( X) -szel. Amennyiben vlószínűségi változók között nincs korreláció, módszer nem hsználhtó, más kontrollváltozót kell keresnünk. A feldt tehát helyes változó megtlálás, mjd z optimális c kiszámítás, melyhez /4/ szerint vrinciár és kovrinciár vn szükségünk. Amennyiben ezek z értékek nlitikusn nem meghtározhtók, szimuláció segítségével tlálhtjuk meg megfelelő értékeket. 3 cont ( ) E μ ˆ = E h X + c l X η =μ+ c 0 =μ.
Monte-Crlo-módszerek sttisztikábn 537 Tekintsük újr z 4 x e dx integrált. Keressük zt z l X függvényt, mely momentumit könnyen meg tudjuk htározni és erős korrelációt mutt X legegyszerűbb válsztás egy lineáris függvény: l( X) e 4, zz /4/ lpján c = 6e. A vrin- Cov( h( X ), l ( X )) =, Vr l ( X ) = ci értéke itt /5/ és már korábbn levezetett h( X) -re vontkozó momentumok segítségével: h X -szel. A =. Ekkor 4 e 8 ( ( )) 8 3 Vr h X + c l X η = e 0,0000653, e mi zt jelenti, hogy vrinci csökkenése /6/ lpján közel 94 százlékos: Vr ( θ) Vr ( θ) Vr ( θ ) Célunk közvetlenül nem csupán E h( X) 6 = 0,939. e μ=, hnem z integrál közelítése volt, de vrinci elért csökkenése természetesen z integrál becslésében is hsonlón jelentkezik. A kontrollváltozó hsználtávl, zz h( X) = e X helyett, szintén tor- X 4 X zíttln h( X) + c( l( X) η ) = e + 6e becslőfüggvényt lklmzv z integrál becslésének vrinciáját jelentősen sikerült csökkenteni. Az ntitetikus változók módszere kontrollváltozó módszer speciális esete, hol mindkét becslőfüggvény független zonos eloszlású, és változópárok közötti korre- láció, ekkor c = optimális érték dódik. Annk ellenére, hogy z ntitetikus változók módszere speciális esetként is felfoghtó, z irodlombn két módszert külön tárgylják. Gykrn lklmzott technik több kontrollváltozó felhsználás, hiszen μ= ˆ h X + cj lj X μj j szintén torzíttln becslést d. Az optimális = ( c j ) c vektort l j és z h függvények közötti mximális korrelációvl érhetjük el. Gykrn lklmzott módszer,
538 Kehl Dániel hogy z optimális c meghtározásához egyszerű lineáris regressziót illesztünk, miből kontrollváltozós módszer legfontosbb jellemzőit zonnl megkpjuk. A vrinciábn bekövetkező csökkenés pontosn lineáris regresszió R értékével egyezik meg, regressziós prméterekből pedig c dódik. Eddigiekben egyenletes eloszlású vlószínűségi változó felhsználásávl közelítettünk függvények várhtó értékén keresztül integrálokt. A következő lfejezetben z egyenletes véletlen számoknál htékonybb módszert ismerünk meg. 4.3. Fontossági mintvétel A bemuttott klsszikus MC-módszer és vrinci csökkentésére irányuló eljárások hátrány, hogy nem hsználhtók közvetlenül olyn esetekben, mikor vlmely integrálási htár nem véges, rádásul egyenletes véletlen számok lklmzás nem htékony, h h (). ngyon távol esik z egyenletestől. Mivel z integrálást viszszvezettük egy átlgolási problémár, áltlánosíthtjuk megközelítésünket súlyoztln átlg helyett súlyozott átlg (zz z egyenletestől eltérő sűrűségek) lklmzásávl. Az áltlános módszer neve fontossági mintvétel (importnce smpling). Tekintsük z X véletlen változót g sűrűségfüggvénnyel, hol bármely x esetén, melyre h( x ) > 0, szükségképpen g( x ) > 0. Legyen továbbá h ( x) = h( x) x b, ezen kívül h h( X ) ( x ) = 0, vlmint Y véletlen változó g ( X ). Ekkor, h b b h( x) h( x) h( X) h( x) dx = g ( x) dx = g ( x) dx E E ( Y ) g( x) = = g( x) g( X). 7/ Közelítsük E ( Y ) értékét hgyományos Monte-Crlo-integrálássl, zz számítsuk ki z n h( Xi ) Yi = /8/ n n n g X i= i= i átlgot, hol z X i -k g ( x ) sűrűségfüggvényből szármzó véletlen értékek. A g ( x ) függvény neve fontossági függvény (importnce function). A közelítés vrinciáját n és Vr ( Y ) htározz meg, ezért gykorltbn célunk, hogy fontossági függvény h( x) -hez hsonló, hánydos közelítőleg kons-
Monte-Crlo-módszerek sttisztikábn 539 tns legyen. Hsonlón fontos szempont, hogy g ( x ) lpján X könnyen szimulálhtó legyen. Bizonyíthtó (Rizzo [008] 43. old.), hogy vrinci minimlizálás f ( x) A h x = h x dx fontossági függvény lklmzásávl érhető el, hol A z hlmz, hol integrálni kívánunk. Mivel vlószínűtlen, hogy ez kifejezés rendelkezésre áll, gykorlti problém esetén leggykrbbn olyn függvényt válsztunk, mely elégségesen kö- h x -hez A-n. zel vn x A fontossági mintvételt korábbiktól eltérő h( x) = x e függvény π (, ) intervllumon vett integrálj segítségével muttom be, méghozzá öt fontossági függvény felhsználásávl, zok htékonyságát összehsonlítv.. Stndrd Ryleigh-eloszlás:. Normális eloszlás N (,) : x g x = xe x 0. g x = e π 3. Exponenciális eloszlás Exp : ( x ). g3 x = e, x 0. x 4. Módosított exponenciális eloszlás Exp() : g ( x) = e + x. x 4, 5. Módosított stndrd normális eloszlás: N ( x ) x = φ,. 0, : g5 ( x ) = A válsztott eloszlások egy része nem kizárólg z x trtományon értelmezett. A módosított sűrűségfüggvényeket olyn módon lkítottm ki, hogy belőlük könnyű legyen véletlen értékeket nyerni és hsonlítsnk céleloszlásr (mind lkr, mind értelmezési trtományr). A Ryleigh-eloszlásból z inverz eloszlásfüggvény módszerrel, többi eloszlásból pedig z R beépített függvényei segítségével vettem mintát. Az 5. ábr h( x ) integrálndó szkszán muttj be függvényeket h( x) (bl oldl), vlmint z hánydosokt (jobb oldl). g x j
540 Kehl Dániel 5. ábr. A fontossági mintvétel sűrűségfüggvényei és függvények hánydosi 0,8,5 0,6 0,4 0, 0,5 0 0 x x Az 5. ábr lpján módosított stndrd normális eloszlás tűnik legjobb válsztásnk. Ez fontossági függvény módosításnk köszönhetően csk z x helyeken értelmezett, míg például g teljes x tengelyen, g és g 3 pedig pozitív félegyenesen. Mindez zt jelenti, hogy z g, g, g 3 függvények esetén z hány- h g j dos sok esetben zérus, z eljárás nem htékony. A mintvételek 000 lklomml történt elvégzése után z eredményeket. táb- n = 0 000. láztbn foglltm össze Az integrál közelítésének eredményei öt fontossági függvénnyel. táblázt Becslés jellemzői.. 3. 4. 5. fontossági függvény Az integrál becsült értékeinek átlg Az integrál becsült értékeinek szórás Nullák átlgos rány (százlék) 0,40076 0,40059 0,4006 0,40065 0,40063 0,00357 0,004 0,00584 0,0055 0,00044 39,3 50,0 63,5 0,00 0,00 Az öt fontossági függvény közül módosított normális eloszlássl készült közelítés rendelkezik legkisebb vrinciávl. Az első három jelölt esetén z integrálás htáritól eltérő értelmezési trtomány mitt generált véletlen értékek döntő többsége h ( x) nem hsznosul ( tábláztbn nullák rány), mivel z hánydos zérus értékű. g x
Monte-Crlo-módszerek sttisztikábn 54 e Az Exp () eloszlás sűrűségének 63, százlék esik [ 0, ] intervllumb, z N (,) eloszlás esetén 50 százlék, függvényform tekintetében hsonló Ryleigheloszlásnál pedig [ 0, ] közötti integrál lpján 0,3935 h sok rány. Ez utóbbi válsztás további hátrány, hogy z ( x ) g ( x) felesleges húzá- egy pozitív meredekségű lineáris egyenes, zz nem stbil. A trnszformált eloszlások jobbn teljesítettek ebben z esetben, áltlánosságbn hátrányuk, hogy véletlenszámgenerálás nem minden esetben triviális. 4.4. Rétegző mintvétel A rétegző mintvétel 4 vrinci csökkenését úgy éri el, hogy z integrálndó területet rétegekre bonj, és ezeken rétegeken belül kis vrinciávl próbál becsülni. A k drb rétegben rögzített számú véletlen értéket húzunk, úgy, hogy n= n + n + + n, zzl célll, hogy, k ( μ ˆ +μ ˆ + +μ ˆk ( k) ) << ( μˆ) Vr n n n Vr n, hol bl oldlon rétegző mintvételt lklmzó, jobb oldlon pedig stndrd MC-becslőfüggvény láthtó. A vrinci csökkentése kkor htékony, h rétegekben z integrálndó függvény átlg jelentősen eltérő, zz sikerül heterogén rétegeket kilkítni. Amennyiben z integrálndó függvény monoton, ezt könnyű teljesíteni. Jól érzékelhető hgyományos rétegzett mintvétellel vló nlógi bból tényből dódón is, hogy rétegző mintvétel mindig kisebb vrinciát szolgáltt, kivéve bbn z esetben, h rétegek átlgi megegyeznek. A már ismerős 4 x e dx példán mindössze két egyenlő hosszúságú réteg lklmzá- sávl becslés vrinciáj kevesebb mint hrmdár, négy réteg esetén kevesebb mint 0 százlékár esik zonos mintelemszám mellett. Ennek eléréséhez csupán nnyi,4 Unif,3 és feldtunk, hogy Unif véletlen számok helyett például Unif ( 3, 4) véletlen értékek segítségével becsüljük megfelelő területeket, mjd becsléseinket összegezzük. 4 A rétegző mintvétel ngol terminológiávl strtified smpling, zz z elnevezés megegyezik rétegzett mintvétel elnevezéssel. A könnyebb megkülönböztethetőség érdekében nevezem rétegző mintvételnek z eljárást.
54 Kehl Dániel A röviden bemuttott rétegző mintvétel előnye, hogy tetszőlegesen kombinálhtó többi vrincicsökkentő eljárássl, így szkirodlom ismeri és hsználj rétegző fontossági mintvétel (strtified importnce smpling) foglmát is, hol különböző rétegekben kár különböző fontossági függvények is lklmzhtók. 5. Összefogllás A tnulmány különböző eloszlásokból vló véletlenérték-generálás, vlmint Monte-Crlo-integrálás legfontosbb módszereit tekinti át. A számítógép áltl szolgálttott pszeudo véletlen számok és z inverz eloszlásfüggvény, direkt trnszformációs, vlmint elfogdás-elutsítás módszerek segítségével lcsony dimenziószám esetén tudunk sűrűségfüggvényekből szimulálni. Egy másik fontos terület z MCintegrálás, mi z integrálást egy várhtó érték becslés problémájár vezeti vissz. A becslési vrinci csökkentésére szolgáló eljárások bemuttás zárj cikket. A mgsbb dimenziószám esetén lklmzott, Mrkov-lánc felállításán lpuló ún. Mrkov-lánc Monte-Crlo- (MCMC-) módszereket egy későbbi tnulmányombn muttom be. Irodlom ALBERT, J. H. [009]: Byesin Computtion with R. Springer. Heidelberg, London, New York. ANGUS, J. E. [994]: The Probbility Integrl Trnsform nd Relted Results. SIAM Review. Vol. 36. No. 4. pp. 65 654. BOX, G. E. P. MÜLLER, M. E. [958]: A Note on the Genertion of Rndom Norml Devites. The Annls of Mthemticl Sttistics. Vol. 9. No.. pp. 60 6. CASELLA, G. BERGER, R. L. [00]: Sttisticl Inference. Duxbury Press. Belmont. GALAMBOSNÉ TISZBERGER M. [0]: A rétegzett mintvételről. Sttisztiki Szemle. 89. évf. 9. sz. 909 99. old. HUNYADI L. [0]: Byesi gondolkodás sttisztikábn. Sttisztiki Szemle. 89. évf. 0. sz. 50 7. old. HUNYADI L. VITA L. [008]: Sttisztik I-II. Aul Kidó. Budpest. KEHL D. [0]: Robert, C. Csell, G.: Szemelvények Mrkov-lánc Monte-Crlo-módszerek történetéből. Sttisztiki Szemle. 90. évf. 4. sz. 35 354. old. KOTZ, S. READ, C. B. BALAKRISHNAN, N. VIDAKOVIC B. (eds.) [006]: Encyclopedi of Sttisticl Sciences. John Wiley & Sons Wiley. New York. MATSUMOTO, M. NISHIMURA, T. [998]: Mersenne Twister: A 63-Dimensionlly Equidistributed Uniform Pseudo-Rndom Number Genertor. ACM Trnsctions on Modeling nd Computer Simultion. Vol. 8. No.. pp. 3 30.
Monte-Crlo-módszerek sttisztikábn 543 PINTÉR J. RAPPAI G. (szerk.) [007]: Sttisztik. Pécsi Tudományegyetem. Pécs. R DEVELOPMENT CORE TEAM [0]: R: A Lnguge nd Environment for Sttisticl Computing, R Foundtion for Sttisticl Computing. Vienn. http://www.r-project.org/ RIZZO, M. L. [008]: Sttisticl Computing with R. Chpmn & Hll/CRC. Boc Rton. ROBERT, C. P. CASELLA, G. [004]: Monte Crlo Sttisticl Methods (nd edition). Springer. New York. ROBERT, C. P. CASELLA, G. [00]: Introducing Monte Crlo Methods with R. Springer. New York. ROBERT, C. P. CASELLA, G. [0]: A Short History of Mrkov Chin Monte Crlo: Subjective Recollections from Incomplete Dt. Sttisticl Science. Vol. 6. No.. pp. 0 5. STUDENT [908]: The Probble Error of Men. Biometrik. Vol. 6. No.. pp. 5. VÁRPALOTAI, V. [008]: Modern Byes-i ökonometrii elemzések Simsági priorok lklmzás z üzleti ciklusok szinkronizációjánk mérésére és z infláció előrejelzése. PhD-értekezés. Budpesti Corvinus Egyetem. Budpest. Summry This pper gives n overview on the sttisticl pplictions of generting rndom vribles, s well s on numericl nd Monte Crlo integrtions. It lso describes how methods of vrince reduction cn be pplied. These ides re inevitbly necessry when deling with Byesin sttistics, especilly in cses where the informtion contined in posterior distributions cn only be obtined by simultions. The common feture of the methods herein is tht ech of them cn be effectively pplied in low dimensionl cses. Another mens to determine the fetures of multivrite nd complex density functions is to pply Mrkov chins nd Mrkov chin Monte Crlo (MCMC) methods, which will be described in lter study.