Idősorok elemzése 7-8-9. előadás 2015. október 19-26. és november 2.
Idősor fogalma sokasági szemlélet: elméleti idősor - valószínűségi változók egy indexelt {Y t, t T } családja, avagy időtől függő véletlen mennyiség, azaz egy sztochasztikus folyamat. Pl.: napi záróárfolyamok a tőzsdén, éves gabonatermés, stb. T az időpontok halmaza, ami lehet diszkrét vagy folytonos. minta szemlélet: empírikus idősor egyváltozós idősor: skalárértékű valószínűségi változóból származik többváltozós idősor: vektorértékű valószínűségi változóból származik
Idősorelemzési megközelítések Két nagy csoport: időtartománybeli- és a frekvenciatartománybeli elemzések. Determinisztikus elemzés: az idősort alakító tényezők teljeskörűen számbavehetők, ezáltal az idősor alakulása időben tökéletes pontossággal felírható. A véletlen csak a gyakorlatban játszik szerepet. De a véletlen szerepe itt véget is ér, a későbbi időpontokra ennek már nincs hatása. = dekompozíciós modellek: különböző, eltérő tartalmú komponensekre bontott idősor, additív vagy multiplikatív formában felépítve. Pl.: additív esetben Y t = R t + C t + S t + u t, ahol R, C és S a trend, a ciklikus és a periodikus komponens, u pedig a véletlen folyamat. Sztochasztikus elemzés: a véletlen eltérés később is hatással van az idősor alakulására, azaz folyamatépítő szerepe van.
Példa 3 x 104 Time domain 160 Frequency domain 2.8 2.6 140 2.4 120 Amplitude 2.2 2 1.8 Magnitude (db) 100 1.6 80 1.4 60 1.2 1 100 200 300 400 500 600 700 800 Samples 40 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 Normalized Frequency ( π rad/sample) Figure : Időtartomány vs. frekvencia-tartomány, MOL adatok
Példa Példa: legyen α R tetszőleges, és Yt D Yt S ahol u N(0, σ). Ekkor = αt + u t = α + Y S t 1 + u t, Y S 0 = 0 E(Y D t ) =αt és E(Y S t ) = αt D 2 (Y D t ) =σ 2 és D 2 (Y S t ) = tσ 2 tehát a két idősor várható értékben ugyan azonos, de míg Yt D szórása állandó, addig Yt S szórása időben változó (azaz beépülnek a sokkok az idősorba).
Példa 160 140 Y S Y D 120 100 values 80 60 40 20 0 0 50 100 150 time Figure : Determinisztikus és sztochasztikus trend
Példa 3 x 104 2.8 2.6 2.4 2.2 2 1.8 1.6 1.4 1.2 1 0 100 200 300 400 500 600 700 800 Figure : MOL napi záróárfolyamok 2005 és 2008 között
Stacionaritás Az idősorelemzés legalapvetőbb fogalma - lényegében egy megkötést jelent az idősor valószínűségi struktúrájára nézve az idősor statisztikai kezelhetőségének érdekében. Cél: adott minta alapján az ismeretlen határeloszlás rekonstruálása, azaz az egyes időpontokhoz tartozó valószínűségi változók együttes eloszlását kellene megadnunk. Lehetetlen feladat a gyakorlatban, hiszen csak egyetlen mintánk van! Ezért megkötéseket teszünk az együttes eloszlásra a kezelhetőség érdekében. = STACIONARITÁS FOGALMA
Stacionaritás Definíció 1. Az (Y t ) idősor erős értelemben stacionárius, ha minden véges dimenziós vetületének együttes eloszlása eltolásinvariáns. Azaz k 1 esetén t 1,..., t k indexhalmazra (Y t1,..., Y tk ) és (Y t1 +h,..., Y tk +h) eloszlása megyezik bármely h R esetén. Túl sokat követel, a gyakorlatban ellenőrizhetetlen ez a feltétel, így gyengítünk rajta. Definíció 2. Az (Y t ) idősor gyenge értelemben stacionárius, ha első- és második momentuma eltolásinvariáns, azaz EY t = m minden t esetén, és γ(t, s) =Cov(Y t, Y s ) = γ(t s) bármely t, s pár esetén. Nyilvánvaló, hogy gyengén stacionárius idősor esetén D 2 (Y t ) = σ 2 konstans minden t esetén.
Példa 5 4 3 2 1 0 1 2 3 4 0 10 20 30 40 50 60 70 80 90 100 Figure : Példa stacionárius idősorra az y t = 0, 5y t 1 + 0, 7y t 2 + u t, u t N(0, 3) stacionárius specifikációból
Példa Legyen Y t+1 = αy t + ε t, t N, ahol Y 0 = ξ valószínűségi változó, (ε t ) pedig i.i.d. sorozat 0 várható értékkel és konstans σ szórással. Milyen feltételek mellett lesz a folyamat stacionárius? Megoldás: Iterálva az egyenletet adódik, hogy Y t+1 = αy t +ε t = α(αy t 1 +ε t 1 )+ε t =... = Tehát EY t+1 = α t+1 EY 0, t α k ε t k +α t+1 Y 0. k=0 ami akkor lesz t-től független, ha vagy α = 1 vagy EY 0 = 0. Az α = 1 eset a véletlen bolyongás esete, ezzel most nem foglalkozunk. Tehát azt kell feltennünk, hogy EY 0 = 0, és ekkor EY t = 0 minden t esetén.
Példa Másrészt és t EYt+1 2 = σ 2 α 2k + α 2t+2 EY0 2 EY 2 t k=0 t 1 = σ 2 α 2k + α 2t EY0 2. k=0 Így az EYt+1 2 = EY t 2 egyenlőség minden t esetén akkor áll fenn, ha α 2t EY 2 0 = α 2t+2 EY 2 0 + σ 2 α 2t, azaz EY0 2 = σ2 1 α 2 feltéve, hogy α < 1. Azaz EY t = 0 és α < 1 szükséges a gyenge stacionaritáshoz, és ekkor EY 2 t = σ2 1 α 2 t T.
Példa Vajon elegendő is ez a feltétel a gyenge stacionaritáshoz? Ehhez a γ k = Cov(Y t, Y t+k ) autokovariancia függvény eltolásinvarianciáját kell vizsgálnunk. Mivel így k Y t+k Y t = (α k Y t + α i ε t+k i )Y t, i=1 E(Y t+k Y t ) =α k EY 2 t + E[Y t (ε t+k 1 + αε t+k 2 +... + α k+1 ε t )] = = α k σ 2 1 α 2, ami valóban csak k függvénye, tehát a feltétel elegendő is.
Stacionaritási jellemzők becslése a mintából Csak sokasági szemléletben becsülhetők, a mintából történő becslésük reménytelen, ezért fontos a stacionaritás kérdése! várható érték becslése: a szokásos tapasztalati mintaátlag (ˆµ) szórásnégyzet becslése: a szokásos tapasztalati szórásnégyzet ( ˆσ 2 ) kovariancia becslése: az autokovariancia függvény tapasztalati úton való becslésével, azaz Korreláció becslése: a ˆγ k = 1 T k (y t ˆµ)(y t+k ˆµ) T k t=1 ˆρ k = ˆγ k ˆσ 2 tapasztalati autokorreláció (ACF) függvény segítségével.
ACF - Korrelogram 1 0,5 0,2 0 0.2 0,5 0 5 10 15 20 25 Figure : Példa stacionárius idősor autokorreláció függvényére
Parciális autokorreláció függvény - PACF Parciális korreláció: két változó közötti kapcsolat erőssége akkor, ha közöttük a megadott változókon keresztül terjedő hatásokat kiszűrjük. A két változónk most két különböző időpont, a kiszűrt változók pedig a két időpont közötti időpontok (mint v.v-k). 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0 5 10 15 20 25 Figure : Példa stacionárius idősor parciális autokorreláció függvényére
ACF szignifikanciájának tesztelése A statisztikai próba hipotétisei: H 0 : ρ k = 0 és H 1 : ρ k 0 Könnyen ellenőrizhető, hogy a normális eloszlással való közelítés megfelelő lesz, így a próbastatisztika Elfogadási tartomány: ˆρ k 1/ T N(0, 1). [ z 1 α/2, z 1 α/2 ] A korrelogram ábrájáról könnyen leolvasható, hogy a kapott autokorrelációs értékek ebbe a sávba esnek-e, vagy sem.
ACF szignifikanciájának tesztelése Az előző módszer persze csak egyenkénti vizsgálatra jó! Ha egyszerre tekintjük az összes együttható szignifikanciáját, akkor az elsőfajú hibák kumulálódása miatt erejét veszti a teszt! Helyette tehát összetettebb tesztet kell alkalmaznunk. A statisztikai próba hipotézisei: H 0 : ρ 1 =... = ρ k = 0 és H 1 : i : ρ i 0 A legnépszerűbb statisztikai teszt a fenti nullhipotézis ellenőrzésére az ún. Ljung-Box teszt, melynek tesztstatisztikája és eloszlása: Q = T (T + 2) k i=1 ˆρ i 2 T i χ 2 k
MOL ACF 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 5 10 15 20 25 Figure : A MOL idősor autokorreláció függvénye
Stacionaritás ellenőrzése az idősor grafikus vizsgálata (pl. trendet tartalmazó idősor nyilvánvalóan megsérti a gyenge stacionaritás várható értékének állandóságára vonatkozó feltételét) a korrelogram lecsengésének vizsgálata (stacioner idősorok esetén a korrelogram tipikusan lecsengő, míg nem-stacioner esetben ez nem teljesül) statisztikai tesztek a stacionaritás vizsgálatára (Dickey-Fuller és augmented Dickey-Fuller tesztek) - ezen tesztek tárgyalásával később fogunk foglalkozni
Két fő feladat Tehát két fő feladatunk van: 1 Nem-stacionárius idősort alkalmas transzformációval stacionáriussá tenni trend szűrés - determinisztikus és sztochasztikus eset szezonalitás szűrés periodicitás szűrés 2 Stacionárius idősorok modellezése, becslése és előrejelzése Lineáris modellek: AR, MA és ARMA Nemlineáris modellek: ARCH és GARCH
Determinisztikus trend szűrése - 1. módszer Mozgó átlagolás: a trendet az eredeti idősor dinamikus átlagaként állítjuk elő. Tegyük fel, hogy idősorunk T hosszú, és legyen k a mozgó ablak szélessége. Képezzük ekkor az Ȳ 1 = Y 1 +... + Y k k Ȳ 2 = Y 2 +... + Y k+1 k. Ȳ T k+1 = Y T k+1 +... + Y T k átlagokat. Az átlagolás hatására eltűnik mind a véletlen hatás, mind a szezonális ingadozás az adatsorból, a mozgó átlagok pedig a trend közelítő értékeit adják. Ezeket az értékeket kivonva az eredeti idősorból a trendhatás megszűnik.
Determinisztikus trend szűrése - 2. módszer Analitikus trendszámítás: az idősor grafikonja alapján választjuk a trendfüggvény alakját, majd ennek ismeretlen paramétereit a legkisebb négyzetek módszerével becsüljük. Néhány speciális eset: lineáris trend: ŷ t = b 0 + b 1 t alakban keresendő (egyenletes fejlődés) polinomiális trend: ŷ t = b 0 + b 1 t +... + b n t n alakban keresendő (változó intenzitású fejlődés) exponenciális trend: ŷ t = b 0 b1 t alakban keresendő (relatív változás állandóságának feltételezése esetén) hiperbolikus trend: ŷ t = 1 b 0 +b 1 t alakban keresendő (halálozási arányszámok) logisztikus trend: ŷ t = 1+be alakban keresendő at (népesség-növekedés, gyártási adatsorok) k Összességében a determinisztikus trendet tartalmazó idősorokat trendstacioner folyamatoknak nevezzük.
Sztochasztikus trend szűrése Ebben az esetben az előző módszerek már nem működnek. Új trükk: differenciázás művelete, mely egy új, transzformált idősort képez az eredeti idősor t-edik és (t 1)-edik elemének különbségeként. Például, ha az idősorunk Y (S) t = α + Y (S) t 1 + X t, Y 0 = 0 alakú, ahol X t maga stacionárius folyamat, akkor Y t = Y (S) t Y (S) t 1 a differenciázott folyamat, mely már stacionárius lesz.
Sztochasztikus trend szűrése Mire jó a differenciázás? Sztochasztikus lineáris trend szűrésére jó, de másfajta trendfüggvényt nem tud kiszűrni az adatokból. Magasabbrendű trendfüggvények kezelésére a többszöri differenciázás művelete lesz a megoldás. Definíció 3. Egy idősort d-ed rendben integrált idősornak nevezünk, ha d-ed rendű differenciázottja már stacionárius idősor. Jele: I(d). Természetesen mint mindent, úgy ezt is, a korábban már említett statisztikai tesztek (DF és ADF tesztek) segítségével igazolni kell. Ezekről majd később lesz szó.
Példa 120 110 100 90 80 70 60 50 0 10 20 30 40 50 60 70 80 90 Figure : Villamosenergia adatok
Szezonális hullámzások szűrése Tegyük fel, hogy idősorunkban trendhatás már nem érvényesül. Ekkor a modellünk Y ij = Ȳ + d j + X ij alakú, ahol X ij stacionárius véletlen hatás, d j a szezonális komponens, és Ȳ = 1 n m Y ij, nm i=1 j=1 ahol n a periódusok száma (pl. évek), m pedig az ezen belüli szakaszok (pl. hónapok, negyedévek) száma. A véletlen hatás kiküszöbölése érdekében szezononként átlagolunk: Ȳ j = 1 n Y ij. n i=1 Ekkor Ȳ j = Ȳ + ˆd j, azaz a szezonális eltérés becslése nem más, mint az Ȳ j Ȳ különbség.
LINEÁRIS MODELLEK
Lineáris modellek - AR(p) Jelölje z az időeltolás operátorát, azaz zx t = x t 1 bármely t esetén. Ekkor z j x t = x t j, és bármely A(s) = p i=0 α is i polinomra p A(z)x t = α i x t i Tegyük fel mostantól, hogy a folyamat mindig 0 várható értékű. Definíció 4. Az (ε t ), t Z v.v-sorozatot fehérzajnak nevezzük, ha E(ε t ) = 0, D 2 (ε t ) = σ 2 t, és Cov(ε t, ε s ) = 0, ha t s. Definíció 5. i=0 Az (X t, t Z) folyamat AR(p) folyamat, ha előáll X t + α 1 X t 1 +... + α p X t p = ε t, t Z (1) alakban, ahol α 1,..., α p R paraméterek, (ε t ) pedig fehérzaj folyamat.
Lineáris modellek - AR(p) Könnyen látható, hogy az A(s) = 1 + α 1 s +... + α p s p jelöléssel a folyamat az A(z)X t = ε t kompakt alakban is felírható, ahol z az időeltolás operátora. Tétel 1. Az (X t, t Z) AR(p) folyamat stacionárius, ha az A(s) polinom gyökei az egységkörön kívülre esnek. Mivel a folyamat 0 várható értékű, így az autokovarianciák kiszámításához csak a Cov(X t k, X t ) = E(X t k X t ) = γ k értékeket kell meghatároznunk k 0 esetén, hiszen γ szimmetrikus, azaz γ k = γ k.
Lineáris modellek - AR(p) A folyamatot meghatározó (1) egyenletet megszorozva X t k -val, majd várható értéket véve az alábbi, ún. Yule-Walker egyenletrendszer adódik: k = 0 : γ 0 + α 1 γ 1 +... + α p γ p = σ 2 k = 1 : γ 1 + α 1 γ 0 +... + α p γ p 1 = 0. k = p : γ p + α 1 γ p 1 +... + α p γ 0 = 0 k > p : γ k = α 1 γ k 1... α p γ k p Az egyenletrendszer pontosan akkor oldható meg, ha az A(s) polinomnak nincs 1 abszolútértékű gyöke.
Lineáris modellek - AR(p) 4 3 2 Series values 1 0 1 2 3 0 50 100 150 time 1 0.8 0.6 ACF values 0.4 0.2 0 0.2 0.4 0 2 4 6 8 10 12 14 16 18 lags Figure : AR(2) folyamat és autokorreláció függvénye
Lineáris modellek - MA(q) Fehérzajból egyszerűen kikeverhető folyamatok. Definíció 6. Az (X t, t Z) folyamat MA(q) folyamat, ha előáll X t = β 0 ε t + β 1 ε t 1 +... + β q ε t q, t Z (2) alakban, ahol β 0,..., β q R paraméterek, (ε t ) pedig fehérzaj folyamat. Erős és gyenge értelemben is stacionárius a folyamat, továbbá q k = 0 : γ 0 = 0 < k q : γ k = k > q : γ k = 0 βj 2 j=0 q k j=0 β j β j+k
Lineáris modellek - MA(q) Azt kaptuk tehát, hogy a (β 0,..., β q ) paraméterek egyértelműen meghatározzák a (γ 0,..., γ q ) sorozatot. Igaz-e ez fordítva is? Tekintsük ehhez a következő két folyamatot: X t = ε t + βε t 1, t Z, Y t = βε t + ε t 1, t Z. Ekkor nyilván β 1 esetén a két folyamat különbözik, viszont autokovariancia függvényükre ugyanaz a γ 0 = 1 + β 2, γ 1 = β, γ k = 0, k 2 előállítás adódik, tehát az állítás megfordítása már nem igaz.
Lineáris modellek - MA(q) Viszgáljuk még egy kicsit az előbbi két folyamatot. Visszafejtve a rekurziókat adódik, hogy egyrészt ε t = X t βε t 1 = X t β(x t 1 βε t 2 ) =... = másrészt ε t = 1 β (Y t ε t 1 ) = 1 β ( 1) k β k X t k, k=0 ( Y t 1 ) β (Y t 1 ε t 2 ) =... = = ( 1) k 1 β k+1 Y t k. k=0 Mindkét esetben akkor létezik az előállítás, ha a jobb oldali sor konvergens. Ez az első esetben a β < 1 feltételt, míg a második esetben a β > 1 feltételt jelenti.
Lineáris modellek - MA(q) Azaz β értékétől függ, hogy melyik folyamatból tudjuk a fehérzajt rekonstruálni. Ez a megfigyelés vezet el a mozgóátlag folyamatok egy fontos tulajdonságához. Definíció 7. Az (X t, t Z) MA(q) folyamat invertálható, ha a B(s) = β 0 + β 1 s +... + β q s q polinom gyökei az egységkörön kívülre esnek. Tétel 2 (Wold). Ha valamely (γ 0,..., γ q ) sorozathoz létezik olyan (β 0,..., β q ) sorozat, melyre az autokovariancia egyenletek teljesülnek, akkor létezik olyan MA(q) folyamat, melynek éppen ez a (γ 0,..., γ q ) sorozat az autokovariancia függvénye. Továbbá ha valamely (X t ) folyamatra γ k = 0 k q esetén, akkor (X t ) MA(q) folyamat.
Lineáris modellek - MA(q) 1.5 1 0.5 series values 0 0.5 1 1.5 0 50 100 150 time 1.2 1 0.8 ACF values 0.6 0.4 0.2 0 0.2 0 2 4 6 8 10 12 14 16 18 lags Figure : MA(3) folyamat és autokorreláció függvénye
Lineáris szűrők Definíció 8. Legyen adott egy ψ j, j Z sorozat, melyre j Z ψ j <. Az Y t = Y t (ψ, X) = j= ψ j X t j folyamatot az X t gyengén stacionárius folyamatból a ψ j -k által adott lineáris szűrővel definiált folyamatnak nevezzük. Ha ψ j = 0, j < 0, akkor a szűrő kauzális, avagy fizikailag megvalósítható. Pl.: az MA( ) folyamatok éppen azok, melyek előállnak fehérzajra alkalmazott szűrő kimeneteként.
Lineáris szűrők - Példa Tekintsük az alábbi X t+1 = αx t + ε t+1 AR(1) folyamatot, ahol (ε t ) fehérzaj, α < 1. Láthatóan azaz formálisan felírhatjuk, hogy X t = 1 1 αz ε t = (1 αz)x t = ε t, α i z i ε t = α i ε t i i=0 i=0 a geometriai sor összegképletét felhasználva, vagyis megkaptuk az MA( ) előállítást. Ezt a módszert általánosabb folyamatokra is kiterjesztjük, mellyel a mérnöki gyakorlat egyik legfontosabb stacionárius folyamatosztályához jutunk.
Lineáris modellek - ARMA(p, q) Definíció 9. Az (X t, t Z) folyamat ARMA(p, q) folyamat, ha előáll X t = α 1 X t 1 +... + α p X t p + β 0 ε t +... + β q ε t q, t Z (3) alakban, ahol α 1,..., α p, β 0,..., β q R paraméterek, (ε t ) pedig fehérzaj folyamat. Könnyen látható, hogy az polinomok segítségével az A(s) = 1 α 1 s... α p s p B(s) = β 0 + β 1 s +... + β q s q kompakt forma adódik. A(z)X t = B(z)ε t
Lineáris modellek - ARMA(p, q) A fenti előállítás persze ebben a formában nem egyértelmű, hiszen mindkét oldalra alkalmazva egy alkalmas polinomot, ugyanannak a folyamatnak egy másik előállítását kapjuk. Ennek elkerülése végett feltesszük, hogy A és B relatív prímek a valós együtthatós polinomok számtestje felett. Tétel 3. 1 Ha A(z) gyökei az egységkörön kívülre esnek, akkor létezik a (3) egyenletnek eleget tevő (X t ) folyamat olyan, melynek van kauzális MA( ) előállítása. Az ilyen ARMA folyamatokat stabil folyamatoknak nevezzük. 2 Ha B(z) gyökei az egységkörön kívülre esnek, akkor (X t ) invertálható és létezik AR( ) előállítása.
Lineáris modellek - ARMA(p, q) Az autokovarianciák előállításához legyenek c k = E(X t X t k ) és d k = E(X t ε t k ). Ekkor d k = 0, ha k < 0, hiszen X t nem függ a jövőtől, továbbá k = 0 : d 0 = β 0 k = 1 : d 1 = α 1 d 0 + β 1. k = p : d p = α 1 d p 1 +... + α p d 0 + β p és k = 0 : k = 1 : c 0 = α 1 c 1 +... + α p c p + β 0 d 0 +... + β q d q c 1 = α 1 c 0 +... + α p c p 1 + β 1 d 0 +... + β q d q 1. k = q : c q = α 1 c q 1 +... + α p c q p + β q d 0 k > q : c k = α 1 c k 1 +... + α p c k p
Lineáris modellek - ARMA(p, q) 2 1.5 1 Series values 0.5 0 0.5 1 1.5 0 50 100 150 time 1.2 1 0.8 ACF values 0.6 0.4 0.2 0 0.2 0 2 4 6 8 10 12 14 16 18 lags Figure : ARMA(2, 3) folyamat és autokorreláció függvénye