3. fejezet. Lineáris folyamatok Zaj folyamatok. 1. Az ε(t) folyamat független érték zaj, ha a várható értéke 0 és

Átírás

1 18

2 3. fejezet Lineáris folyamatok 3.1. Zaj folyamatok 1. Az ε(t) folyamat független érték zaj, ha a várható értéke 0 és ε(t)-k független, azonos eloszlású valószín ségi változók. 2. Az ε(t) folyamat fehér zaj, ha Eε(t) = 0, és ε(t)-k azonos eloszlásúak minden t-re és korrelálatlanok (de nem feltétlen függetlenek). A fehér zaj autokovariancia-függvénye R(0) = σ 2, R(τ) = 0 (τ 1). A független érték zaj er sen, a fehér zaj gyengén vagy másodrendben stacionárius. Továbbá ϕ(λ) = 1 2π τ= e iλτ R(τ) = 1 σ2 R(0) = 2π 2π, tehát a Fourier-transzformált konstans, így a spektrálmértéke minden frekvenciára azonos súlyt helyez. Innen ered az elnevezés, hiszen fehér fény ugyanígy áll el az összes lehetséges különböz szín komponensb l. 19

3 20 FEJEZET 3. LINEÁRIS FOLYAMATOK 3.2. Autoregressziós folyamatok Els rend autoregresszió, AR(1) : X(t) = αx(t 1) + σ ε ε(t). Az ε(t)-k független, azonos eloszlású valószín ségi változók, általában N(0, 1)-ek, de eloszlásuk lehet persze más is. Általában (de nem mindig) EX(t) = 0 és amennyiben oksági a megoldás, azaz X(t 1) és ε(t) függetlenek, akkor D 2 X(t) = α 2 D 2 X(t 1) + σ 2 εd 2 ε(t) (a függetlenség miatt a szórásnégyzetek összeadódnak). Ha létezik stacionárius megoldás, akkor D 2 X(t) = D 2 X(t 1)-b l következik, hogy σ 2 X = α2 σ 2 X +σ2 ε, azaz σ2 X = σ2 ε 1 α 2 > 0. Így α 1 esetén nincs stacionárius megoldás (nem lenne véges vagy nem lenne pozitív a szórásnégyzet). Állítás Ha α < 1, akkor létezik stacionárius megoldás. (Ezt egyel re higgyük el, ellenkez esetben láttuk, hogy nem létezik.) R(k) = cov(x(t), X(t + k)) = cov(x(t), α X(t + k 1) + σ ε(t + k)) = = α cov(x(t), X(t + k 1)) = α R(k 1), ami kielégíti a zaj nélküli rekurziót (az pedig exponenciális sebességgel lecseng). Mivel R(0) = D 2 X(t) = σ 2 X, így R(k) = σ 2 X α k = αk 1 α 2 σ2 ε, és r(k) = R(k) R(0) = αk.

4 3.2. AUTOREGRESSZIÓS FOLYAMATOK 21 Ha ε(t) standard normális eloszlású, akkor X(0) N(0, σx 2 ), és az autokorreláció-függvény által az összes véges dimenziós eloszlás adott. A parciális autokorreláció-függvény (PACF) α k = 1 ϱ(k) = 0 k 2. Ezt k = 2-re könnyen láthatjuk, ugyanis ε(t) független zaj mellett a parciális autokovarianciára 0-t kapunk: ϱ(2) = cov(x(t + 2), X(t) X(t + 1)) = = cov(αx(t + 1), X(t) X(t + 1)) + cov(ε(t + 2), X(t) X(t + 1)) = = α E [ X(t + 1) E(X(t + 1) X(t + 1)) ][ X(t) E(X(t) X(t + 1)) ] + 0 mert ε(t + 2) és X(t) függetlenek (feltételesen is), a feltételes várható értékeket tekintve pedig könnyen láthatóan 0-t kapunk, így ez tovább = α = 0. Továbbá k > 2-re ugyanígy a rekurziós egyenlet miatt a feltételre mérhet lesz X(t + k 1). [!! Szept. 22-i megjegyzések hiányoznak: lineáris folyamatok] Most tegyük fel, hogy α < 1, és iteráljuk az AR(1) els rend autoregressziós egyenletet. X(t) = αx(t 1) + ε(t) X(t) = α(αx(t 2) + ε(t 1)) + ε(t)... X(t) = α s+1 X(t s 1) + [α s ε(t s) αε(t 1) + ε(t)],

5 22 FEJEZET 3. LINEÁRIS FOLYAMATOK ahol az utolsó egyenl ség jobb oldalában az els maradéktag exponenciális sebességgel lecseng, a szögletes zárójelen belüli pedig egy lineáris folyamathoz hasonlít. Így X(t) s α u ε(t u) = α s+1 X(t s 1), erre a négyzet várható értéke ( 2 s E X(t) α u ε(t u)) = α 2s+2 E ( X(t s 1) 2) 0, ha EX 2 (t) < K minden t-re, ami persze teljesül, ha X(t) stacionárius s folyamat. Ezzel α u ε(t u) s X(t) L 2 -ben, tehát legyen ez az L 2 -beli határérték a megoldás X(t) = α u ε(t u). (Ez stacionárius is.) Állítás Ha α < 1, ε(t) i.i.d. zaj, továbbá E(ε(t) 2 ) <, akkor az AR(1) egyenletnek létezik stacionárius megoldása. Bizonyítás: 1) Az ε(t)-r l feltehet, hogy negatív értékre is értelmezett, hiszen ha nem így lenne, akkor a Kolmogorov-alaptétel szerint kiegészíthetjük függetlenül ugyanazon eloszlásból. 2) A α u ε(t u) független tagú összeg konvergens L 2 -ben és 1 valószín séggel is. Ugyanis L 2 -ben nyilván Cauchy, ezért konvergens, az 1 valószín ség konvergenciához pedig a független tagok miatt elég a második momentumok konvergenciáját látni 1. Így X(t) = α u ε(t u) jóldeniált. 3) X(t) kielégíti az AR(1) egyenletet: [ ] X(t + 1) = α u ε(t + 1 u) = α α v ε(t + 1 v 1) + ε(t + 1) = 1 A Kolmogorov-Hincsin-tétel szerint ha EXn 2 <, akkor X n 1 valószín séggel konvergens. A feltétel a mi esetünkben Eα 2u ε 2 (t u) végességét jelenti, ami az α < 1-b l és Eε(t) 2 végességéb l rögtön következik. Ugyanis v=0 α 2u ε 2 (t u) = 1 1 α 2 Eε 2 (t u) <.

6 3.2. AUTOREGRESSZIÓS FOLYAMATOK 23 = α α v ε(t v) + ε(t + 1) = αx(t) + ε(t + 1) v=0 4) Az így deniált X(t) eloszlása eltolásinvariáns (stacionárius eloszlású): X(t) = α u ε(t u) X(t + h) = α u ε(t + h u), mivel ε(t) és ε(t+h) eloszlásban megegyeznek, ezért mint sorozatok is. Ezzel minden t 1,..., t k -ra teljesül, hogy X(t 1 ),..., X(t k ) X(t 1 +h),..., X(t k + h). Ezzel igazoltuk, hogy X(t) stacionárius. Megjegyzés Az ε(t) fehér zajról: várható értéke 0, minden t-re ε(t) azonos eloszlású, és corr(ε(t), ε(t + h)) = 0. Továbbá R(0) = σε 2 és R(t) = 0, ha t > 0. A Fourier-transzformált ϕ(λ) = 1 2π e iλt R(t) = 1 2π σ2 ε minden λ t= ( π, π)-re (csak a t = 0 tag marad meg). Azaz a spektrál-s r ségfüggvénye λ-tól független konstans (tehát az el állításában minden frekvencia azonos amplitúdóval vesz részt, mint a fehér fénynél). AR(1)-re ϕ(λ) = 1 2π t= e iλt R(t) = 1 2π [ = 1 2π R(0) e iλt α t + t=0 = 0 t= ] e iλt α t 1 t=0 e iλt R(t)+ 1 2π [ = σ2 X 2π e iλt R(t) R(0) = t=0 1 1 α e + 1 iλ 1 α e 1 iλ σ 2 ε 2π(1 α 2 ) 1 αeiλ + 1 αe iλ 1 αe iλ 2 1 αe iλ 2 = ] =

7 24 FEJEZET 3. LINEÁRIS FOLYAMATOK = 1 2π σ 2 ε 1 α αeiλ αe iλ + αe iλ + αe iλ α 2 1 αe iλ 2 = = σ2 ε 2π 1 1 αe iλ 2, tehát a fehér zajhoz képest lényeges a különbség az AR(1)-nél. Példa Nézzünk egy példát nem Gauss-féle fehér zajból generált AR(1)-re. Legyen P (ε(t) = 1 2 ) = P (ε(t) = 0) = 1 2 minden t-re. Az X(t) = 1 2X(t 1) + ε(t) egyenlet stacionárius megoldása ( ) u 1 ( ) u+1 1 ε(t u) = 2ε(t u). 2 2 A 2ε(t u) egy véletlen 0-1 sorozat. Az 1 2 hatványaival szorozva tetsz leges [0, 1]-beli számot el állít, és mivel minden 0-1 sorozat "egyenl en valószín ", ezért a [0, 1]-belieken egyenletes lesz az el állított számok eloszlása. Tehát a stacionárius eloszlás U(0, 1) lesz. Ebb l látszik, hogy a zaj eloszlása nem sokat mond a stacionárius eloszlásról, hiszen ebb l a diszkrét ε(t)-b l abszolút folytonos eloszlású X(t)-t kaptunk. El rejelzés: E(X(t) X(t 1)) = 1 2 X(t 1) + 1 4, mert a zaj nem 0 várható érték (ez lineáris). A hátrafelé predikció pedig E(X(t 1) X(t)), ha például a mai értéket ismerjük, de a tegnapit elfelejtették regisztrálni. Az egyenlet kétszereséb l 2X(t) 2ε(t) = X(t 1), így X(t 1) = 2X(t) mod(1) a stacionárius esetben. E(X(t 1) X(t)) = 2X(t) mod(1), ami nem lineáris, tehát a legjobb és a legjobb lineáris becslés (predikció) nem esik egybe. Általában E(X(t) X(t 1)) = E(X(t) F t ), tehát az AR(1) folyamat Markov-folyamat. Ez tovább = E(αX(t 1) + ε(t) X(t 1)) = αx(t 1),

8 3.2. AUTOREGRESSZIÓS FOLYAMATOK 25 ha a megoldás a zaj jöv jét l független. (ε(t) az X(t 1)-t l független, és a feltételhez vett további múltbéli tagok nem változtatnak: ε független és αx(t 1) mérhet marad a feltételre nézve). Ekkor a legjobb lineáris el rejelzés a legjobb el rejelzés Másodrend autoregresszió (AR(2)) A másodrend autoregressziós folyamat az alábbi egyenletet elégíti ki: X(t) = α 1 X(t 1) + α 2 X(t 2) + σ ε ε(t), azaz X(t) α 1 X(t 1) α 2 X(t 2) = σ ε ε(t). Ennek megfelel en az ún. karakterisztikus polinom x 2 α 1 x α 2. A stacionárius megoldás létezésének szükséges és elégséges feltétele, hogy a karakterisztikus polinom gyökei az egységkörön belül legyenek. (A közönséges rekurzió is akkor stabilis, ha a gyökök az egységkörön belül vannak.) [Ábra] A gyökök összege α 1, ebb l rögtön következik, hogy 2 < α 1 < 2. Ezen kívül a karakterisztikus polinomnak (ha gyökei valósak) az 1 illetve -1 helyen felvett értékeinek pozitívnak kell lenniük (pozitív f együttható miatt felfelé néz parabola), amib l adódik, hogy α 2 + α 1 < 1, α 2 α 1 < 1. Így az (α 1, α 2 ) síkon ez utóbbi három egyenl tlenség által meghatározott háromszögön belül lesznek a gyökök. Az autokovarianciafüggvény R(k) = α 1 R(k 1)+α 2 R(k 2), illetve az autokorreláció-függvény r(k) = α 1 r(k 1)+α 2 r(k 2). A parciális autokorreláció-függvényre pedig ϱ(1) = α 1 1 α 2, ϱ(2) = α 2 és ϱ(k) = 0, ha k 3. (Általában is igaz, hogy az els p nem nulla.)

9 26 FEJEZET 3. LINEÁRIS FOLYAMATOK Legjobb el rejelzés: E(X(t) F t ) E(X(t) X(t 1)), azaz X(t) nem Markov-tulajdonságú. Ehelyett E(X(t) F t ) = E(α 1 X(t 1)+α 2 X(t 2)+σε(t) F t ) = α 1 X(t 1)+α 2 X(t 2), azaz a legjobb el rejelzés lineáris. Ebben felhasználtuk hogy X(t) független a zaj jöv jét l, azaz oksági a megoldás p-edrend autoregressziós folyamat, (AR(p)) Legyen ε(t) független érték zaj, (pl. speciálisan Gauss-féle fehér zaj), és X(t) elégítse ki az X(t) = α 1 X(t 1) + α 2 X(t 2) α p X(t p) + σ ε ε(t) egyenletet. Ekkor X(t) p-edrend autoregressziós folyamat. Az egyenletet átrendezve: p p X(t) α k X(t k) = X(t k) α k = σ ε(t) k=1 Ennek a karakterisztikus polinomja p P (x) = α k x p k, ahol α 0 = 1, α k = α k. Tétel Az AR(p) egyenletnek pontosan akkor létezik eloszlását tekintve egyértelm, stacionárius megoldása, megfelel X(0) = X 0,..., X(p 1) = X p 1 indítással, ha az így deniált karakterisztikus polinom komplex gyökei az egységkörön belül vannak 2. Ez a Gauss esetben er sen sta- 2 idáig még nem szükséges a Gauss-tulajdonság

10 3.2. AUTOREGRESSZIÓS FOLYAMATOK 27 cionárius is. Nem stacionáriusan indított AR(p) folyamat pedig exponenciális sebességgel stacionarizálódik, más szóval a folyamat geometrikusan ergodikus. Megjegyzés Szokás még a P (x) = p α k x k polinomot is tekinteni. Erre P (x) = x p P ( 1 x ), és a tétel feltétele úgy módosul, hogy ennek gyökei az egységkörön kívül vannak. Deníció B az eltolás vagy visszaléptetés operátor (backward shift), ha sít. BX(t) = X(t 1), B 2 X(t) = X(t 2)... Megjegyzés Ezzel is felírható az autoregressziós egyenlet: ( p ) α k B k X(t) = ε(t). Innen ( p ) 1 X(t) = α k B k ε(t) formálisan és valóban is, ha az inverzoperátor létezik. Operátorok függvényét pedig Taylor-sorokkal deniálhatjuk, és akkor létezik az inverz, ha a függvény konvergenciasugara nagyobb, mint az operátor spektrálsugara. Tekintsük az p 1 α k x k = δ k x k

11 28 FEJEZET 3. LINEÁRIS FOLYAMATOK Taylor sorfejtést. Ez alapján ( p ) 1 X(t) = α k B k ε(t) = δ k B k ε(t) = δ k ε(t k). Annak a megállapítására, hogy ez mikor lesz konvergens, alkalmazzuk a spektrálsugár feltételt, mely szerint az operátor spektrálsugara kisebb, mint a Taylor sor konvergenciasugara. Ebb l az következik, hogy a stacionárius megoldás létezésének feltétele, hogy a polinom gyökeinek az egységkörön belül kell lenniük. Err l szól a következ állítás. Állítás δ k ε(t k) pontosan akkor konvergens, ha a karakterisztikus polinom gyökei az egységkörön belül vannak. Ekkor X(t) független lesz a zaj jöv jét l, továbbá mivel X(t + h) megkapható ε h (t) = ε(t + h)- val is X(t + h) = δ k ε h (t k) így stacionárius megoldását adja az egyenletnek. 3 A spektrál-s r ségfüggvény a fenti karakterisztikus polinommal kifejezve a σ 2 ε 1 2π 1 P (e iλ ) 2 alakot ölti. Állítás Stacionárius esetben a következ k igazak az autokovariancia-függvényre: 1. R(0) = α 1 R(1) α p R(p) + σ 2 ε. 2. R(τ) = α 1 R(τ 1) α p R(τ p), ahol τ 1. 3 Az AR(p) folyamat nem Markov, de beágyazható úgy, mint egy p-dimenziós Markov-folyamat els komponense, amivel szintén igazolható a stacionárius megoldás létezése ("egységkörös" tétel).

12 3.2. AUTOREGRESSZIÓS FOLYAMATOK 29 Bizonyítás: Tudjuk, hogy R(τ) = R( τ). Tegyük fel, hogy EX(t) = 0, ekkor R(0) = E(X(0) 2 ) = E ( X(0) (α 1 X( 1) α p X( p) + σε 2 ε(0) )). Innen 1. rögtön adódik E(X(0)X( τ)) = R( τ) = R(τ), valamint E(X(0) ε(0)) = σε 2 miatt. Hasonlóan R(τ) = E (X(0)X(τ)) = E ( X(0) ( α 1 X(τ 1) α p X(τ p) + σε 2 ε(τ) )), de itt most E (X(0)ε(τ)) = 0, mert a zaj jöv jét l független a folyamat. Ezzel 2. is megvan. Deníció Az állításban szerepl egyenletek az ún. Yule-Walkeregyenletek. Ha az els p autokovariancia adott, akkor a többi számolható, és ugyanígy igaz ez az autokorrelációra is: r(τ) = α 1 r(τ 1)+...+α p r(τ p) τ > p-re. Ezen rekurzió alapján az R # k mátrix utolsó sora k > p mellett az el z p sor lineáris kombinációja éppen az α 1,..., α p együtthatókkal. Ezért a parciális autokorreláció-függvényre ϱ(τ) = 0, ha τ > p. Az AR(p) folyamat el rejelzése a következ módon végezhet : X t = α 1 X t α p X t p + σ ε t, ezek szerint E(X t X t 1, X t 2,...) = α 1 X t α p X t p + E(σε t X t 1, X t 2,...),

13 30 FEJEZET 3. LINEÁRIS FOLYAMATOK ahol ez az utolsó tag 0, mert a zaj jöv je független a folyamat múltjától (és Eε(t) = 0). A hiba szórásnégyzete D 2 (X t E(X t X t 1, X t 2,...)) = D 2 (σ ε ε t ) = σ 2 ε, és ez a legkisebb hibájú (hibaszórású) el rejelzés Folytonos idej autoregresszió Most pedig lássuk az AR(p) folyamat megfelel jét folytonos id ben. Az el z deníció analógiájára tekintsük a következ általánosított dierenciálegyenletet, ami formálisan a következ képpen néz ki: X (p) (t) + a 1 X (p 1) (t) a p 1 X (t) + a p X(t) = η(t), ahol η(t) fehér zaj - de ez utóbbi fogalmat technikai nehézsége miatt nem deniáljuk folytonos id ben. Általánosított függvény (disztribúció) értelemben az egyenlet ahol η = dw (t) dt (ϕ, X (p) + a 1 X (p 1) a p X) = (ϕ, η), a Wiener-folyamat deriváltja. Természetesen ez utóbbit is disztribúció értelemben értjük 4, hisz a Wiener-folyamat a szokásos analízisbeli értelemben seholsem dierenciálható. A szokásos dierenciálalakba átírva: dx (p 1) (t) = ( ) a 1 X (p 1) (t) a 2 X (p 2)... a p X(t) dt + dw (t). 4 Folytonos függvénynek létezik deriváltja disztribúciós értelemben, és a Wiener-folyamat trajektóriái 1 valószín séggel folytonosak.

14 3.2. AUTOREGRESSZIÓS FOLYAMATOK 31 Amennyiben a P (x) = x p + a 1 x p a p karakterisztikus polinom gyökei a komplex sík bal félsíkjában helyezkednek el, akkor létezik stacionárius megoldás. Speciálisan az AR(1) folyamatot Ornstein-Uhlenbeck-folyamatnak hívják, amely ekkor a dx(t) = αx(t)dt + σdw (t)(α > 0) sztochasztikus dierenciálegyenletet elégíti ki. Ez diúziós folyamat is, így Markov, és létezik folytonos trajektóriájú modikációja. Az egyenlet megoldása explicite megadható: X(t) = e αt t 0 e αs σdw (s) = Bizonyítás: Itô-formulával, mely szerint, ha t dx(t) = a(t)dt + b(t)dw (t), 0 e α(t s) σdw (s) akkor az összetett függvény deriváltja ( df(t, X(t)) = f t(t, X(t)) + f x(t, X(t)) a(t) + 1 ) 2 f xx(t, X(t)) b 2 (t) dt+ +f x(t, X(t))b(t)dW (t) Esetünkben a(t) = a és b(t) = σ konstansok. Legyen f(t, x) = e at x, és X(t) = f(t, Y (t)). Ekkor e at X(t) = Y (t) ebb l pedig ( ) dy (t) = d e at X(t) = a e at X(t) + e at dx(t) =

15 32 FEJEZET 3. LINEÁRIS FOLYAMATOK = a e at X(t) + e at ax(t)dt + e at σdw (t) = = e at σdw (t). Tehát erre alkalmazzuk az Itô-formulát. Tekintve a deriváltakat, az f xx = 0, így ez a tag kiesik. Továbbá az Y -ra vonatkozó formulában nincs dt-s tag, ezért az f x(t, Y (t)) a(t) szintén 0, mert a(t) pont ez a dt-s tag lenne. Ami így marad: ez pedig a konkrét függvényre felírva Innen f t(t, Y (t))dt + f x(t, Y (t))b(t)dw (t), a e at Y (t) dt + e }{{}} at {{ e at } σdw (t). X(t) 1 dx(t) = ax(t)dt + σdw (t)(a < 0), ami a kívánt dierenciálegyenlet, illetve ha α-val volt felírva, akkor a megoldásban is a = α-t helyettesítünk, azaz X(t) = e αt t e αs σdw (s) α > 0. 0 Megjegyzés A fentit diszkretizálva X ( ) k = e a k n n k n 0 e as σdw (s) =

16 3.2. AUTOREGRESSZIÓS FOLYAMATOK 33 = e a n e a k 1 n k 1 n ahol ε(k) N(0, 1 n ). Tehát ) X 0 e as σdw (s) + e a k n k n k 1 n e as }{{} 1 ( ) k 1 = e a n X + σ ε(k), n ( k n = e a n X ( k 1 n ) + σ ε(k). σdw (s) = Ez azt jelenti, hogy a folyamat diszkretizáltja egy diszkrét idej autoregresszió Vektor Autoregresszió Egy folyamat fejl dése nem csak endogén hatások eredménye, hanem exogén tényez k is szolgáltatnak hajtóer t az evolúciójához. Ezek az exogén tényez k maguk is id függ ek, és kölcsönhatásban is állhatnak a gerjesztett folyamattal, az visszahat fejl désükre. Tehát több egyidej leg zajló folyamatot kell feltételeznünk és vizsgálnunk. X 1 (t) X(t) vektor érték id sor vagy folyamat:.. X k (t) Stacionaritása (er s) ugyanúgy deniálható, mint az egy dimenziósé. EX(t) = µ(t) vektor Σ(t) = E(X(t) µ(t))(x(t) µ(t)) T Gyengén stacionárius:µ(t) = µ, Σ(t) = Σ Ugyanúgy létezik spektrálreprezentáció: X(t) = π π eiλt dφ(λ).

17 34 FEJEZET 3. LINEÁRIS FOLYAMATOK φ( ) vektor érték ortogonális sztochasztikus mérték. Autokovariancia függvény komponensenként: R i,i (τ) Keresztkovariancia függvény: R i,j (τ) = cov(x i (t), X j (t + τ)) A keresztkovariancia függvény nem páros és nem pozitív szemidenit, keresztkorreláció a 0-ban nem feltétlen 1. VAR(p) folyamat: X(t) = A 1 X(t 1) A p X(t p) + ε(t) ahol A i k k-s valós mátrix, ε(t) komponensenként fehér zaj id invariáns Σ ε szórásmátrixszal. A B backshift=visszaléptetés operátorral: ahol Π(B) = I k A 1 B... A p B p (B)X(t) = ε(t) Állítás A VAR(p) modell stabil, és így létezik stacionárius megoldás, ha a det(i k A 1 z... A p z p ) = 0 egyenlet gyökei az egységkörön kívül fekszenek, azaz, ha az

18 3.3. MOZGÓÁTLAG FOLYAMATOK 35 A 1 A 2... A p I n I n 0 (np) (np)-s mátrix sajátértékei az egységkörön belül helyezkednek el Mozgóátlag folyamatok Deníció Legyen ε(t) független érték zaj, vagy fehér zaj - gyakran Gauss fehér zaj (GWN, Gaussian white noise). Ekkor az X(t) = β 0 ε(t) + β 1 ε(t 1) β q ε(t q) folyamatot q-rend mozgóátlag folyamatnak nevezzük. Jelölés: MA(q). Megjegyzés Az M A(q) folyamatok mindig er sen/gyengén stacionáriusak. Megjegyzés Vegyük észre, hogy ha β i = 1 q + 1 minden i-re, akkor a folyamat jelenlegi értéke a zaj jelenének és q-lépésig visszatekint múltjának átlaga. Megjegyzés A lineáris folyamatok -rend mozgóátlag folyamatok. Az X(t) mozgóátlag folyamat autokovariancia-függvénye Eε(t) = 0, D 2 ε(t) = 1 mellett

19 36 FEJEZET 3. LINEÁRIS FOLYAMATOK R(τ) = E (X(t)X(t + τ)) = = β 0 E (ε(t)x(t + τ))+β 1 E (ε(t 1)X(t + τ))+...+β q E (ε(t q)x(t + τ)) = β 0 Eε(t) β τ ε(t + τ τ) +0+β }{{} 1 Eε(t 1) β τ+1 ε(t+τ (τ +1)) csak ett l nem független... + β q τ ε(t q + τ) β q ε(t + τ q) = β 0 β τ + β 1 β τ β q τ β q, amely alakot Wold-felbontásnak hívunk. Megjegyzés R(τ) valóban nem függ t-t l (eltolásinvariáns), tehát X(t) másodrendben (azaz gyengén) stacionárius. Ezért ha ε(t) fehér zaj, akkor gyengén stacionárius; független érték re 5 er sen is stacionárius. Megjegyzés Az autokorreláció függvénynek pontosan az els q tagja nem 0. Tétel (Wold, 1954.). 1. Ha az R(τ) függvényre a Wold-felbontás teljesül, akkor létezik olyan M A(q) folyamat, amelynek autokovariancia függvénye R(τ), és együtthatói pont a Wold-felbontás β-i. 2. Ha X(t) stacionárius Gauss-folyamat, EX(t) = 0 és R(τ) = 0 (τ > q), akkor X(t) M A(q) folyamat. Megjegyzés ϱ(t) általában végtelen sok tagból áll, és nehezen számolható (Box-Jenkins, 1976.). Igaz, hogy ϱ(t) exponenciális sebességgel tart 0-hoz. 5 fehér zaj deníciójában benne van, hogy azonos eloszlású

20 3.3. MOZGÓÁTLAG FOLYAMATOK 37 A parciális autokorreláció és autokorreláció egymás duálisai a mozgóátlag, illetve az autoregressziós modellben. X(t) karakterisztikus polinomja Q(x) = β 0 +β 1 x+...+β q x q. Ezzel az MA egyenlet X(t) = Q(B)ε(t), ahol BX(t) = X(t 1) a már látott backshift operátor. Így ha az δ j x j végtelen sor konvergens, akkor j=0 (Q(B)) 1 = δ j B j, j=0 1 Q(x) = és ezzel pedig ε(t) felírható δ j X(t j) alakban 6, azaz X(t)-nek van AR( ) el állítása. j=0 Tétel A mozgóátlag folyamat pontosan akkor invertálható, azaz pontosan akkor van AR( ) el állítása, ha karakterisztikus polinomjának gyökei az egységkörön kívül vannak. Másképp fogalmazva pontosan ekkor konvergens δ j X(t j). j=0 Megjegyzés Ebben is tetten érhet az AR(p) es az M A(q) folyamatok közötti dualitás. Állítás Az M A(q) folyamat spektrál-s r ségfüggvénye létezik, és 6 Elvileg végtelen sokáig visszanyúlhatunk a múltba. A folyamatot saját múltjából el állítani jó, hiszen a folyamat múltja meggyelhet, míg a zajé nem.

21 38 FEJEZET 3. LINEÁRIS FOLYAMATOK ϕ(λ) = σ2 ε 2π Q ( e iλ) 2. Megjegyzés A mozgóátlag simít ARM A(p, q) folyamatok Deníció Legyen ε(t) független érték zaj, vagy fehér zaj - gyakran Gauss fehér zaj, GWN. Ekkor a p α k X(t k) = q β m ε(t m) m=0 egyenlet megoldása az ARM A(p, q) folyamat. Az autoregressziós illetve a mozgóátlag tagok karakterisztikus polinomjait jelölje rendre P (x) illetve Q(x). Tétel Ha a P (x) gyökei az egységkörön belül helyezkednek el, akkor létezik X(t) stacionárius ARM A folyamat, és ennek létezik M A( ) el állítása. Ha továbbá Q(x) gyökei az egységkörön kívül helyezkednek el, akkor X(t)-nek létezik AR( ) el állítása is. A stacionárius ARM A(p, q) folyamat autokovariancia függvénye szintén karakterizálható és e szerint gyorsan lecseng, vagyis az ARM A(p, q) rövid emlékezet. Az MA( ) el állításhoz a (z) = Q(z) racionális törtfüggvényt kell sorbafejteni, míg a P (z) sorbafejtése az AR( ) el állítást adja. P (z) Q(z)

22 3.5. ARIM A FOLYAMATOK 39 Állítás Az ARM A(p, q) folyamat spektrál-s r ségfüggvénye: ( ϕ(λ) = σ2 ε 2π ) Q e iλ 2 P (e iλ ) ARIM A folyamatok Nem mindig van stacionárius folyamatunk, azonban gyakran dierenciálással azt kaphatunk bel le. Deníció Az X(t) folyamatot ARIM A(p, 1, q) folyamatnak nevezzük, ha az Y (t) = X(t) X(t 1) = (1 B)X(t) ARMA folyamat. (Egyszeres dierenciálással lineáris trend tüntethet el.) Az X(t) folyamat ARIM A(p, d, q), ha a d-szeres dierenciáltja, (1 B) d X(t) ARMA folyamat. (d-szeres dierenciálással d-edfokú trend tüntethet el.) Wold-felbontás stacionárius folyamatokra Az MA nem egyszer en egy modell, hanem ezzel minden stacionárius folyamat közelíthet, a következ értelemben. Deníció X(t) lineárisan determinált id sor, ha értéke megegyezik a múltra vonatkozó lineáris predikciójával. "Durván" szólva: X(t) φ i X(t i) = 0. i=1 7 d lehet nem egész szám is, ami nem egészrend dierenciálást eredményez. Err l csak a következ félévben ejtünk szót.

23 40 FEJEZET 3. LINEÁRIS FOLYAMATOK Tétel Wold felbontás. Legyen D 2 X(t) <. Tetsz leges X(t) stacionárius id sor felírható X(t) = alakban, ahol ψ 0 = 1 és ψj 2 < j=0 ψ j Z(t j) + V (t) j=0 Z(t) W N(0, σ 2 ) cov(z(s), V (t)) = 0 s, t V (t) ún. determinált folyamat. Megjegyzés Ha X(t) - -b l jön, Z(t) megadható, mint X(s)-ek s<t lineáris kombinációinak határértéke. A Wold felbontásban X(t) = ψ j U(t j) + V t j=0 X(t) változékonyságát id -lokalizáltan bontjuk fel, a varianciát a ψj 2 súlyoknak megfelel en elosztva. Alternatív felbontásként felmerül, hogy id ben "globálisan", nem id höz köt d együtthatókkal és id ben adott függvényekkel is elvégezhet -e ilyen felbontás? Azaz

24 3.6. WOLD-FELBONTÁS STACIONÁRIUS FOLYAMATOKRA 41 X(t) = A j h j (t), ahol h j -k adott valós függvények egy készlete, míg az A j -k véletlen együtthatók. Els nek a színusz és koszínusz hullámok adnak egy természetes választási lehet séget. Azonban szükség lehet egy lokalizált és lecseng függvénycsaládra, amelyet nyújtással és eltolással transzformálva kapunk elegend en gazdag függvénykészletet. Az els választás adja a spektrálfelbontást, míg a második a wavelet felbontást.