Autoregressziós folyamatok.. Példa.. Az ε(t) folyamat függetle érték zaj, ha a várható értéke és ε(t)-k függetle, azoos eloszlású valószí ségi változók.. Az ε(t) folyamat fehér zaj, ha Eε(t) =, és ε(t)-k azoos eloszlásúak mide t-re és korrelálatlaok (de em feltétle függetleek). A fehér zaj autokovariacia-függvéye R() = σ, R(τ) = (τ ). 3. Els red autoregresszió: X(t) = αx(t ) + σ ε ε(t). Az ε(t)-k függetle, azoos eloszlású valószí ségi változók, általába N(, )-ek, de eloszlásuk lehet persze más is. Általába (de em midig) EX(t) = és ameyibe oksági a megoldás, azaz X(t ) és ε(t) függetleek, akkor D X(t) = α D X(t ) + σ εd ε(t) (a függetleség miatt a szóráségyzetek összeadódak). Ha létezik stacioárius megoldás, akkor D X(t) = D X(t )-b l következik, hogy σx = α σx + σ ε, azaz σx = σ ε >. Így α α eseté ics stacioárius megoldás (em lee véges vagy em lee pozitív a szóráségyzet). A függetle érték zaj er se, a fehér zaj gyegé vagy másodredbe stacioárius. Továbbá ϕ(λ) = π τ= e iλτ R(τ) = σ R() = π π, tehát a Fourier-traszformált kostas, így a spektrálmértéke mide frekveciára azoos súlyt helyez. Ie ered az elevezés, hisze fehér féy ugyaígy áll el az összes lehetséges külöböz szí kompoesb l... Állítás. Ha α <, akkor létezik stacioárius megoldás. (Ezt egyel re higgyük el, ellekez esetbe láttuk, hogy em létezik.) R(k) = cov(x(t), X(t+k)) = cov(x(t), α X(t+k )+σ ε(t+k)) = α cov(x(t), X(t+k )) = α R(k ), ami kielégíti a zaj élküli rekurziót (az pedig expoeciális sebességgel lecseg). Mivel R() = D X(t) = σx, így R(k) = σx α k = αk α σ ε, és r(k) = R(k) R() = αk. Ha ε(t) stadard ormális eloszlású, akkor X() N(, σx ), és az autokorreláció-függvéy { által az α k = összes véges dimeziós eloszlás adott. A parciális autokorreláció-függvéy (PACF) ϱ(k) =. k Ezt k = -re köye láthatjuk, ugyais ε(t) függetle zaj mellett a parciális autokovariaciára -t kapuk: (ϱ() =) cov(x(t + ), X(t) X(t + )) = cov(αx(t + ), X(t) X(t + )) + cov(ε(t + ), X(t) X(t + )) = = α E [ X(t + ) E(X(t + ) X(t + )) ][ X(t) E(X(t) X(t + )) ] +
mert ε(t + ) és X(t) függetleek (feltételese is), a feltételes várható értékeket tekitve pedig köye láthatóa -t kapuk, így ez tovább = α + =. Továbbá k > -re ugyaígy a rekurziós egyelet miatt a feltételre mérhet lesz X(t + k ). [!! Szept. -i megjegyzések hiáyozak: lieáris folyamatok] Most tegyük fel, hogy α <, és iteráljuk az AR() els red autoregressziós egyeletet. X(t) = αx(t ) + ε(t) X(t) = α(αx(t ) + ε(t )) + ε(t)... X(t) = α s+ X(t s ) + [α s ε(t s) +... + αε(t ) + ε(t)], ahol az utolsó egyel ség jobb oldalába az els maradéktag expoeciális sebességgel lecseg, a szögletes zárójele belüli pedig egy lieáris folyamathoz hasolít. Így X(t) s α u ε(t u) = α s+ X(t s ), erre a égyzet várható értéke ( E X(t) s α u ε(t u)) = α s+ E ( X(t s ) ), ha EX (t) < K mide t-re, ami persze teljesül, ha X(t) stacioárius folyamat. Ezzel s α u ε(t u) s X(t) L -be, tehát legye ez az L -beli határérték a megoldás X(t) = α u ε(t u). (Ez stacioárius is.).3. Állítás. Ha α <, ε(t) i.i.d. zaj, továbbá E(ε(t) ) <, akkor az AR() egyeletek létezik stacioárius megoldása. Bizoyítás. ) Az ε(t)-r l feltehet, hogy egatív értékre is értelmezett, hisze ha em így lee, akkor a Kolmogorov-alaptétel szerit kiegészíthetjük függetleül ugyaazo eloszlásból. ) A α u ε(t u) függetle tagú összeg koverges L -be és valószí séggel is. Ugyais L -be yilvá Cauchy, ezért koverges, az valószí ség kovergeciához pedig a függetle tagok miatt elég a második mometumok kovergeciáját láti. Így X(t) = α u ε(t u) jóldeiált. 3) X(t) kielégíti az AR() egyeletet: [ ] X(t + ) = α u ε(t + u) = α α v ε(t + v ) + ε(t + ) = = α v= α v ε(t v) + ε(t + ) = αx(t) + ε(t + ) v= 4) Az így deiált X(t) eloszlása eltolásivariás (stacioárius eloszlású): X(t) = α u ε(t u) X(t + h) = α u ε(t + h u), mivel ε(t) és ε(t + h) eloszlásba megegyezek, ezért mit sorozatok is. Ezzel mide t,..., t k -ra teljesül, hogy X(t ),..., X(t k ) X(t + h),..., X(t k + h). Ezzel igazoltuk, hogy X(t) stacioárius. A Kolmogorov-Hicsi-tétel szerit ha EX <, akkor X valószí séggel koverges. A feltétel a mi esetükbe Eα u ε (t u) végességét jeleti, ami az α < -b l és Eε(t) végességéb l rögtö következik. Ugyais α u ε (t u) = α Eε (t u) <.
.4. Megjegyzés. Az ε(t) fehér zajról: várható értéke, mide t-re ε(t) azoos eloszlású, és corr(ε(t), ε(t + h)) =. Továbbá R() = σε és R(t) =, ha t >. A Fourier-traszformált ϕ(λ) = e iλt R(t) = π π σ ε mide λ ( π, π)-re (csak a t = tag marad meg). Azaz t= a spektrál-s r ségfüggvéye λ-tól függetle kostas (tehát az el állításába mide frekvecia azoos amplitúdóval vesz részt, mit a fehér féyél). AR()-re ϕ(λ) = t= e iλt R(t) = [ = π R() e iλt α t + t= = t= ] e iλt α t t= e iλt R(t) + [ = σ X e iλt R(t) R() = t= α e iλ + α e iλ σ ε π( α ) αeiλ + αe iλ αe iλ αe iλ = = σε α αeiλ αe iλ + αe iλ + αe iλ α = αe iλ = σ ε αe iλ, tehát a fehér zajhoz képest léyeges a külöbség az AR()-él..5. Példa. Nézzük egy példát em Gauss-féle fehér zajból geerált AR()-re. Legye P (ε(t) = ) = P (ε(t) = ) = mide t-re. Az X(t) = X(t ) + ε(t) egyelet stacioárius megoldása ( ) u ε(t u) = ( ) u+ ε(t u). A ε(t u) egy véletle - sorozat. Az hatváyaival szorozva tetsz leges [, ]-beli számot el állít, és mivel mide - sorozat "egyel e valószí ", ezért a [, ]-belieke egyeletes lesz az el állított számok eloszlása. Tehát a stacioárius eloszlás U(, ) lesz. Ebb l látszik, hogy a zaj eloszlása em sokat mod a stacioárius eloszlásról, hisze ebb l a diszkrét ε(t)-b l abszolút folytoos eloszlású X(t)-t kaptuk. El rejelzés: E(X(t) X(t )) = X(t ) +, mert a zaj em várható érték (ez lieáris). A 4 hátrafelé predikció pedig E(X(t ) X(t)), ha például a mai értéket ismerjük, de a tegapit elfelejtették regisztráli. Az egyelet kétszereséb l X(t) ε(t) = X(t ), így X(t ) = X(t) mod() a stacioárius esetbe. E(X(t ) X(t)) = X(t) mod(), ami em lieáris, tehát a legjobb és a legjobb lieáris becslés (predikció) em esik egybe. Általába E(X(t) X(t )) = E(X(t) F t ), tehát az AR() folyamat Markov-folyamat. Ez tovább = E(αX(t )+ε(t) X(t )) = αx(t ), ha a megoldás a zaj jöv jét l függetle. (ε(t) az X(t )-t l függetle, és a feltételhez vett további múltbéli tagok em változtatak: ε függetle és αx(t ) mérhet marad a feltételre ézve). Ekkor a legjobb lieáris el rejelzés a legjobb el rejelzés. ] = A másodred autoregressziós folyamat (AR()): X(t) = α X(t ) + α X(t ) + σ ε ε(t), azaz X(t) α X(t ) α X(t ) = σ ε ε(t). Ezzel a karakterisztikus poliom x α x α, melyek a gyökei az egységkörö belül kell, hogy legyeek. (Közöséges rekurzió is akkor stabilis, ha 3
a gyökök az egységkörö belül vaak.) [Ábra] A gyökök összege α, ebb l rögtö következik, hogy < α <. Eze kívül a karakterisztikus poliomak (ha gyökei valósak) az illetve - helye felvett értékeiek pozitívak kell leiük (pozitív f együttható miatt felfelé éz parabola), amib l adódik, hogy α +α <, α α <. Így az (α, α ) síko ez utóbbi három egyel tleség által meghatározott háromszögö belül leszek a gyökök. Az autokovariacia-függvéy R(k) = α R(k ) + α R(k ), illetve az autokorreláció-függvéy r(k) = α r(k )+α r(k ). A parciális autokorreláció-függvéyre pedig ϱ() = α α, ϱ() = α és ϱ(k) =, ha k 3. (Általába is igaz, hogy az els p em ulla.) Legjobb el rejelzés: E(X(t) F t ) E(X(t) X(t )), azaz X(t) em Markov-tulajdoságú. Ehelyett E(X(t) F t ) = E(α X(t ) + α X(t ) + σε(t) F t ) = α X(t ) + α X(t ). Lieáris, ha X(t) függetle a zaj jöv jét l. A p-edred autoregressziós folyamat (AR(p)): Legye ε(t) Gauss-féle fehér zaj, és X(t) = α X(t ) + α X(t ) +... + α p X(t p) + σ ε ε(t). X(t) p α k X(t k) = k= Eek a karakterisztikus poliomja P (x) = p p X(t k) α k = σ ε(t) α k x p k, és α =, α k = α k..6. Tétel. Az AR(p) egyeletek potosa akkor létezik eloszlását tekitve egyértelm, stacioárius idítása (megoldása), X() = X,..., X(p ) = X p, ha az így deiált karakterisztikus poliom komplex gyökei az egységkörö belül vaak. Ez a Gauss esetbe er se stacioárius is. Nem stacioáriusa idított AR(p) pedig expoeciális sebességgel stacioarizálódik, más szóval a folyamat geometrikusa ergodikus..7. Megjegyzés. Szokás még a P (x) = p α k x k poliomot is tekitei. Erre P (x) = x p P ( ), és a x tétel feltétele úgy módosul, hogy eek gyökei az egységkörö kívül vaak..8. Deíció. B az eltolás vagy visszaléptetés operátor (backward shift), ha BX(t) = X(t ), B X(t) = X(t ) stb. ( p ).9. Megjegyzés. Ezzel is felírható az autoregressziós egyelet: α k B k X(t) = ε(t). Ie ( p ) X(t) = α k B k ε(t) formálisa és valóba is, ha az iverzoperátor létezik. Operátorok függvéyét pedig Taylor-sorokkal deiálhatjuk, és akkor létezik az iverz, ha a függvéy kovergeciasugara agyobb, mit az operátor spektrálsugara. Tekitsük az = δ p k x k α k x k Taylor sorfejtést. Ez alapjá X(t) = ( p ) α k B k ε(t) = δ k B k ε(t) = δ k ε(t k). Aak a megállapítására, hogy ez mikor lesz koverges, alkalmazzuk a spektrálsugár feltételt, azaz a poliom gyökeiek az egységkörö belül kell leiük. Err l szól a következ állítás. idáig még em lee szükséges a Gauss-tulajdoság 4
.. Állítás. δ k ε(t k) potosa akkor koverges, ha a karakterisztikus poliom gyökei az egységkörö belül vaak. Ekkor X(t) függetle lesz a zaj jöv jét l, továbbá mivel X(t + h) megkapható ε h (t) = ε(t + h)-val is X(t + h) = δ k ε h (t k) így stacioárius megoldását adja az egyeletek. 3 A spektrál-s r ségfüggvéy a feti karakterisztikus poliommal kifejezve a σε π P(e iλ ) ölti... Állítás. Stacioárius esetbe a következ k igazak az autokovariacia-függvéyre:. R() = α R() +... + α p R(p) + σ ε.. R(τ) = α R(τ ) +... + α p R(τ p), ahol τ. alakot Bizoyítás. Tudjuk, hogy R(τ) = R( τ). Tegyük fel, hogy EX(t) =, ekkor R() = E(X() ) = E (X() (α X( ) +... + α p X( p) + σε ε())). Ie. rögtö adódik E(X()X( τ)) = R( τ) = R(τ), valamit E(X() ε()) = σε miatt. Hasolóa R(τ) = E (X()X(τ)) = E (X() (α X(τ ) +... + α p X(τ p) + σε ε(τ))), de itt most E (X()ε(τ)) =, mert a zaj jöv jét l függetle a folyamat. Ezzel. is megva... Deíció. Az állításba szerepl egyeletek az ú. Yule-Walker-egyeletek. Ha az els p autokovariacia adott, akkor a többi számolható, és ugyaígy igaz ez az autokorrelációra is: r(τ) = α r(τ ) +... + α p r(τ p) τ > p-re. Eze rekurzió alapjá az R # k mátrix utolsó sora k > p mellett az el z p sor lieáris kombiációja éppe az α,..., α p együtthatókkal. Ezért a parciális autokorreláció-függvéyre ϱ(τ) =, ha τ > p. Az AR(p) folyamat el rejelzése a következ módo végezhet : X t = α X t +... + α p X t p + σ ε t, ezek szerit E(X t X t, X t,...) = α X t +... + α p X t p + E(σε t X t, X t,...), ahol ez az utolsó tag, mert a zaj jöv je függetle a folyamat múltjától (és Eε(t) = ). A hiba szóráségyzete D (X t E(X t X t, X t,...)) = D (σ ε ε t ) = σε, és ez a legkisebb hibájú (hibaszórású) el rejelzés. Most pedig lássuk az AR(p)-t folytoos id be. Az el z deíció aalógiájára tekitsük a következ általáosított diereciálegyeletet, ami formálisa a következ képpe éz ki: X (p) (t) + a X (p ) (t) +... + a p X (t) + a p X(t) = η(t), ahol η(t) fehér zaj. Általáosa tehát (ϕ, X (p) + a X (p ) +... + a p X) = (ϕ, η), ahol η = Wieer-folyamat deriváltja disztribúciós értelembe 4. Diereciálalakba dx (p ) (t) = ( a X (p ) (t) a X (p )... a p X(t) ) dt + dw (t). dw (t) dt a Ameyibe a P (x) = x p + a x p +... + a p karakterisztikus poliom gyökei az egységkörö kívül vaak, létezik stacioárius megoldás. Speciálisa az AR() egy Orstei-Uhlebeck-folyamat, hisze ekkor dx(t) = αx(t)dt + σdw (t) (α > ). Ez diúziós folyamat is, így Markov, és létezik folytoos trajektóriájú modikációja. t X(t) = e αt e αs σdw (s) = t e α(t s) σdw (s) 3 Az AR(p) folyamat em Markov, de beágyazható úgy, mit egy p-dimeziós Markov-folyamat els kompoese, amivel szité igazolható a stacioárius megoldás létezése ("egységkörös" tétel). 4 Folytoos függvéyek létezik deriváltja disztribúciós értelembe, és a Wieer-folyamat trajektóriái valószí séggel folytoosak. 5
Bizoyítás. Itô-formulával dx(t) = a(t)dt + b(t)dw (t) ( df(t, X(t)) = f t(t, X(t)) + f x(t, X(t)) a(t) + ) f xx(t, X(t)) b (t) dt + f x(t, X(t))b(t)dW (t) Most a(t) = a és b(t) = σ kostasok. ( Legye ) f(t, x) = e at x és X(t) = f(t, Y (t)). Ekkor e at X(t) = Y (t) ebb l pedig dy (t) = d e at X(t) = a e at X(t) + e at dx(t) = a e at X(t) + e at ax(t)dt + e at σdw (t) = e at σdw (t). Tehát erre alkalmazzuk az Itô-formulát. Tekitve a deriváltakat, az f xx =, így ez a tag kiesik. Továbbá az Y -ra voatkozó formulába ics dt-s tag, ezért az f x(t, Y (t)) a(t) szité, mert a(t) pot ez a dt-s tag lee. Ami így marad: f t(t, Y (t))dt + f x(t, Y (t))b(t)dw (t), ez pedig a kokrét függvéyre felírva a e at Y (t) dt+e }{{}} at {{ e at } σdw (t). Ie dx(t) = ax(t)dt+σdw (t) X(t) (a < ), ami a kívát diereciálegyelet, illetve ha α-val volt felírva, akkor a megoldásba is a = αt helyettesítük, azaz t X(t) = e αt e αs σdw (s) α >..3. Megjegyzés. A fetit diszkretizálva X ( ) k = e a k k ahol ε(k) N(, ). Tehát e as σdw (s) = e a e a k X k ( ) = e a k X + σ ε(k), e as σdw (s) + e a k ( ) ( ) k = e a k X + σ ε(k). k k e as }{{} σdw (s) = Vektor Autoregresszió Egy folyamat fejl dése em csak edogé hatások eredméye, haem exogé téyez k is szolgáltatak hajtóer t az evolúciójához. Ezek az exogé téyez k maguk is id függ ek, és kölcsöhatásba is állhatak a gerjesztett folyamattal, az visszahat fejl désükre. Tehát több egyidej leg zajló folyamatot kell feltételezük és vizsgáluk. X (t) X(t) vektor érték id sor vagy folyamat:.. X k (t) Stacioaritása (er s) ugyaúgy deiálható, mit az egy dimeziósé. EX(t) = µ(t) vektor Σ(t) = E(X(t) µ(t))(x(t) µ(t)) T Gyegé stacioárius:µ(t) = µ, Σ(t) = Σ 6
Ugyaúgy létezik spektrálreprezetáció: X(t) = π π eiλt dφ(λ). φ( ) vektor érték ortogoális sztochasztikus mérték. Autokovariacia függvéy kompoesekét: R i,i (τ) Keresztkovariacia függvéy: R i,j (τ) = cov(x i (t), X j (t + τ)) A keresztkovariacia függvéy em páros és em pozitív szemideit, keresztkorreláció a -ba em feltétle. VAR(p) folyamat: X(t) = A X(t ) +... + A p X(t p) + ε(t) ahol A i k k-s valós mátrix, ε(t) kompoesekét fehér zaj id ivariás Σ ε szórásmátrixszal. A B backshift=visszaléptetés operátorral: ahol Π(B) = I k A B... A p B p (B)X(t) = ε(t).4. Állítás. A VAR(p) modell stabil, és így létezik stacioárius megoldás, ha a det(i k A z... A p z p ) = egyelet gyökei az egységkörö kívül fekszeek, azaz, ha az A A... A p I.............. I (p) (p)-s mátrix sajátértékei az egységkörö belül helyezkedek el. 7