Ido sorok. Egyetemi elo adás. Márkus László. February 27, 2019

Átírás

1 Ido sorok Egyetemi elo adás Márkus László February 27, 2019 Márkus László Ido sorok February 27, / 88

2 Definíció Valószínűségi változók egy X 1,X 2,...,X t,... sorozatát idősornak hívjuk, ha az indexparaméter időként is értelmezhető. Márkus László Idősorok February 27, / 88

3 Budapesti hőmérséklet idősor Márkus László Idősorok February 27, / 88

4 Autokovariancia, autokorreláció Általában az idősor egymás utáni állapotai - akár jelentősen - összefüggenek, ha az valamilyen jelenség időbeli fejlődését írja le. Ezt az összefüggést az autokorreláció függvénnyel jellemezhetjük. Definíció Az idősor cov(x(t),x(s)) = R(t,s) kovarianciáit autokovariancia-függvénynek hívjuk. Definíció Az idősor corr(x(t),x(s)) = r(t,s) korrelációit autokorreláció-függvénynek hívjuk. Szokásos jelölés még a C(t,s),γ(t,s),B(t,s), illetve stacionárius idősorra R(t,s) = R(t s), ami voltaképp egyváltozós, és R(0) = D 2 X(t) = σ 2 X. Márkus László Idősorok February 27, / 88

5 Márkus László Idősorok February 27, / 88

6 Márkus László Idősorok February 27, / 88

7 A bizonyos értelemben stabil vagy stabilizálódott viselkedésű idősort stacionáriusnak hívjuk. Definíció Az X 1,X 2,... idősor gyengén stacionárius, ha EX t = const, és cov(x t,x s ) = R(t s) csak a t s időkülönbség függvénye, azaz eltolásinvariáns. Definíció Az X 1,X 2,... idősor k-adrendben stacionárius, ha a legfeljebb k-adrendű vegyes momentumai eltolásinvariánsak. Például két valváltozó X 1 és X 2 3. vegyes momentumai a következők: Definíció E(X 3 1 ), E(X2 1 X 2 ), E(X 1 X 2 2), E(X 3 2 ). Az X 1,X 2,... erősen stacionárius, ha véges dimenziós eloszlásai eltolásinvariánsak, azaz minden n és t 1,...,t n esetén (X t1,...,x tn ) (X t1 +h,...,x tn +h). A gyengén stacionárius tulajdonság pontosan a másodrendben stacionárius tulajdonsággal megegyező. Továbbá, ha erősen stacionárius egy idősor és létezik véges k-adik momentuma, akkor minden k-ra k-adrendben stacionárius, és X t eloszlása állandó. Márkus László Idősorok February 27, / 88

8 Definíció Az X 1,X 2,... (gyengén) stacionárius idősor r(t) autokorreláció-függvénye (ACF) r(t) = R(t) R(0) = corr(x(s),x(s + t)) = E((X s EX s )(X s+t EX s+t )), ahol σ 2 X = D2 (X s ) stac. = D 2 (X s+t ). Az r(t) = r t jelölés mellett az autokorreláció mátrix 1 r 1 r 2... r k 1 r 1 1 r 1... r k 2 R k = r 2 r r k r k 1 r k 2 r k (Az első k megfigyelést egy valószínűségi vektorváltozónak tekintjük, és ennek vesszük a korreláció mátrixát.) σ 2 X Márkus László Idősorok February 27, / 88

9 Definíció Legyenek X,Y,Z valószínűségi változók, amelyekre X és Y Z-szerinti parciális kovarianciája cov(x, Y Z) = E((X E(X Z))(Y E(Y Z))). X és Y Z-szerinti parciális korrelációja pedig Definíció ρ(x,y Z) = cov(x, Y Z) (cov(x,x Z) cov(y,y Z)) 1/2. Egy idősor parciális autokorreláció-függvénye ρ k = ρ(x t+k,x t X t+1,...,x t+k 1 ) (az összes köztes időpontra van megfigyelés). Itt ρ k = detr# k detr k, ahol R # k az R k-ból kapható úgy, hogy az utolsó sort az r 1,...,r k sorral helyettesítjük. Ennek megfelelően ρ 1 = r 1, ρ 2 = r 2 r r 2 1 Állítás stb. Az autokovariancia-függvény pozitív szemidefinit, azaz n minden t 1,...,t n időpontra, és α 1,...,α n valós számokra. n i=1 j=1 α i α j R( t i t j ) 0 Márkus László Idősorok February 27, / 88

10 BIZONYÍTÁS: Legyen Z = n α i X(t i ). Tudjuk, hogy a szórásnégyzet nemnegatív: i=1 0 D 2 Z = cov ( Z,Z ) = cov = n n i=1 j=1 ( n i=1 α i α j cov(x(t i ),X(t j )) = α i X(t i ), n n i=1 j=1 n j=1 α j X(t j ) ) α i α j R( t i t j ) Például az is előfordulhat, hogy van egy minden egyes t időpontban torzítatlan becslésem az autokovariancia függvényre, de nem pozitív szemidefinit. Ezért mégsem ezt a becslést választjuk, hanem egy olyat, amivel ugyan kapunk egy kis torzítást, de legalább pozitív szemidefinit autokovariancia függvényünk lesz, amiből nem kaphatunk negatív szórásnégyzetet. = Márkus László Idősorok February 27, / 88

11 Definíció Rövid és hosszú emlékezet Ha az X 1,X 2,... (gyengén) stacionárius idősor autokovariancia függvénye összegezhető, azaz R(t) <, t=0 akkor az idősort rövid emlékezetűnek hívjuk. Definíció Ha az X 1,X 2,... (gyengén) stacionárius idősor autokovariancia függvénye nem összegezhető, azaz R(t) =, t=0 akkor az idősort hosszú emlékezetűnek hívjuk. Márkus László Idősorok February 27, / 88

12 Márkus László Idősorok February 27, / 88

13 Például, ha az autokovariancia függvény exponenciális sebességgel tart a 0-hoz akkor az idősor rövid emlékezetű. Másfelől, ha az autokovariancia függvény hatvány sebességgel tart a 0-hoz R(t) const t α 1 ahol 0 < α < 1, akkor az idősor hosszú emlékezetű. Általában ezt a két speciális típusú rövid illetve hosszú emlékezetű idősort tekintjük, gyakran a definíció is így, az exponenciális és a hatvány sebességgel adott. Az utóbbi típusú hosszú emlékezetű folyamatokat nem α-val hanem történeti és praktikus okok miatt is az u.n. Hurst együtthatóval jellemezzük: H = 1 α 2 és így 2 1 < H < 1. A H = 1 eset specifikus, ilyenkor u.n. integrált folyamatunk van. Márkus László Idősorok February 27, / 88

14 Definíció Markov-tulajdonság vagy Markovitás Ha P(X(t) = k X(t 1),X(t 2),...) = P(X(t) = k X(t 1)), vagy minden f folytonos korlátos függvényre E(f (X(t)) X(t 1),...) = E(f (X(t)) X(t 1)). Definíció Az X(t) folyamat ergodikus, ha az eltolásinvariáns események bekövetkezési valószínűsége triviális. Állítás (Markov-láncok ergodicitása) Egy aperiodikus, irreducibilis, pozitív visszatérő Markov-lánc ergodikus. (Itt feltesszük, hogy a Markov-lánc állapottere megszámlálható, persze időben folytonos is lehet.) Márkus László Idősorok February 27, / 88

15 Tétel (Ergod-tétel) Ha X(t) ergodikus, akkor minden k-ra és minden k + 1-változós h(x 0,x 1,...,x k ) függvényre lim valószínűséggel. 1 n n n j=1 h(x(j),...,x(j + k)) = Eh(X(0),...,X(k)) 1 Azaz ergodikus folyamat tetszőleges függvényének várható értékét becsülhetjük a minta ugyanazon függvénye átlagával. Definíció Geometrikusan ergodikus: heurisztikusan úgy fogalmazhatnánk meg, hogy ha az Ergod-tételben szereplő határérték sebessége exponenciális, akkor geometrikusan ergodikus az X(t). Ekkor pedig az ugyanilyen átmenetvalószínűséggel rendelkező, de nem stacionáriusan indított Markov-lánc (-folyamat) exponenciális sebességgel stacionarizálódik. Az idősorokat, folyamatokat gyakran egy kezdeti értékkel és egy fejlődési szabállyal adjuk meg mint a diffegyenletekben. Márkus László Idősorok February 27, / 88

16 Állítás Ha adott egy fejlődési szabály (dinamika), amelyhez létezik stacionárius idősor, amely e szerint fejlődik (ergodikus a dinamika), akkor: Eloszlása szerint csak egyetlen ilyen idősor létezik, azaz a stacionárius eloszlás egyértelmű. Ha t = 0-ban nem a stacionárius eloszlásból indítjuk a folyamatot, akkor exponenciálisan gyorsan stacionarizálódik, azaz az eltérés a stacionárius eloszlástól exponenciális sebességgel tart 0-hoz. Márkus László Idősorok February 27, / 88

17 Tétel (Meyn-Tweedie, 1993.) Legyen V(x) valós függvény az állapottéren V : X [1, ], és legalább valamely x X-re véges, továbbá létezik β (0,1),b < és C X kompakt (elég, hogy "petite"), amelyre E(V(X(1)) V(X(0)) X(0) = x) βv(x) + b 1 C (x) x X, ami azzal ekvivalens, hogy E(V(X(1)) X(0) = x) (1 β)v(x) + b 1 C (x) a Ekkor X(t) geometrikusan ergodikus. a A feltételes várható érték operátor kompakt halmazon korlátos operátor, azon kívül pedig kontrakció. Ez a fontos ahhoz, hogy stacionárius legyen, hiszen behúzza egy halmazba, és ott már fluktuálhat. Azaz egy folyamat akkor ergodikus, ha létezik Ljapunov-függvénye. Márkus László Idősorok February 27, / 88

18 A spektrum interpretációja Figure : A prizma színeire bontja a fehér fényt Miközben a prizma színeire bontja a fehér fényt, a fénysugár energiája felbomlik a különböző frekvenciákhoz tartozó különböző színű fény-nyalábok energiáinak összegére. Megfordítva: Különböző frekvenciájú így különböző hullámhosszú azaz színű egyenlő energiájú fénynyalábok keverékeként áll elő a fehér fény. Ha az energiák nem egyenlőek, akkor színes sugarat kapunk. Hasonló előállítást szeretnénk idősorra. Márkus László Idősorok February 27, / 88

19 The sun cycle Figure : The sunspot numbers. Is the sun activity cyclic? What is the length of its cycle? Is there any longer cycle in it? Márkus László Idősorok February 27, / 88

20 FOURIER TRANSZFORMÁLT Márkus László Idősorok February 27, / 88

21 The motion of the Earth s pole Figure : The Chandler wobble. The Chandler wobble is the change in the spin of Earth on its axis. Think of the wobble you see in a toy top when it first starts spinning or slows down. Its "poles" do not spin in a perfectly straight line. Márkus László Idősorok February 27, / 88

22 The Chandler wobble Figure : The Chandler wobble. Imagine a gigantic ballpoint pen poked through the center of the earth, entering at the South Pole and exiting at the North Pole. The pen is drawing on a scratch pad-equipped space station directly over the North Pole. After a day (one full rotation of the earth on its axis) the ballpoint pen draws a circular path, and not a dot, because of the "wobble" in the earth s rotation on its axis. Over 14 months the pen draws a spiral path. Márkus László Idősorok February 27, / 88

23 Periodikus függvény Fourier felbontása Ha x(t) egy folytonos periodikus függvény p periódussal, azaz x(t) = x(t +kp) bármely k egészre és t valósra, akkor ( ) ( ) 2πn 2πn x(t) = a n cos p t + b n sin p t. n=0 alakban felírható, azaz különböző frekvenciájú és amplitudójú sin és cos hullámok összegére bomlik. Ez a felírás a periodikus függvény Fourier felbontása. Figure : A cos(0.02π t) + cos(0.07π t) periodikus függvény Márkus László Idősorok February 27, / 88

24 A Fourier felbontás komplex alakja Ezt a felbontást az e ix = cos(x) + isin(x) alapján komplex számokkal exponenciális alakra is átírhatjuk. Legyen ϕ n = 1 2 (a n ib n ), ϕ 0 = a 0, ϕ n = 1 2 (a n + ib n ) n = 1,2,... Ekkor x(t) = n= ϕ n e iλ nt ahol λ n = 2π p n a szögfrekvencia és ϕ n = a 2 n + b 2 n = A n az amplitudó. A λ n frekvenciák és a ϕ n együtthatók egyértelműen meghatározzák a periodikus függvényt, tehát egy kölcsönösen egyértelmű leképezést kaphatunk a periodikus függvények és a frekvenciák és együtthatók sorozata között. Márkus László Idősorok February 27, / 88

25 Nem periodikus függvény Fourier felbontása Ha nő a periódus hossza, akkor 2π p csökken, így egyre közelebb kerülnek a szomszédos frekvenciák. Egy nem periodikus függvényre úgy is gondolhatunk, mint egy végtelen hosszú periódussal rendelkező függvényre, ezért a frekvenciák távolsága 0, tehát a szumma integrálba megy át. A szummában szereplő ϕ n együtthatók a λ n frekvenciához tartoznak, tehát az együtthatók sorozata egy ϕ(λ) függvénybe megy át. 1 Így azt kapjuk, hogy amennyiben a határátmenet végrehajtható, akkor az x(t) nemperiodikus függvény előáll, mint x(t) = e iλt ϕ(λ)dλ ahol ϕ(λ) = 1 2π x(u)e iλu du. 1 Ennek részletesebb kifejtése az írott anyagban található. Márkus László Idősorok February 27, / 88

26 Ez a határátmenet azonban nem mindig végezhető el. Gyorsan lecsengő, vagy korlátos tartójú integrálható függvényekre pl. elvégezhető. Ilyenkor azt mondjuk, hogy x(t) előáll, mint egy ϕ(λ) függvény Fourier-transzformáltja 2. A ϕ(λ) függvény pedig az x(t) inverz Fourier-transzformáltja. Az 2π 1 1 -t néha szétosztják 1 2π, 2π -re, és így ϕ(λ) = 1 2π G(λ) jelöléssel: x(t) = 1 G(λ)e iλt dλ, G(λ) = 1 x(t)e iλt dt. 2π 2π 2 Az irodalomban ugyancsak szokásos, hogy a negatív kitevővel megadott integrált nevezik Fourier transzformáltnak és a pozitiv kitevőset inverz Fourier transzformáltnak, ekkor azonban az 2π 1 szerepe is változik. Márkus László Idősorok February 27, / 88

27 Definíció X(t) legyen 0 várható értékű, (folytonos idejű) stacionárius folyamat, R(τ) autokovariancia függvénnyel. Ekkor az R(τ) autokovariancia függvény ϕ(λ) inverz Fourier-transzformáltja a folyamat spektrálsűrűségfüggvénye: ϕ(λ) = 1 2π e iλt R(t)dt. Diszkrét időben, azaz idősorra természetesen az integrál szumma lesz: ϕ(λ) = 1 2π e iλt R(t). t= Innen persze az is következik, hogy az autokovariancia függvény a spektrálsűrűségfüggvény Fourier-transzformáltja, azaz R(t) = e iλt ϕ(λ)dλ. Márkus László Idősorok February 27, / 88

28 A definíció hátterében Bochner és Hincsin azon tétele áll, amely szerint tetszőleges pozitív definit függvény (így persze R(t) is) előáll, mint egy mérték Fourier-Stieltjes transzformáltja. Ez a mérték az F spektrálmérték, és ennek a mértéknek a sűrűségfüggvénye ϕ(λ). Ennek következtében az autokovariancia függvény előállítása nem csak az abszolút folytonos esetben lehetséges, tehát ha nincs is spektrálsűrűségfüggvény, akkor is igaz, hogy az F spektrálmértékkel Megjegyzés R(t) = e iλt df(λ). Rövid emlékezetű idősorok spektrálsűrűségfüggvénye korlátos a 0 körül. Hosszú emlékezetű idősorok spektrálsűrűségfüggvénye, ha létezik, a 0-ban végtelenhez tart. Ha a hosszú emlékezetű idősor autokorreláció függvényének lecsengése hatvány rendű, akkor a végtelenhez tartás is hatvány rendű β kitevővel: β = 2H 1 Márkus László Idősorok February 27, / 88

29 Definíció Az ε(t) folyamat független értékű zaj, ha ε(t)-k független, azonos eloszlású valószínűségi változók, 0 várható értékkel. A 0 várható értéket nem mindig követeljük meg. Definíció Az ε(t) folyamat fehér zaj, ha ε(t)-k azonos eloszlásúak minden t-re és korrelálatlanok (de nem feltétlen függetlenek), és Eε(t) = 0. A fehér zaj autokovariancia-függvénye R(0) = σ 2, R(τ) = 0 (τ 1). A független értékű zaj erősen, a fehér zaj gyengén vagy másodrendben stacionárius. Az ε(t) fehér zajra: ϕ(λ) = 1 2π e iλτ R(τ) = 1 τ= 2π R(0) = σ ε 2 2π, tehát a Fourier-transzformált konstans, így a spektrálmértéke minden frekvenciára azonos súlyt helyez. Innen ered az elnevezés, hiszen fehér fény ugyanígy áll elő az összes lehetséges különböző színű komponensből. Márkus László Idősorok February 27, / 88

30 Autoregressziós folyamatok Definíció Elsőrendű autoregresszió, AR(1): Az elsőrendű autoregresszió egy olyan idősor, amely kielégíti a X(t) = αx(t 1) + σ ε ε(t) X(0) = X 0 (dinamikai) egyenletet, melyben ε(t) független értékű zaj, 1 szórással, α R,σ ε > 0. Definíció Egy idősor oksági megoldása a dinamikai egyenletének, ha a folyamat jelene független a generáló zaj jövőjétől, azaz teljesen függetlenek. X(t), és {ε(t + 1),ε(t + 2)...} Márkus László Idősorok February 27, / 88

31 Általában EX(t) = 0, de nem mindig, mivel a zaj 0 várható értékét nem mindig követeljük meg. Amennyiben oksági a megoldás, és így X(t 1) és ε(t) függetlenek, valamint véges a szórás, akkor D 2 X(t) = α 2 D 2 X(t 1) + σ 2 ε D 2 ε(t) (a függetlenség miatt a szórásnégyzetek összeadódnak). Ha létezik stacionárius megoldás, akkor σ 2 X = D2 X(t) = D 2 X(t 1)-ből következik, hogy σ 2 X = α 2 σ 2 X + σ 2 ε, azaz σ 2 X = σ 2 ε 1 α 2 > 0. Így α 1 esetén nincs stacionárius megoldás (nem lenne véges vagy nem lenne pozitív a szórásnégyzet). Később bizonyítjuk a következőt: Állítás Ha α < 1, akkor létezik az autoregressziós egyenlet erősen stacionárius megoldása. Márkus László Idősorok February 27, / 88

32 Az AR(1) autokovariancia függvénye Az elsőrendű autoregressziós folyamat autokovariancia függvénye: R(τ) = cov(x(t),x(t + τ)) = = cov(x(t),α X(t + τ 1) + σ ε ε(t + τ)) = = α cov(x(t),x(t + τ 1)) = α R(τ 1), ami kielégíti a zaj nélküli rekurziót. Mivel R(0) = D 2 X(t) = σ 2 X, így R(τ) = σ 2 X α τ = ατ 1 α 2 σ ε 2, és r(τ) = R(τ) R(0) = ατ. Speciálisan az autokovariancia függvény exponenciális sebességgel lecseng, tehát az AR(1) folyamat rövid emlékezetű. Ha ε(t) standard normális eloszlású, akkor X(0) N(0,σX 2 ), és az autokorrelációfüggvény által az összes véges dimenziós eloszlás adott. Márkus László Idősorok February 27, / 88

33 Az AR(1) parciális autokovariancia függvénye A parciális autokorreláció-függvény (PACF): { α τ = 1 ρ(τ) = 0 τ 2. Ezt τ = 2-re könnyen láthatjuk, ugyanis ε(t) független zaj mellett a parciális autokovarianciára 0-t kapunk: ρ(2) = cov ( X(t + 2),X(t) X(t + 1) ) = = cov ( αx(t + 1),X(t) X(t + 1) ) + cov ( ε(t + 2),X(t) X(t + 1) ) = a második összeadandó 0, mert ε(t + 2) és X(t) függetlenek (feltételesen is), = α E [ X(t + 1) E ( X(t + 1) X(t + 1) )][ X(t) E ( X(t) X(t + 1) )] + 0 a feltételes várható értékekből pedig könnyen láthatóan 0-t kapunk, így ez tovább = α = 0. Továbbmenve τ > 2-re, a rekurziós egyenlet miatt a feltételre ugyanígy mérhető lesz X(t + τ 1). Márkus László Idősorok February 27, / 88

34 Az AR(1) egyenlet megoldása A következő lépés arra szolgál, hogy "megsejtsük" mi a stacionárius megoldása az AR(1) egyenletnek. Ehhez tegyük fel, hogy α < 1, létezik a stacionárius megoldás, és iteráljuk az AR(1) elsőrendű autoregressziós egyenletet. Nem jelöljük külön az egyenletben a zaj szórását, azt tesszük fel, hogy ε(t) szórása σ ε. Átrendezve: X(t) = αx(t 1) + ε(t) X(t) = α(αx(t 2) + ε(t 1)) + ε(t)... X(t) = α s+1 X(t s 1) + [α s ε(t s) αε(t 1) + ε(t)]. X(t) s u=0 α u ε(t u) = α s+1 X(t s 1) Márkus László Idősorok February 27, / 88

35 A két oldal négyzetének várható értéke: E ( X(t) s u=0 α u ε(t u)) 2 = α 2s+2 E ( X(t s 1) 2) 0, Ha itt X(t) stacionárius folyamat, akkor EX 2 (t) = σ X minden t-re, és így a jobboldal 0-hoz tart. Ez azt jelenti, hogy Azaz s α u ε(t u) L 2 X(t), s. u=0 X(t) = u=0 α u ε(t u) L 2 értelemben, tehát az X(t) stacionárius folyamat kifejezhető a zajjal L 2 -beli határértékként. Amennyiben tehát létezik stacionárius megoldás, akkor az a fenti alakban adható meg. Ezután mutatjuk meg, hogy valóban létezik ez a megoldás. Márkus László Idősorok February 27, / 88

36 Állítás Ha α < 1, ε(t) független értékű zaj, továbbá E(ε(t) 2 ) <, akkor az AR(1) egyenletnek létezik stacionárius megoldása. BIZONYÍTÁS: 1) Az ε(t)-ről feltehető, hogy negatív értékre is értelmezett, hiszen ha nem így lenne, akkor a Kolmogorov-alaptétel szerint kiegészíthetjük függetlenül ugyanazon eloszlásból. 2) A α u ε(t u) független tagú összeg konvergens L 2 -ben és 1 valószínűséggel is. u=0 Ugyanis L 2 -ben Cauchy, és az L 2 tér teljessége miatt konvergens. A Cauchy tulajdonság belátásához az m-től n-ig futó szummából α m -ent kiemelünk, a maradék L 2 normanégyzete ugyanaz, mint szórásnégyzete, utóbbit pedig tagonként összegezhetjük a függetlenség miatt. Így a kiemelés után maradt összeg L 2 normanégyzete minden n-re korlátos (pl kisebb mintha -ig elmennénk vele) a kiemelt tag pedig 0-hoz tart, ha m tart -hez, tehát az L 2 normanégyzet 0-hoz tart. Márkus László Idősorok February 27, / 88

37 Az 1 valószínűségű konvergenciát a következőkből látjuk. A Kolmogorov-Hincsintétel szerint, ha egy független tagú X n sor tagjai 0 várható értékűek is, továbbá EX 2 n <, akkor a sor 1-valószínűséggel konvergens. A feltétel a mi esetünkben Eα 2u ε 2 (t u) végességét jelenti, ami az α < 1-ből és u=0 Eε(t) 2 végességéből rögtön következik. Ugyanis α 2u ε 2 (t u) = 1 u=0 1 α 2 Eε2 (t u) <. Így X(t) = α u ε(t u) jóldefiniált. u=0 3) X(t) kielégíti az AR(1) egyenletet. Valóban: X(t + 1) = u=0 α u ε(t + 1 u) = α [ α v ε(t + 1 v 1) v=0 ] + ε(t + 1) = = α v=0 α v ε(t v) + ε(t + 1) = αx(t) + ε(t + 1) Márkus László Idősorok February 27, / 88

38 4) Az így definiált X(t) eloszlása eltolásinvariáns (stacionárius eloszlású): X(t) = u=0 α u ε(t u) X(t + h) = u=0 α u ε(t + h u), mivel ε(t) és ε(t + h) eloszlásban megegyeznek, ezért mint sorozatok is. Ezzel minden t 1,...,t k -ra teljesül, hogy X(t 1 ),...,X(t k ) X(t 1 + h),...,x(t k + h). Ezzel igazoltuk, hogy X(t) stacionárius. Márkus László Idősorok February 27, / 88

39 Spektrálsűrűségfüggvény Megjegyzés Az AR(1) folyamat spektrálsűrűségfüggvénye: Valóban: 1 2π 0 t= ϕ(λ) = 1 2π σε 2 2π 1 1 αe iλ 2 t= e iλt R(t) + 1 2π = 1 2π R(0) [ t=0 t=0 e iλt α t + e iλt R(t) = e iλt R(t) 1 2π R(0) = ] t=0 e iλt α t 1 Ezeket geometriai sorokként adhatjuk össze: σx 2 [ ] 2π 1 1 α e iλ α e iλ 1 Márkus László Idősorok February 27, / 88 = =

40 Az eredményt átalakítjuk: σx 2 [ ] 2π 1 1 α e iλ α e iλ 1 = σε 2 2π(1 α 2 ) 1 αe iλ + 1 αe iλ 1 αe iλ 2 1 αe iλ 2 = = 1 2π σε 2 1 α 2 2 αe iλ αe iλ 1 + αe iλ + αe iλ α 2 1 αe iλ 2 = = σ ε 2 2π 1 1 αe iλ 2, tehát a fehér zaj spektrálsűrűségfüggvényétől a jobb oldali szorzótényezővel tér el az AR(1)-é. = Márkus László Idősorok February 27, / 88

41 Előrejelzés AR(1) folyamat esetén, ha a megoldás oksági, azaz a zaj jövőjétől független és 0 várható értékű, akkor Továbbá E(X(t) X(t 1)) = E(αX(t 1) + ε(t) X(t 1)) = αx(t 1). E(X(t) X(t 1)) = E(X(t) F t 1 ), ahol F t 1 a teljes múlt és jelen (most t 1-ig!) által generált szigma algebra. Ez abból látszik, hogy a feltételhez hozzávett további múltbéli tagok nem változtatnak azon, hogy ε független, αx(t 1) pedig mérhető marad a feltételre nézve. Tehát az AR(1) folyamat Markov-folyamat, legjobb előrejelzése pedig a zaj nélküli egyenlettel adódik. (Miért a feltételes várható érték adja a legjobb előrejelzést? Milyen értelemben legjobb?) Ebből azt is megkapjuk, hogy az AR(1) esetén a legjobb lineáris előrejelzés adja a legjobb előrejelzést. Márkus László Idősorok February 27, / 88

42 Nézzünk egy példát nem Gauss-féle fehér zajból generált AR(1)-re. Példa Legyen az X(t) = 1 X(t 1) + ε(t) 2 AR(1) egyenletben szereplő zaj eloszlása a következő diszkrét eloszlás: ( P ε(t) = 1 ) = P(ε(t) = 0) = minden t-re. A stacionárius megoldás eloszlása [0,1]-en egyenletes, abszolút folytonos eloszlás lesz. Írjuk fel a stacionárius megoldást: u=0 ( ) 1 u ε(t u) = 2 Márkus László Idősorok February 27, / 88

43 Átalakítva: = u=0 ( ) 1 u+1 2ε(t u). 2 A 2ε(t u) egy véletlen {0, 1} sorozat. Tetszőleges [0, 1]-beli szám előállíthatő egy megfelelő {0,1} sorozatot 2 1 hatványaival szorozva, ez az előállítás egyértelmű, és ez a [0,1]-beli racionális számok diadikus (kettes számrendszerbeli) előállítása. A diadikus előállítás első k jegyének minden konfigurációja egyenlően valószínű: 1 2 k, a zaj eloszlása, és független értékei miatt. Tehát az előállított szám az 1 2 k hosszúságú intervallumok mindegyikébe egyenlő valószínűséggel esik, és ez minden k-ra így van. Ezért a [0, 1]-intervallumban egyenletes lesz az előállított számok eloszlása. Tehát a stacionárius eloszlás U(0,1) lesz. Ebből látszik, hogy a zaj eloszlása nem sokat mond a stacionárius eloszlásról, hiszen ebből a diszkrét eloszlású ε(t)-ből abszolút folytonos eloszlású X(t)-t kaptunk. Márkus László Idősorok February 27, / 88

44 Előrejelzés: E(X(t) X(t 1)) = 1 2 X(t 1) + 1 4, mert a zaj nem 0 várható értékű. Ez az előrejelzés a múlt lineáris függvénye, ahogy azt már korábban általában láttuk. Az u.n. hátrafelé predikció (néha interpolációnak is mondják) pedig E(X(t 1) X(t)). Ez akkor lehet érdekes, ha például a mai értéket ismerjük, de a tegnapit elfelejtették regisztrálni. Az egyenlet kétszereséből 2X(t) 2ε(t) = X(t 1), így a stacionárius esetben. X(t 1) = 2X(t) mod(1) E(X(t 1) X(t)) = 2X(t) mod(1), ami nem lineáris, tehát a legjobb és a legjobb lineáris hátrafelé predikció nem esik egybe. Márkus László Idősorok February 27, / 88

45 Gauss zajból generált AR(1) idősorok realizációi Márkus László Idősorok February 27, / 88

46 t eloszlású zajból generált AR(1) idősorok realizációi Márkus László Idősorok February 27, / 88

47 t eloszlású zajból negatív együtthatóval generált AR(1) idősorok realizációi Márkus László Idősorok February 27, / 88

48 Másodrendű autoregresszió Az AR(2), azaz másodrendű autoregressziós folyamat az alábbi egyenletet elégíti ki: X(t) = α 1 X(t 1) + α 2 X(t 2) + σ ε ε(t), ahol ε(t) ugyancsak független értékű zaj. Átrendezve: X(t) α 1 X(t 1) α 2 X(t 2) = σ ε ε(t). Ennek megfelelően definiáljuk az ún. karakterisztikus polinomot: x 2 α 1 x α 2. Tétel A stacionárius megoldás létezésének szükséges és elégséges feltétele, hogy a karakterisztikus polinom gyökei az egységkörön belül legyenek. (A közönséges rekurzió is akkor stabilis, ha a gyökök az egységkörön belül vannak.) Márkus László Idősorok February 27, / 88

49 A gyökök összege α 1, ebből rögtön következik, hogy 2 < α 1 < 2. Ezen kívül a karakterisztikus polinomnak (ha gyökei valósak) az 1 illetve -1 helyen felvett értékeinek pozitívnak kell lenniük (a pozitív főegyüttható miatt felfelé néző a parabola), amiből adódik, hogy α 2 + α 1 < 1, α 2 α 1 < 1. Így az (α 1,α 2 ) síkon ez utóbbi három egyenlőtlenség által meghatározott háromszögön belül lesznek a gyökök. Márkus László Idősorok February 27, / 88

50 Az AR(2) autokovariancia függvénye Az autokovariancia-függvény illetve az autokorreláció-függvény R(t) = α 1 R(t 1) + α 2 R(t 2), r(t) = α 1 r(t 1) + α 2 r(t 2). A parciális autokorreláció-függvényre pedig ρ(1) = α 1 1 α 2, és ρ(2) = α 2 ρ(t) = 0, ha t 3. Márkus László Idősorok February 27, / 88

51 Az AR(2) előrejelzése Az AR(2) esetén a feltételes várható értékre : E(X(t) F t ) E(X(t) X(t 1)), azaz X(t) nem Markov-tulajdonságú. Kiszámolva a feltételes várható értéket: E(X(t) F t ) = E(α 1 X(t 1) + α 2 X(t 2) + σ ε ε(t) F t ) = α 1 X(t 1) + α 2 X(t 2), azaz a legjobb előrejelzés lineáris, és a zaj nélküli rekurzió adja meg. A számolásban felhasználtuk hogy X(t) független a zaj jövőjétől, azaz oksági a megoldás. Márkus László Idősorok February 27, / 88

52 Márkus László Idősorok February 27, / 88

53 Márkus László Idősorok February 27, / 88

54 Az AR(p) p-edrendű autoregressziós folyamat Legyen ε(t) független értékű zaj, 1 szórással és X(t) elégítse ki az X(t) = α 1 X(t 1) + α 2 X(t 2) α p X(t p) + σ ε ε(t) egyenletet. Ekkor X(t)-t p-edrendű autoregressziós folyamatnak hívjuk. Az egyenletet átrendezve: X(t) p s=1 α s X(t s) = Ennek a karakterisztikus polinomja ahol α 0 = 1, α s = α s. P(x) = p s=0 p s=0 α s X(t s) = σ ε ε(t). α s x p s, Márkus László Idősorok February 27, / 88

55 Az AR(p) stacionárius megoldhatóságának feltétele Tétel Az AR(p) egyenletnek pontosan akkor létezik eloszlását tekintve egyértelmű, gyengén stacionárius megoldása, megfelelő X(0) = X 0,...,X(p 1) = X p 1 indítással, ha az előzőekben definiált P(x) karakterisztikus polinom komplex gyökei az egységkörön belül vannak. Ez Gauss generáló zaj esetén erősen stacionárius is. A fenti feltétel mellett a nem stacionáriusan indított AR(p) folyamat pedig exponenciális sebességgel stacionarizálódik, más szóval a folyamat geometrikusan ergodikus. Megjegyzés Szokás még P(x) helyett a P(x) = p s=0 α s x s polinomot is tekinteni. Erre P(x) = x p P( 1 x ), és a tétel feltétele úgy módosul, hogy ennek gyökei az egységkörön kívül vannak. Ez természetesen az előbbivel ekvivalens feltétel. Márkus László Idősorok February 27, / 88

56 A visszaléptetés operátor Definíció Legyen B az úgynevezett visszaléptetés (backshift) operátor, amelyet a BX(t) = X(t 1) egyenlet definiál. Az operátor nyilván kiterjed az X(t) valváltozók által generált lineáris altérre, és ha az idő korlátos akkor, mivel diszkrét is, ez egy véges dimenziós altér lesz, ami zárt is L 2 -ben, tehát ez az L 2 -ben generált altér. Az operátor hatványai annak ismételt alkalmazásai, tehát sít. B 2 X(t) = X(t 2) B 3 X(t) = X(t 3)... Márkus László Idősorok February 27, / 88

57 Megjegyzés A második fajta visszaléptetés operátorral is felírható az autoregressziós egyenlet (ez motiválja bevezetését): P(B)X(t) = α s B )X(t) k = ε(t). ( p s=0 Az egyszerűbb írásmód kedvéért a σ ε szorzót beépítjük a zajba, azaz innentől D 2 ε(t) = σ 2 ε. Innen a P(B) operátor inverzével formálisan kifejezhető X(t), azaz a megoldás: X(t) = P(B) 1 ε(t). A formális kifejezésnek tartalom is adható. Operátorok hatványai jól definiáltak a többszöri alkalmazással. Így operátorok függvényeit Taylor-sorokkal definiálhatjuk 3. Ebből már következik, hogy ha A egy operátor, f és g két elég "szép" függvény, akkor f (A)g(A) = (f g)(a) így mivel P(B) P(B) 1 = id ezért P(B) 1 1 = (B) = 1 P P(B). 3 Az operátor függvénye akkor létezik, azaz a vele felírt Taylor sor akkor konvergens, ha a függvény Taylor sorának konvergenciasugara nagyobb, mint az operátor spektrálsugara = sajátértékei abszolút értékének supremuma. Márkus László Idősorok February 27, / 88

58 Az AR(p) stacionárius megoldása Tekintsük az Taylor sorfejtést. Ez alapján 1 P(x) = 1 p s=0 α s x s = s=0 δ s x s X(t) = ( P(B) ) 1 ε(t) = s=0δ s B s ε(t) = s=0 δ s ε(t s). Annak a megállapítására, hogy ez mikor lesz konvergens, alkalmazzuk a spektrálsugár feltételt, mely szerint az operátor spektrálsugara kisebb, mint a Taylor sor konvergenciasugara. A stacionárius folyamathoz tartozó visszaléptetés operátornak nem lehet 1-nél nagyobb, vagy kisebb sajátértéke, hiszen X(t) = X(t 1) = BX(t) azaz B izometria, tehát spektrálsugara 1. Tehát 1 P(x) Taylor sorfejtése legalább az egységkörön konvergens kell, hogy legyen. Ez csak úgy lehet, ha P(x) gyökei az egységkörön kívül vannak. Ez pont azt jelenti, hogy a P(x) polinom gyökeinek az egységkörön belül kell lenniük, amit a stacionárius megoldás létezésének feltételként meg is fogalmazunk: Márkus László Idősorok February 27, / 88

59 Állítás s=0 δ s ε(t s) pontosan akkor konvergens, ha a P(x) karakterisztikus polinom gyökei az egységkörön belül vannak. Ekkor X(t) független lesz a zaj jövőjétől, azaz oksági megoldást kapunk, valamint ez a kifejezés gyengén stacionárius megoldását adja az egyenletnek. A gyenge stacionaritás onnan látható, hogy X(t + h) megkapható ε h (t) = ε(t + h)-val is mint X(t + h) = δ s ε h (t s), és itt ε h (t) egy teljesen ugyanolyan eloszlású zaj s=0 mint ε(t) így X(t + h) és X(t) eloszlásai megegyeznek, és így várható értékei is. X(t + h) és X(t) kovarianciáját minden t-re ugyanazok az együtthatók fogják meghatározni, ugyanazon kifejezés szerint, tehát ez csak h-tól függ. Az AR(p) folyamat nem Markov, de beágyazható úgy, mint egy p-dimenziós Markovfolyamat első komponense, amivel szintén igazolható a stacionárius megoldás létezése ("egységkörös" tétel). Márkus László Idősorok February 27, / 88

60 A spektrálsűrűségfüggvény A spektrálsűrűségfüggvény a fenti karakterisztikus polinommal kifejezve a alakot ölti. σ 2 ε 2π 1 ( ) P e iλ 2 Márkus László Idősorok February 27, / 88

61 Az autokovarianciafüggvény Állítás Stacionárius esetben az úgynevezett Yule-Walker-egyenletek igazak az autokovarianciafüggvényre: (1) R(0) = α 1 R(1) α p R(p) + σ 2 ε. (2) R(τ) = α 1 R(τ 1) α p R(τ p), ahol τ 1. BIZONYÍTÁS: Tudjuk, hogy R(τ) = R( τ). Tegyük fel, hogy EX(t) = 0, ekkor R(0) = E(X(0) 2 ) = E (X(0) (α 1 X( 1) α p X( p) + σ ε ε(0))). Innen (1) rögtön adódik valamint E(X(0) ε(0)) = σ 2 ε miatt. Hasonlóan E(X(0)X( τ)) = R( τ) = R(τ), R(τ) = E (X(0)X(τ)) = E (X(0)(α 1 X(τ 1) α p X(τ p) + σ ε ε(τ))), de itt most E (X(0)ε(τ)) = 0, mert a zaj jövőjétől független a folyamat. Ezzel (2) is megvan. Márkus László Idősorok February 27, / 88

62 A parciális autokorrelációfüggvény Ha az első p autokovariancia adott, akkor a többi számolható, és ugyanígy igaz ez az autokorrelációra is: r(τ) = α 1 r(τ 1) α p r(τ p) τ > p-re. Ezen rekurzió alapján az R # k mátrix utolsó sora k > p mellett az előző p sor lineáris kombinációja éppen az α 1,...,α p együtthatókkal. Ezért az R # k mátrix determinánsa 0, tehát a parciális autokorrelációfüggvényre ρ(τ) = 0, ha τ > p. A parciális autokorrelációfüggvény e tulajdonsága rendbecslésre is felhasználható, történetileg ez volt az első ilyen eljárás. Ma már nem nagyon használjuk. Márkus László Idősorok February 27, / 88

63 Az AR(p) folyamat előrejelzése a következő. Mivel az AR(p) egyenlet ezek ezért a feltételes várható érték X t = α 1 X t α p X t p + σ ε t, E(X t X t 1,X t 2,...) = α 1 X t α p X t p + E(σε t X t 1,X t 2,...). Itt az utolsó tag 0, mert a zaj jövője független a folyamat múltjától (és Eε(t) = 0). A hiba szórásnégyzete D 2 (X t E(X t X t 1,X t 2,...)) = D 2 (σ ε ε t ) = σ 2 ε, és ez a legkisebb hibájú (hibaszórású) előrejelzés. A predikciós hiba és a generáló zaj szórásnégyzete megegyezik. Márkus László Idősorok February 27, / 88

64 Folytonos idejű autoregresszió Most pedig lássuk az AR(p) folyamat megfelelőjét folytonos időben. Az előző definíció analógiájára tekintsük a következő általánosított differenciálegyenletet, ami formálisan a következőképpen nézhetne ki: X (p) (t) + a 1 X (p 1) (t) a p 1 X (t) + a p X(t) = η(t), ahol a 1,...,a p 1,a p valós számok és η(t) fehér zaj de ez utóbbi fogalmat technikai nehézsége miatt nem tudjuk definiálni folytonos időben. Ha ugyanis minden t-re független azonos eloszlású folyamatként szeretnénk definiálni, akkor Knight tétele szerint az nem lehetne mérhető folyamat, tehát pl. nem lenne eloszlása, stb. Azonban ha a Wiener folyamat deriváltja létezne, akkor az egy ilyen (független értékű zaj) folyamatot adhatna, hiszen a Wiener folyamat független stacionárius növekményű. Márkus László Idősorok February 27, / 88

65 Megpróbálhatjuk általánosított függvény (disztribúció) értelemben deriválni a Wiener folyamatot, hiszen folytonos trajektóriájú és folytonos függvény általánosított deriváltja létezik. Ehhez az egyenletet is disztribúció értelemben értjük, azaz az egyenlet két oldalát végtelen sokszor differenciálható kompakt tartójú függvényeken értékeljük ki, ϕ C0 (0,t)-re: ( (ϕ,x (p) + a 1 X (p 1) a p X) = (ϕ,η) = ϕ(s), dw(s) ) ( ) dϕ(s) =,W(s), ds ds ahol tehát η = dw(t) dt a Wiener-folyamat általánosított deriváltja ben bizonyította Kiyoshi Itó, hogy ez a megközelítés ekvivalens az általa között kidolgozott Itó kalkulusban vagy másnéven sztochasztikus analízisben megszokott differenciállal történő meghatározással. Márkus László Idősorok February 27, / 88

66 Az egyenletet a szokásos differenciálalakba átírva kapjuk, hogy ( ) dx (p 1) (t) = a 1 X (p 1) (t) a 2 X (p 2)... a p X(t) dt + dw(t). Amennyiben a P(x) = x p + a 1 x p a p karakterisztikus polinom gyökei a komplex sík bal félsíkjában helyezkednek el, akkor az egyenletnek létezik stacionárius megoldása. Speciálisan az AR(1) folyamatot Ornstein-Uhlenbeck-folyamatnak hívják, amely ekkor a dx(t) = αx(t)dt + σdw(t), (α > 0) sztochasztikus differenciálegyenletet elégíti ki. Ez diffúziós folyamat is, így Markov, és létezik folytonos trajektóriájú modifikációja. Az egyenlet megoldása explicite megadható: X(t) = e αt t 0 t e αs σdw(s) = 0 e α(s t) σdw(s) Márkus László Idősorok February 27, / 88

67 BIZONYÍTÁS: Legyen ahol X(t) = e αt t 0 f (t,x) = e αt x, és Y(t) = e αt X(t). e αs σdw(s), azaz a fenti explicit megoldás. Ebből ( ) t dy(t) = d e αt X(t) = d (e αt e αt 0 ) e αs σdw(s) = e αt σdw(t) Nyilván X(t) = f (t,y(t)), és így persze dx(t) = df (t,y(t)). Ez utóbbi egyenlet jobb oldalát határozzuk meg Itó-formulával, mely szerint, ha dz(t) = a(t)dt + b(t)dw(t), akkor az összetett függvény deriváltja ( df (t,z(t)) = f t (t,z(t)) + f x(t,z(t)) a(t) + 1 ) 2 f xx(t,z(t)) b 2 (t) dt+ +f x(t,z(t))b(t)dw(t). Márkus László Idősorok February 27, / 88

68 Esetünkben a dy-ra vonatkozó egyenletben nincs dt-s tag, tehát a(t) = 0. Ezért az f x(t,y(t)) a(t) tag szintén 0, valamint f xx = 0, így ez a tag is kiesik. Ami így marad: ez pedig a konkrét függvényre felírva Innen f t (t,y(t))dt + f x(t,y(t))b(t)dw(t), α e αt Y(t) dt + e }{{}} αt {{ e αt } σdw(t). X(t) 1 df (t,y(t)) = dx(t) = αx(t)dt + σdw(t) (α > 0), ami éppen a kívánt differenciálegyenlet X(t)-re. Márkus László Idősorok February 27, / 88

69 A fentit diszkretizálva X ( ) k = e α n k n k n 0 e αs σdw(s) = = e α n α k 1 e n k 1 n 0 e αs σdw(s) + e α k n ( e α k 1 n X n ahol ε(k) N(0, n 1 ). Tehát ( ) k X = e α n X n k n k 1 n e αs } {{ } 1 ) + σ ε(k), ( k 1 n ) + σ ε(k). σdw(s) Márkus László Idősorok February 27, / 88

70 Megjegyzés (1) Tehát egy Ornstein-Uhlenbeck folyamat (pl. a Vasicek kamatmodell alapja) diszkretizáltja egy diszkrét idejű autoregresszió. (2) Az α > 0 feltétel miatt minden n-re e α n < 1 tehát a diszkrét idejű autoregressziós egyenletnek létezik stacionárius megoldása minden diszkretizációs lépéshosszra. (3) Az Ornstein-Uhlenbeck folyamatnak pontosan akkor létezik stacionárius megoldása, ha α > 0. Ez a feltétel pontosan akkor áll fenn, mikor bármely n-re 0 < e α n < 1 és így a diszkretizált rendszernek létezik stacionárius megoldása. (4) Az olyan elsőrendű autoregressziók melyek együtthatója negatív, nem állnak elő folytonos idejű elsőrendű lineáris sztochasztikus differenciálegyenlet diszkretizáltjaként. Márkus László Idősorok February 27, / 88

71 Vektor értékű idősor Egy folyamat fejlődése nem csak endogén hatások eredménye, hanem exogén tényezők is szolgáltatnak hajtóerőt az evolúciójához. Ezek az exogén tényezők maguk is időfüggőek, és kölcsönhatásban is állhatnak a gerjesztett folyamattal, az visszahat fejlődésükre. Tehát több egyidejűleg zajló folyamatot kell feltételeznünk és vizsgálnunk. X(t) vektor értékű idősor vagy folyamat: X 1 (t). X d (t) Erős Stacionaritása ugyanúgy definiálható, mint az egy dimenziós folyamaté.. Várható értéke: EX(t) = µ(t) d-dimenziós vektor t-re. Kovarianciája: Σ(t,s) = E(X(t) µ(t))(x(s) µ(s)) T egy d d-s mátrix t,s-re. A folyamat gyengén stacionárius, ha µ(t) = µ és Σ(t, s) = Σ(t s). Márkus László Idősorok February 27, / 88

72 Auto- és keresztkovariancia Az autokovariancia függvény komponensenként értelmezett: A keresztkovariancia függvény: R i (τ) = Σ i,i (τ) = cov(x i (t),x i (t + τ)) R i,j (τ) = Σ i,j (τ) = cov(x i (t),x j (t + τ)) Teljesen hasonlóan definiálható a keresztkorrelció függvény r i,j (τ) = corr(x i (t),x j (t + τ)) = R i,j (τ) Ri (0)R j (0) A keresztkovariancia függvény nem páros és nem pozitív szemidefinit, keresztkorreláció a 0-ban nem feltétlen 1. Továbbá a gyengén stacionárius esetben R i,j (τ) = cov(x i (t),x j (t + τ)) = cov(x j (t + τ),x i (t)) = = cov(x j (t),x i (t τ)) = R j,i ( τ) Márkus László Idősorok February 27, / 88

73 Spektrálreprezentáció Ugyanúgy létezik spektrálreprezentáció: π X(t) = e iλt dφ(λ). π ahol Φ( ) vektor értékű ortogonális sztochasztikus mérték. Az autospektrum sűrűségfüggvénye: A keresztspektrum sűrűségfüggvénye: ϕ i (λ) = 1 2π e iλτ R i (τ) τ= ϕ i,j (λ) = 1 2π e iλτ R i,j (τ) τ= Ellentétben az autospektrummal (annak sűrűségfüggvényével), a keresztspektrum általában komplex értékű, mivel R i,j (τ) nem páros függvény. Márkus László Idősorok February 27, / 88

74 Definíció Az előzőknek megfelelően ϕ i,j (λ) = c i,j (λ) i q i,j (λ), ahol c i,j (λ) az ún. co-spektrum, míg c i,j (λ) a kvadratúra spektrum. Írjuk át ϕ i,j poláris alakra: ϕ i,j (λ) = D i,j (λ) e iαi,j(λ). Definíció E felírásban D i,j (λ) az ún. amplitudó spektrum, míg α i,j (λ) az ún. fázisspektrum. Márkus László Idősorok February 27, / 88

75 Koherencia Definíció A C i,j (λ) koherenciát a C i,j (λ) = ϕ i,j(λ) ϕi (λ)ϕ j (λ) formulával definiáljuk. A Cauchy-Schwartz- egyenlőtlenség miatt 0 C i,j (λ) 1 Egy ideális konstans együtthatós lineáris rendszer koherenciája 1. Ezért ez a menynyiség elvileg alkalmas a rendszer linearitásának tesztelésére. A koherenciát a lineáris rendszer inputja és outputja közötti teljesítménytranszfer jellemzésére használják. Márkus László Idősorok February 27, / 88

76 Vektor autoregresszió VAR(p) folyamat: X(t) = A 1 X(t 1) A p X(t p) + ε(t) ahol A i d d-s valós mátrix, ε(t) komponensenként független értékű zaj, azonban koordinátái összefügghetnek. A köztük lévő korreláció viszont időinvariáns, és a Σ ε szórásmátrixszal adott. A B visszaléptetés operátorral: ahol Π(B) = I d A 1 B... A p B p Π(B)X(t) = ε(t) Márkus László Idősorok February 27, / 88

77 Állítás A VAR(p) modell stabil, és így létezik stacionárius megoldás, ha a det(i d A 1 z... A p z p ) = 0 egyenlet gyökei az egységkörön kívül fekszenek, azaz, ha az A 1 A 2... A p I n I n 0 (np) (np)-s mátrix sajátértékei az egységkörön belül helyezkednek el. Állítás Egy AR(p) folyamat beágyazható egy VAR(1) folyamatba, mint annak első koordinátája. Márkus László Idősorok February 27, / 88

78 Mozgóátlag folyamatok Márkus László Idősorok February 27, / 88

79 Definíció Legyen ε(t) független értékű zaj, β i R konstansok. Ekkor az X(t) = β 0 ε(t) + β 1 ε(t 1) β q ε(t q) folyamatot q-rendű mozgóátlag folyamatnak nevezzük. Jelölés: MA(q). Megjegyzés Vegyük észre, hogy ha β i = q+1 1 minden i-re, akkor a folyamat jelenlegi értéke a zaj jelenének és q-lépésig visszatekintő múltjának átlaga. Állítás Az MA(q) folyamatok mindig erősen stacionáriusak. Megjegyzés Mozgóátlag nem csak független értékű zajból, hanem tetszőleges, akár struktúrált folyamatból is képezhető. Ez a mozgóátlag pozitív együtthatók esetén simítja az eredeti folyamatot, azonban mindig késleltetve. Márkus László Idősorok February 27, / 88

80 Márkus László Idősorok February 27, / 88

81 Az X(t) mozgóátlag folyamat autokovariancia-függvénye Eε(t) = 0, D 2 ε(t) = 1 mellett R(τ) = E (X(t)X(t + τ)) = = β 0 E (ε(t)x(t + τ)) + β 1 E (ε(t 1)X(t + τ)) β q E (ε(t q)x(t + τ)) = β 0 Eε(t) β τ ε(t + τ τ) }{{} +0 + β 1 Eε(t 1) β τ+1 ε(t + τ (τ + 1)) csak ettől nem független amely alakot Wold-felbontásnak hívunk. Megjegyzés... + β q τ ε(t q + τ) β q ε(t + τ q) = β 0 β τ + β 1 β τ β q τ β q, Igazából csak ε(t) értékeinek korrelálatlan voltát használtuk ki az előző számolásban. Ezért ha ε(t) fehér zaj, R(τ) akkor is kielégíti a fenti egyenletrendszert, és így nem függ t-től (eltolásinvariáns), tehát X(t) másodrendben (azaz gyengén) stacionárius. Márkus László Idősorok February 27, / 88

82 Megjegyzés Az autokorreláció függvénynek pontosan az első q tagja nem 0. Tétel (Wold, 1954.) Ha az R(τ) függvényre a Wold-felbontás teljesül, akkor létezik olyan MA(q) folyamat, amelynek autokovariancia függvénye R(τ), és együtthatói pont a Wold-felbontás β-i. Állítás Ha X(t) stacionárius Gauss-folyamat, EX(t) = 0 és R(τ) = 0 (τ > q), akkor X(t) MA(q) folyamat. Megjegyzés A parciális autokorreláció függvény ρ(t) általában végtelen sok tagból áll, és exponenciális sebességgel tart 0-hoz. ρ(t) nehezen számolható (Box-Jenkins, 1976.). A parciális autokorreláció és autokorreláció egymás duálisai a mozgóátlag, illetve az autoregressziós modellben. Márkus László Idősorok February 27, / 88

83 A mozgóátlag modell (szűrő) karakterisztikus polinomja Ezzel az MA egyenlet Q(x) = β 0 + β 1 x β q x q. X(t) = Q(B)ε(t), alakban írhtó fel, ahol BX(t) = X(t 1) az ismert backshift operátor. Így ha az 1 Q(x) = δ j x j Taylor sor konvergens 1-nél nagyobb konvergenciasugárral, akkor j=0 (Q(B)) 1 = j=0 δ j B j, és ezzel pedig ε(t) áll elő δ j X(t j) alakban, azaz X(t)-nek van AR( ) előállítása. j=0 Tétel A mozgóátlag folyamat pontosan akkor invertálható, azaz pontosan akkor van AR( ) előállítása, azaz δ j X(t j) = ε(t), ha karakterisztikus polinomjának gyökei az j=0 egységkörön kívül vannak. Márkus László Idősorok February 27, / 88

84 Megjegyzés Az előzőekben is tetten érhető az AR(p) es az MA(q) folyamatok közötti dualitás. Elvileg végtelen sokáig visszanyúlhatunk a múltba. A folyamatot saját múltjából előállítani azért jó, mert a folyamat múltja megfigyelhető, míg a zajé nem, tehát előrejelzésre tudjuk ezt az előállítást felhasználni. Állítás Az MA(q) folyamat spektrál-sűrűségfüggvénye létezik, és Megjegyzés ϕ(λ) = σ ε 2 ( 2π ) Q e iλ 2. A mozgóátlag simít, ez az egyik legfontosabb alkalmazási területe. Márkus László Idősorok February 27, / 88

85 ARMA(p,q) folyamatok Márkus László Idősorok February 27, / 88

86 Definíció Legyen ε(t) független értékű zaj. Ekkor a p k=0 α k X(t k) = q m=0 β m ε(t m) egyenlet megoldása az ARMA(p,q) folyamat. Az autoregressziós illetve a mozgóátlag tagok karakterisztikus polinomjait jelölje rendre P(x) illetve Q(x). Tétel Ha a P(x) gyökei az egységkörön belül helyezkednek el, akkor létezik X(t) stacionárius ARMA folyamat, és ennek létezik MA( ) előállítása. Ha továbbá Q(x) gyökei az egységkörön kívül helyezkednek el, akkor X(t)-nek létezik AR( ) előállítása is. Márkus László Idősorok February 27, / 88

87 A stacionárius ARMA(p, q) folyamat autokovariancia függvénye szintén karakterizálható és e szerint gyorsan lecsengő, vagyis az ARMA(p, q) rövid emlékezetű. Az MA( ) racionális törtfüggvényt kell sorbafejteni, míg a P(z) Q(z) sor- előállításhoz a (z) = Q(z) P(z) bafejtése az AR( ) előállítást adja. Állítás Az ARMA(p,q) folyamat spektrál-sűrűségfüggvénye: ϕ(λ) = σ ( ε 2 2π Q e iλ ) 2 ( ) P e iλ 2. Márkus László Idősorok February 27, / 88

88 ARIMA folyamatok Márkus László Idősorok February 27, / 88

89 Nem mindig van stacionárius folyamatunk, azonban gyakran differenciálással azt kaphatunk belőle. Definíció Az X(t) folyamatot ARIMA(p,1,q) folyamatnak nevezzük, ha az egyszeres differenciáltja Y(t) = X(t) X(t 1) = (1 B)X(t) ARMA folyamat. Az X(t) folyamat ARIMA(p,d,q), ha a d-szeres differenciáltja, ARMA folyamat. (1 B) d X(t) Egyszeres differenciálással lineáris trend tüntethető el, d-szeres differenciálással d- edfokú trend tüntethető el. d lehet nem egész szám is, ami nem egészrendű differenciálást eredményez. Ekkor u.n. frakcionálisan differenciált folyamatot, FARIMA(p, d, q), kapunk, ami elég általános feltételek mellett hosszú emlékezetű. Márkus László Idősorok February 27, / 88

90 Definíció X(t) lineárisan determinált idősor, ha értéke megegyezik a múltra vonatkozó lineáris predikciójával. "Durván" szólva: X(t) φi X(t i) = 0. i=1 Az előző definíció felhasználásával azt láthatjuk, hogy a végtelen mozgóátlag előállítás nem egyszerűen egy modell, hanem ezzel minden stacionárius folyamat közelíthető, a következő értelemben. Márkus László Idősorok February 27, / 88

91 Tétel Wold felbontás. Az X(t) stacionárius idősor legyen véges szórásnégyzetű D 2 X(t) <. Ekkor X(t) felírható alakban, ahol X(t) = j=0 ψ j Z(t j) + V(t) ψ 0 = 1 és ψj 2 < j=0 Z(t) WN(0,σ 2 ) cov(z(s),v(t)) = 0 és V(t) egy lineárisan determinált folyamat. s,t Márkus László Idősorok February 27, / 88

92 Megjegyzés Ha X(t) - -ből jön, Z(t) megadható, mint X(s)-ek s<t lineáris kombinációinak határértéke. A Wold felbontásban X(t) = j=0 ψ j U(t j) + V t X(t) változékonyságát idő-lokalizáltan bontjuk fel, a varianciát a ψj 2 megfelelően elosztva. súlyoknak Márkus László Idősorok February 27, / 88

93 Alternatív felbontásként felmerül, hogy időben "globálisan", nem időhöz kötődő együtthatókkal és időben adott függvényekkel is elvégezhető-e ilyen felbontás? Azaz X(t) = A j h j (t) ahol h j -k adott valós függvények egy készlete, míg az A j -k véletlen együtthatók. Elsőnek a színusz és koszínusz hullámok adnak egy természetes választási lehetőséget. Azonban szükség lehet egy lokalizált és lecsengő függvénycsaládra, amelyet nyújtással és eltolással transzformálva kapunk elegendően gazdag függvénykészletet. Az első választás adja a spektrálfelbontást, míg a második a wavelet felbontást. Márkus László Idősorok February 27, / 88