4. fejezet. Nemlineáris folyamatok Egy nemlineáris fehér zaj

4

4. fejezet Nemlineáris folyamatok 4.1. Egy nemlineáris fehér zaj Mostantól nemlineáris modelleket fogunk vizsgálni. Ezek els ránézésre lineárisnak is t nhetnek, mert el fordulhat, hogy az els két momentum egyezik egy lineáriséval, így ha csak autokovariancia erejéig tekintjük ket, akkor nem vehetjük észre a különbséget. A következ példa is egy furcsaságot mutat be: fehér zaj, mely nem független érték. 4.1.1. Proposition. Legyen e(t) i.i.d. sorozat 0 várható értékkel és véges negyedik momentummal. Ezzel legyen ε(t) = e(t) + β e(t 1) e(t ). Jel.: W N(β) Ekkor ε(t) fehér zaj, de nem i.i.d. (e(t 1) helyett ε(t 1) kellene, hogy bilineáris legyen). Bizonyítás: 43

44 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK Eε(t) = Ee(t) + β Ee(t 1) Ee(t ) = 0 R(0) = D ε(t) = D e(t) + β D (e(t 1) e(t )) = σe + β σe 4 R(1) = Eε(t)ε(t + 1) 0 = = E [e(t) + βe(t 1)e(t )] [e(t + 1) + βe(t)e(t 1)] = 0, mert beszorzás után minden összeadandóban lesz els fokú, a többit l független és 0 várható érték tag. Továbbá R() = 0 + βee(t 1) e(t ) = 0 ugyanúgy, mint fenn, és R(τ) = 0 τ 3 esetén. Ez utóbbi nyilvánvaló, mert nincs azonos id höz tartozó tag, azaz minden els fokon szerepel. Tehát ε(t) fehér zaj, de nem független, azonos eloszlású, mert a hármas szorzatnak nem 0 a várható értéke, azaz Eε(t 1) ε(t) ε(t + 1) 0. Ugyanis ez egyenl E ([e(t 1) + βe(t )e(t 3)] [e(t) + βe(t 1)e(t )] [e(t + 1) + βe(t)e(t 1)]) = β E ( e (t) e (t 1) ) = β σ 4 e. Tehát a harmadik vegyes momentum (és mellesleg a 3. kumuláns) nem 0, így W N(β) nem független érték fehér zaj.

4.1. EGY NEMLINEÁRIS FEHÉR ZAJ 45 Legyen e(t) N(0, 1). Ekkor ε(t) eloszlása nyilván ugyanaz, mint a független standard normális X, Y, Z változókból el állított X + B Y Z eloszlása. Ha viszont ε(t) és ε(t 1) együttes eloszlását nézzük, az már különbözik az U = X + B Y Z és V = X + B Y Z együttes eloszlásától, ahol X, Y, Z, X, Y, Z teljesen függetlenek. Tekintsük azt a folyamatot, amelynek dierenciája éppen az el z W N(β), azaz Y (t) Y (t 1) = ε(t) = e(t) + βe(t 1)e(t ). Erre EY (t) = 0, a szórásnégyzet pedig D Y (t) = D ( t i=1 Y (i) Y (i 1) ) = t D (Y (k) Y (k 1)) = = t D ε(t) = t σe(1 + β σe). (Ehhez Y (0) = c-nek (c = 0) teljesülnie kell 1 valószín séggel, mert így a teleszkópos összeg után Y (t) Y (0) marad.) Ezért t esetén D Y (t) tart végtelenbe O(t) nagyságrendben, így Y (t) egy Wiener folyamat diszkretizáltjára hasonlít (de nem az, mert nem független növekmény a folyamat).

46 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 4.. A bilineáris modell 4..1. Denition. Bilineáris folyamat: BL(p, q, P, Q), X(t)+ p a i X(t i) = ε(t) + }{{} zaj i=0 } {{ } AR komponens q b j ε(t j) + j=0 } {{ } MA komponens P i=1 Q c ij X(t i)ε(t j), j=1 ahol ε(t) i.i.d. 0 várható értékkel, és vegyük észre, hogy az utolsó (nem lineáris) tagban a folyamat és a zaj múltbéli értékei vannak összeszorozva. A stacionárius megoldás létezésére Liu és Brockwell adtak feltételt 1988- ban 1. Most vizsgáljuk a BL(1, 0, 1, 1)-et a c 1,1 = c jelölés mellett: X(t) ax(t 1) = ε(t) + cx(t 1)ε(t 1). A bilineáris folyamat paraméterbecslése nagyon bonyolult. Ld. SubbaRao- Gabr. Meg lehet mutatni, hogy µ = EX(t) = c σ ε 1 a konstans, m = EX (t) = σ ε(1 + cσε + 4acµ). 1 a c σε 1 Földrengések modellezésére jó, mert néha kiugrik, majd lassan lecseng, ráadásul hosszú távon stacionárius.

4.. A BILINEÁRIS MODELL 47 Nyilván R(0) = m µ, továbbá S(1) = E(X(t)X(t + 1)) = am + cσ εµ, és S(s) = E(X(t)X(t + s)) = as(s 1) + cσ εµ, azaz S(s) nem függ t-t l, így másodrendben stacionárius. Innen pedig R(s) = S(s) µ, S(s 1) = R(s 1) + µ, tehát felírhatjuk, hogy R(s) = a [ R(s 1) + µ ] + cσ εµ }{{} (1 a)µ µ = = ar(s 1) + aµ + (1 a)µ µ = ar(s 1). Ezzel azt kaptuk, hogy R(s) = const a s alakban írható, vagyis ugyanolyan, mint egy els rend autoregresszió kovariancia struktúrája, így csak az els két momentum - és annak becslése - alapján nem elkülöníthet egy AR(1)- t l, ARMA(1, 1)-t l. Kell a kumuláns, illetve az annak megfelel bispek- Ha a spektrumot tekintenénk, az sem segítene, hisz az is csak az autokovariancia Fouriertranszformáltja.

48 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK trum 3 4. A stacionaritás, más szóval a stacionárius megoldás létének elégséges feltétele, hogy a + c 1. X(t) s r ségfüggvénye ekkor létezik és folytonos, kivéve a c -t, ugyanis erre f( a ) = +, és határértékben is c végtelenbe tart. Minden a 0-ra és minden pozitív A-ra f c (x) c 0 f 0 (x) egyenletesen is x < A-n. Egy ismert sejtés szerint, ha X(t) BL(p, q, P, Q), akkor stacionárius eloszlása egycsúcsú. 4..1. Egyszer bilineáris modell X(t) = β X(t k) ε(t l) + ε(t) diagonális, ha k=l, szuperdiagonális, ha k>l, illetve szubdiagonális, ha k<l. Az autokorrelációk számítása nem egyszer, mert nem függetlenek szorzata! Szuperdiagonális modell: EX(t) = β E [X(t k + l)e (ε(t) ε(t l))] + E E(ε(t) ε(t l)) = 0. EX(t) X(t j) = 0 hasonlóan számolható. 3 A karakterisztikus függvény logaritmusát kumulánsgeneráló függvénynek is nevezik, értelemszer en a sorfejtésének együtthatóit kumulánsoknak nevezzük. A név arra a fontos tulajdonságra utal, hogy független valószín ségi változók összegének kumulánsa a valószín ségi változók kumulánsainak összege (persze: függetlenek összegénél a karakterisztikus függvények szorzódnak, és a logaritmus hatására ebb l összeg lesz). Emiatt szokták még szemiinvariánsoknak is hívni ket. 4 A harmadik kumuláns (stacionaritás miatt csak két változós függvény) Fourier-transzformáltját bispektrumnak hívjuk. Gauss folyamatra 0. Gyakran használják linearitás tesztekre.

4.. A BILINEÁRIS MODELL 49 Diagonális modell: EX(t) = β µ, ahol µ = E ( ε(t) ε(t 1) ), speciálisan µ = σε, ha ε(t) i.i.d. cov (X(t), X(t j)) = 0, ha j k és cov (X(t), X(t k)) = β µ. Tegyük fel még, hogy ε(t) i.i.d. és ahol µ 4 = Eε 4. Ekkor: Eε p 1 = 0, p = 1,..., 4, β 4 µ 4 < 1, cov ( X (t), X (t j) ) = 0 1 j k 1. Szuperdiagonális modell: cov ( X (t), X (t j) ) = 0, ha j = 1,..., l 1, l + 1,..., k 1 és j k l. Egyébként: cov ( X (t), X (t j) ) = β4 µ (µ 4 µ ) 1 β 4 µ EX(t).

50 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK Legyen Y (t) Y (t 1) = X(t), ahol X(t) BL(1, 0, 1, 1). Behelyettesítve X(t) formuláját kapjuk, hogy Y (t) (1 + a)y (t 1) + ay (t ) = = cy (t 1)ε(t 1) cy (t )ε(t 1) + ε(t), azaz Y (t) BL(, 0,, 1) lesz. De míg az el z modellben a < 1-re stacionárius a folyamat, az itt lév AR() "tagot" egy olyan gerjesztéssel hajtjuk meg, amely a folyamat múltjától is függ - jogos az AR() karakterisztikus polinomját nézni (bal oldal). Ez pedig a z (1 + a)z + a, aminek a z = 1 tetsz leges a mellett gyöke, így nem lesz stacionárius a folyamat. 4.3. ARCH processes and their generalisations 4.3.1. The ARCH(1) process The ARCH acronym stands for Autoregressive Conditional Heteroscedasticity 5. These processes are most popular in nancial modelling, but also have an increasing number of applications in environmental sciences, physics and elswhere. The ARCH(1) process was introduced by Robert F. Engle in 198, and later he received a Nobel prise for this nding. Let ε(t) be an independent value noise, and let us suppose it to have unit variance Eε (t) = 1, when the variance is nite at all. Often but not 5 The word heteroscedasticity comes from the Greek "skedastikos" σκεδαστικως which means "able to disperse".

4.3. ARCH PROCESSES AND THEIR GENERALISATIONS 51 always ε(t) N(0, 1) i.e. it is a Gaussian white noise. The X(t) ARCH(1) process is dened by the equation X(t) = σ(t)ε(t) (4.3.1) meaning that it is given as the product of a time-dependent random variable and an independent value noise. The interpretation that the random variable is a time-dependent standard deviation lends itself naturally. The time-dependent standard deviation is supposed to be dependent on the immediate past value of the process. Hence it is random and it is interpreted as conditional standard deviation, given the previous value of the process. Instead of the standard deviation it is rather its square, the variance that we give conditionally prescribing the equation σ (t) = α 0 + α 1 X (t 1). (4.3.) Here α 0, α 1 are non negative constants. The conditional variance D ( X(t) X(t 1) = x ) = α 0 + α 1 x is a quadratic function of the value of the process at the preceeding time. This can be generalised by taking an arbitrary power function instead of the square, and the obtained model is called the Power ARCH one. Remaining at the classical quadratic setup, by simple substitution the two model equations yield an expression for the squared of the original process as

5 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK X (t) = ( α 0 + α 1 X (t 1) ) ε (t),. (4.3.3) However this form is not equivalent with the original two model equations. This can be seen for example from the fact that when the driving noise is a Gaussian white noise, the original equations can not have a non-negative solution, while the latter equation 4.3.3 can have it. On the other hand if a process X(t) solves equations 4.3.1, 4.3., then it is clearly a solution to 4.3.3. We are now looking for the stationary solution of equations 4.3.1, 4.3.. Let us start to iterate equation 4.3.3. X (t) = α 0 ε (t) + α 1 α 0 ε (t) ε (t 1) + α 1 X (t ) ε (t) ε (t 1) X (t) = α 0. α j 1 ε (t)... ε (t j). j=0 Again, the solution of the original equations has to satisfy this latter equation. However, at this point we cannot simply take square root. Further considerations, not presented here, show that the stationary solution of equations 4.3.1, 4.3. can be given as X(t) = ε(t) α0 (1 + k=0 α k+1 1 ε (t 1)... ε (t k 1) ) (4.3.4)

4.3. ARCH PROCESSES AND THEIR GENERALISATIONS 53 whenever the sum in the expression is convergent. It turns out that the sum will be convergent in the L sense if and only if 0 < α 1 < 1 and the solution obtained in 4.3.4 will have nite second moment i.e. variation. This we can formulate in the following proposition. 4.3.1. Theorem. Suppose 0 < α 0 in equation 4.3., and for the independent value noise ε(t) = 1 holds. If in addition 0 < α 1 < 1 then 4.3.4 is the unique weakly stationary causal solution of equations 4.3.1, 4.3.. On the other hand if 1 < α 1, then no weakly stationary solution exists. Note here immediately, that weak stationarity implies the niteness of the variance of the solution, so the fact that no weakly stationary solution exists when 1 < α 1, does not exclude the exsistence of a strictly stationary solution for that matter - which is indeed quite often the case. Observe, that the theorem is valid independently of the distribution of the noise. We do not fully prove the theorem here. In fact it should be shown that the square root term is the conditional variance and then equation 4.3.1 immediately gives the solution. We can see however, that if the sum in 4.3.4 converges, then the formula produces a stationary and causal process. Causality is trivial, stationarity follows the same way as in the AR(1) case. The representation η(t) = ε(t + h) produces a new independent value noise which is identical in distribution with ε(t). Any vector (X(t 1 + h),..., X(t m + h)) can be computed from η absolutely the same way as (X(t 1 ),..., X(t m )) from ε(t), therefore their distributions are the same. We can also see from

54 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK here that whenever we can prove convergence, we have strict stationarity. And convergence here does not necessary in the L sense. Convergence with probability 1 may - and does - work without the assumption of nite variance, and gives the stationary solution in a broader case. Compute now the second moment of the solution. If the sum and the expectation can be interchanged, then using the independence of the noise values we have EX (t) = α 0 j=0 α j 1 Eε (t)... Eε (t j) = α 0 1 α 1. This sum is nite only if 0 < α 1 < 1. If α 1 1 then the sum is not convergent, but this fact by itself still does not prove the necessity of the condition 0 < α 1 < 1 for the existence of a nite variance solution. We may also see from here, that if α 0 = 0 then the solution is the identically 0 process. 4.3.. Corollary (1). As an immediate consequence of the theorem we can see that E X(t) = 0. The terms ε(t) and in 4.3.4 are independent, because under the square root there are noise values earlier than t. Because of this independence EX(t) = Eε(t) E = 0, továbbá

4.3. ARCH PROCESSES AND THEIR GENERALISATIONS 55 4.3.3. Corollary (). D X(t) = α 0 1 α 1. Indeed the variance equals the second moment that we calculated earlier, because of the 0 expectation. 4.3.4. Corollary (3). The ARCH(1) process is a white noise. For the autocovariances of lags greater than 0 we have E ( X(t + h)x(t) ) = Eε(t + h) E (. ε(t) ) = 0, }{{} From the past of t+h meaning that the stationary ARCH(1) has uncorrelated values, identical distributions - because of stationarity - and 0 expectation, hence it is a white noise. However the ARCH(1) process does not have independent values. The conditional expectation E ( X (t) X(t 1) ) = [ α 0 + α 1 X (t 1) ] E ( ε (t) X(t 1) ). Here ε (t) and X(t 1) are independent, so the conditional expectation equals the unconditional and Eε (t) = 1, therefore E ( X (t) X(t 1) ) = α 0 + α 1 X (t 1). Were the values X(t), X(t 1) independent, the conditional expectation would equal the unconditional, meaning a non-random value, but what we got on the right hand is a random variable.

56 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 4.3.5. Corollary. The stationary distribution of an ARCH(1) process cannot be Gaussian. The ARCH(1) process is a white noise but a Gaussian white noise has independent values which is not possible for an ARCH(1) process. 4.3.6. Proposition. The ARCH(1) process has symmetric stationary distribution when the generating noise also has symmetric distribution. This is true because the solution is obtained by 4.3.4 as a product ε(t) of independent random variables with symmetric and }{{}}{{} symmetric non negative non-negative distributions. Let us thik it over: if Z = X Y with independent random variables X and Y with symmetric and non-negative distributions respectively, then and {Z > z} = {Z < z} = and hence P (Z > z) = P (Z < z). { ω : Y (ω) = y, y > 0, X(ω) > z } y { ω : Y (ω) = y, y > 0, X(ω) < z }, y 4.3.7. Proposition. When X(t) is a stationary ARCH(1) process then for every α 1 (0, 1) there exists a β > 0 so that EX β (t) =. 4.3.8. Proposition. When X(t) is a stationary ARCH(1) process generated from a Gaussian white noise then EX 4 (t) < exactly when 3α 1 < 1.

4.3. ARCH PROCESSES AND THEIR GENERALISATIONS 57 4.3.9. Proposition. When X(t) is a stationary ARCH(1) process with EX 4 (t) <, then X (t) is autocorrelated and its autocorrelation function coincides with that of an AR(1) process with parameter α 1. 4.3.. The ARCH(p) process 4.3.10. Denition. The ARCH(p) process is dened as the solution of the equation X(t) = σ(t)ε(t), where σ (t) = α 0 + p α i X (t i), i=1 and ε(t) is an independent value noise having either unit or innite variance. 4.3.11. Remark. When X(t) is a stationary ARCH(p) process with EX 4 (t) <, then X (t) is autocorrelated and its autocorrelation function coincides with that of an AR(p) process with parameters α 1,, α p. Hence the AR part in the name. 4.3.1. Proposition. When generated from a Gaussian white noise the ARCH(p) process has conditionally Gaussian gistributions, given X(t 1),..., X(t p). This statement enables us to compute the conditional likelihood and estimate the ARCH parameters by maximising it. This is not the true maximum likelihood estimator though, its name is quasi maximum likelihood estimator.

58 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 4.3.3. The GARCH(p, q) process The ARCH(p) model can be generalised further. The name of this generalisation is the Generalized AutoRegressive Conditional Heteroscedastic or GARCH(p, q) model. Its invention was motivated by the fact that very large order was often necessary in the applications to achieve good model t. Heuristically speaking the uncertainty depends on not only the previous values of the process, but also on the previous uncertanties. 4.3.13. Denition (GARCH(p,q)). The model was invented in 1986 by Tim Bollerslev. According to it X(t) = σ(t) ε(t), where ε(t) is an independent value noise, furthermore σ (t) = α 0 + p α i X (t i) + i=1 q β j σ (t j), j=1 where α i > 0, β i > 0 constants. 4.3.14. Theorem. Suppose 0 < α 0 in the GARCH(p, q) model, and for the independent value noise ε(t) = 1 and ε(t) 4 < holds. If in addition p q α i + β j < 1. (4.3.5) i=1 j=1 holds then there exists a unique weakly stationary causal solution of the GARCH(p, q) equations. If we require the existence of a nite variance of the solution to the GARCH(p, q) equations then 4.3.5 holds true, i.e. the condition is necessary.

4.4. STOCHASTIC RECURSION EQUATIONS SRE 59 The proof can either be carried through by a similar iteration as in the ARCH(1) case or by using more general results, as we will see later. 4.3.15. Proposition. The GARCH(p, q) process is a white noise. The proof is similar to the ARCH(1) case. The variance of the process can also be computed as: R(0) = D X(t) = α 0 ( ). p 1 α i + q β j i=1 j=1 The ltration F t = σ{x(s) : s t} generated by the GARCH(p, q) process coincides with the ltration of the noise : Ft ε = σ{ε(s) : s t}. 4.3.16. Proposition. Suppose there exists a t 0 so that σ(t 0 ) is F t0 - measurable, then σ(t 0 + 1) is also F t0 -measurable by the equations, and so for every t t 0 the conditional variance σ (t) is F t 1 -measurable, i.e. σ (t) is predictable. If the solution is causal then F t 1 is independent from ε(t) and hence the expectation of the product Eσ(t)ε(t) = 0 and Eσ (t) σ (t + τ) ε(t) ε(t + τ) = 0. This proves the white noise property of the GARCH(p, q) process. 4.4. Stochastic Recursion Equations SRE 4.4.1. Denition. The X(t) = A t X(t 1) + B t (4.4.1)

60 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK equation with the d d random matrix A t and the d dimensional random vector B t is called stochastic recursion equation (SRE), if (A t, B t ) is an i.i.d sequence. Let us call attention to the dierence from the previous models that the coecients are now time dependent and random. Let denote the euklidean norm in R d and the operator norm i.e. A = sup Ax as usual. A > 0 denotes that every item in the matrix A x =1 is positive. We now focus on the existence of the stationary solution of the SRE. 4.4.. Denition. The Ljapunov-exponent of the SRE is γ = inf { 1 n E log A 1... A n }. (4.4.) In the deterministic case the Ljapunov-exponent is ( ) inf log A 1... A n 1 n, that is the inmum of the logarithm of the geometric mean of the coecients. The Ljapunov-exponent as we dene it is often called in the literature the top Ljapunov-exponent. We will not consider any other type of Ljapunov-exponents so we omit the top in the name. 4.4.3. Remark. It is possible to prove a theorem called the subadditive ergodic theorem which is similar to the law of large numbers and was proven by Fürstenberg and Kesten. It states that

4.4. STOCHASTIC RECURSION EQUATIONS SRE 61 1 γ = lim n n log A 1... A n, where the limit is taken with probability 1. So the expectation can be replaced by the limit with probability 1. This theorem is useful when one would like to simulate from the solution. 4.4.4. Theorem. Suppose we are given the SRE 4.4.1, and the coecients satisfy E log + A 1 <, E log + B 1 < and γ < 0. Then the sequence X n = B n + A n... A n k+1 B n k k=1 converges with probability 1 and the limit is the unique, strictly stationary, causal solution of the SRE. When d = 1 the Ljapunov-exponent simplies as 1 n E log A 1... A n = 1 n E log ( A 1... A n ) = E log A 1, and the γ < 0 condition transforms to E log A 1 < 0.

6 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 4.4.5. Denition. Regularly varying distribution Az X d-dimenziós véletlen vektort reguláris változásúnak mondjuk α 0 index-szel, ha van olyan (a n ) számsorozat, hogy n P ( X > t a n, e X B S ) t α Q(B S ) n ahol e X jelöli az X irányú egységvektort és B S a d dimenziós tér egységgömbjét 6. 4.4.6. Remark. Egydimenzióban B S 1 pont 7, és n P ( X > t a n ) const t α. Legyen például a n = n, ekkor P ( X > t n) const n t α. Tehát ez azt mondja meg, hogy elég nagy n mellett, ha elég messzir l indulunk 8, akkor a farokviselkedés t α nagyságrend, azaz hiperbolikus lecsengés. Explicite úgy fogalmazhatunk, hogy léteznek c + és c konstansok úgy, hogy t + esetén P (X > t) c + t α és P (X < t) c t α. 4.4.7. Theorem (Kesten, 1973 - Vervaat, 1979 - Goldie, 1991). Let us given an SRE with coecients A t > 0 and B t > 0 i.e. the elements of the matrix and the coordinates of the vector are all positive. Suppose the following ve conditions are satised: 1. E A 1 ε < 1 for some positive ε,. A 1 is non-degenerate, 6 itt az egyéggömbre, mint Borel-halmazra kell gondolnunk 7 mármint pont, de nyilván csak a pozitív oldalon lev vel foglalkozunk, mert X -et nézzük 8 tehát t még n-nél is nagyobb

4.4. STOCHASTIC RECURSION EQUATIONS SRE 63 3. there exists a positive κ 0 so that E 4. E ( A 1 κ 0 ln+ A 1 ) <, 5. dense group condition: the set ( min i=1,...,d j=1 ) κ0 d (A 1 ) i,j d κ0/, {ln a n... a 1 : n 1, a n... a 1 > 0 and a n,..., a 1 suppp A1 } generates a dense group in R. Then the followings hold true: 1. There exists the unique solution κ 1 (0, κ 0 ] of the equation 0 = lim 1 n log E A n... A 1 κ 1.. There exists a unique, strictly stationary, causal solution of the SRE. 3. If in addition E B κ 1 <, then the above mentioned solution X(t) has a regularly varying distribution with regularity index κ 1 = α. 4.4.8. Remark. In 1 dimension log E A n... A 1 κ 1 = n log E A 1 κ 1 therefore in the equation prescribed for κ 1 the limit can be omitted and the equation simplies to 0 = log E A 1 κ 1. This is clearly equivalent to 1 = E A 1 κ 1 and therefore in 1 dimension this latter equation species the regularity index.

64 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 4.4.1. Az els rend bilineáris modell stacionárius eloszlása Vizsgáljuk most az els rend bilineáris modellt: X(t) = ax(t 1) + cx(t 1)ε(t 1) + ε(t), ahol ε(t) i.i.d., a, c pedig valós konstansok. Tegyük fel, hogy ε(t) N(0, 1). Ekkor az egyenlet átírható a következ alakba: X(t) = Y (t 1) + ε(t), ahol Y (t) = (a + c ε(t))x(t) = (a + c ε(t))(y (t 1) + ε(t)) = = (a + cε(t)) Y (t 1) + (aε(t) + cε (t)) = A t Y (t 1) + B t. Megjegyezzük, hogy az A t, B t pár független az A t 1, B t 1 pártól. Ez kielégít egy sztochasztikus rekurziós egyenletet, mivel A t -k és B t -k független, azonos eloszlású sorozatok (minden egydimenziós). Ha ε(t) N(0, 1), akkor A t N(a, c ). Ekkor vajon mi lesz a stacionárius megoldás? Az, hogy E log A t < 0 - azaz a Ljapunov-exponens negatív -, átírható az ekvivalens 1 πc log x e (x a) c dx < 0 alakba. Kesten tételéb l azt kapjuk, hogy ha κ 1 kielégíti az E a + c ε(t) κ 1 = 1

4.4. STOCHASTIC RECURSION EQUATIONS SRE 65 egyenletet, akkor létezik stacionárius megoldás, és az reguláris változású κ 1 -gyel. (Ezt a κ 1 -et persze nem könny kiszámolni.) A feltételb l 1 πc x κ1 e (x a) c dx = π (cy + a) κ1 e y dy = 1, 0 ahol fontos feltételezésünk az a = 0, hiszen a 0 esetén nem végezhet el ilyen formában a helyettesítéses integrálás, f ként az integrálandó függvény nem páros (és az x = a egyenesre sem szimmetrikus) volta miatt. Viszont ha a = 0, akkor már páros a függvény, így els lépésben a 0-tól végtelenig való integráljának a kétszerese írható, majd erre az x = cy helyettesítés. Ezután az y = t, dy = 1 dt helyettesítéssel t 1 = π cκ 1 0 t κ 1 e t = cκ 1 κ 1 +1 π 1 cκ1 dt = t π 0 0 z κ 1 1 e z dz, t κ 1 1 e t dt = ahol ez utóbbi lépésben a t = z, dt = dz áttérést alkalmaztuk. Itt az intergrál éppen a Γ függvény alakját öltötte a κ 1+1 helyen. Azaz ( c) κ ( ) 1 κ1 + 1 Γ = 1. π Ebb l pedig felhasználva a Γ ( 1 ) = π azonosságot kapjuk, hogy ( ( Γ κ1 ) +1. Γ ( ) 1 ) 1 κ 1 = c

66 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK Például c = 1 -re Γ ( κ 1 ) ( +1 = Γ 1 ), így κ1 = 0. Ekkor pedig nem lesz reguláris változású a megoldás, azaz a stacionárius megoldás a polinomiálisnál gyorsabban lecseng eloszlású. Most c = 1-re nézve Γ ( ( ) ) 1 3 = π -t felhasználva kapjuk, hogy Γ( 3 ) = Γ( 1 ), tehát κ1 =. c = π -re κ 1 = 1; c = 4 3 -re κ 1 = 4; c = 6 π 3 -re κ 1 = 3. Ez utóbbinál érdemes megjegyezni, hogy 6 π 3 = 1 6 8 6 π 4 = 1 6 π 4 < 1. Tehát a c = 1 nem határa a "reguláris változásúságnak". Ha a 0, akkor igencsak reménytelennek látszik az integrálás elvégzése. 4.4.. A GARCH(p, q) modell stacionárius megoldása és eloszlása Ha X(t) GARCH folyamat, akkor (a denícióban szerepl ) X (t) és σ (t) beágyazható egy sztochasztikus rekurziós egyenletbe, azaz az X(t) = A t X(t 1) + B t vektorérték folyamatokra vonatkozó egyenletbe. X(t) = ( ) σt+1,..., σt q+, Xt,..., Xt p+

4.4. STOCHASTIC RECURSION EQUATIONS SRE 67 α 1 ε (t) + β 1 β... β q 1 β q α α 3... α p 1 0... 0 0 0 0... 0 0 1... 0 0 0 0... 0............. A t = 0 0... 1 0 0 0... 0, B t = ε (t) 0... 0 0 0 0... 0 0 0... 0 0 1 0... 0............. 0 0... 0 0 0... 1 0 (α 0, 0,..., 0) 4.4.9. Theorem. Tegyük fel, hogy az SRE Ljapunov-exponense γ < 0, valamint α 0 > 0. a) Tegyük fel, hogy E log + ε(1) véges. Ekkor létezik egyértelm, oksági, er sen stacionárius megoldása a GARCH egyenletnek. b) Tegyük fel, hogy ε(1) abszolút folytonos eloszlású, mindenütt pozitív s r ségfüggvénnyel, valamint E ε(1) h < minden h < h 0 -ra, de E ε(1) h 0 = valamely 0 < h 0 -re. Ezen kívül nem t nik el az összes α i, β i. Ekkor létezik olyan pozitív κ 1, és w(x) véges érték függvény, hogy minden x R d \{0}-ra lim u u κ 1 P ( x, X 1 > u) = w(x) létezik, azaz x, X 1 reguláris változású κ 1 indexszel. Továbbá ha κ 1 nem páros, akkor X 1 reguláris változású κ 1 indexszel. c) Ha az ε(1) s r ségfüggvénye a 0 egy környezetében pozitív, akkor X(t) er sen kever geometriai sebességgel (gyakorlatilag geometrikusan ergodikus lesz).

68 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 4.4.10. Remark. Nehéz formulát kapni a Ljapunov-exponensre, így feltételt a stacionaritásra is. Tegyük fel, hogy α 0 > 0, Eε(1) = 0 és Eε (t) = 1. Ekkor i) γ < 0 szükséges és elégséges feltétel az egyértelm, er sen stacionárius, oksági megoldás létezéséhez. q ii) β j < 1 szükséges γ < 0-hoz iii) j=1 p α i + q β j < 1 elégséges γ < 0-hoz (ez egy nagyon er s feltétel) i=1 j=1 iv) ha ε(t) véges tartójú, nincs atomja 0-ban, α i, β j > 0, akkor q β j = 1 elégséges γ < 0-hoz. j=1 p α i + 4.4.3. Az ARCH(1) modell er s stacionaritása Nézzük az ARCH(1) esetét! Láttuk, hogy X(t) = σ(t) ε(t), négyzetre emelve pedig X (t) = σ (t) ε (t), ahol σ (t) = α 0 + α 1 X (t 1). Ezt behelyettesítve X (t) = ( α 0 + α 1 X (t 1) ) ε (t) = A t X (t 1) + B t, ahol A t = α 1 ε (t) és B t = α 0 ε (t), tehát (A t, B t ) i.i.d. Összehasonlítva, az ARCH(1)-et X (t) = α 1 X (t 1) ε (t) + α 0 ε (t), és a bilineáris modellt X(t) = bx(t 1) ε(t 1) + ε(t) + ax(t 1), i=1

4.4. STOCHASTIC RECURSION EQUATIONS SRE 69 láthatjuk, hogy lényeges különbség van a kett között 9. A γ Ljapunovexponens negativitásához az kell, hogy E log A 1 = E log α 1 ε (t) = log α 1 + E log(ε (t)) < 0 legyen. Mivel ε(t) standard normális eloszlású, így E log(ε 1 (t)) = E log(ε(t)) = log(ε(t)) e ε (t) dε(t), π ahonnan ε(t) = X helyettesítéssel kapjuk, hogy 1 log(x) e x 1 1 π x 1 dx = log() Γ ( 1 )e x x 1 1 dx+ 1 log(x) Γ ( 1 )e x x 1 1 dx ahol felhasználtuk, hogy π = Γ ( ) 1. Vegyük észre, hogy 1 Γ( 1 ) e x x 1 1 éppen a Γ 1,1 eloszlás s r ség-függvénye, tehát X ilyen eloszlású. Így az el z tovább egyenl Felhasználva, hogy Γ (y) = log + 1 Γ ( ) 1 e x (x y 1 ) dx = log(x)e x x 1 1 dx-szel. e x log(x)x y 1 dx 0 0 kapjuk, hogy log + Γ( 1 1 ) Γ ( 1 ). Γ (z) Γ(z) pedig deníció szerint a digamma függvény, ami az 1 helyen C log(), ahol C az Euler-konstans10. Így végül E log(ε (t)) = log() C log() = log() C. 9 X(t 1) az egyikben t-t l függ vel van szorozva, másikban meg (t 1)-t l függ vel ( n ) ( ) 10 1 C = lim n k log n 1 = [x] 1 x dx k=1 1

70 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK Innen α 1 > 0-ra E log A 1 = log α 1 log C < 0, ami pontosan akkor teljesül, ha 0 < α 1 < e C 3, 5686. Tehát ezen tartományban a Ljapunovexponens negatív. Nyilván E log + A 1 <, továbbá belátható, hogy minden pozitív α 0 -ra E log + B 1 is véges. 4.4.4. Az ARCH(1) modell stacionárius eloszlásának regularitása Nézzük a regularitás kérdését 0 < α 1 < e C mellett. Keressük azt a κ-t, amely kielégíti az E A t κ = 1 egyenletet. E α 1 ε (t) κ = α κ 1 Eε κ 11 = α κ 1 1 π 0 x κ e x dx = Most helyettesítsünk a következ képpen: legyen t = x 1, ezzel dx = dt = 1 t dt, így az egyenl ség a következ képpen folytatható = α κ 1 π 0 1 κ t κ e t dt = (α 1 ) κ 1 t π 0 t t (κ+ 1) 1 e t dt = (α 1 ) κ 1 ( κ + 1 ) = π Γ Ezzel (α 1 ) κ Γ ( κ + 1 ) = π. Speciálisan α1 = 1-re κ = 1 jó választás, mert π = Γ ( 3). 4.4.11. Proposition. h(κ) szigorúan konvex függvény, így létezik egyértelm megoldása h(κ) = 1-nek. Továbbá erre a megoldásra κ > 1, ha α 1 (0, 1) κ = 1, ha α 1 = 1 11 páros függvényt integrálunk

4.4. STOCHASTIC RECURSION EQUATIONS SRE 71 κ < 1, ha α 1 (1, e C ) 4.4.1. Remark. X -es egyenletb l indultunk ki, tehát pontosan akkor nincs κ-adik momentum, ha X-nek nincs κ-adik momentuma. Ezen kívül az egyenlet explicite nem oldható meg, de a következ ket ismerjük: α 1 0,1 0,3 0,5 0,7 0,9 1,0 1,5,0,5 3 3,5 κ 13,4 4,18,37 1,59 1,15 1,0 0,54 0,31 0,17 0,075 0,007 4.4.13. Theorem. Ha α 0 > 0, 0 < α 1 < e C, és ε(t) N(0, 1) Gauss-féle fehér zaj, akkor az ARCH(1) egyenletnek létezik er sen stacionárius megoldása, amelynek négyzete regulárisan változó eloszlású κ indexszel. Legyen p a κ-nál szigorúan kisebb legnagyobb egész szám. Ekkor m = 1,..., p-re az EX(t) m momentumok végesek. Továbbá, ha X(t) stacionárius ARCH(1) folyamat, ε(t) GWN, és α 0 > 0, 0 < α 1 < 1, akkor egyrészt X második momentuma α 0 1 α 1, másrészt α 1 < 1 3 esetén a negyedik momentum is véges, méghozzá EX 4 = 3α 0 1 + α 1 1 3α1, 1 α 1 innen a lapultság (kurtosis). 1. r X (t) = corr(x t, X 0) = α t 1 minden t-re. Tehát az ARCH(1) α 1 = 0-ra GWN. 0 < α 1 < 1-re stacionárius véges szórással. 1 Kurt X = E(X(t)4 ) = 3 1 α (E(X(t) )) 1 > 3 1 3α 1

7 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 1 α 1 < e C -re stacionárius végtelen szórással. 4.4.14. Theorem. Legyen X(t) ARCH(1), α 0 > 0, 0 < α 1 < e C, ε(t) GWN és κ a h(κ) = 1 egyenlet megoldása. Ekkor P (X(t) > x) d x κ, ha x. 13 Az ARCH-GARCH folyamat néhány jellemz je: Az adatok nem korreláltak, és a szórás változik az id vel. Az eloszlás vastag farkú. A négyzetek és az abszolútértékek er sen korreláltak. A nagy értékek meghaladása klaszterekben történik (a kiugró értékek klaszterekben jelennek meg). 4.5. További nemlineáris modellek 4.5.1. Véletlen együtthatós autoregresszió 4.5.1. Denition. Véletlen együtthatós AR(p) modellt deniál a következ : p X(t) = A i X(t i) + ε(t), i=1 ahol A i -k valószín ségi változók. 4.5.. Példa. Els rend véletlen együtthatós autoregressziós modell: X(t) = (α + A t )X(t 1) + ε(t), 13 d kiszámolható pozitív konstans

4.5. TOVÁBBI NEMLINEÁRIS MODELLEK 73 ahol A(t) i.i.d. 0 várható értékkel és σa szórásnégyzettel, továbbá A t és ε(t) függetlenek, ε(t) N(0, σε) i.i.d., α pedig valós konstans. A stacionárius (ergodikus) oksági megoldás létezéséhez elégséges feltétel, hogy α +σa < 1. 4.5.. Küszöb modellek 4.5.3. Denition. Küszöb modellek: osszuk fel R p -t k db diszjunkt részre, k azaz hozzunk létre egy partíciót, így R i = R p. Ha X(t 1),..., X(t p) R i akkor az i-edik autoregressziós AR(p) modell legyen érvényes rá. i=1 Ilyen például a SETAR (Self Exciting Threshold AR) modell, ahol a partíciót különböz, a megoldás folyamat által elért küszöbszintek hozzák létre. 4.5.4. Példa. SETAR(,1,1): α 1 X(t 1) + ε(t) ha X(t 1) > 0 X(t) = α X(t 1) + ε(t) ha X(t 1) 0 Erre X(t) geometrikusan ergodikus, ha α 1 < 1, α < 1 és α 1 α < 1. Petrucelli és Woolford 1984-ben megmutatták, hogy az ergodicitásnak ez szükséges és elégséges feltétele. 4.5.5. Denition. EXPAR: X(t) = p ε(t) j=1 [ ] α j + β j e δx (t 1) X(t j) + Ezt pl. vibrációs jelenségek leírására használták.

74 FEJEZET 4. NEMLINEÁRIS FOLYAMATOK 4.5.3. Multiplikatív autoregresszió 4.5.6. Denition. Product AR(p): p X(t) = ε(t) µ i X(t i), i=1 ahol ε(t) i.i.d. Pl. viharkárok modellezésére bizonyult hasznosnak. 4.5.7. Denition. Nemlineáris AR(p): X(t) = f(x(t 1),..., X(t p)) + ε(t) 4.5.8. Remark. A bilineáris modellnél spektrálsugár-feltétel van a stacionaritásra, méghozzá egy bonyolult operátor spektrálsugarának kell 1-nél kisebbnek lennie. 4.5.9. Denition. Nemlineáris Wold-felbontás. X(t) = f(ε(t), ε(t 1),...) végtelen mozgóátlag helyett egy tetsz leges, akár végtelen sok változós függvény van (végtelen sok ε-os taggal). 4.6. Egyéb kiegészítések 4.6.1. Theorem (Herglotz). Az R(τ) (τ Z) sorozat pontosan akkor lesz egy stacionárius Gauss-folyamat kovarianciafüggvénye, ha létezik szimmetrikus véges F mérték [ π, π]-n, amelyre (i) R(τ) = π π e iτλ df (λ).

4.6. EGYÉB KIEGÉSZÍTÉSEK 75 Ha még F abszolút folytonos is a Λ Lebesgue-mértékre, akkor (ii) R(τ) = π π e iτλ ϕ(λ)dλ alakban írható, ahol (i) a kovariancia spektrálel állítása, F a spektrálmérték, ϕ(λ) pedig a spektrál-s r ségfüggvény. (ii)-nek megfelel en létezik olyan φ(dλ) véletlen spektrálmérték, hogy X(t) = π π e itλ φ(dλ). 4.6.. Theorem. A stacionárius AR(p) folyamatnak létezik spektráls r ségfüggvénye, és az ϕ(λ) = σ π P (e iλ ) = σ π P (e iλ ) P (e iλ ). 4.6.3. Proposition. A fehér zaj spektráls r sége ϕ = 1 π, azaz konstans a [ π, π] intervallumon. 4.6.4. Theorem. A stacionárius M A(q) folyamat spektráls r sége ϕ(λ) = 1 π Q(eiλ ). 4.6.5. Theorem. Az ARMA folyamat spektráls r sége 1 π Speciálisan AR(1)-re R(0) = σx, a spektráls r ség pedig ϕ(λ) = R(0) { } 1 + r(k) e ikλ = π k= Q(eiλ ) P (e iλ ) Itt a szimmetria miatt e ikλ -ban és e i( k)λ -ban a szinuszos tagok kiesnek, így ez tovább ( = σ X π 1 + ) α k cos(kλ) k=1 = = σ X π Re ( 1 + ) (αe iλ ) k k=1 σ ε π(1 α cos λ + α ) = σ ε π 1 αe iλ.. ( ( = σ X α π 1 + Re 1