Autoregressziós modellekkel kapcsolatos

Átírás

1 Autoregressziós modellekkel kapcsolatos határeloszlás tételek Pap Gyula Kossuth Lajos Tudomáyegyetem, Matematikai és Iformatikai Itézet H 4 ebrece, Pf.2 papgy@math.klte.hu. AR() modellek Tekitsük az (.) Xk = αx k + ε k, k =, 2,..., X = egylépéses autoregressziós modellt, ahol α R ismeretle paraméter, és az egyszerűség kedvéért feltesszük, hogy (ε k ) k függetle, azoos eloszlású valószíűségi változók, Eε =, Eε 2 =. Az α paraméter legkisebb égyzetes becslése α = X jx j. X2 j Közismert, hogy az aszimptotikusa stacioárius (stabilis) esetbe, amikor α <, az ( α ) sorozat aszimptotikusa ormális (Ma, Wald [27], Aderso []): ( α α) N (, α 2 ). Az istabil esetbe ( egységgyök modell ), amikor α =, az ( α ) sorozat em aszimptotikusa ormális, haem ( α ) W (t) dw (t) W, 2 (t) dt ahol W (t) : t [, ]} stadard Wieer folyamat (White [36], Aderso []). Az explozív esetbe, amikor α >, az ( α ) sorozat megit em aszimptotikusa ormális. Ha például ε N (, ), akkor α ( α α) Cauchy(, α 2 ).

2 Általába pedig ez a határeloszlás függ ε eloszlásától (White [36], Aderso []). Más ormálással: ( N (, ) α, /2 Xj ) 2 ( α α) W (t) dw (t) ( ) /2 α =, W 2 (t) dt amely az α > esetbe akkor érvéyes, amikor ε N (, ). A következő modellt közel istabilak ( közel egységgyök modell, közel emstacioárius modell ) evezzük: (.2) ahol Ekkor az α () () X k = α () X () X () =, k + ε() k, k =, 2,..., α () = + γ(), γ() γ. paraméterek legkisebb égyzetes becsléseiből álló ( α () ) sorozatra teljesül (.3) ( α () α () ) Y (t) dw (t) Y, 2 (t) dt ahol Y (t) : t [, ]} egy folytoos idejű AR() folyamat, azaz egy Orstei Uhlebeck folyamat, melyet a következő sztochasztikus differeciálegyelettel lehet defiiáli: (.4) dy (t) = γy (t) dt + dw (t), t [, ] Y () = (Bobkoski [4], Phillips [29], Cha ad Wei [6]). Az Y (t) : t [, ]} folyamat írható Y (t) = t e γ(t v) dw (v) alakba is. Arató, Kolmogorov, Siai [5], valamit Arató [2], [4] felhívta a figyelmet a diszkrét és folytoos idejű autoregressziós folyamatok közötti kapcsolatra. Az (.3) eredméy a következő módo is megfogalmazható: γ () γ, ahol γ () a γ () paraméter legkisebb égyzetes becslése az (.2) diszkrét idejű modellbe, γ pedig a γ paraméter maximum likelihood becslése az (.4) folytoos idejű modellbe (Arató [3]): γ = Y (t) dy (t) Y 2 (t) dt, 2

3 hisze az Y (t) : t [, ]} és W (t) : t [, ]} folyamatok által a C([, ]) tére idukált P Y, illetve P W mértékek ekvivalesek, és a Rado Nikodym derivált alakja: P } Y (Y ) = exp γ Y (t) dy (t) γ2 Y 2 (t) dt, P W 2 továbbá γ () = ( α () ), és az Itô formulával γ = Y (t) dw (t) Y + γ. 2 (t) dt A közel istabil esetbe fellépő külöleges határeloszlást heurisztikusa az magyarázza, hogy ( α α ) = X() j ε() j = (X() j )2 Y (t) dm (t) Y, 2 (t) dt ahol M (t) := [t], Y (t) := X () [t], és a fukcioális cetrális határeloszlás tétel értelmébe M W, Y Y, hisze j X () j = α j l ε () l, továbbá az együtthatót írhatjuk α = e γ/ Y (t) = [t] [t]/ e γ([t] l)/ ε () l = l= l= alakba is ahol γ γ, ezért [t] e γ( s) dm (s) Az α < esetbe ez a jeleség azért em lép fel, mert ekkor ( α α) = X j ε j X2 j t N ( α 2 ), valamit teljesül e γ(t s) dw (s) = Y (t). hisze a gyegé függő valószíűségi változókra voatkozó cetrális határeloszlás tétellel X j ε j a agy számok erős törvéyével pedig ( N, ), α 2 X 2 j α 2 P-m.m. 3

4 2. AR(p) modellek Hasoló eredméyek érvéyesek az (2.) Xk = α X k + + α p X k p + ε k, k =, 2,..., X = X =... = X p =, AR(p) modellre is. Az aszimptotikusa stacioárius (stabilis) esetbe, amikor a ϕ(z) = α z... α p z p karakterisztikus poliom összes zérushelye az egységkörö kívül va, az együtthatók legkisebb égyzetes becslése aszimptotikusa ormális (Ma, Wald [27], Aderso []). Az istabil esetbe ( egységgyök modell ), amikor a ϕ karakterisztikus poliom összes zérushelye az egységkörö kívül va, Cha, Wei [7] bebizoyította, hogy az α = (α,..., α p ) együtthatók α = ( α,,..., α p, ) legkisebb égyzetes becslése em aszimptotikusa ormális, viszot alkalmas δ } ormalizáló mátrixokkal a δ ( α α) sorozatak va határeloszlása, melyre adtak egy reprezetációt többszörös Wieer itegrálok segítségével. Jegaatha [2] vizsgálta a következő közel istabil ( közel egységgyök, közel emstacioárius ) AR(p) modellt: () X k = α () X () k (2.2) + + α() p X () k p + ε() k, k =, 2,..., X () = X () =... = X () p =, ahol az α () = (α (),..., α p () ) együtthatókra teljesül α () = α + δ γ, ahol γ γ, és δ } a Cha, Wei [7] által haszált ormalizáló mátrixok. Jegaatha [2] bebizoyította, hogy a δ α () ) sorozatak va határeloszlása, melyre adott egy ige boyolult reprezetációt. Va der Meer, Pap, Va Zuijle [28] adtak egy jóval egyszerűbb reprezetációt és egyúttal megmutatták, hogy létezik egy olya folytoos idejű AR(p) modell, mely hasoló kapcsolatba va a diszkrét idejű modellel, mit amely az AR() esetbe ( α () érvéyes. Tulajdoképpe köyebb kezeli a karakterisztikus poliomok zérushelyeiek legkisebb égyzetes becslését, mit az együtthatókét. A karakterisztikus poliomok zérushelyei egységgyökökhöz kovergálak a következő módo: r q j q ϕ (z) = α () z... α p () z p = ( e γ() j,k /+iθ j z) ( e iθ j z) r j, k= ahol θ,..., θ q ( π, π] párokét külöbözőek, és γ () j,k ( γ () j,k, ) legkisebb égyzetes becsléseire teljesül γ () j,k, γ j,k, γ j,k. Ekkor a γ () j,k paraméterek ahol γ j,k } maximum likelihood becslések a következő folytoos idejű AR(p) modellbe: rj k= (d γ j,k)y (t) = dw j (t), t [, ], j =,..., q Y j () =... = Y (r j ) j () =, j =,..., q, 4

5 ahol W j (t) : t [, ]}, j =,..., q függetle, stadard Wieer folyamatok, melyek valós értékűek, amikor ϑ j = vagy ϑ j = π, egyébkét komplex értékűek. Hasoló kapcsolat érvéyes bizoyos diszkrét és folytoos idejű vektorértékű autoregressziós modellek között is (Kormos, Pap [23], Pap, Zuijle [3], [3], Varga [35]). 3. uplá geometrikus síkbeli autoregressziós modell Most tekitsük az úgyevezett duplá geometrikus síkbeli autoregressziós modellt: (3.) Xk,l = α X k,l + α 2 X k,l α α 2 X k,l + ε k,l, k, l =, 2,...,, X,l = X k, =, melyet Marti [25] vezetett be. Ezt a modellt Jai [2] képfeldolgozás taulmáyozásáál, Marti [26], Cullis, Gleeso [8], Basu, Reisel [] mezőgazdasági kísérletekél, Tjostheim [33] pedig digitális szűrésél haszálta. Az aszimptotikusa stacioárius esetbe, amikor α < és α 2 <, az α = (α, α 2 ) paraméter külöböző becsléseiről megmutatták, hogy aszimptotikusa ormálisak (például Tjostheim [32], [34], Basu [7], Khalil [22], Basu, Reisel [8], [9]). Az egységgyök modellbe, amikor α = α 2 =, az AR() esettel elletétbe az α = (α, α 2 ) paraméter egylépéses Gauss Newto becsléseiek sorozata szité aszimptotikusa ormális (Bhattacharyya, Khalil, Richardso []). A legegyszerűbb egylépéses Gauss Newto becslés: ) ( ) ( α, ( ) = + A 2 X k,l 2 X k,l, X k,l 2 X k,l ahol és α, A = x k,l = x k,l x k,l, k= l= k= l= 2 x k,l = x k,l x k,l ( ) ( 2 X k,l ) 2 2 X k,l X k,l 2 X k,l X k,l ( X k,l ) 2. Ebbe az esetbe Bhattacharyya, Khalil, Richardso [] eredméyéből következik, hogy ) ( α, 3/2 N (, 2I). α 2, Érdemes megjegyezi, hogy az AR() egységgyök modellbe az α paraméter α égyzetes becslése is egylépéses Gauss Newto becslés, hisze legkisebb α = + k= X k X k. k= X2 k 5

6 Bhattacharyya, Richardso, Frakli [2] vizsgálták a X () k,l (3.2) = α() X () k,l + α() 2 X () k,l α() α () 2 X () k,l + ε() k,l, X (),l = X() k, = közel egységgyök modellt, ahol k, l =, 2,..., α () j = + γ() j, γ() j γ j, j =, 2, és bebizoyították az α () = (α (), α () 2 ) paraméter Gauss Newto becsléseiek aszimptotikusa ormalitását. Ebbe az esetbe az egylépéses Gauss Newto becslések alakja ( ) ( ) ( α (), α () 2 X () α (), =, α () + A k,l,2x () ) k,l 2, k= l= X () k,l,,2x () k,l ahol, 2 és,2 módosított differeciák: x k,l = x k,l α (),x k,l, 2 x k,l = x k,l α () 2,x k,l,,2 x k,l = 2 x k,l + ( α (), α () ) 2 x k,l + ( α () 2, α () 2 ) x k,l. Bhattacharyya, Richardso, Frakli [2] eredméyéből következik, hogy ha a α () j, becslésekre teljesül α () j, = α() j + O P ( 3/2 ), akkor ahol 3/2 α(), α () α () 2, α () 2 N (, diag(d,, d 2,2 )), 4γj 2 ha γ e d j,j = 2γj 2γ j, j 2 ha γ j =. kiiduló Eek a cikkek az az egyik célja, hogy megvilágítsa a (3.2) diszkrét idejű közel egységgyök duplá geometrikus síkbeli modell és az (3.3) Y (s, t) = s t e γ (s u)+γ 2 (t v) dw (u, v), s, t [, ] folytoos idejű Orstei Uhlebeck véletle mező kapcsolatát, ahol W (s, t) : s, t [, ]} stadard Wieer lepedő. Kiderül, hogy a (3.3) Orstei Uhlebeck lepedő megit tekithető a (3.2) duplá geometrikus modell folytoos idejű párjáak, de ez a kapcsolat em érvéyes a becslésekre voatkozólag. Valójába a (3.3) modellbe a γ = (γ, γ 2 ) paraméterek ics maximum likelihood becslése, mert a külöböző paraméterű Orstei Uhlebeck lepedők által geerált mértékek ortogoálisak egymásra. Ez a jeleség azzal függ össze, hogy a γ = (γ, γ 2 ) paramétert erőse kozisztes módo lehet becsüli (Yig [38] a stacioárius esetbe adott erőse kozisztes becsléseket). 6

7 4. uplá geometrikus síkbeli autoregressziós modell kovergeciája Orstei Uhlebeck lepedőhöz Tekitsük a (3.2) diszkrét idejű duplá geometrikus közel egységgyök modellt. Ekkor a Y () (s, t) := X() [s],[t], s, t [, ], M () (s, t) := [s] [t] i= ε () i,j s, t [, ] véletle lépcsős függvéyek tekithetők véletle elemekek a ([, ] 2 R) Szkorohod térbe. A következő eredméy (Arató, Pap, Zuijle [6]) leírja az aszimptotikus kapcsolatot a modellhez hozzáredelt (Y () ) sorozat és a zajhoz hozzáredelt (M () ) sorozat között. 4. Állítás. A következő állítások ekvivalesek: (i) M () W (ii) Y () Y i ([, ] 2 R), i ([, ] 2 R), (iii) (M (), Y () ) (W, Y ) i ([, ] 2 R 2 ). A ([, ] 2 R) térbe alkalmazva a fukcioális cetrális határeloszlás tételt (Bickel, Wichura [5, Theorem 5]) kapjuk az alábbi következméyt. 4.2 Következméy. Tegyük fel, hogy ε () k,l } függetle, azoos eloszlású, várható értékű és szórású valószíűségi változók. Ekkor (M (), Y () ) (W, Y ) ([, ] 2 R 2 ) be. A 4.2 Következméyt közvetleül is be lehet láti az Y () (s, t) = [s] [t] i= e γ() ([s] i)/+ γ () 2 ([t] j)/ ε () i,j összefüggés felhaszálásával, mégpedig egyrészt a cetrális határeloszlástétel segítségével megmutatható a végesdimeziós eloszlások kovergeciája, másrészt Bhattacharyya, Richardso, Frakli [2] techikájával bizoyítható a feszesség. 7

8 5. Orstei Uhlebeck lepedők ortogoalitása Legye γ R és σ > eseté Y γ,σ 2(t) := σ t e γ(t v) dw (v), t [, ]. Az Y γ,σ 2(t) : t [, ]} folyamat egy Orstei Uhlebeck folyamat (γ, σ 2 ) paraméterekkel, mely a következő sztochasztikus differeciálegyelet megoldása: dy (t) = γy (t) dt + σdw (t), t [, ], (5.) Y () =. Jelölje P Yγ,σ 2 az Y γ,σ 2 folyamat által a C([, ] R) tére idukált valószíűségi mértéket. Valamely P és P 2 valószíűségi mértékek ekvivaleciáját illetve ortogoalitását illetve fogja jelöli. A következő dichotómia jól ismert (lásd Arató [3]): PYγ,σ2 P Y γ, σ2 ha σ 2 = σ 2, Az ortogoalitás σ 2 σ 2 (5.2) P Yγ,σ 2 P Y γ, σ 2 ha σ 2 σ 2. eseté azo alapul, hogy ( ( j Yγ,σ 2 ) Yγ,σ 2 ( j )) 2 σ 2 P Yγ,σ 2-m.m., amely a következő reprezetáció segítségével bizoyítható (mely 5. következméye): Y γ,σ 2(t) = γ t Y γ,σ 2(v) dv + σw (t) felhaszálva a következő valószíűségű kovergeciákat: ( ( ( W j ( ) W j )) 2 j/, (j )/ Y γ,σ 2(v) dv) 2, ahol a második kovergecia abból következik, hogy az Y γ,σ 2 folyamat valószíűséggel folytoos. Más szavakkal: a σ 2 paramétert erőse kozisztes módo lehet becsüli (Yig [37] a stacioárius esetbe adott erőse kozisztes becsléseket). Most tekitsük a (γ, γ 2, σ 2 ) paraméterű Orstei Uhlebeck lepedőt, mely a következő módo va defiiálva: s t Y γ,γ 2,σ 2(s, t) = σ e γ (s u)+γ 2 (t v) dw (u, v), s, t [, ] 2, ahol γ, γ 2 R, σ >. Jelölje P Yγ,γ 2,σ 2 az Y γ,γ 2,σ 2 folyamat által a C([, ]2 R) tére idukált valószíűségi mértéket. A következő dichotómia érvéyes (lásd Kurcheko [24], Arató, Pap, Zuijle [6]): 5.3 Állítás. PYγ,γ2,σ2 P Y γ, γ2, σ2 ha (γ, γ 2, σ 2 ) = ( γ, γ 2, σ 2 ), P Yγ,γ 2,σ 2 P Y γ, γ 2, σ 2 ha (γ, γ 2, σ 2 ) ( γ, γ 2, σ 2 ). 8

9 Hivatkozások [] Aderso, T. W. (959). O asymptotic distributios of estimates of parameters of stochastic differece equatios. A. Math. Statist. 3, [2] Arató, M. Estimatio of the parameters of a statioary Gaussia Markov process. okl. Akad. Nauk SSSR [3] Arató, M. Liear stochastic systems with costat coefficiets. A statistical approach. (Lecture Notes i Cotrol ad If., vol. 45, 39 pp.) Berli: Spriger-Verlag, 982 (i Russia, Moscow: Nauka, 989). [4] Arató, M. (989). Asymptotic iferece for discrete vector AR processes. Publ. Math. 36, 9 3. [5] Arató, M., Kolmogorov, A.N. ad Siay, Ya. G. (962). Estimatio of the parameters of a complex statioary Gaussia Markov process. okl. Akad. Nauk SSSR [6] Arató, M., Pap, G. ad Zuijle, M.v. (999). Asymptotic iferece for spatial autoregressio ad orthogoality of Orstei Uhlebeck sheets. Report 9927, Uiversity of Nijmege, The Netherlads. [7] Basu, S. (99). Aalysis of first-order spatial bilateral ARMA models. Ph.. dissertatio, Uiv. Wiscosi, Madiso. [8] Basu, S. ad Reisel, G. C. (992). A ote o properties of spatial Yule Walker estimators. J. Statist. Comput. Simulatio 4, [9] Basu, S. ad Reisel, G. C. (993). Properties of the spatial uilateral first-order ARMA model. Adv. i Appl. Probab. 25, [] Basu, S. ad Reisel, G. C. 994). Regressio models with spatially correlated errors. J. Amer. Statist. Assoc. 89, [] Bhattacharyya, B. B., Khalil, T. M. ad Richardso, G.. (996). Gauss Newto estimatio of parameters for a spatial autoregressio model. Statist. Probab. Lett. 28, [2] Bhattacharyya, B. B., Richardso, G.. ad Frakli, L. A. (997). Asymptotic iferece for ear uit roots i spatial autoregressio. A. Statist. 25, [3] Billigsley, P. (968). Covergece of probability measures. Joh Wiley & Sos, New York. [4] Bobkoski, M. J. (983). Hypothesis testig i ostatioary time series. Ph.. dissertatio, Uiv. Wiscosi, Madiso. 9

10 [5] Bickel, P. J. ad Wichura, M. J. (97). Covergece criteria for multiparameter stochastic processes ad some applicatios. A. Math. Statist. 42, [6] Cha, N. H. ad Wei, C. Z. (987). Asymptotic iferece for early ostatioary AR() processes. A. Statist. 5, [7] Cha, N. H. ad Wei, C. Z. (988). Limitig distributios of least squares estimates of ustable autoregressive processes. A. Statist. 6, [8] Cullis, B. R. ad Gleeso, A.C. (99). Spatial aalysis of field experimets a extesio to two dimesios. Biometrics 47, [9] eo, C. M. ad Wog, S. F. (978). O quadratic variatio of Gaussia radom fields. Teor. Veroyat. Prime. 23, [2] Jai, A. K. (98). Advaces i mathematical models for image processeg. Proc. IEEE 69, [2] Jegaatha, P. (99). O the asymptotic behaviour of least-squares estimators i AR time series with roots ear the uit circle. Ecoometric Theory 7, [22] Khalil, T. M. (99). A study of the doubly geometric process, statioary cases ad a ostatioary case. Ph.. dissertatio, North Carolia State Uiv., Raleigh. [23] Kormos, J. ad Pap, G. (997). Nearly ustable multidimesioal AR() processes. Computers Math. Appl. 34, 7. [24] Kurcheko, A. A. (983). Some coditios for the orthogoality of measures correspodig to homogeeous radom fields. Theory Probab. Math. Stat. 26, 3 9. [25] Mari, R. J. (979). A subclass of lattice processes applied to a problem i plaar samplig. Biometrika 66, [26] Mari, R. J. (99). The use of time-series models ad methods i the aalysis of agricultural field trials. Comm. Statist. Theory Methods 9, [27] Ma, H. B. ad Wald, A. (943). O the statistical treatmet of liear stochastic differece equatios. Ecoometrica, [28] Meer, T.v.d., Pap, G. ad Zuijle, M.v. (999). Asymptotic iferece for early ustable AR(p) processes. Ecoometric Theory 5, [29] Phillips, P. C. B. Towards a uified asymptotic theory for autoregressio. Biometrika 74 (987): [3] Pap, G. ad Zuijle, M.v. (996). Asymptotic iferece for early ustable multidimesioal AR processes. Theory Probab. Appl. 4, 73 7.

11 [3] Pap, G. ad Zuijle, M.v. (999). Asymptotic properties of early ustable multivariate AR processes. Computers Math. Appl. 37, 9. [32] Tjostheim,. (978). Statistical spatial series modellig. Adv. i Appl. Probab., [33] Tjostheim,. (98). Autoregressive modellig ad spectral aalysis of array data i the plae. IEEE Tras. o Geoscieces ad Remote Sesig 9, [34] Tjostheim,. (983). Statistical spatial series modellig II: some further results o uilateral processes. Adv. i Appl. Probab. 5, [35] Varga, K. (998). Nearly ustable AR models with coefficiet matrices i Jorda ormal form. Computers Math. Appl. 36,. [36] White, J. S. (958). The limitig distributio of the serial correlatio coefficiet i the explosive case. A. Math. Statist. 29, [37] Yig, Z. (99). Asymptotic properties of a maximum likelihood estimator with data from a Gaussia process. J. Multivar. Aal. 36, [38] Yig, Z. (993). Maximum likelihood of parameters uder spatial samplig scheme. A. Statist. 2,