IDŐSORELEMZÉSI MÓDSZERTANOK ÖSSZEHASONLÍTÁSA STATISZTIKAI TANULÓ ALGORITMUSOK SEGÍTSÉGÉVEL. Készítette:

Átírás

1 DEBRECENI EGYETEM Maemaiai Inéze Informaiai Kar IDŐSORELEMZÉSI MÓDSZERTANOK ÖSSZEHASONLÍTÁSA STATISZTIKAI TANULÓ ALGORITMUSOK SEGÍTSÉGÉVEL Témavezeő: Dr. Ispány Máron egyeemi docens Készíee: Fábián László programervező maemaius DEBRECEN 008

2 TARTALOMJEGYZÉK oldalszám BEVEZETÉS...3 I. A SZEZONÁLIS KIIGAZÍTÁS ELMÉLETI ALAPJAI...4. Az idősorelemzés ípusai Idősoro omponensei és apcsolódási leheőségei ARMA folyamao AR és MA modelle ARMA modelle ARIMA modelle SARIMA modelle ARMA modelle ellenőrzése (modellverifiáció) A sandard lineáris modell A reziduumo orrelációs sruúrája...4 II. A SZEZONÁLIS KIIGAZÍTÁSI MÓDSZEREK...8. A szezonális iigazíás módszereine fejlődése...8. TRAMO/SEATS TRAMO SEATS X-ARIMA A iigazíás minőségéne ellenőrzése...30 III. A TRAMO/SEATS és az X-ARIMA módszerano összehasonlíása...3. Az összehasonlíás során felhasznál idősoro...3. Kriériumo az auomaius iigazíás minőségellenőrzéséhez A leheséges diagnosziá a TRAMO/SEATS SA-meódushoz A leheséges diagnosziá a X-ARIMA SA-meódushoz SA Qualiy-Index Dönési fá Dönési fa felépíése anulással Dönési fáa felépíő algorimuso Vágási riériumo A anuló algorimus eljesíményéne becslése A anuló algorimus anulási görbéje Zaj és úlilleszedés Az oszályozási felada eredményeine érelmezése...58 IV. ÖSSZEFOGLALÁS...65 IRODALOMJEGYZÉK...68 KÖSZÖNETNYILVÁNÍTÁS...7

3 Bevezeés A dolgoza ereében bepillanás íváno nyújani az idősorelemzési módszerano elmélei és gyaorlai vizsgálaába. A gyaorlai vonaozáson belül nevezeesen anna a folyamana egy részére, melyne ereében a 00/00-es év során a Közponi Saisziai Hivaalban iválaszou és rendszeresíeü a TRAMO/SEATS szezonális iigazíási módszeran az X-ARIMA alernaívával szemben, min egységes szezonális iigazíási módszeran a hivaalon belül. Azér válaszoam ez a émá, mer az emlíe muná elvégző munacsoporna magam is evéeny agja volam. A KSH az 990-es éve eleje-özepe óa a Kanadai Saisziai Hivaalban ifejlesze X-ARIMA módszer használa a szezonális iigazíáso elvégzésére. Időözben a nemzeözi gyaorlaban újabb, illeve más elmélei alapon nyugvó szezonális iigazíó módszere is megjelene. Az 990-es éveben például nemzeözi szinen egyre inább elerjed az X-ARIMA és a TRAMO/SEATS. Az Eurosa felmérése szerin az EU agállamo gyaorlaában e é módszer használaa vál a legelerjedebbé. Ehhez az elmélei és gyaorlai fejlődéshez apcsolódóan áján a KSH-ban is megnő az igény egy új, egységesen használhaó módszer és gyaorla bevezeésére, és jóval öbb szezonálisan iigazío ada publiálására. A Hivaalra öbb oldalról nehezede nyomás: egyrész a negyedéves GDP iigazíásá is el elle ezdeni, másrész a hazai felhasználó, ülönösen a Magyar Nemzei Ban is riiá fogalmazo meg a KSH szezonális igazíásával apcsolaosan, illeve az Európai Unió harmonizációs igénye, amely a ag és agjelöl országo szezonális iigazíásána egységesíésé ámogaa, is indoola egy új módszer bevezeésé. Összességében ehá az elmélei modelle fejlődése, az EU harmonizációs felada, ovábbá a megnöveede felhasználói igénye szüségessé eé a hivaalban alalmazo módszeran felülvizsgálaá. Az egységes szezonális iigazíási igény végül is az X-ARIMA vs. TRAMO/SEATS özüli válaszás szüségességé eredményeze. A válaszás megalapozó összehasonlíási munán során figyelembe ve szempono, illeve az alalmazo módszere öré mos egy újabb leheőséggel, adabányászai vizsgála bevonásával fogom ibővíeni. Az elemzés során elvégzendő iigazíáso szemponjából előny jelen, hogy a szüséges alapadao bizosíására nagyobb elemszámú idősoro vála időözben elérheővé. Az idősoro viseledésé nagymérében befolyásoljá olyan ényező, amelye ülönböző éve azonos időszaaiban (pl. hónap) azonos irányban és özel azonos mérében hana az idősor alaulására. Ilyene lehene az évszao, vagy a piaci, például a gazdasági onjunurális ingadozáso öveezményei is, eseleg adminiszraív haáso vagy ülönféle ársadalmi ényező. Ezee együesen szezonális haásna nevezzü. Az elemző gyaran a folyamao olyan jellemzőire íváncsia, amelyee a nagyméréű szezonális haás elfed, ezér szüség van enne elávolíására. A szezonaliás iszűrésé szezonális iigazíásna nevezzü, melyne részleesebb árgyalásá is célul űzem i a jelen a dolgoza elészíése során. 3

4 I. A szezonális iigazíás elmélei alapjai A szezonális iigazíás árgyalása elő i ell érni az idősorelemzés elmélei háeréne szüséges részleeire: Beszélni ell az idősoro elméleéről, az ARMA folyamaoról, a felhasznál saisziai becsléseről, próbáról, valamin a szezonális iigazíás módszereiről és az erre használhaó szofvereről; Az elmélei ismeree alapján meg ell haározni az elvégzendő feladaoa, min például a szezonálisan iigazíandó idősoro szamai vizsgálaa, rendválozáso, iugró érée, eseleges örése, befolyásoló ényező azonosíása, haásu imuaása, megviaása a iigazíás megelőző dönése előészíése érdeében, valamin a szezonális iigazíási eljáráso (X-ARIMA, TRAMO/SEATS) program szerini fuaása, eredményeine összehasonlíása ado riériumo szerin. A riériumo özül iemelném a szezonális iigazíás minőségéne indexé sa qualiy index, amely min mérőszám, az aualizál alapadaoon elvégze összehasonlíásom egyi, jelen eseben iemel alapjául fog szolgálni a ísérlei számíásoban. Gazdasági, ársadalmi folyamao vizsgálaához gyaran idősoroa használna, amelye a folyamao időbeli alaulásá írjá le. Saisziai szemponból az idősor az egyes időponohoz, vagy időszaohoz rendel valószínűségi válozóérée soasága. Az álalu jellemze folyamaoban számos ényező jászi szerepe, melyeről öbbnyire nem áll rendelezésre ielégíő, részlees információ. Soaságu és omplexiásu mia nem lehe eljes örűen, megfelelő részleességgel figyelembe venni őe, vagyis nem lehe analiiusan alulálni a eljes rendszer, illeve folyama műödésére gyaorol részhaásua [6]. Érzéelheő viszon e ényező összhaása özvee módon, az időényezőn ereszül. Az időényező a gyűjője a jelensége befolyásoló ényező soaságána [], ezálal speciális szochaszius apcsolana einheő, ahol a magyarázó válozó szerepé formailag az időényező öli be.. Az idősorelemzés ípusai Az idősoro vizsgálaána é fő erülee van, nevezeesen a deerminiszius- és a szochaszius idősorelemzés, melye özül az előbbi csa röviden, megemlíés szinjén fogom érineni egyrész erjedelmi ooból, másrész mer enne már hosszú időre visszanyúló, özismer elmélei háere van. A iűzö felada szemponjából inább a szochaszius idősorelemzés elméleéne árgyalására lesz szüség, anna is leheőleg a szezonális iigazíás elméleében valamilyen módon felhasznál émaöreire frevenálva. A deerminiszius idősorelemzés során alalmazo modellípus azér nevezi deerminisziusna, mer az idősorna csa az ún. deerminiszius omponensei (pl. az alapirányzaból és a periodius ingadozásból származó omponensé) veszi fegyelembe. Ezee az összeevőe igyeszi eljesen deerminisziusan ezelni, a vélelen haásá pedig egy ülön összeevőbe ömöríeni és leheőleg minél jobban eliminálni a becslése, illeve az előrejelzése során. 4

5 A vélelen ingadozásoér felelős omponensben ugyanis valószínűségi válozó soaságána haása jászi szerepe. Ez az összeevő minegy azo eredőjé épezi, és haásána eredményeéppen szochasziusan ingadozna a vizsgál idősor adaai a deerminiszius módon becsül omponenseből előállío görbe örül. Ez a omponens fogja épezni a becslése maradéá reziduumoa, és egyben a becslése hibájá is a deerminiszius modellben.. Idősoro omponensei és apcsolódási leheőségei Az addiív modell eseében az idősor egyes éréei az alábbi alapveő omponense összegződése révén állna elő, az formulána megfelelően, ahol Y () = X T () + X S () + X C () + X ξ () (.) Y () : a vizsgál idősor ényadaai, X T () : rend (a arósan érvényesülő endencia, hosszú ávú alapirányza) X S () : szezonális omponens (a rendől való elérés, az éven belüli, periodius ingadozás mérée) X C () : cilius omponens (a hosszabb ávú ingadozás) X ξ () : irreguláris omponens (sacionárius, m ξ = 0 várhaó éréű, σ ξ szórású, Gauss eloszlású vélelen haás). Az idősoro összeevői é módon apcsolódhana egymáshoz: ősszegszerűen, illeve szorzaszerűen. Az előbbi addiív, az uóbbi mulipliaív modellhez veze. Ezeen az alapmodelleen ívül megülönbözeün még logaddiív és pszeudoaddiív modellee is. A logaddiív modellben a ényező logarimusai apcsolódna összegszerűen egymáshoz. A pszeudoaddiív modell az angol saisziai hivaalban fejleszeé i olyan idősorora, ahol az összeapcsolódás lényégében mulipliaív, de egyes szezon eseében az idősor rendívül is éréee vesz fel. Mivel az álalam vizsgál iparsaisziai idősoro eseében öbbnyire a mulipliaív összeapcsolódás éelezheő fel, illeve muahaó i, ezér a program ismereésénél használ példá is főén erre fogna vonaozni. Az emlíe idősorora jellemző, a programban használ mulipliaív modell eseén az idősor felbonása: Y = T S I D E ahol T a rend, Sa szezonális omponens, I a vélelen haás, E a húsvé-haás. D a munanap-haás, 3. ARMA folyamao Az idősoro elméleében és alalmazásában az auoregresszív és mozgóálag- (ARMA) folyamao jelenősége az uóbbi évizedeben rendívül megnő. Ez anna öszönheő, hogy az ARMA szochaszius folyamao maemaiai szemponból jól Sugár András (999):, Szezonális isimíó eljáráso összehasonlíása. Gazdasági Miniszérium,' Gazdaságelemző inéze 5

6 ezelheő, és a folyamao egy elég álalános oszályá épviseli. Emia a gyaorlaban előforduló, sacionárius viseledés muaó vélelen folyamao nagy része jól özelíheő az ARMA folyamaoal. Az y ~ f ( y ). (.) szochaszius folyama egymásól függelen valószínűségi válozó sorozaána egy reprezenációja (egy ún. valószínűségi veorválozó). Az egyes megfigyelése ülönülön is egy-egy valószínűségi válozó ado realizációi. Saisziai szemponból nézve egy ado [ y, y, K, y ]. idősor az egyes időponohoz, vagy időszaohoz rendel valószínűségi válozóérée soasága. Így ehá az idősoroa a szochaszius folyamao egy diszré, megfigyel realizációjána einjü. Szochaszius folyama minden olyan idősor, amelyne pillananyi alaulásá sajá orábbi állapoából és a vélelen haásoból lehe magyarázni. E felfogás szerin a vélelen válozó beépül a folyamaba, anna aív aloóeleme lesz, és a jelenség fő mozgaójává váli. A szochaszius idősorelemzés során ehá a vélelen haásá reprezenáló valószínűségi válozó az idősor modelljéne szerves részeén ezeljü. Sacionariás Fonos dolog ovábbá a vizsgál folyama sacionariása. A árgyalásra erülő auoregresszív folyamaao például csa aor becsülheő, illeve előrejelezheő, ha a vizsgál folyama, illeve az arra illesze modell ielégíi a ágabb érelemben ve sacionariás riériumai. Egy sacionárius folyama ugyanis lehe szűebb érelemben sacionárius (szigorúan, vagy elsőrendűen sacionárius), illeve ágabb érelemben sacionárius (gyengén, vagy másodrendűen sacionárius). A szűebb érelem ve sacionáriás eseén az Y() folyama eloszlás-, ill. sűrűségfüggvényei bármely időelolással szemben invariánsa leszne. Maemaiai megfogalmazásban: Az {y, T} szochaszius folyama szűebb érelemben sacionárius, ha az {y +s, T 0 } veor eloszlása a T halmaz véges T 0 részhalmazaira függelen s-ől. Tágabb érelemben sacionáriusna (gyengén sacionáriusna) nevezzü az az y() folyamao, amelyre eljesül, hogy M y () = E[y()] = m y, (.3) azaz a várhaó éré minden időponban azonos, ovábbá az auoorrelációs függvényére fennáll, hogy R yy (, ) = R yy ( - ) = R yy (τ), (.4) vagyis a orrelációfüggvény nem függ a onré időponoól, csa a é időpon ülönbségéől ( - = τ) [6]. Egy szochaszius folyama sacionariása úgy is megfogalmazhaó, hogy a saisziai jellemzői időben állandó. Néhány gazdasági idősor eleve ielégíi az emlíe feléelee. Amelye viszon nem, azo eseében is bizosíhaó a sacionariás, egyszerű ranszformáció segíségével, amin az ésőbb láni fogju. Az auoorreláció (valamin az auoovarianca) definiciójáról a ésőbbieben lesz szó. 6

7 3.. AR és MA modelle Az auoregresszív (AR) jelző arra ual, hogy a folyama részben sajá múljára vonaozó lineáris regresszióén írhaó fel. A mozgó álag (MA) jelző pedig az fejezi i, hogy a lineáris regresszió hibaagja az ε fehérzaj mozgó álaga, azaz a jelen és a véges múl lineáris ombinációja. (Mivel azonban a mozgóálagolású ago együhaói paraméerei nem szüségéppen poziíva és összegü sem ovelenül egységnyi, így az elnevezés ulajdonéppen ponalan: nem valódi mozgóálagról van szó). Álalános eseben, egy q-adrendű MA(q) folyama alaja θ(b) ε = y, ahol θ(b) a visszalépeés operáorána polinomja: θ(b) = θ 0 - θ B - - θ q B q. Tehá egy álalános q-adrendű mozgóálag MA(q) folyamao a öveező összefüggés írja le: θ(b) ε = θ 0 ε θ ε θ q ε -q = y, (3.) ahol ε fehérzaj (orrelálalan szochaszius folyama zérus várhaó éréel és onsans varianciával). Azálal, hogy az y - aloó agoban csa a fehérzaj-folyama ülönböző éréei szerepelne, és E(y ) = 0, így 0, ha n < q vagy n > E yε n =. (3.) θ n, ha q n Mivel (3.) és y + szorzaána várhaó érée Ey + ε = θ 0 Ey + ε θ Ey + ε - θ q Ey + ε -q = y, így (3.) felhasználásával c θ 0θ + θθ + + K + θ qθ q, ha 0 q = E y y+ =. (3.3) 0, ha > q A (3.3) összefüggés alapján a mozgóálag folyama mindig sacionárius, mivel az egyenle jobb oldala véges, így a baloldal, az auoovarianciá is végese. Egyben az auoorrelációs függvénye is véges so nulláól ülönböző érée vesz fel a ésleleési érée függvényében. Ado c 0, c,, c q valós számohoz aor és csais aor alálhaó olyan θ 0, θ,, θ q valós számo, amelyere eljesül, ha c 0 > 0 és a omplex síon definiál Γ( B) = c q 0 + c ( B + B ) = 7

8 függvényne az egységörön csais páros mulipliciású gyöe van. Wold (954): (a) Ha a c 0, c,, c q valós számohoz alálhaó olyan valós θ 0, θ,, θ q számo, amelyere c = θ 0 θ + θ θ θ q θ q, ha 0 q eljesül, aor van olyan y MA(q) folyama, amelyre Ey = 0, és c = Ey y +, ha 0 q (b) Ha az y sacionárius Gauss-folyamara Ey =0, és a c =Ey y + auoovarianciára c = 0, ha >q eljesül valamilyen q 0 melle, aor y MA(q) folyama. A mozgóálag folyama θ i paraméereine i ell elégíeniü az ún. inveribiliási feléel, mely az elsőrendű MA folyama (q = ) eseében θ <. Ez az jeleni, hogy a belőle ranszformál végelenrendű auoregresszív folyamana, min végelen sorna onvergensne ell lennie. Ez a ranszformáció el lehe végezni szucesszív behelyeesíéseel, ahogy (3.)-ből a (3.3) előállíása is öréni a ésőbbi modellverifiáció émájával foglalozó szaaszban. Felhasználva az B ésleleő operáor az előbbi folyama a öveező formá veszi fel: y ( + θ B ) ε =, Egy p-edrendű AR(p) folyama formája álalános eseben φ(b) y = σ ε, ahol φ(b) a visszalépeés operáorána polinomja (ill. B y = y ): Így ehá ill. árendezve φ (B) = - φ B- - φ p B p (3.4) φ(b) y = y φ y φ p y -p = σε, (3.5) y = φ y φ p y -p + σ ε Z,. (3.6) ahol ε mos egységnyi szórású fehérzaj, és σ > 0. A σ - soszor -re válaszjá, és eor ε már nem egységnyi, hanem σ szórású lesz. Tehá σ- minegy beleolvaszjá a zajfolyamaba pl. Box-Jenins modelle. Amennyiben az B visszalépeés-operáorána van olyan (3.4) szerini polinomja, amely ielégíi a (3.5) egyenlee, aor az y folyamao p-edrendű auoregresszív folyamana nevezzü. 8

9 Mivel a (3.4) polinomna ermészeesen omplex gyöei is lehene, így az a feléel, hogy a φ(b) operáorhoz mior arozi olyan sacionárius y folyama, amely megoldása a (3.5) differenciaegyenlene, a öveezőéppen fogalmazhaó meg: Ha ε fehérzaj-folyama, σ>0 és az φ (B) = - φ s- - φ p s p polinom gyöei az egységörön ívül helyezedne el, aor van olyan y sacionárius AR(p) folyama, amelyre (3.6) eljesül. Ha φ(b) = + φ B + + φ p B p olyan p-edfoú polinom, amelyne gyöei a omplex egységörön ívül helyezedne el, aor a φ (B) operáor inverálhaó. Az auoregresszív folyamao sacionariási feléelei é speciális eseben, az első- és másodrendű folyamao eseén (a gyaorlaban ugyanis eze fordulna elő legöbbször):. Az vagy máséppen ε = ( φ B ), y y φ + ε = y 3, elsőrendű AR() folyama eseén például - < φ < a sacionariás feléele (ahol By =y - ).. Az alábbi másodrendű auoregresszív folyama eseén: Az y = φ ε + φ ε + σ ε AR() folyama φ(b) = - φ B - φ B operáor polinomjána sacionariási ld. (3.), és a (3.3) összefüggése feléele az, hogy az alábbi reláció egyarán eljesüljene a paraméerere: a - a <, ill. a + a <, és - < a <. Teszőleges p rendű AR folyamara is érvényes, hogy amennyiben van onvergens végelen mozgóálag előállíása, vagyis inverálhaó, aor sacionárius, mivel a (3.3)- na megfelelően minden MA folyama sacionárius. 4 [6] 3 Ez a folyama egyébén egy ún. Marov-lánc, ahol bármely jövőbeli eseményne a feléeles valószínűsége bármely múlbeli esemény és az y - =i jelen esemény melle függelen a múlbeli eseményeől, csa a rendszer jelen állapoáól függ. 4 Speciális eseben a (3.) szerini elsőrendű AR folyamara, ill. a (3.5) szerini előállíására is imondhaó ugyanez. 9

10 0 A eszőleges rendű AR folyama ún. végelen mozgóálag reprezenációjána előállíása a (3.5) összefüggés, illeve a (3.4) polinom felhasználásával a öveező módon öréni: φ (B) y = ε, ( ) ( ), p Γ y ε ε φ φ ε φ B B B B p = = = K ahol ( ) ( ) K K = = p B B B B B γ γ φ φ p Γ az ún. generáorfüggvény. A Γ(B) polinom γ (Wold) együhaóina iszámíási módja, ill. anna reurzív algorimusa például a soron öveező ún. ombinál (ARMA) modelle eseében az alábbi módszerrel állíhaó elő, szucesszív behelyeesíésee felhasználva: + + = + = = j p j p j j θ γ φ γ φ γ θ φ γ φ γ θ φ γ K M Az φ ι paraméere a φ (B), a θ ι paraméere pedig θ (B) polinom együhaói jeleni. Megj: Amennyiben a iszámol ( ) = + = = 0 0, j j j C γ γ γ σ Wold együhaó auoovariancia függvényéne éréei végese mine elégséges feléele az együhaó abszolú éréeiből épze =0 j j γ végelen sor onvergenciája, aor a folyama sacionárius.

11 3.. ARMA modelle A ever, vagy ombinál ún. ARMA-modelle mind auoregresszív, mind mozgóálagolású agoa aralmazna. Speciális eseü az elsőrendű ARMA(, ) folyama, melyne éplee: illeve ( φ B )y = ( + θ B )ε, y = φ y - + ε + θ ε - Az álalános ARMA(p,q) modell formája: φ ( B) y = ( ) θ B ε. Abban az eseben, ha a vélelen folyama az időelolással szemben nem invariáns, legalább másodrendben nem sacionárius, először is megfelelő differenciaépzéssel megpróbálju sacionáriussá enni a folyamao. A regresszióanalízis során ugyanis alapveő feléel a megfigyelése függelensége. A gyaorlaban azonban rián függelene egymásól a ülönböző időponoban megfigyel érée Mivel özelíőleg lineáris rend eseén például az egymás öveő ényadao özö onsans éréű a ülönbség, vagyis a növemény vagy csöenés, így az egységinervallum szerini differenciaépzéssel a rendhaás einve onsans éréen arhaó a folyama. A periódusidő szerini differenciálással pedig a szezonális időelolás melle apaszalhaó endenciális haáso szűrheő. Például a (3.4)-ben bemuao bolyongási folyama eseén amelyről emlíeem, hogy nem sacionárius láhaó, hogy az első differenciá sorozaa az ε = y - y - szerini fehérzaj szolgálaja, amely már sacionárius ARIMA modelle A differenciáláso uán ehá sacionáriussá eheő a folyama és a öveező ARIMA(p, d, q) modellel írhaó fel reguláris eseben: φ (B) d y = θ(b) ε ahol d a differenciaépzés operáor-polinomja. Egységnyi ésleleés melle végze differenciálás eseén például: d = (-B) d.

12 Szezonális ésleleés eseén D s = (-B s ) D, ahol az s a megfigyelése száma / év (s=4 negyedéves idősoro, ill. s= havi bonású idősoro eseében) SARIMA modelle Amennyiben a vizsgál idősor szignifiáns szezonaliás is aralmaz, aor (a differenciáláso uán már sacionárius) ún. szezonális auoregresszív inegrál mozgóálag folyamana einjü, és egy mulipliaív, ún. SARIMA (p, d, q) (P, D, Q) modellípussal írju le. S d D S Enne álalános éplee: φ p ( B) Φ P ( B ) s y = θ q ( B) Θ Q ( B ) ε, (3.7) ahol S p S S φ ( B) Φ ( B ) = ( + φ B + φ B φ B )( + Φ B + φ B φ B p P az ún. auoregresszív operáor-polinom, ill. S q S S θ ( B) Θ ( B ) = ( + θ B + θ B θ B )( + Θ B + θ B θ B q Q az ún. mozgóálag operáor-polinom. p q P Q PS QS ) ) Ado év -edi időszaa és az előző év azonos időszaa özöi apcsolao leíró modell: S D S Φ ( B ) y = Θ ( B ) α (3.8) P s Az α, α, hibaényező azonban álalában még nem auoorrelálalan (az ado év -edi időszaa nemcsa az előző év azonos időszaával, hanem pl. az az megelőző időszaoal is apcsolaban áll). Tehá az α orrelációban állha α -gyel, α -vel sb. Ez a apcsolao ezelő (leíró) modell: Q d φ B) α = θ ( B) ε, (3.9) p ( q ahol az ε már fehérzaj-folyama (ehá orrelálalan és szórása, illeve várhaó érée időben állandó). Amennyiben a (3.9) modell épleé behelyeesíjü a (3.8) modellbe, aor előáll az (3.7) álalános modell. E modell ipius példája az ún. Airline modell, melyne jelölése: SARIMA (0,, ) (0,, ).

13 3.5. ARMA modelle ellenőrzése (modellverifiáció) Az ARMA modelle sruúrájána, ípusána, illeve a modell paraméereine becslésé, a modellidenifiáció, ehá a modell illeszésé álalában empirius idősoro alapján végezzü. Bár a modell a valóságna csa egy megözelíésé jeleni, fonos, hogy az illeszedés a megfigyel adaora minél jobb legyen. A modell jó illeszedése elengedheelen feléele a modell alapján levonhaó öveezeése helyességéne. Az ARMA folyamao az ún. lineáris folyamao aegóriájába arozna, azaz felírhaó i= 0 ϕ iε formában, ahol ε fehérzaj-folyama. i ( = 0,,,K) Mivel az alalmazo ARIMA modelle a lineáris szochaszius folyamao családjába arozna, így a modelle ellenőrzése során először is a sandard lineáris modell riérium-rendszerével ell foglalozni A sandard lineáris modell Ahhoz, hogy a paraméere éréeine becslésé vizsgálhassu, illeve ellenőrizhessü, szüség van néhány feléel eljesülésére. Mivel az idősoro eseén az Y (eredményválozó) szochaszius válozó, ehá valamely ado i éré melle a minaelem Y ismérvérée η i valószínűségi válozó, valamin a vizsgál idősorra illesze modell ε i reziduuma szinén valószínűségi válozó, az alábbi (3.0) megszoríáso nélül a ülönböző i és j érée melle az ε i és ε j eloszlása, enne öveezében pedig az η i és η j valószínűségi válozó eloszlása is ülönböző lehe. Az Y válozóna a = i feléelre vonaozó feléeles eloszlása szolgálaja ugyanis az η i eloszlásá. Az ún. sandard lineáris modell feléelrendszere a öveező riériumoa ámaszja a becsléssel szemben:. ε i és ezálal η i is normális eloszlású, minden i =,,,n melle, ülönbségü pedig a ß 0 + ß i állandó éré;. cov(ε i, ε j ) = 0, ha i j (i =,,,n ; j =,,,n); 3. M(ε i ) = 0 (i =,,,n); 4. D(ε i) = D(η i ) = σ (i =,,,n); (függelenül i ől). (3.0) 3

14 A reziduumo orrelációs sruúrájána A lineáris modell alalmazhaóságána riérium-rendszere szerin a modell reziduumaina auoorrelálalanna ell lenni. Az auoorrelációs függvény becslése az auoovarianca-függvény felhasználásával öréni. Az auoovarianciára éféle becslés adhaó. Az egyi a orrigál, a mási a orrigálalan. N számú megfigyelés, ill. sandard idősor érée melle az auoovarianciá becslései: = + = N x x N C ˆ (orrigál) illeve = + = N x x N c ˆ (orrigálalan) feléelezve, hogy az M[x()] = 0. Megj.: Amennyiben az M[(x()] 0, aor a orrigál: ( ) ( ) = + = N x x x x N C ˆ ill. a orrigálalan: ( ) ( ) = + = N x x x x N c ˆ. A Ĉ orzíalan becslése az elmélei auoovarianciána. A éféle becslés azonban önnyen ászámíhaó egymásba c N N C ˆ ˆ =. A orrigálalan r auoorrelációs együhaó becslése: ( ) ( ) ( ) = = + = = N N x x x x x x c c r ˆ0 ˆ ˆ. Ha M(x ) = 0, aor a orrigál R becslése: / / ˆ = = + = = + N N N x x x x R, =,,, M. Az i szereplő M a maximális ésleleés.

15 5 Ha pedig M(x ) 0, aor: / / ) ( ) ( ) ( ˆ = = + = + = = = + = = + N N N N N N N x N x N x N x N x x N x x N R Teljesen vélelen folyama eseén, amely egymásól függelen, azonos eloszlású és eljes mérében auoorrelálalan valószínűségi válozó összessége, az auoovariancia függvény C() = Cov(X, X + ) = 0,,..., = ± ± és az auoorrelációs függvény ± = ± = =.,, ha 0, 0 ha, ) ( K r Ez a folyama, melye fehérzajna is hívna, nemcsa gyenge, hanem erős érelemben is sacionárius. A fehérzaj fiziailag megvalósíhaalan, a folyamana megfelelő auoorrelációs függvény az egység impulzusfüggvény (DIRAC-féle δ(x) függvény). A gyaorlaban előforduló jellegzees sacionárius idősoro azonban gyaran aralmazna rövid ávú auoorreláció. Viszonylag magas r() éré eseén ehá az r() és r(3) is szignifiánsan elér a nulla éréől, de az időelolás () növeedésével a burológörbéje exponenciálisan nullához ar, ahogy ez a öveező ábra is szemlélei.. ábra R XX ()

16 A modell ellenőrzése ehá az illesze ARMA modell szignifianciájána vizsgálaá jeleni. Enne a eszelése örénhe például az ún. pormaneau próba elvégzésével. 5. Ez a próba a hibaényező orrelációs függvényéne vizsgálaán alapszi. A H 0 : ARMA(p, q) nullhipoézissel szemben a H : ARMA(p, q ) p p, q q alernaív hipoézis állíom. Az ARMA(p, q) folyamao eseén ugyanis a próbasaiszia K pq Q m m = N ( rˆ ε ) (3.) = χ eloszlású, ahol K egy megfelelően nagy éré, ahol N az idősor elemeine száma. Például egy 5 %-os szignifiancia szin melle a Q K 95 %-os megbízhaósággal isebb érée ell felvegyen, min az inverz χ eloszlásfüggvény 0,95-os valószínűségi éréhez arozó áblázai érée. Ellenező eseben az elérés szignifiánsna einheő és a nullhipoézis eluasíju. A lineáris modell lényegi eszelési eljárásaén először is megvizsgálju, hogy a reziduumo auoorrelálalanna einheő-e. Amennyiben nem einheő anna, vagyis a hibaényező auoorrelál, aor a becsül modell nem fogadhaó el, mer éves eredményre veze. Abban az eseben például, ha a hibaényező elsőrendű auoorreláció aralmaz, aor a -edi reziduális éré az alábbi módon áll elő: ε = 0 ha = 0, (3.) pε + v ha =,, K ahol p az auoorrelációs együhaó, v pedig m várhaó éréű és onsans szórású valószínűségi válozó. Az iméni épleel leírhaó folyamaoa a szairodalma elsőrendű auoregresszív, AR() folyamaona ill. speciális eseben, amior p= és m 0, bolyongási folyamaona nevezi. A (3.)-ből szucesszív behelyeesíéssel élve adódi az n = v n ε + p v + p v + K + p v +K, (3.3) ún. végelenrendű mozgóálag, vagy röviden MA folyama. Amennyiben egy auoregresszív folyama előállíhaó ily módon MA folyama formájában, aor a vizsgál folyama inverálhaó. 5 Ez a cseély haéonyságú próbá Box és Pierce vezee be 970-ben, s azóa öbben is foglaloza a javíásával. 6

17 Az ún. bolyongási folyama eseén például ε a fehér zajna a = időponól ahol a folyama nulla érée vesz fel a időponig umulál érée: ε = ε + v. (3.4) Ez a folyama nyilvánvalóan nem sacionárius, hiszen ebben az eseben M(ε ) = m, ami idővel válozó éré. A B ésleleő operáor bevezeésével azonban, melyre B j ε = ε - j 6 j N, a (3.) a öveező módon is írhaó, ha =,, : (-pb)ε = v melyből ε = v = ( + pb + p B +K) v, (3.5) pb mivel a feni egyenlőség zárójeles ifejezéséne, min pb vóciensű végelen geo meriai sorna az összege. pb A (3.5)-ben apo eredmény pedig megegyezi (3.3)-mal. Láhaó, hogy amennyiben pb <, aor a (3.5)-ben szereplő végelen sor onvergens és ily módon a (3.) folyama sacionárius. Ha ehá egy AR folyama előállíhaó onvergens végelen MA alaban, aor sacionárius. Ha pb, aor a végelen sor divergens, ehá ε minden haáron úl a végelenhez ar anna ellenére, hogy v várhaó érée nulla. A szórása ugyanis nem az, így csa nulla örül szóródi, de nulláól ülönböző éréee vesz fel. A vizsgála során használ programcsomag (Demera) diagnosziái özül öbb is a reiduumo feni ulajdonságaira visszavezeheő próbasaisziá alapján műödi. 6 Az B-vel jelöl ésleleő operáor ermészeesen az B j speciális esee, amennyiben j=. 7

18 II. Szezonális iigazíási módszere. A szezonális iigazíás módszereine fejlődése rövid örénei áeinés 7 A múl század végén Angliában, az aszronómia és a meeorológia erüleén evéenyedő uaó fogalmazá meg először, hogy egy megfigyel idősor öbb, meg nem figyelheő ényező összhaásána az eredménye. A orabeli uaó úgy gondolá, hogy a é válozó özöi hamis" orreláció a rend oozza, amelye ezér előbb i ell szűrni az idősorból. Poyning (884) és Hooer (90) a rende és a szezonális haásoa az ára öbb évre örénő álagolásával próbála iszűrni. Spencer (904) és Andersen (94) muaa be magasabb foú polinomo alalmazásá a rend leválaszására: A özgazdaságan erüleén evéenyedő uaó a gazdasági cilus imuaása érdeében válaszoá le a szezonális haásoa és a rende. A 0-as és 30-as éveben ezdődö meg az igazán aív uaás a szezonális iigazíás erüleén Person (99) munája öveezében, amelyben felíra a híres éplee, ami szerin (mulipliaív modell feléelezve) egy idősor ifejezheő a öveező formában: X = S T C R, ahol S a szezonális ingadozás leíró omponens; T a hosszúávú rend; C a özépávú cilus; R a vélelen ényező. Person módszere állandó szezonális ényezőe használ, anna ellenére, hogy a or saisziai irodalmában öbb publiáció szól arról, hogy a fix szezonaliás feléelezése so eseben nem helyálló. Sydensicer és Brien (9) vezeé be a formális szezonális iigazíó modellben a válozó szezonális ényezőe. Crum 95-ben módosíoa Person módszeré, hogy alalmassá váljon a válozó szezonaliás ezelésére. A első áfogó szezonális iigazió rendszer Macauley (930) dolgoza i. A módszer három alaplépésből áll: Havi adaoa feléelezve agú cenrírozo mozgóálag leválaszásával és eze álagolása uán fix szezonális ényező előállíása; A rend becslése lineárisan vagy magasabb foszámú polinom illeszésével; A mozgóálago oszása a rend becsül éréével a cilius omponens érééne becslésé adja. Ez a módszer nevezi ma lasszius deompozícióna, amely so modern szezoniigazíó eljárásna épezi alapjá, így az X-ne is. Az 50-es éve során é fonos újíás örén. Az első az exponenciális simíó eljáráso elerjedése vol, amelyeel az addigi számíáso mennyiségé jelenősen csöeneni lehee legalább ugyanolyan jó eredménye melle, min a orábban használ módszereel. A mási fonos fejlődés a számíógépe megjelenése jelenee, ami szinén a számíáso gyorsaságána növeedésé segíee elő. Arra, amire orábban 7 Bjöm Fischer (995): Decomposiion of Time Series Comparing Differen Mehods in Theory and Pracice alapján 8

19 öbb nap elle, mos pár másodperc is elég vol. A uaó így soal bonyolulabb modellee dolgozhaa i, hiszen az új verzióa önnyen eszelheé nagy számú idősoron is. A Census I. módszer 954-ben jelen meg; ez annyival lépe úl a Macauley féle eljáráson, hogy az idősor egyszerű exrapolálással előre-hára meghosszabbíoa, hogy póolja a mozgóálagolás során elvesze elemee. Enne ovábbfejlesze válozaa a Census II. (955), amely az aor használaos echniá eleronius verziója vol - idolgozásában Julius Shishin jászo úörő szerepe. A Census II- öbb riia is ére, mégpedig azzal apcsolaban, hogy a módszer so eineben ad hoc jellegű eljárásora épül, amelyee nem ámasz alá semmilyen saisziai elméle - a szezonális ingadozásona csa a iugró részei szűri i, a öbbi benne hagyja sb. A modell folyamaos felülvizsgálaá öveően alaul i 965-re az X-es váloza. Enne legfőbb újdonsága a munanap-ényező regressziós módszerrel örénő ezelése. Ezen ívül az új válozaban a felhasználó válaszha az addiív és a mulipliaív modell özö és meghaározhaja, hogy milyen mozgóálago íván használni. Box és Jenins az auoregresszív mozgóálagolásra irányuló, 70-es éveben folyao uaásaina haására fejlődö i 980-ra a anadai saisziai hivaalnál az X- ARIMA váloza, ami abban ülönbözö elődeiől, hogy az idősor előre és hára örénő meghosszabbíásá az ARIMA modellezés segíségével végeze el. Ez a becslés minőségé javíoa. Az újabb X-ARIMA/88 és X-ARIMA/000 verzió főleg diagnosziáal bővíeé az addigi módszeran. A 90-es éve özepén jelen meg az X-ARIMA program, amely új alapora helyeze a munanapo, ünnepnapo és ouliere 8 haásána elemzésé és a hiányzó adao pólásá; valamin ovább bővíee a diagnosziá öré. A mozgóálagolású echniá - amelyeről udju, hogy erősen ad hoc jellegűe - melle ifejlőde modellszemléleű megözelíése is, amelye özö érdemes megülönbözeni a deerminiszius és szochaszius jellegű modellee. A deerminiszius modelle a rende és a szezonaliás egy előre elrendel pályána eini; amelyre a vélelen csa olyan módon gyaorol haás, hogy eléríi az idősor ényleges éréé eől a pályáól. A deerminiszius jellegű modelle a regressziószámíásra épülne, amely a rende és a szezonaliás valamilyen deerminiszius módon megado függvényeel ezeli. Ebbe a modellcsaládba arozna a DAINTIES és a BV4 programo. A szochaszius módszere a vélelenne jelenős haás ulajdoníana, ez a modellezésben fonos szerepe jászi. Eze örénee Yule auoregresszív (97), illeve Slusy mozgóálagolású modelljéig (937) nyúli vissza. Wold alalmaza először a mozgóálagolású modell valós adaora, illeve ő dolgoza i a vegyes ARMA modelle használaá (954). Azonban a számíáso nehézessége mia az ARMA modellee csa nagyon evesen használá, egészen a számíógépe széles örű elerjedéséig, illeve amíg Box és Jenins meg nem fogalmaza azoa a riériumoa, amelyeel minden idősorra meghaározhaó egy onré ípusú és foú ARIMA modell. Enne álalános éplee szezonális idősorra: s d D s φ B) Φ ( B ) z = θ ( B) Θ ( B ) ε, p ( P s q Q = z ahol B a ésleleési operáor ( Bz ), így z = ( B) z, ovábbá s s φ ( B), Φ ( B ), θ ( B), Θ ( B ) a nemszezonális és szezonális auoregresszív és p P q Q mozgóálag polinomo, ε pedig fehér zaj folyama. 8. ábra 9

20 A log (0,,)(0,,) modell (az ún. Airline modell, ami arról apa a nevé, hogy egy légiársaság adaai használá a módszer bemuaására), viszonylag evés paraméerrel jól illeszheő so idősorra. A modell első gyaorlai megvalósíása az Angol Nemzei Banban örén a '80-as éveben. Ez fejleszeé ovább a Spanyol Nemzei Banban Augusin Maravall irányíása ala, enne eredménye a TRAMO/SEATS program. Anna ellenére, hogy a program egy eljesen új megözelíés aar, az uóbbi éveben nagyon széles örben elerjed. [56]. TRAMO/SEATS A TRAMO/SEATS eljesen modell-alapú megözelíés alalmaz. Ké programból áll, melye egymással együműödne. A TRAMO végzi az idősor előfeldolgozásá, linearizálásá, ezeli a hiányzó megfigyelésee és az oulieree, valamin a munanapés húsvé-haás. A SEATS áveszi a linearizál idősor, és elvégzi az idősor omponensere bonásá, majd a szezonálisan iigazío (rend-cilus + irreguláris omponens) idősorba újra beveszi az oulieree... TRAMO 9 (Time series Regression wih ARIMA noise, Missing values and Ouliers) A TRAMO regresszió végez az idősorra ARIMA zajjal. A program a öveező regressziós modell illeszi: z = β + ν, y ahol z = ( z, K, z M ) a megfigyelése veora, β = ( β, K, β ) n a regressziós együhaó veora, y = ( y, K, y n ) az n darab regressziós válozó jelöli, ν pedig ARIMA folyama, így a öveező egyenle eljesül rá: φ ( B ) δ ( B) ν = θ ( B) a, ahol B a bacshif (visszaolás) operáor, φ (B), δ (B) és θ (B) B -ben polinomo és a normális fehérzaj 0 várhaóéréel és σ a szórásnégyzeel. A δ (B) polinom aralmazza a differenciálás egységgyöei (a szezonális differenciálásé is), φ (B) jelöli az auoregresszív polinomo, míg θ (B) a mozgóálag polinomo. Ezeről a polinomoról felesszü, hogy a öveező alaba felírhaóa: δ ( d s D B ) = ( B) ( B ) p s φ ( B) = ( + φb + L + φ p B )( + ΦB + L + Φ P B s P q s s Q θ B) = ( + θ B + L + θ B )( + Θ B + L+ Θ B ), ( q ahol s jelöli az évenéni megfigyelése számá. A regressziós válozóa megadhaja a felhasználó, vagy generálhaja a program. A program álal generálhaó válozó a munanap válozó (egy, eő, ha vagy hé darab), a húsvé-haás válozó, valamin egyéb válozó a öveező szerin: Q ) 9 A programo öveező ismereése Gómez és Maravall (996) cién alapul. 0

21 a) dummy (meserséges) válozó b) egyese és nullá eszőleges sorozaa c) /( δb) ráalalmazva egyese és nullá sorozaára, ahol 0 < δ s d) /( δ B s ) ráalalmazva egyese és nullá sorozaára, ahol 0 δ s e) /( B)( B ) ráalalmazva egyese és nullá sorozaára. A program: ) megbecsli a regressziós modell és az ARIMA folyama paraméerei maximum lielihood módszerrel (vagy feléel nélüli/feléeles legisebb négyzee módszerével); ) deeálja és orrigálja a ülönféle ípusú oulieree (. ábra); 3) iszámíja az idősor opimális előrejelzésé és enne álagos négyzees hibájá (MSE); 4) a hiányzó megfigyelése éréé opimálisan inerpolálja és iszámíja a hozzáju arozó álagos négyzees hibá 5) rendelezi auomaius modell idenifiációs és auomaius oulier ezelési leheőséggel. A regressziós paraméere és az ARIMA modell paraméereine becslése örénhe az előbbie iemelésével a lielihood függvényből, vagy együes becslés alalmazva. Számos algorimus áll rendelezésre a lielihood függvény számíására, vagy ponosabban a nemlineáris legisebb négyzee minimalizálására (pl. a differenciál idősorora Morf, Sidhu és Kailah (974) algorimusa). A nemdifferenciál idősorora a özönséges Kalman szűrő, vagy négyzegyöös verziója (lásd Anderson és Moore, 979) alalmazhaó. Ez uóbbi numerius nehézsége felmerülése eseén megfelelő, bár haározoan lassabb. A regressziós paraméeree iemelve a lielihood függvényből, a becslésühöz először az inverz hiba ovariancia márixra alalmazandó a Cholesy felbonás, amivel ranszformálni ell a regressziós egyenlee (a Kalman szűrővel haéonyan számolhaó a ranszformál regresszió válozói). Ezuán a apo legisebb négyzees feladao orogonális márixfaorizációval (QR felbonás) meg lehe oldani, amihez a Householder ranszformáció használandó. Ez az eljárás haéony és numeriusan sabil módszer, amely márix inverzió nélül számíja i a regressziós paraméere álalános legisebb négyzees becslésé. Az előrejelzés leheséges a özönséges Kalman szűrővel, vagy anna négyzegyöös verziójával. A hiányzó megfigyelése inerpolációja egy egyszerűsíe fix-pon simíóval öréni, ami Kohn és Ansley (986) eredményeivel azonosa ad. A lielihood függvényből iemelve a regressziós paraméeree, az előrejelzés és az inerpoláció álagos négyzees hibája Kohn és Ansley (985) megözelíésé öveve aphaó meg. Amior a ezdei hiányzó érée özül néhány becsülheelen (szabad paraméer), aor a program deeálja őe, és megjelöli azoa az előrejelzésee illeve inerpolációa, amelye ezeől a szabad paraméereől függene. A felhasználó ezuán eszőleges (ipiusan nagyon nagy vagy icsi) éréee rendel a szabad paraméerehez, és újra fuaja a programo. Ezen a módon eljárva az ARIMA modell összes paraméere megbecsülheő, mivel a minimalizálandó függvény nem függ a szabad paraméereől. Ezenfelül, nyilvánvaló lesz, hogy mely előrejelzésere és inerpolációra hana eze a eszőleges érée, mer a öbbi becslésől erősen el fogna érni. Enne ellenére, ha az összes ismerelen paraméer együesen becsüljü, leheséges, hogy a program nem jelzi az összes szabad paraméer. < s

22 A hiányzó megfigyelése addiív oulierén is ezelheő. Ebben az eseben a lielihood függvény orrigálhaó, úgy hogy egybeessen a sandard hiányzó megfigyeléses ese lielihood függvényével. A program udja deeálni az oulieree és iiani a haásua; az oulieree bevihei a felhasználó, vagy auomaiusan deeálja a program, ehhez egy Tsay (986) és Chen és Liu (993) munáin alapuló megözelíés használ. Az oulieree egyesével deeálja Tsay (986) javaslaa szerin, és öbbszörös regresszió használ a hamis ouliere deeálására, min Chen és Liu (993). Az ouliere elfogadására illeve eluasíására használ eljárás hasonlí a legjobb regressziós egyenle iválaszásához használ lépésenéni regressziós eljáráshoz. Így egy robuszusabb eljárás apun, min ami Chen és Liu (993) használ, o ugyanis az ouliere visszafelé menő eliminációja öréni, ami mia az eljárás első lépésében úl so oulier deeálha. Röviden, a Tramo regressziós paraméeree özönséges legisebb négyzees becsléssel inicializálja, és az ARMA modell paraméerei először é regresszióval becsüli, min Hannan és Rissanen (98). Ezuán a Kalman szűrő és a QR algorimus új regressziós paraméer becslésee és regressziós reziduálisoa adna. Minden egyes megfigyelésnél -próbá végez a négy faja oulierre, min Chen és Liu (993). Ha vanna olyan ouliere, amelye -éréei (abszolú érében) nagyobba, min egy előre iválaszo C riius szin, aor az abszolú érében legnagyobb -éréű válaszja, ülönben az idősor menes az oulier-haásoól, és az algorimus megáll. Hogyha a program deeál oulier, aor az idősor megiszíja a haásuól, és az ARMA modell paraméerei újra becsli. Majd egy öbbszörös regresszió haj végre a Kalman szűrő és a QR algorimus segíségével. Ha így az ouliere özül valamelyi - érée abszolú érében isebb a riius C szinnél, aor a legisebb abszolú éréű -éréel rendelező oulier iveszi a regresszióból, majd a öbbszörös regresszió újra becsli. A öveező lépésben a leguolsó öbbszörös regresszió reziduálisai használva - próbá végez a négyféle ípusú oulierre és minden egyes megfigyelésre. Ha van olyan oulier, amelyne a -érée abszolú érében nagyobb a C riius szinnél, aor a legnagyobb abszolú éréű -éréel rendelező oulier iválaszja, és az ARMA modell paraméereine becslésével folyaja az ieráció. Különben az algorimus megáll. Enne az algorimusna figyelemre méló ulajdonsága, hogy az összes számolás lineáris regressziós echniára épül, ami csöeni a számíási idő. A figyelembe ve ouliere a öveező: addiív, innovációs (innovaional), szin elolás (level shif), csillapodó örés (emporary change). Ouliere ípusai (az innovációs rián erül alalmazásra a gyaorlaban): y addiív emporary change Level shif. ábra

23 A program az auomaius ARIMA modell idenifiációra is aralmaz eljárás. Ez é lépésben megy. Az első adja a modell nemsacionariási polinomjá, δ (B) -. Ez AR és ARMA(,) modelle egy sorozaán való ierációval öréni. Az eljárás Tiao és Tsay (983, 3. és 4. Téel) valamin Tsay (984,. Korollárium) munáin alapul. Reguláris (nemszezonális) és szezonális differenciáa nyer, egészen a maximális s rendig, ellenőrizve a leheséges omplex egység gyööe nemnulla és nemszezonális frevenciánál. A másodi lépés azonosíja az ARMA modell a sacionárius idősorra (ouliereől és regressziós ípusú haásoól megiszíva) a Hannan-Rissanen eljárás öveve, egy olyan finomíással, hogy a modell innovációina varianciájána becslésénél az első reziduálisoa nullá helye a Kalman szűrővel számolja. Az álalános mulipliaív modellre: φ s s p ( B ) Φ P ( B ) x = θ q ( B) ΘQ ( B ) a a eresés a 0 ( p, q) 3, 0 ( P, Q) arományban öréni. Ez szevenciálisan csinálja a program (rögzíe reguláris polinomora a szezonális polinomoa apju és fordíva), és a polinomo végső rendjé a BIC riériumna megfelelően válaszja, iegészíve néhány leheséges feléellel, amine célja a aaréosság növelése és a iegyensúlyozo (balanced) modelle (az AR és MA rende özel vanna egymáshoz) előnyben részesíése. Végül a program ombinálja az ouliere auomaius deeálásá és orreciójá a mos leír auomaius ARIMA modell idenifiációval. Bár a TRAMO használhaó önmagában is, például előrejelzésre, de úgy is einheő, min ami megiszí egy szennyeze ARIMA sor. Azaz, ado idősorra inerpolálja a hiányzó megfigyelésee, azonosíja az oulieree és haásua elávolíja, becsli a munanap- és a húsvé-haás, végül szolgála egy lineáris, iszán szochaszius folyamao (azaz az ARIMA modell). Így a TRAMO használhaó úgy, min egy előfeldolgozó a SEATS-hez, ami azán felbonja a linearizál idősor szochaszius omponenseire. [56].. SEATS (Signal Exracion in ARIMA Time Series) A program az idősoro nem megfigyel omponensere bonásána úgyneveze ARIMA modell alapú módszerei özé arozi. Az alapveő irodalom a öveező: Cleveland és Tiao (976), Box, Hillmer, és Tiao (978), Burman (980), Hillmer és Tiao (98), Bell és Hillmer (984), Maravall és Pierce (987). Eze a megözelíése szoros apcsolaban vanna egymással és a programban használal. A SEATS-e Burmanne az Angol Nemzei Banban szezonális iigazíásra ír programjából (98- es verzió) fejleszeé i. A program egy ARIMA modell illeszésével ezd. Jelölje x az eredei sor (vagy anna logarimius ranszformációjá), és z = δ ( B) x jelölje a differenciál sor, ahol B a visszaolás operáor, és δ (B) jelöli a sacionariás eléréséhez az x -re ve differenciálásoa. A SEATS-ben 3

24 d D δ ( B) = s, D s D ahol = B és s = ( B ) jelöli az s periódusú szezonális differenciálás. A z differenciál sorra a modell a öveezőéppen lehe ifejezni: φ ( B ) z θ ( B) a + µ, = ahol µ onsans, a normális eloszlású fehérzaj folyama, nulla várhaó éréel és σ a szórásnégyzeel, φ (B) és θ (B) auoregresszív (AR) és mozgóálag (MA) polinomo, amie i lehe fejezni, min egy reguláris (nemszezonális), B -beli polinom és egy s szezonális, B -beli polinom szorzaá: φ( B) = φ ( B) φ ( B r θ ( B) = θ ( B) θ ( B A feniee visszahelyeesíve a z -re vonaozó egyenlebe: r s d D s φ ( B ) φ ( B ) x = θ ( B) θ ( B ) a + µ. r s s A φ (B) auoregresszív polinomna lehene egység gyöei, amie ipiusan nagy ponossággal becsülne. Például, egység gyöö jelenezhene φ(b) -ben, ha az idősor nemsacionárius cilius omponens aralmaz, vagy ha a sor aluldifferenciál. Úgy is megjelenhene, min nemsacionárius szezonális harmoniuso. A program a sor öbb ülönféle omponensre bonja. A deompozíció lehe mulipliaív, vagy addiív. Mivel az előbbi logarimálással az uóbbiba alaíhaó, ezér jelen árgyalásban az addiív modellel foglalozom, azaz: x = i r x i ahol x i jelöl egy omponens. A SEATS álal figyelembe ve omponense a öveező: x = a TREND omponens, p x = a SZEZONÁLIS omponens, s x = a CIKLIKUS omponens, c x = az IRREGULÁRIS omponens. u A rend omponens épviseli az idősor hosszúávú fejlődésé, és sperális csúcso mua a nulla frevenciánál. A szezonális omponens jeleníi meg a szezonális frevenciánál jelenező sperális csúcsoa, és az irreguláris omponens épviseli a szabályalan, fehérzaj viseledés, és így lapos speruma van. A cilius omponens épviseli a szezonálisan iigazío sor rendjére vonaozó, a isza fehérzajól ülönböző elérésee. Így a cilus hozzáadva a SEATS irreguláris omponenséhez, apju a gazdasági cilus sandard definíciójá; ld. például Soc és Wason (988). A omponensee eljes egészében a megfigyel sorra vonaozó ARIMA modell sruúrájából vezejü le, az ARIMA modell pedig özvelenül idenifiálhaó az adaoból. A programo leginább a havi vagy riább gyaoriságú adaoal való munára száná, a megfigyelése maximális száma 600 lehe. s s, s s ), ). s 4

25 A felbonás az feléelezi, hogy a omponense orogonálisa, és mindegyi ülönülön ARIMA modellel felírhaó. Anna érdeében, hogy azonosísu a omponensee, szüséges, hogy azo (az irreguláris omponens ivéelével) zajól menese legyene. Ez hívjá anonius ulajdonságna, és magában foglalja, hogy az irregulárisól ülönböző omponenseből nem lehe inyerni hozzáado fehérzaj. Az irreguláris omponens szórása ily módon maximalizál, ezzel szemben a rend, szezonális és cilius omponens annyira sabil, amennyire csa leheséges. Bár önényes felevés, mivel bármely más elfogadhaó omponens ifejezheő a anoniusna és függelen fehérzajna az összegeén, mégis ésszerű elerülni a omponens zajjal szennyezésé, hacsa nincsene a-priori oai anna, hogy így együn. A SEATS olyan modell éelez fel, hogy az idősor lineáris, gaussi innovációal. Amior ez a feléelezés nem eljesül, a SEATS épes együműödni a TRAMO-val, ami elávolíja a sorból a ülönleges haásoa, azonosíja és elávolíja a ülönféle ípusú oulieree, és inerpolálja a hiányzó megfigyelésee. Rendelezi egy auomaius modell idenifiációs leheőséggel is. Az ARIMA modell becslése az egza maximum lielihood módszerrel öréni, ez megalálhaó Gómez és Maravall (994) munájában. Legisebb négyzees ípusú algorimuso szinén rendelezésre állna. Az AR és MA polinomo (inverz) gyöeine mindig az egységörben illeve az egységör belsejében ell lenniü. Amior egy gyö abszolú érée onvergál egy előre beállío, örüli inervallumon belül (alapbeállíás: [0.97,]), a program auomaiusan rögzíi a gyöö. Ha ez egy AR gyö, aor az abszolú érée -re állíja, ha MA gyö, aor az alsó végponra (alapbeállíás: 0.97). Ez az egyszerű ulajdonság a programo nagyon robuszussá eszi a úl- és aluldifferenciálással szemben. Az ARIMA modell használja a TRAMO álal linearizál sor szűrésére, és az új reziduálisoa vizsgálja. Ezuán a program ráér az ARIMA modell felbonására. Ez frevencia-arományban öréni. A SEATS-módszer deompoziciós eljárása a sperumfelbonására épül. Régóa alalmazo függvényvizsgálai echnia a Fourier-analízis, amelynél egy periodius függvény ülönböző frevenciájú és ampliúdójú szinuszo és oszinuszo végelen összegére bonun fel, ahol a frevenciá előre adoa, és a függvény a megfelelő frevenciához arozó ampliúdóal jellemezzü. Az eljárás alalmazhaó nem periodius függvénye és sorozao vizsgálaára is. A Fourier-analízis minájára vezeé be az idősoro vizsgálaára a sperál-analízis (vagy frevenciaarománybeli elemzés). A sperál-analízis az a megözelíés alalmazza, hogy egy sacionárius idősor auoovariancia függvényéne éréei írja fel egy ún. sperális sűrűségfüggvény Fourier-együhaóién. A sperális sűrűségfüggvény röviden sperumna szoás nevezni, és a [-л, л] inervallumon érelmeze szimerius, nemnegaív függvényről van szó. Sperális sűrűségfüggvény nem minden sacionárius idősorhoz léezi, de a léezéshez elégséges, hogy az auoovarianciá abszoluéréeine összege véges legyen. Ez a legöbb gyaorlaban előforduló idősornál feleheő. Ilyenor a sperum egyszerűen felírhaó a öveezőéppen: ( ) iλ f λ = e γ ( ) π = ahol a γ az auoovariancia függvény. 5

26 Enne az összefüggésne a segíségével bizonyos folyamao speruma egyszerűen σ számolhaó, például egy σ szórású fehérzaj speruma, azaz onsans. π A sperumban megjelenő csúcso az ado frevenciához arozó periodius viseledés jelzi az idősorban. A sperum vizsgálaa segísége jelen aor is, amior úgyneveze időinvariáns lineáris szűrő haásá vizsgálju. Például az ARMA-folyama is érelmezheő egy speciális időinvariáns lineáris szűrő oupujaén, ami a fehérzajra, min inpura alalmazna. Ilyen eseben az inpu folyama sperumána és a szűrő úgyneveze négyzees erősíéséne (squared gain) szorzaaén áll elő az oupu speruma. Az X család és a TRAMO/SEATS szezonális iigazíásána eredménye is érelmezheő az eredei idősorra ve valamilyen időinvariáns lineáris szűrő oupujaén, ezér a sperális megözelíés hasznosna bizonyul a szezonális iigazíás ülönféle módszereine összehasonlíásánál is. A sperum előállíásánál az elmélei auoovariancia függvényből indulun i, ehá elmélei sperumról van szó, amelye az idősor ényleges realizációja alapján becsülni ell. A becslésre alapveően é mód ínálozi. Az egyi az ún. periodogrammal (ill. simío periodogrammal) való becslés, amelynél lényegében az auoovariancia függvény becsléséne segíségével öréni a sperum becslése. A mási leheőség, hogy az idősorra valamilyen modell (például ARMA) becslün és a modell elmélei sperumána ismereében iszámíju az idősor sperumá. Ez uóbbi megözelíés alalmazza a TRAMO/SEATS módszer a sperum becslésére. A sperumo a fenieben sacionárius idősorora érelmezzü, de leheőség van bizonyos nemsacionárius idősorora a sperumhoz hasonló ún. pszeudo-sperumo érelmezni. A (szezonális) ARIMA- modell pszeudo-sperumá úgy apju meg, hogy egy olyan ARMA-modell sperumá írju fel, ahol a differenciaépzés beleérjü az auoregresszív részbe, azaz egységgyööe is megengedün az auoregresszív polinomban. Ilyen módon a sperumna bizonyos helyeen pólusai leszne, azaz a reguláris (sima) differenciálásna megfelelő zérus illeve a szezonális diffrerenciálásna megfelelő szezonális frevenciánál a sperum érée végelen. Képleel: ha x egy szezonális ARIMA-folyama, és Ф(B)x =Ө(B)a, ahol a Ф az auóregresszív polinom, amely a differenciálás is aralmazza, Ө a mozgó álag polinom, a pedig σ szórású fehérzaj, aor az x folyama pszeudósperuma: f x ( λ) iλ ( e ) iλ ( e ) σ θ =. π φ A sperumo (vagy pszeudo-sperumo) feloszju a ülönböző omponensehez hozzárendel sperumo összegére. (Ezee főén a modell AR gyöeiből haározza meg a program). A rend, szezonális és cilius omponensere vonaozó anonius feléel egyérelmű felbonás haároz meg, amiből a omponense ARIMA modelljei megaphaóa (beleérve a omponens innovációs varianciáa). Ha az ARIMA modell nem esz leheővé elfogadhaó deompozíció, aor helyeesíi egy felbonhaó özelíéssel. Egy onré [ x, x,, ] K x T realizációra a program iszámíja a omponense Minimum Álagos Négyzees Hiba (Minimum Mean Square Error /MMSE/) becslésé, ami úgy 6

27 számol, hogy egy Wiener-Kolmogorov ípusú szűrő alalmaz a véges idősorra, ierjeszve az a jövő illeve a múl felé (l. Burman, 980). Minden = K,, T -re és minden i omponensre iszámíja az feléeles várhaó éréel. x ) becslés, ami egyenlő az E x x, K, x ) i T ( i T Amior T, aor az x ) becslésből lesz az x ) i T i végső becslés. (A gyaorlaban ez elég nagy = T -re öréni, és a program jelzi meora - lehe feléelezni.) = T -re a párhuzamos becslés, x ) - vesszü, ami a sor uolsó megfigyeléséne it T becslése. Alalmazási nézőponból a végső és a párhuzamos becslése a leginább érdeese. Amior T < < T, x ) ad egy előzees becslés, míg > T -re egy i T előrejelzés. A omponense becslése melle a program so év hosszúságú előrejelzés is ad, és a sandard hibái az összes becslésne és előrejelzésne. Az uolsó eő és a öveező é évre vonaozólag az előzees becslés és az előrejelzés revíziójána sandard hibájá is szolgálaja. Továbbá a program iszámíja minden egyes omponensben lévő innováció Minimum Álagos Négyzees Hibájá. A omponense (illeve azo sacionárius ranszformáljai) és azo MMSE becslései együes eloszlásá iszámíja; a szórásnégyzeeel, auo- és ereszorrelációal araerizálhaó. Az MMSE becslése elmélei és a apaszalai momenumaina összehasonlíása ovábbi elemzendő ada. A program a szűrő is iadja, ami a súlyoa írja le, amivel a ülönféle a innováció a megfigyel folyamaban hozzájárulna az j x ) becsléshez. Eze a súlyo özvelenül adjá a mozgó álag ifejezés a revízióra. i T Ezuán végrehaj a rend és a szezonálisan iigazío idősor becslési hibájára egy analízis. Jelölje ) d i = xi xi, ) d = x i T i x, i T ) ) r = x x i T a végső becslési hibá, az előzees becslési hibá és a revíziós hibá az becslésben. A d i, d, i T i T i i T x ) előzees i T r szórásnégyzeei és auoorrelációs függvényei ijelzi a program. Ez uán megmuaja, hogy csöen a revíziós hiba szórásnégyzee a párhuzamos becslésben, ahogy öbb megfigyelés hozzáadun, és így az is megmuaja, hogy a gyaorlaban milyen gyors a onvergencia a végső becsléshez. Hasonlóan a program iszámíja a ponosság romlásá, ahogy az előrejelzés ávolodi a párhuzamos becslésől. Amior a TRAMO- és a SEATS-e együ fuaju, aor a haásoa, amie a deomponálás érdeében a TRAMO elávolío az idősorból, a végső omponensebe visszaeszi. Így például a szin elolás oulieree a rendhez rendeli, míg az időleges válozás és addiív ouliere az irreguláris agba erülne; a szezonális omponens aralmazni fogja a munanap- és húsvé-haás. A programban é auomaius modell idenifiációs eljárás áll rendelezésre. Az egyi ponosabb de lassabb; a mási egyszerűbb és nagyon gyors, és nagyszámú idősor eseén enne használaa javasol. Ez az egyszerűsíe eljárás az alapmodellre épül, és csa aor eres más beállíás, ha a sor iszán elér az alapól. Az alapmodell az úgyneveze Airline modell, melye Box és Jenins (970) vizsgál. Az Airline modell 7

28 gyaran bizonyul megfelelőne so sorra, és jól viseledő becslési szűrő ad a omponensere. A modell a öveező egyenle írja le: x = ( + θ B)( + θb ) a c, + ahol < θ < és < θ < 0, és x a sor logarimusa. A omponense a öveező ípusúa: x p = θ ( B) a p p, Sx s = θ s ( B) as, ahol S + = + B + L B, és p ) θ (B és θ (B) foa illeve. Más rögzíe szűrőhöz s épes a SEATS rendelezi egy előnnyel: három paraméer haározhaó meg: θ, ami a rend omponens sabiliásával van apcsolaban, θ, ami a szezonális omponens sabiliásával apcsolaos, és σ a, ami a sor eljes jósolhaóságána egyfaja mérée. Így, még az alapmodell véve is, a omponense becsléseire vonaozó szűrő alalmazodna minden egyes sor egyéni sruúrájához. Anna ellenére, hogy a TRAMO-SEATS modell-alapú megözelíés alalmaz, haéony alernaívája lehe ruin felhasználásra a (öbbé-evésbé) rögzíe szűrős eljárásona (lásd Fischer, 994), míg eözben soal gazdagabb oupuo szolgála, ülönösen, ami a rövidávú öveezeésee illei. [56] 3. X-ARIMA Az X-ARIMA módszer deompozíciós része lényegében megegyezi az X- ARIMA azonos lépéseivel. Amiben a é program elér, az a munanaphaás és az ouliere ezelése. Az X-ARIMA először végrehajja a szezonális deompozíció, azaz leválaszja a rende és a szezonális omponens, majd megvizsgálja, hogy a maradé ényezőben marada-e ouliere, és, hogy a munanaphaás és a húsvéhaás imuahaó-e szignifiánsan a vélelen haásban. Ha igen, aor az előzees orrecióa ez alapján módosíja. Az X ugyanaor az eredei idősorból iindulva állapíja meg, hogy van-e szignifiáns munanap-, húsvé- vagy oulier haás. Ha ezen haáso bármelyie szignifiáns, aor először igazíja az idősor, majd a orrigál idősorra hajja végre a deompozíció. Az X-ARIMA-hoz hasonlóan- a mozgóálag echnia alalmazása mia az X- ARIMA eseén is szüség van arra, hogy az idősor meghosszabbísa előre és hára egyarán. Az X-nél a meghosszabbíáshoz használ Arima modell paraméereine becslésével egyidőben öréni a napárihaáso, ouliere regressziós válozóina meghaározása is. Így a deompozíció elő az X egy regarima-modell illesz az idősorra: Y = δ X + z, i i ahol z egy szezonális ARIMA-folyama: (p,d,q) (P,D,Q)s. Az egyenlee ifejezve z -re és ez behelyeesíve az ARIMA modell egyenleébe, a öveező formá apju: 8

29 φ p s d s D s ( B) Φ p ( B )( B) ( B ) ( Y δ X i ) = θ q ( B) ΘQ ( B ) ε, ahol az előző felyezeben használ jelölésene megfelelően B a ésleleési operáor, s s φ B, Φ B, θ B, Θ B a nemszezonális és szezonális auoregresszív és p ( ) ( ) ( ) ( ) p q mozgóálag polinomo, ε fehérzaj. Q Kiválaszja a megfelelő regressziós válozóa, megbecsli az együhaóa, épezi az Y δ X válozó. Enne épezi a megfelelő differenciái és becsli a szezonális i i ARIMA- modell. Ez uóbbi az X-ARIMA módszerhez hasonlóan arra szolgál, hogy előre-hára meghosszabbísa az idősor. Az X regarima részében ülönböző regressziós válozó alalmazhaó, például rendonsans, fix szezonális válozó, munanaphaás, a hónap hosszána ezelése, a szöőév ezelése, a húsvéhaás, ouliere. Munanaphaás A X-ARIMA-ól elérően a munanapoa nem hé, hanem ha válozóval ezeli. A válozó érée: az ado nap száma vasárnapo száma. Leheőség van olyan opció válaszására is, hogy a munanapoa egy regressziós válozóval ezelje a program. Ebben az eseben minden hónaphoz hozzárendeli, azaz számszerűsíi, hogy a munanapo száma mennyivel öbb, min a hévégi napo száma: a [héöznapo száma-5/ (szombao és vasárnapo száma)] éréé rendeli hozzá. A húsvé haása A húsvéhaás is egyszerűbben ezeli, min az X-ARIMA. A regressziós válozó érée aól függ, hogy az ünnep elő hány napig lehe érezni a haásá. Márciusban és áprilisban /v, ahol v a húsvé elő ado hónapra eső napo számá jeleni, a öbbi hónapban 0 az érée. Szöőévhaás Az X-ARIMA már a szöőév haásá is figyelembe veszi. A szöőév ezelésére bevezee regressziós válozó érée 0,75, ha szöőév februárja van, és -0,5 a öbbi februárban, illeve 0 a öbbi hónapban. Ouliere ípusa Az X-ARIMA is az ouliere (iugró érée) 4 ípusá ülönbözei meg: addiív oulier, szinelolódás, csillapodó jellegű örés, ámenei színválás. Az ouliere becslése örénhe auomaius ereséssel, de a felhasználóna is leheősége van az időpono megadására. Az auomaius eresés é részből áll: a forward és a bacward válozószeleciós részből. A program először a vélelen ényezőre számol sandard hibá. Megbecsli a regressziós együhaóa és az ARIMA-modell paraméerei, majd a vélelen ényező mediánól ve álagos abszolú elérésé számíja i. Enne,49-szorosá eini a vélelen ényező i 9

30 szórásána. Enne segíségével érée számol, és ez hasonlíja a -saiszia érééhez. A forward eljárás ereében egy ado riius éréhez (alapbeállíásban 3,8) viszonyíja a modellbe be nem von válozó bevonása mellei éréé. Kiválaszja a legnagyobb abszolú éréű, és ha ez meghaladja a riius érée, aor bevonja a válozó a modellbe, majd újra becsli a modell. Az algorimus addig folyaja, amíg alál a riius érénél nagyobb abszolú érée. Az előző forward eljárás során apo válozóból indul i a bacward algorimus. A program i lépésenén ihagyja az a válozó (az abszolú érében legalacsonyabb éréű), amely nem felel meg az ado riériumona. Végül az uolsó lépés az ARIMA-modell ípusána meghaározása. A programban 5 alapmodell alálhaó, de iindulóponén bármilyen eszőleges modell megadhaó. Az alapmodelle szezonális modell része mindig (0,,) alaú, a nem szezonális rész modellje pedig mindig (0,,)(0,,), (,,0), (0,,), (,,) alaú lehe. A program auomaiusan válasz a modelle özül az Aaie-féle információs riérium(aic) alapján, de a diagnosziá (auoorrelációs és parciális auoorrelációs függvénye, erre vonaozó Box Pierce- és Ljung-Box- próbá) segíségével a felhasználó is dönhe az alalmazandó modellről. A modell illeszése uán a program é riérium eljesülésé is figyeli: egyrész az uolsó három évre az álagos abszolú hibána az álag százaléában ifejeze érée ne haladja meg a 5%-o, másrész a Ljung- Boxsaiszia érée 0.%-os szinen ne elegyen szignifiáns. Eze a riériumo azonban nem befolyásoljá a modelle özi válaszás, csa uólagos ellenőrzésre szolgálna. Amennyiben eze a feléele egyi modellre sem eljesülne, a program nem illesz ARIMA- becslés, hanem az X-ARIMA hagyományos aszimmerius fileré használja. [60 4. A iigazíás minőségéne ellenőrzése M-saisziá, Q muaó AZ X-ARIMA diagnosziái ez a program is aralmazza. Eze az eredménye sabiliásá és a vélelen ényező szerepé éréeli. Csúszó arományo és válozáso öveése elvén alapuló esze Az X-ARIMA eszjei iegészüle ezeel az új diagnosziáal is. A csúszó arományo (sliding spans) elve a minavéeli hiba becsléseor alalmazhaó boosrap elvne, a válozáso öveése (revision hisory) elv pedig a jacnife elvne feleleheő meg. A csúszó arományo esz is az eredménye sabiliásá ellenőrzi, de úgy, hogy a szezonális iigazíás évene csúszava végzi el és az azonos időszaora vonaozó éréee (például a szezonális ényező éréé) hasonlíja egymáshoz. Mulipliaív modell eseén a megfigyelési aromány mindig egy évvel csúszaja. A program számolja minden időszara a szezonális ényező minimális és maximális éréé, ha eze özö 0,03-nál, azaz 3 százaléponnál nagyobb elérés van, aor az ado időszara a szezonális ényező insabilna eini. Ha ez az érée öbb min 5%-ra fennáll, az eredménye nem einheő sabilna. 30

31 A válozáso öveéséne elve az új adao megjelenéséne haásá vizsgálja és számszerűsíi. A válozás álalában láncindexszerűen, az előző időszahoz viszonyíva számszerűsíi. Az új ada megjelenése az idősorban álalában azzal jár, hogy a rend és a iigazío érée visszamenőleg is megválozna. Anna érdeében, hogy a sabiliás valamennyire bizosíani lehessen, az X-ARIMA eseében is a modell rögzíésé ajánljá. Ez onréan az jeleni, hogy az előző év végéig vizsgálva az adaoa, számszerűsíi az oulieree, a munanapo haásá, az ünnepee, majd az idősor szezonális iigazíása során megbecsli a öveező év szezonális haásá. Az új ada beerüléseor a regarima-modell újrabecsli, de az előző év beállíásai (ARIMAmodell, munanaphaás) megarjá. Az így apo ényezőe iszűri az idősorból, de a szezonális iigazíás már a becsül szezonényezőel végzi. Szignifiáns szezonaliás az eredei idősorban Az eredei idősor helye a program a Hederson-féle mozgóálagolású rende leválaszása uán hajja végre a esze. A nullhipoézis szerin a rend leválaszása uán apo ényező havi álaga megegyezi egymással, azaz nincs az idősorban szezonaliás. Ha a vélelen ényező normális eloszlású fehérzaj, aor a hipoézis (, N-) szabadságfoú F-próbával eszeli. Amennyiben a hullhipoézis elfogadhaó, nincs érelme a szezonális isimíásna, ső áros is lehe. Ezzel a eszel lehe az is ellenőrizni, hogy marad-e szezonaliás az idősorban a isimíás uán. Ilyenor a esze a vélelen ényező végső becslésére ell elvégezni. Sperális elemzés Szinén új diagnosziai elem az X-ARIMA programban a sperális elemzés megjelenése, amely leheővé eszi, hogy a cilius jellegű munanaphaás és szezonaliás a frevencia-arományon örénő elemzéssel is megvizsgálju. A program becsüli és iírja a vélelen ényező és a szezonálisan iigazío idősor sperumá, valamin jelöli a napári- és munanap hosszahoz aroó frevenciá helyei. [56] 3

32 III. A TRAMO/SEATS és az X-ARIMA módszerano összehasonlíása. Az összehasonlíás során felhasznál idősoro Az eredei ísérlei elemzésein során minegy 76 idősor vizsgálun meg, illeve igazíou i szezonálisan. Első lépésben a Demera szofver auomaius beállíásoal örénő lefuaásá végezü el minden idősorra, mind a Tramo/Seas, mind az X-Arima opció iválaszása melle ülön-ülön. A Tramo/Seas a 76 fuaás során csa alalommal nem udo adevá modell illeszeni a vizsgál idősorra a diagnosziai eredménye iéréelése uán. Ez az esee csupán,5 %-a. Az X-Arima ugyanaor 60 eseben veee el az álala illesze modell a apo diagnosziá alapján. Ez már valamivel öbb, min 34 %-a az összes idősorna. Az újabb alapadaoa, melyeen a szezonális iigazíó módszerano összehasonlíásána speciális iegészíésé elvégzem, a öveező idősoro havi bonású éréei épezi: Ipari evéenység belföldi árbevéele (TEÁOR alapján épze 4 fő felei ipari vállalozáso, 000 F) Ipari evéenység expor árbevéele (TEÁOR alapján épze 4 fő felei ipari vállalozáso, 000 F) Ipari evéenység összes neó árbevéele (TEÁOR alapján épze 4 fő felei ipari vállalozáso, 000 F) Ipari evéenység ermelési érée forgalmi adó nélül, árbevéelbe beszámíó áriegészíéssel (TEÁOR alapján épze 4 fő felei ipari vállalozáso, 000 F) Exporéréesíés ermelői árindexe, előző hó = 00,0 (százalé) Fogyaszóiár-index, 990 év = 00,0 (százalé) Az iparsaisziai árbevéel-idősoro erjedelme: 999.január 008. május; Az iparsaisziai ermelési érésor erjedelme: 999.január 008. május; Az exporéréesíés ermelői árindex-soro erjedelme: 999.január 008. május; Az fogyaszói árindex-soro erjedelme: 99.január 008. július; Az iparsaisziai idősoro aegóriá (TEÁOR) szerini bonása: C-E ipar összesen C BÁNYÁSZAT CB EGYÉB ÁSVÁNYBÁNYÁSZAT DA ÉLELMISZER, ITAL, DOHÁNY GYÁRTÁSA 7-9 Texiliá, ruházai-, bőr- és szőrmeermégyárás 0 - Fa-, papír-, nyomdaipari ermégyár., iadói ev. 3-5 Vegyipar 9-35 Gépipar Egyéb feldolgozóipar, hulladévisszanyerés D FELDOLGOZÓIPAR DB TEXTÍLIA, TEXTILÁRU GYÁRTÁSA DC BŐRTERMÉK, LÁBBELI GYÁRTÁSA DD FAFELDOLGOZÁS DE PAPÍRGYÁRTÁS, KIADÓI, NYOMDAI TEVÉKENYSÉG 3

33 DF KOKSZGYÁRT., KŐOLAJFELDOLGOZÁS, NUKLEÁRISFŰTŐANYAGGYÁRTÁS DG VEGYI ANYAG, TERMÉK GYÁRTÁSA DH GUMI-, MŰANYAG TERMÉK GYÁRTÁSA DI EGYÉB NEMFÉM ÁSVÁNYI TERMÉK GYÁRTÁSA DJ FÉMALAPANYAG, FÉMFELDOLGOZÁSI TERMÉK GYÁRTÁSA DK GÉP, BERENDEZÉS GYÁRTÁSA DL VILLAMOS GÉP, MŰSZER GYÁRTÁSA DM JÁRMŰGYÁRTÁS DN MÁSHOVA NEM SOROLT FELDOLGOZÓIPAR. ábláza A fogyaszói árindex aegóriá (fogyaszási főcsoporo) szerini bonása: Mindösszesen - Kiadási főcsoporo 0 7 ÉLELMISZEREK ÖSSZESEN 8-9 SZESZES ITALOK, DOHÁNYÁRUK ÖSSZESEN 3 RUHÁZKODÁSI CIKKEK ÖSSZESEN 4 TARTÓS FOGYASZTÁSI CIKKEK ÖSSZESEN 50 HÁZTARTÁSI ENERGIA ÖSSZESEN 5-56 EGYÉB CIKKEK, ÜZEMANYAGOK ÖSSZESEN 6 SZOLGÁLTATÁSOK ÖSSZESEN. ábláza Ké ülönböző modell eredményeine összehasonlíására a Demera programcsomag definiál egy, a szezonális iigazíás minőségé jelző indexe SA qualiy index, amely min mérőszám fog alapjául szolgálni a módszerani összehasonlíáshoz. Az index iszámíása során felhasználásra erülne az alábbi, szinén álalánosan alalmazo diagnosziai saisziá:. Kriériumo az auomaius iigazíás minőségellenőrzéséhez A Demera auomaiusan deeálja a nem ielégíő eredményee (az alapérelmeze vagy felhasználó álal definiál dönési szabályona megfelelően)... A leheséges diagnosziá a Tramo/Seas SA-meódushoz: A TRAMO/SEATS eszjei az méri, hogy a megbecsül és azán felhasznál ARIMAmodell mennyire illeszedi az idősorra. Az a hipoézis eszeli, hogy a becsül reziduumo vajon ényleg normális fehérzajén viseledne-e. Egyrész az vizsgálja meg, hogy van-e auoorreláció a reziduumoban. Ehhez ún. pormaneau ípusú próbáa alalmaz, a Ljung-Box- és a Box-Pierce-féle eszee a reziduumora. A reziduumo lineariásána eszeléséhez ugyanezen próbáa a reziduumo négyzeére alalmazza. Másrész a normaliás ellenőrzi a reziduumora vonaozó ferdeség és csúcsosság próbáal és a eő ombinálásával apo normaliás eszel. 33

34 Az emlíe próbá a öveezőéppen nézne i: Reziduumo auoorrelációján alapuló saisziá Ljung-Box saiszia: A Demera eszeli, hogy a Ljung-Box saiszia isebb-e min χ m,α. A χ m,α érée az m és α-ól függ. Az m a szabadságfo (az idősoro periodiciás -szereséne és az ARIMA modell együhaói számána ülönbsége), az α valószínűség pedig ülönböző érée özül válaszhaó (0%, 5%,.5%, %, %, 0.5%, 0.% ill. 0.%), ahol az alapérelmeze éré 5%. Például: Ha α = 5%, az idősor pedig havi periodiciású (3.8) és az ARIMA-modell paraméerrel idenifiálhaó (m=4-), aor a Ljung-Box < 35, relációna ell eljesülnie. A reziduumo auoorrelációs sruúrájána ellenőrzése: Már emlíeem, hogy öbben is foglaloza a (3.) szerini pormaneau saiszia javíásával, amely az első m ésleleés mellei (m-ed rendű) auoorrelálság szignifianciájá eszeli a reziduumo eseében. A m érééne megválaszása azonban önényes. Havi bonási idősoro eseén lehe például m = 4. Fehérzaj-folyamaból származó adaora az auoorrelációs együhaó függelen normális eloszlásúa, a Q m saszia pedig χ m eloszlású lesz. Amior ehá az auoorreláció becslései legalább aszimpoiusan normális eloszlásúa /N varianciával, aor alalmazhaó a pormaneau-próba. Amior viszon az adao az illesze ARIMA modell reziduumaién állna elő, é orreció váli szüségessé: Először is Ljung és Box megmuaa (978), hogy is miná eseében az auoorreláció varianciájána ponosabb özelíésé szolgálaja az (N-)/N(N+) ifejezés, min az /N. A Q-saisziá ehá enne megfelelően orrigálva: Q m = N m ( N + ) rˆ ( ) /( N ) = ahol r a reziduumo becsül auoorreláció függvénye. Ha a reziduumo egy χ m ARMA(p,q) folyama reziduumai, aor a Q m eloszlása aszimpoiusan ( p+ q), m éréé az idősor megfigyeléseine gyaorisága alapján válaszhaó meg, havi idősoronál m=4, negyedéves idősoronál m=6 a használaos. χ m pq Másrészről pedig az (m-p-q) szabadságfoú eloszlásfüggvény jobb özelíés ad a vizsgál auoorrelációs együhaó véges dimenziós eloszlásaira. A Q-saisziá ovább módosíoá anna érdeében, hogy a speciális szezonális ésleleési éréee is figyelembe vegyé. A és 4 havi ésleleési éréhez arozó auoorrelációs együhaó szignifianciája eszelheő például az alábbi saiszia felhasználásával: Q s = N( N + ) [ r ( ) /( N ) + r ( 4) /( N 4) ]. Pierce (978) megmuaa, hogy a Q s robuszus özelíéssel χ eloszlású. 34

35 Box-Pierce saiszia: A Demera eszeli, hogy a Box-Pierce saiszia isebb-e min χ, α, melyne érée csa α-ól függ. Az α valószínűség i is ülönböző érée özül válaszhaó (0%, 5%,.5%, %, %, 0.5%, 0.% ill. 0.%), és az alapérelmeze éré a 5%. A szezonális auoorreláció vizsgálaára való a Box-Pierce-esz 0 : Q s = N ( N + ) 3 rˆ j= N ( js) js ahol s az évenéni megfigyelése száma (azaz a havi és 4 a negyedéves idősoronál). A nullhipoézis mellei eloszlás özelíőleg χ. Reziduumo függelensége: Ljung-Box saiszia a négyzees reziduálo auoorrelációja alapján (α alapér.: 5%). Box-Pierce saiszia a négyzees reziduálo auoorrelációja alapján (α alapér.: 5%). A reziduumo eloszlásána leírása (jellemzői): Reziduumo Normaliása A normaliás-vizsgála i az eszeli, hogy a normaliy próbasaiszia isebb-e min χ., α Reziduumo asszimeriája Ferdeség (Sewness) (a harmadi cenrális momenum): A Demera eszeli, hogy a Sewness saiszia bele esi-e a z 6, N z α / α / 6 N inervallumba. A hossza. 6 a Tramo/Seas álal számío sandard hiba, ahol N az idősor N 0 A Box-Pierce-féle próbán gyaran nem a feni szezonális auoorreláció vizsgáló esze éri, hanem a Ljung- Box próbánál gyengébb auoorreláció esze, amelyne eszsaisziája: N m j= rˆ ( j), és aszimpoius eloszlása ugyanaz, min a Ljung-Box- esznél. 35

36 A z α/ csa az α-ól függ, ahol az α leheséges éréei: 0%, 5%,.5%, %, %, 0.5%, 0.% vagy 0.%, és az alapérelmeze éré 5%. Például: Ha α=5% és az idősor hossza 80 megfigyelésből áll (N=80), aor a Sewness < 0,537 =, relációna ell eljesülnie. Kurosis (negyedi cenrális momenum) A Demera eszeli, hogy a Kurosis saiszia bele esi-e a zα / + 3, zα / + 3 inervallumba. A a Tramo/Seas álal számío N N N sandard hiba, ahol N az idősor hossza. A z α/ i is csa az α-ól függ, ahol az α leheséges éréei: 0%, 5%,.5%, %, %, 0.5%, 0.% vagy 0.%, és az alapérelmeze éré 5%. Oulier-e száma A program álal deeál Oulier-e száma nem haladhaja meg a megfigyelése számána egy bizonyos százaléá (alapérelmezés szerin 5%-á). Megj.: A bemuao lineáris modelle épese leírni az idősoro auoorrelációs viseledésé, amely a saisziai adasoro másodrendű momenumával apcsolaos ulajdonság. A Wold deompozíció álal eze a modelle egyszerűen úgy einheő, min a fehérzaj-válozó lineáris ombinációja. Kérdés, hogy a fehérzaj-folyama normális eloszlású vagy sem, mely meghaározza, hogy a reprezenáció mennyire épes megragadni az idősoro magasabb rendű momemumai. Normális eloszlású fehérzajfolyama eseében nevezeesen α rendű momenum eseén: m α = T T ε α i= α =,3, 4, α ( µ, α! σ ) α =, 3, 4, T m α ~ N. α Leheséges például ellenőrizni, hogy a becsül reziduumo eloszlása szimmerius-e, amin az a normális eloszlás eseében is van. Ez elvégezheő a ferdeségi esz végrehajása álal, amely a harmadi momenum alapján számíhaó: m3 S = T ~ N( 0, 6). ˆ σ 3 A negyedi momenum alapján pedig imuahaóa a reziduumo eloszlásána úlságosan nagy szélei: a uosis-esz az alábbi K = m4 3 T ~ N 4 ˆ σ ( 0, 4) 36

37 próbafüggvény szerin végezheő, amely szignifiáns lesz, amior úl so reziduum vesz fel nagy abszolú érée. Így ehá felhasználhaó a reziduumoban lévő oulier-e százaléána eszelésére. Végül az S és a K saiszia ombinálhaó a normaliás eszelésére, melyne formája: N = S + és amennyiben az S és K becslése függelene, aor az N saiszia χ eloszlású. K.. A leheséges diagnosziá a X--Arima SA-meódushoz Reziduumo auoorrelációján alapuló saisziá Ljung-Box saiszia: I az α valószínűség alapérelmeze érée 0.%. Reziduumo függelensége: Ljung-Box saiszia a négyzees reziduálo auoorrelációja alapján (α alapér.: 0.%). Előrejelzési hiba (Forecas Error): A mina uolsó évére vonaozó előrejelzés sandard hibájána álagos százaléos mérée. A program ellenőrzi, hogy ez az éré isebb legyen min α, ahol az α leheséges éréei: 0%, 5%, 0%, 5%; az alapérelmeze éré 5%. Ez a esz használhaó az ARIMA-modell iválaszására is: a legisebb előrejelzési hibájú modell erül iválaszásra. Oulier-e száma A program álal deeál Oulier-e száma nem haladhaja meg a megfigyelése számána egy bizonyos százaléá (alapérelmezés szerin 5%-á). Ad-hoc minőség éréelő saisziá: Kombinál Q saiszia (ombinál M és M3 M). Az M-M-gyel jelöl összegző saisziá eredménye minden eseben 0 és 3 özöi szám. Az M-M6 saisziá a vélelen ényezőhöz, az M7-M saisziá a szezonális ényezőhöz apcsolódna. A iigazíás sieresne einheő, ha valamennyi M-saiszia érée 0 és özé esi. Álalában, minél isebb érée apun valamely M-saisziára, annál jobbna einheő a szezonális iigazíás. Az M saisziá a öveező: Ml - M - az eredei idősor 3 havi válozásából az irreguláris ényező részaránya; a rend iszűrésével nyer idősor szórásából az irreguláris omponens részaránya; 37

38 M3 - a vélelen ényező álagos egyhavi válozása összehasonlíva a rend álagos egyhavi válozásával; M4 - az irreguláris ényező auoorrelációjána méréé fejezi i, vagyis az; hogy felismerheő-e valamilyen mina az irreguláris ényezőben; M5 - hány hónap ala haladja meg a rend válozása az irreguláris omponens válozásá; M6 - a vélelen ényező egyévi válozása a szezonális ényező egyévi válozásához viszonyíva; M7 - a válozó és állandó szezonaliás aránya; M8 - a szezonális ényező éves álagos ingadozásána nagysága; M9 - a szezonális ényező álagos lineáris jellegű válozása; M0 - az M8 muaó, az idősor uolsó néhány événe adaára; Ml l - az M9 muaó, az idősor uolsó néhány événe adaára; A globális ombinál Q saiszia, min éréelési riérium alapján jelze iigazíási minőség, az M-M muaó súlyozo álaga. A deompozíció eredménye aor einheő elfogadhaóna, ha érée -nél isebb. 3. SA Qualiy Index Mindeze felhasználásával a öveezőéppen erül iszámíásra a minőségi index (SA qualiy index): 0 QualiyIndex = w M j j eszsa limiere j opere j opere j j penaly limiere j : a onfidencia-inervallum haárai az ado eszsaiszia számára (a válaszhaó legnagyobb onfidencia szin melle, pl. 0.%); opere j : az ado eszsaiszia opimális érée; eszsa j : a iigazíó meódus álal szolgálao eszsaiszia éré; w j : az egyes saisziához beállío súlyozó ényező (az alapérelmeze súlyéré, így alapérelmezésben nincs befolyásoló haása az indexre), j=,,0; penaly : a büneő exponens foozza a hárányos/előnyös eszéré-haás (az alapérelmeze érée, így alapérelmezésben nincs befolyásoló haása az indexre); M : a rendelezésre álló eszsaisziá száma. A QualiyIndex éréei 0-ól (az opimális éré) végelenig (a legrosszabb éré) válozha. Ha az érée nagyobb min 0 (sandard alap éré), aor legalább egy eszsaiszia szignifiáns ell legyen. Elfogadhaó iigazíás QualiyIndex - e isebb min 0. A Demera hozzáado súlyozással előnyben részesíhei azoa a modellee, amelye gyarabban fordulna elő (pl. az Airline modell). Az ún. Imporance of hisory súlyéré alapérelmezésben 0, mely eseben nincs hozzáado éré engedélyezve a örénei modellene. Leheőség van a programban a ülönböző modell-jellemző, illeve a diagnosziai saisziá, együesen a eljes modell minőség 4. ábra: TQM (Toal Model Qualiy) 38

39 súlyozására, amelye befolyásolhajá a qualiy index éréé. A TQM-ben az alábbi súlyozo jellemző és saisziá szerepelne (az ábrán az alapérelmeze súlyéré szerepelne): 4. ábra Az alapérelmezés szerini iigazíás QualiyIndex-éne eredményei az ImporanceOfHisory_0 válozó éréei fogjá épezni az összehasonlíás alapjául szolgáló oszályozási eljárás inpu adaai özö. Az egyes súlyo éréé válozava a TQM-ben, a qualiy index érée elérő módon válozi ülönböző idősoro eseében a válaszo módszeről függően. Rendre észeres súllyal figyelembe véve az egyes muaóa a számío indexben az alapérelmeze súlyéréhez épes, a öveező válozóa lehe épezni: ImporanceOfHisory_0: nincs hozzáado súlyéré engedélyezve a gyaoribb előfordulású modellene a QualiyIndex-ben ImporanceOfHisory_: van hozzáado súlyéré engedélyezve a gyaoribb előfordulású modellene a QualiyIndex-ben ExponenialPenaly_: a penaly ievő négyzeesen erül alalmazásra a QualiyIndexben Az alábbi saiszia_ formájú válozó megnevezése az jeleni, hogy az ado eszsaiszia -es súlyényezővel (duplán) erül figyelembevéelre a QualiyIndexben, míg a öbbi csa -gyel (szimplán): - Ljung-Box_ - Box-Pierce_ - Ljung-Box(Sq)_ - Box-Pierce(Sq)_ - Normaliy_ - Sewness_ - Kurosis_ 39

40 - ForcasError_ - NoOfOuliers_ - X-Qsaisic_ CombinedWeighs_: csa a Ljung-Box ill. Kurosis saisziá, valamin az oulier-e száma van figyelembe véve (amelye mindé módszeran diagnosziái özö szerepel); CombinedWeighs_: mindegyi saiszia benne van, de özülü csa az előbbi három lesz egyszerre iemelen súlyozva; Tramo_indicaor: bináris válozó, amely az fogja muani, hogy az ado iigazíás melyi módszeran öveve erül végrehajásra: - Tramo/Seas : - X-arima : 0. Cél: Az a válozó, amelyne becsülni aarom az éréei más válozó alapján. (Jelen eseben a Tramo_indicaor) Inpu: A célválozó becslésére felhasznál (függelen magyarázó) válozó. (Jelen eseben a 5. ábra ovábbi 5 db válozója) A Demera programcsomag auomaius moduljá lefuava az összes iparsaisziai, illeve árindex idősorra mind a Tramo/Seas, mind az X--Arima módszere iválaszásával, illeve minden a felsorol TQM beállás melle, a apo QualiyIndexe beerülne az inpu adahalmazba a megfelelő válozóna az. illeve. ábláza szerini aegóriába arozó éréeién. 40

41 Az ipari expor árbevéel TRAMO/SEATS álal iigazío idősorai (példa): 3. ábra 4

42 Az ipari expor árbevéel TRAMO/SEATS álal iigazío idősorai: 4. ábra 4

43 A iigazíáso során apo 30 db reord pedig a SAS Enerprise Miner adabányászai szofveralalmazás inpu adaai fogja épezni az ezuán öveező dönési folyamaban: 5. ábra A dönés meghozaalához a iigazíáso eredményeine, illeve a ülönböző eszsaisziá súlyozása melle apo QualiyIndex-ene az oszályozásá fogom elvégezni dönési fa segíségével, amely egyie az eddigieben legsieresebbne bizonyul anulási algorimusona. Először a cselevő alrendszer, majd aníásá fogom megmuani. 4. Dönési fá Egy empirius fa egyszerű szabályo sorozaána alalmazásával reprezenálja az adaona egy szegmenálásá, vagyis bonyolul összefüggésee egyszerű dönése sorozaára veze vissza. Minden szabály az inpu adao valamely ulajdonságána éréére vonaozó eszne felel meg, a csúcsból ilépő ágaa pedig a esz leheséges imeneeleine felelei meg. Egyi szabály a mási uán alalmazva, egymás aralmazó szegmense hierarchiája áll elő eredményül. Ez a hierarchiá nevezi fána, és a szegmensee csúcsna. Az ezdő (originális) csúcs a eljes adahalmaz aralmazza és a fa gyöeréne, a végső csúcsoa pedig levelene nevezi. Minden levél egy dönés eredményez, amely alalmazandó minden megfigyelésre a levélben. A csúcsoban fele érdésere ado válaszona megfelelően a fa gyöeréből iindulva egy levélig lépedün lefelé a fában. A levél címéje fogja meghaározni a dönés. A dönési fá előnyös ulajdonsága, hogy a feléelee összeolvasva a gyöérből egy levélbe vezeő ú menén önnyen érelmezheő szabályoa ad a dönés meghozaalára, illeve jól érheő módon magyarázhaó, hogy a fa miér az ado dönés 43

44 hoza. A szabályo egyérelműe, hiszen az inpu adaoból eszőleges reord egyérelműen erül besorolásra valamelyi levélbe, és az ado reord csa ehhez a levélhez arozó szabályra illeszedi.[30] A fa csúcsai felhasználhaó például olyan dönési fa felépíésére, amely öbbe özö alalmas a megfigyelésene egy bináris célválozó éréein alapuló oszályozására. A jelen muna során onréan erre fogom alalmazni. A Tree ehá szabályona egy halmazá állíja elő, melyene SAS implemenációja az inervallum ípusú inpu adaaimon alapuló öbbuas vágásoa eres. Megválaszhaó a vágás riériuma illeve anna módja, amely meghaározza a fa felépíéséne meódusá. 4.. Dönési fa felépíése anulással A dönési fa bemeneén egy aribúumoal leír reordo ap, és egy dönés", a bemenere ado válasz (a Tramo_indicaor, min oszályaribúum) jósol éréé adja vissza eredményén. A bemenei aribúumo jelen eseben folyonosa, a imenei éré pedig diszré, enne megfelelően diszré éréészleű függvény anulásáról, vagyis oszályozásról (classificaion) van szó. Konréabban bináris (boolean) oszályozásról, mivel minden megfigyelés (példa) vagy igazna, vagy hamisna erül besorolásra. Ez a módszer egy eszsoroza végrehajása uán ju el a dönéshez, ahol a fa belső csúcsai egy ado ulajdonság éréére vonaozó eszne felelne meg, a csúcsból ilépő ágaa a esz leheséges imeneeivel címézve. A levélcsúcso megadjá a levél eléréseor visszaadandó érée, mivel minden levélhez hozzá ell rendelni a dönés (a célválozó egy éréé), melyre használhaó az ún. öbbségi szavazás elve: amely oszályba a legöbb aníómina arozi, az lesz a dönés (belső csúcsohoz is rendelheő ezen elv alapján dönés). A jelen dolgozaban vizsgál probléma: eldöneni, hogy az iparsaisziai idősoro eseében az ado TEAOR-ba arozó ágazaoban, illeve a fogyaszói árindexnél az ado iadási főcsoporoban apo iigazíáso elfogadhaó-e a feléeleze módszeran alapján végrehajo iigazíásna. A cél: anulással ialaíani a Tramo_indicaor cél-prediáum (oszályaribúum) definíciójá anna eldönésére, hogy az ado iigazíás melyi módszeran alalmazásával örén. Vágás: magyarázó válozóna bizonyos elv szerini eévágása egy válozó (dimenzió) menén, úgy hogy a levele minél homogénebbe legyene a célválozó szerin. 44

45 A dönés meghozaalá ámogaó folyama SAS EM (Enerprise Miner) diagramja: 6. ábra A SAS EM álal az ado feladahoz felépíe dönési fa az alábbi ábrán láhaó: 7. ábra. A példáa a dönési fa a gyöérnél ezdi feldolgozni, övei a megfelelő ágaa, amíg egy levélhez el nem ér. 45

46 A dönési szabálysoroza három szabályból áll: I. X_QSTA<3,48 ÉS LJUNG_B<,4345 ÉS LJUNG_B0<,447 TRAMO_IN= II. X_QSTA<3,48 ÉS LJUNG_B,4345 TRAMO_IN= III. X_QSTA<3,48 ÉS COMBINED,9 TRAMO_IN= Például az X-Qsaisic_<3,48 és Ljung-Box(Sq)_<,4345 és Ljung-Box_<,447 aribúumoal jellemezheő reord a Tramo/Seas oszályba sorolás fogja eredményezni, vagyis a Tramo_indicaor = lesz. Logiai felírás használva a dönési fa a Tramo_indicaor célprediáum egy hipoézise, amely a öveező formában felír állíásna felel meg: TRAMO_IN (X_QSTA<3,48 LJUNG_B<,4345 LJUNG_B0<,447) (X_QSTA<3,48 LJUNG_B,4345) (X_QSTA<3,48 COMBINED,9), ahol mindegyi feléel azon esze onjunciójána felel meg, amelyee a gyöéről egy logiai igaz imenee jelenő levélig mege ú során végzün. A dönési fáról álalánosságban is elmondhaó, hogy eljes ifejezőépességgel bírna az íélelogiai nyelve erüleén, mer dönési faén eszőleges logiai (Boole) függvény felírhaó. Ez riviálisan is megvalósíhaó a függvény igazságáblájána minden sorá megfeleleve a dönési fa egy újána. Ez viszon, a vizsgál probléma minden válozójá figyelembe véve, nagyon nagy dönési fához vezene (a bevon válozó számával exponenciálisan növevő fához, mivel az igazságábla is exponenciálisan növevő számú sor aralmazna). Azonban, min a iigazíó eljáráso eredményeine összehasonlíásána példája is illuszrálja, az ado eseben a vizsgál függvény jóval isebb fával is leheséges reprezenálni. Megj.: A dönési fa exponenciálisan növevő méree bizonyos függvényfajánál valóban problémá jelen. Például a pariásfüggvénynél, amely aor és csa aor ad -e, ha páros számú bemene éréű, vagy a öbbségfüggvénynél, amely aor ad -e, ha bemeneeine öbb min fele éréű. A dönési fá ehá bizonyos függvénye eseén jó, máso eseén nem. Szüség van ezér néhány megfelelő algorimusra, hogy ado nagy érben is onziszens hipoézis lehessen alálni. [9] A dönési fá felépíése példá alapján A logiai dönési fa álal ezel példa a bemenei aribúumo veorából és egyelen logiai imenei éréből áll. Azo nevezheő poziív példána amelyeben a Tramo_indicaor érée igaz, és azo a negaív példá, amelyeben az érée hamis. A példá eljes halmaza a aníó halmaz, ami a SAS réegze (Sraified) parícionáló meódusa eseén alapérelmezésben az inpu adao 40 %-á eszi i. 46

47 8. ábra Training -- az adao 40% -a: A aníó adahalmaz, amely a ezdei fa illeszésére használandó. Taralmazza a fa aníására szolgáló inpu és célválozó éréee. Validaion -- az adao 30% -a: A validáló adahalmaz alapveően a fa iéréelésére szolgál, mer a dönési fá hajlamosa a úlaníásra, így a program a validáló adahalmaz használja egy egyszerűbb illeszéshez való visszaérésre (amennyiben szüséges), min amilye izárólag a aníó adahalmazra alapozo illeszés eredményez. Taralmazza az inpu és a célválozó azon éréei, amelye özvee módon erülne felhasználásra a aníás során. Tes -- az adao 30% -a: További fennaro adahalmaz a fa iéréelésére. Taralmazza az inpu és a célválozó azon éréei, amelye nem erülne felhasználásra a aníás során, hanem a modell hibájána, álalánosíási épességéne egy végső, orzíalan becslésre használandó. Megj.: Az alapérelmeze vélelen mago használom a paricionál adahalmaz előállíására. A aníó halmazna megfelelő dönési fa megalálásána van egy riviális megoldása, amely egy olyan fa megonsruálásá jeleni, amelyben minden példához egy ülön sajá ú arozi egy - a példához arozó - levélcsúcshoz. A levélhez vezeő ú menén sorra eszelve az aribúumoa, és a megfigyeléshez arozó eszérée öveve a levél a megfigyelés besorolásá adja. Ez azonban nem igen ad információ egyelen más eseről sem, egyszerűen memorizálja a példáa, nem nyer i semmilyen minázao a példából. Az Ocham borovája elvé alalmazva a legisebb dönési fa megalálása a cél, amely onziszens a példáal. Némi egyszerű heuriszia beveésével jó eredmény érheő el egy isebb" fa megalálásában. Az ún. Oham borovája elv: az legegyszerűbb hipoézis részesísü előnyben, amely onziszens az adaoal, mivel azo a hipoézise, amelye nem egyszerűbbe, min magu az adao, nem nyerne i semmilyen minázao az adaoból. 47

48 A Dönési-Fa-Tanulás algorimus alapölee, hogy először a legfonosabb aribúum erül eszelésre, ahol a legfonosabb" aribúum ala az érendő, amely a példá besorolásában a legnagyobb válozás oozza. A dönési fa anulás során az aribúumo iválaszására szolgáló eljárás arra irányul, hogy minimalizálju az eredményül apo fa mélységé. Az az aribúumo válaszju, amellyel a leheő legmesszebbre juun a példá ponos oszályozásában. Egy öélees aribúum a példáa egy csupa poziív és egy csupa negaív példá aralmazó halmazra oszja. Az X_QSTA nem öélees aribúum, de megleheősen jó. Egy valójában haszonalan aribúum eszjéne eredményeén a apo halmazoban nagyjából ugyanolyan arányban lesz poziív és negaív példa, min az eredei halmazban. Mindössze arra van szüség, hogy formális mérée aláljun arra, hogy mi jelen a megleheősen jó" és a valójában haszonalan". A méré aor érje el maximumá, amior az aribúum öélees, és aor legyen minimális, amior az aribúumna egyálalán nincs semmi haszna. Egy megfelelő méré az aribúum álal szolgálao információ (informaion) várhaó érée, ahol az információ abban a maemaiai érelmezésben használju, ahogy először Shannon és Weaver definiála (Shannon és Weaver, 949). Az, hogy a válaszban mennyi információ rejli, az az előzees a priori udásól függ. Minél evesebbe udun, annál öbb a szolgálao információ. Az információelméle bieben méri az információaralma. Egy bi információ ahhoz elég, hogy egy olyan érdésre, amelyről semmilyen előzees elépzelésün sem vol igen/nem válasz megadjun. [9] Dönési fa anulás eseén a megválaszolásra váró érdés az, hogy egy ado példána mi a helyes besorolása. Egy jó dönési fa válasz ad erre a érdésre. A aníó adabázisból reurzívan erül felépíésre a fa. A eljes aníó adabázisból iindulva egy olyan érdés ell eresni, amelye megválaszolva a eljes anulóhalmaz jól szévághaó. Egy szévágás aor einheő jóna, ha a célválozó eloszlása a eleeze részeben evésbé szór, min a szévágás elő. Ezuán reurzívan ell alalmazni a feni eljárás a részere. A reurzió aor áll meg valamelyi ágban, ha az alábbi feléele özül valamelyi eljesül: a levél minden eleme ugyanabba az oszályba arozi; nincs öbb aribúum, ami alapján az elemee ovább lehene oszani (a levélhez arozó oszály eor az lesz, amelyihez a legöbb aníópon arozi); az ado levélhez nem arozi aníópon; a fa mélysége elére az előre beállío orláo; nincs olyan vágás, amely javíani udná az auális oszályozás. [30] Még mielő egyelen aribúum is eszelésre erülne, a válaszo valószínűsége becsülheő a aníó halmazban alálhaó poziív és negaív miná arányával. Tegyü fel, hogy a aníó halmazban p poziív és n negaív példa alálhaó. Ez eseben a program ehá a vizsgál példában induláséppen a reordoa poziív és negaív példahalmazoba sorolja a TRAMO_IN bináris célválozó logiai éréei alapján. Eze uán megeresi, hogy melyi aribúumo eszeli először a fában. Sorban elvei az olyan aribúumoa, amelye eszjéne a ülönböző imeneelei eseén özel ugyannyi poziív (igaz) és negaív (hamis) példa erül eredményül a apo halmazoba. A program szerin végül az X_QSTA válozó egy megleheősen fonos aribúumna bizonyul. Miuán az első aribúum (X_QSTA) eszje csoporora bonja a példáa, mindegyi eszeredmény egy újabb dönési fa anulási problémá eredményez, evesebb példával és eggyel evesebb aribúummal: 48

49 . Ha van mind poziív mind negaív példa is, aor az algorimus a legjobb aribúumo válaszja a széoszásura. A 7. ábrán láhaó, hogy a Ljung- Box(SQ)_ aribúum alalmas a megmaradó példá oszályozására.. Ha valamennyi megmarad példa poziív, aor a válasz Igen, ha negaív, aor Nem. 3. Ha nem marad példa a esz egyi imeneele eseén, aor nincs megfigyelve ilyen esee, és a válasz a szülőcsúcsban öbbségben levő példá alapján erül meghaározásra. 4. Ha nem marad aribúum ovábbi eszelésre, de mind poziív, mind negaív példá is marada, aor ezene a példána ponosan azonos jellemzői vanna, de ülönböző oszályoba arozna. Ez a helyze áll elő a vizsgál feladaban a III. X_QSTA<3,48 ÉS COMBINED,9 szabály alalmazása uán. Ilyen eseben például zajosa (noise) lehene az adao, vagy az aribúumo nem adna elég információ a sziuáció eljes leírására, illeve a problémaér valójában nemdeerminiszius. Ilyenor megoldás lehe a problémára a öbbségi szavazás. DÖNTÉSI-FA-TANULÁS algorimus (lásd [9]): funcion DöNTÉsi-FA-TANULÁs(példá, aribúumo, alapéré) reurns egy dönési fa inpus: példá, a példá halmaza aribúumo, az aribúumo halmaza alapéré, a célprediáum alapérée if példá üres hen reurn alapéré else if példá minden eleméne azonos a besorolása hen reurn a besorolás else if aribúumo üres halmaz hen reurn TöBBSÉGl-ÉRTÉK(példá) else legjobb < ATTRIBÚTUM-VÁLASZTÁS (aribúumo, példá) fa< egy új dönési fa, a gyöér a legjobb aribúum eszje m < TöBBSÉGl-ÉRTÉK (példá) for each legjobb minden v i- éréére do példáj < {a példá azon elemei, amelyere legjobb = v i} részfa < DöNTÉsi-FA-TANULÁS(példá i;-, aribúumo-legjobb, m) a fa dönési fához adjun egy v, címéjű ága és a részfa részfá reurn fa Ily módon remélheőleg isszámú eszel helyes oszályozás aphaó, vagyis a fában minden ú rövid lesz, így fa méree lecsöen. A dönési fá nagy előnye, hogy a lényegelen válozóa auomaiusan felismeri. Ha nem nyerheő információ egy válozóból a célválozóra vonaozóan, aor az nem is eszeli. Ez azér előnyös, mer így zaj jelenléében sem romli a fá eljesíménye. Továbbá nagyban segíi a problémamegérésüne is, mer megudju, hogy mely válozó fonosa, és a legfonosabb válozóa a fa a gyöér özelében eszeli. Előny még az is, hogy a dönési fá haéonyan épíheő fel nagyméreű adahalmazora is. Lényeges ulajdonság ovábbá az is, hogy egy csúcsna mennyi gyermee lehe, de minden olyan fa, amely csúcsaina eőnél öbb gyermee is lehe, mindig árajzolhaó bináris fává. Ennél fogva a legöbb algorimus csa bináris fá ud állí elő. [9] 49

50 4.. Dönési fáa felépíő algorimuso A dönési fá felépíésére az alábbi algorimus családo ismere: I. ID3 Ineracive Dichoomizer 3 (Ineraív agoló / feloszó) család, melyne auális válozaa a C5.0. A eszaribúum iválaszásához az enrópia csöenésé alalmazza. II. CART Classificaion and Regression Trees (Oszályozó és regressziós fá) III. CHAID Chi-squared Auomaic Ineracion Deecion (Khi-négyze alapú auomaius ineració deeálás) Az ID3 az egyi legismerebb oszályzó algorimus a eszaribúum iválaszásához az enrópia csöenésé alalmazza: Az enrópia az oszályaribúum információaralmána méréé, vagyis a célválozó éréével apcsolaos bizonyalanságo fejezi i. A é leheséges érée p és p valószínűséggel felvevő Tramo_indicaor, min valószínűségi célválozó Shannon-féle enrópiája (információ-aralma): H (TRAMO_IN) = H (p, p ) = i= p log i p i Az enrópia a célválozó éréével apcsolaos bizonyalanságo fejezi i. Jelölje valamely magyarázó válozó (a 5-ből) X, és megfigyelési éréé x i, eor a célválozóval apcsolaos bizonyalanság: H ( TRAMO _ IN X = x ) j= 0 i = ( _ IN = j X = x ) log P( TRAMO _ IN = j X = x ) P TRAMO Így X megfigyelésével a várhaó bizonyalanság: i ( TRAMO _ IN X ) = P( X = x ) H ( TRAMO _ IN X ) H = i i x i Eszerin X megfigyeléséne leheősége a bizonyalanság csöenésé eredményezi: ( TRAMO_ IN X ) H ( TRAMO_ IN ) H ( TRAMO_ IN X ) I =, melyne érée lesz az enrópia válozás a vágás révén, vagyis X ennyi információ hordoz a célválozóról. Az ID3 a TRAMO _ IN aribúum szerini oszályozásor olyan X aribúumon szerin ágazi szé, amelyre I( TRAMO _ IN, X) maximális, ill. H ( TRAMO _ IN X) minimális. Az ID3 algorimus ehá a minimális feléeles enrópiával rendelező aribúumo válaszja i, és nem felélenül bináris fá hoz lére (amennyiben a cél a bináris fa felépíése, aor a magyarázó X aribúum ípusáól függően éféle feléel ell lérehozni). Az enrópia válozás a vágás révén ugyanis azonál az aribúumonál nagy, amelye so érée veszne fel, melyne öveezében sofelé ágazi a fa, ami erebélyes fáa eredményez. Ha például i 50

51 az aribúumo özö szerepelne az azonosíó ód, aor az 0 feléeles enrópiá produálna, így az algorimus az válaszaná. Megoldás lehe erre a problémára a nyereségarány muaó (gain raio) használaa, min normál feléeles információ. Ez a muaó a gyere csúcsoba erülő aníópono számá figyelembe véve "bünei" azoa az aribúumoa, amelye úl so gyeree hozna lére. [30] A nyereségarány úgy aphaó, hogy a vágás révén előáll enrópia válozás eloszju az ado aribúum enrópiájával : I( TRAMO _ IN, X ) gain _ raio = H ( X ) A vágás alapja ehá a nyereségarány, de sajnos a nyereségarány so eseben "úlompenzál" és olyan aribúumoa részesí előnyben, amelyne az enrópiája icsi. Álalános megoldás erre a problémára, hogy azon aribúumo özül válaszjá i a legnagyobb nyereségarány adó aribúumo, amelyehez arozó feléeles információ legalább aora, min az összes vizsgál aribúumhoz arozó feléeles információ álaga. [30] Az ID3 családba arozó fá izárólag oszályozásra, a CHAID és a CART oszályozásra és előrejelzésre is alalmazhaó. A C4.5 (ill. eresedelmi, javío válozaa a C5.0) és a CHAID fá a dönésehez csa egyelen aribúumra vonaozó egyenlő, isebb, nagyobb reláció eszelésé alalmazzá a csúcsoban (egyválozós fá), vagyis a jellemző eré églaesere vágjá fel. A CART fá ferdén is udna vágni, aribúumo lineáris ombinációjá is eszeli. A CART eljárás csa bináris dönésee használ, egy C4.5 fa viszon annyi felé ágazi egy nominális aribúumra, ahány leheséges érée felvehe az aribúum. A leglényegesebb ülönbség a ülönböző fá özö, hogy mi einene jó vágásna, dönésne. Nominális, ill. bináris célválozó eseén a CHAID eljárás nevéne megfelelően a χ -esze használja. A CART meodológia a Gini-indexe minimalizálja. A Gini-index alapján mindig olyan aribúumo eres, amely alapján a legnagyobb homogén oszály udja leválaszani. Ha a magyarázandó célválozó inervallum sálán mér, aor a CART eljárás a célválozó varianciájána csöenésére öreszi, a CHAID pedig F-esze használ. A CHAID ún. onzervaív eljárás, csa addig növeli a fá, amíg egy előre ado üszöbö meghalad a csúcsban alalmazhaó legjobb szévágás χ -, vagy F-esz szerini szignifianciája. A CART és C4.5 eljáráso vagy felépíhene nagyméreű fá, amelyi a anuló adabázison öéleesen műödi, vagy heuriszius leállási szabályoa alalmazna a fa mélységére vonaozóan: a fa egy előre ado orlánál egyszerűen nem lehe mélyebb, illeve egy csúcso már nem enged szévágni, ha evesebb ese arozi bele egy ado orlánál. Mindenesere a ialauló fa nagy és erebélyes lesz, úl speciális, amely nem csa az alappopuláció jellemzői, hanem a minában előforduló vélelen sajáosságoa is modellezi. Ezér a fá meg szoá meszeni (pruning) a felépíés uán egy ellenőrző adabázis használva, elhagyva ily módon a felesleges dönésee. Tanácsos megvizsgálni, hogy a generál C5.0 vagy CHAID fa nem eszel-e egymás uán isméelen evés számú (-3) aribúum éréé. Ez arra ualha, hogy az aribúumo valamely függvénye bír magyarázó erővel és a fa az isméel vágásoal ez a apcsolao próbálja özelíeni. 5

52 Többféle muaószám léezi ehá a vágási riérium iválaszására, melye özö nem léezi legjobb, mer mindegyihez lehe észíeni olyan adabázis, amelye rosszul oszályoz az ado vágási riériumo használó algorimus. [30] 4.3. Vágási riériumo A SAS-beli Tree ámogaja mind az auomaius, mind az ineraív anulás. Auomaius módban fuava auomaiusan rangsorolja az inpu válozóa az alapján, hogy mennyire meghaározó a szerepü a fa megonsruálásában. Ez a rangsorolás használhaó lehe a válozó alalmas iválogaására. Az auomaius lépése felülírhaó a vágási szabályo ineraív definiálásával, illeve csúcso vagy részfá explici elávolíásával. Egy vágási szabály iéréelésére vonaozó riérium vagy egy saisziai szignifiancia vizsgálaon, nevezeesen egy F-próbán vagy egy χ -próbán, vagy a variancia, enrópia, illeve a Gini-index mérééne csöenésén alapul. Mindegyi riérium leheővé eszi részfá egy szevenciájána a felépíésé. A válaszhaó vágási-riériumo a célválozó ípusáól függne 3. Mivel a jelen munában bináris célválozóval foglalozom, ezér a vágási riériumoa csa a bináris 4 ípusú célválozó eseére fogom árgyalni. Bináris célválozó eseén SAS EM-ben a feni három algorimusna megfelelő három vágási-riérium használhaó:. χ -próba (alapérelmeze) a célválozó / az elágazó csúcs Pearson-féle χ mérée, az alapérelmeze 0.0 szignafiancia szin melle. A CHAID eljárás csa addig növeli a fa méreé, amíg a csúcsban alalmazhaó legjobb vágás χ - próba szerini szignifianciája meghaladja az előre megado 0.0 üszöbérée. Koningencia áblája: V Y Bal jobb jó n n rossz n n Y és V függelenségéne erőssége: χ χ = = n n ij n n i+ n n i, j= i+ + j n n + j ( n n n n ) Minél szorosabb legyen a apcsola a V vágás és a Tramo_indicaor célválozó özö, ill. a eő függőségéne erőssége.. Enrópia redució a levél-szennyezeség enrópia szerini mérééne csöenése. Az s levél szennyezesége: n + n + I(s) = I(p, -p) = - p log p (-p) log (-p), ahol a p, -p a bináris célválozó eloszlása az s levélnél. n + n + 3 Az F-próba ill. a variancia-redució inervallum ípusú célválozó eseén használhaó 4 Illeve a nominális ípusú célválozó eseén is az i árgyal vágáso alalmazhaó 5

53 3. Gini redució a levél-szennyezeség Gini-index szerini mérééne csöenése (CART). Az s levél szennyezesége: I(s) = I(p, -p) = p - (-p) = p (-p), ahol a p, -p a bináris célválozó eloszlása az s levélnél. Az uóbbi é módszer alalmazó algorimus eseében a T fa hibája: ( ) = p( s) I ( s) E T s ˆ T, ahol ˆ szimbólummal jelölöm, hogy s csúcsa T-ne (levéloperáor); p(s): az s levél valószínűsége (v. aránya). levélbeli reordo száma p ˆ ( s) = összes reordo száma pˆ = az i edi oszályba arozó reordo száma s ben ; összes reordo száma s ben Iˆ ( s) = I ( pˆ, pˆ ) T ~ = (T \ {s 0 }) {bal} {jobb} E ~ ( T ) = p ( s) I ( s) = p ( s) I ( s) + p ( b) I ( b) p ( j) I ( j) + ~ s ˆ T s ˆ T s s0. Maximalizálandó: E ~ ( T ) E ( T ) = p ( s ) I ( s ) p ( b) I ( b) p ( j) I ( j) = p ( s ) I ( s ) p p ( b) ( s ) 0 I ( b) p p ( j) ( s ) 0 I ( j) 5. A anuló algorimus eljesíményéne becslése Amennyiben egy anuló algorimus olyan hipoézisee hoz lére, amelye az álalu előzeesen nem láo reordo (megfigyelése) oszályba sorolásá jól jósoljá meg, aor az algorimus jóna mondhaó. Olyan módszeran ell ehá alálni, amellyel az oszályba soroló épessége méréssel lehe becsülni, és megmondhaó álala, hogy mi módon lehe előre megbecsülni a jóslás minősége. Egy hipoézis minősége megbecsülheő az ismeré vál ényleges oszályba-soroláso alapján, hiszen aor jó egy jóslás, ha igazna bizonyul. Ez elvégezheő egy eszhalmazna neveze minahalmaz segíségével. Nem lehe az összes rendelezésre álló példá aníásra használni, mer aor ovábbi adaoa ell gyűjeni a eszeléshez, amin ez már orábban is emlíésre erül. Ezér ényelmesebb 53

54 megoldás jelen gyűjeni egy nagy példahalmaz, és ez széoszani diszjun részere. [9] 5.. A anuló algorimus anulási görbéje A aníó algorimus a aníó halmazon alalmazva generálhaó egy h hipoézis, a eszhalmazon pedig megmérheő, hogy a h hipoézis hány százaléára ad helyes oszályba-sorolás a aníó halmaz. A lépése megismélendő ülönböző halmazméreere, és mindegyi mérehez vélelenszerűen iválaszo ülönböző aníó halmazora. Az eljárás egy adahalmaz állí elő eredményül, amelyne feldolgozásával megaphaó az álagos jóslási épesség a aníó halmaz méreéne függvényében. A függvény ábrázolva megjeleníheő az ado algorimusna a anulási görbéje egy ado émaerülere vonaozóan. A dönési-fa-tanulás algorimus a vizsgál felada (a iigazíó módszere összehasonlíása) példáival felve anulási görbéje a 9. ábrán láhaó. A eszhalmazon mér helyes oszályozáso aránya 0,95 0,9 0,85 0,8 0, aníó 9. ábra Téves oszályozáso aránya a ülönböző méreű aníó halmazo eseén: Inpu adao 5%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy Gini

55 Inpu adao 0%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy Gini Inpu adao 5%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy 0, ,6804 0, Gini Inpu adao 0%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy 0, ,8683 0,0860 Gini Inpu adao 5%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy 0, ,5 0,03594 Gini Inpu adao 30%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy 0, ,075 0,0469 Gini Inpu adao 35%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy 0, ,0563 0,06667 Gini Inpu adao 40%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy Gini

56 Inpu adao 45%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy 0, ,065 0,05873 Gini Inpu adao 50%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy Gini Inpu adao 55%-a aníó halmazban: Tree Name Misclassificaion Rae Valid: Misclassificaion Rae Tes: Misclassificaion Rae Chi Enropy Gini A aníó halmaz méreével javul a predició minősége. Ez oból az ilyen görbée ún. boldog görbéne (happy graphs) is nevezi. Ez ugyanis az jelzi, hogy az adaoban valóban van valami mináza, és ez a minázao az algorimus felfedezi. A anuló algorimusna az elő nem szabad lánia" a eszadaoa, mielő eszelésre nem erül velü a meganío hipoézis. Sajnos azonban önnyű abba a hibába beleesni, hogy a eszadaora uucsálun (peeing) aníás özben. Ez ipiusan a öveezőéppen örénhe: álalában a anuló algorimuso számos hangolási leheőséggel rendelezne, amellyel válozani lehe az algorimus viseledésé. Számos ülönböző riérium lehe például, amelye alapján iválaszja a öveező aribúumo a dönési fa a anulásnál. A ülönböző beállíáso menén öbb ülönböző hipoézis generál, majd a eszhalmazon leeszeli mindegyie, és ezuán a legjobb hipoézis szerini prediciós eredmény eini a dönés eredményéne. Ilyenor azonban uucsálás öréni. Enne az oa, hogy a hipoézis a eszhalmazon mér eredménye alapján válaszja i az algorimus, melyne öveezében beszivárog a eszhalmaz álal aralmazo információ a anuló algorimusba. Köveezéséppen minden eljárásna, amely összehasonlíja a hipoézisene a eszhalmazon nyújo eljesíményé, egy új eszhalmaz ellene használnia, hogy uucsálás nélül mérhesse a végül iválaszo hipoézis eljesíményé. Ez viszon úlságosan problémás, nehézes a gyaorlaban, így ovábbra is az előbb leír módon, szennyeze adahalmazoon erülne fuaásra az algorimuso. [9] 5.. Zaj és úlilleszedés Ha van legalább eő vagy öbb példa, amelye az aribúumora nézve azonos leírással rendelezne, de az oszályba sorolásu elérő, aor nem lehe épes a Dönési-Fa-Tanulás algorimus olyan dönési fá alálni, amely onziszens mindegyi példával. Az igény az lenne, hogy deerminiszius oszályzás eseén minden levélcsúcs adja vissza a hozzá arozó halmaz öbbségi oszályá, más eseeben pedig a relaív gyaoriságo alapján becsül oszályba arozási valószínűségee. Valójában elég valószínű azonban, hogy a anuló algorimus aor is alál olyan dönési fá, amely 56

57 onziszens az összes példával, ha lényeges információ hiányzi. Ez azér örénhe meg, mer az algorimus irreleváns aribúumoa is felhasználha, amennyiben vanna, és ebből ifolyólag hamis megülönbözeés esz a példá öz. Amior a hipoézise nagy halmaza leheséges, aor megnő a veszélye anna is, hogy az algorimus érelmelen szabályosságo" alál az adaoban. Ez a probléma a úlilleszedés (overfíing). Ez álalános jelenség, aor is előállha, ha a erese függvényne egyálalán nincs valószínűségi jellege. Ez a probléma nem csa a dönési fáa, hanem az összes anulási algorimus sújja. A probléma megoldására van egy egyszerű, ún. dönési fa meszés (decision ree pruning) nevű módszer. A meszés (nyesés) műödése azon alapul, hogy a nem nyilvánvalóan releváns aribúumo eszje menén aor is megaadályozza a minahalmaz isméel (reurzív) feloszásá, ha nem egyforma az ado csúcsban az adao oszályba-sorolása. Kérdés, hogy hogyan lehe észrevenni egy aribúumról, hogy irreleváns? Amennyiben egy irreleváns aribúumra alapozva erül eéoszásra a minahalmaz, aor az várhaó, hogy ilyenor az eredményül apo részhalmazoban az egyes oszályoba arozó miná nagyjából ugyanabban az arányban fogna szerepelni, min az eredei halmazban. Eor özel nulla az információnyereség, melyne hiánya ehá jó jelzés lehe az irrelevanciára. További érdés, hogy meorána ell lennie az információnyereségne ahhoz, hogy széoszhaó legyen a minahalmaz ezen aribúum menén. Enne eldönésére saisziai szignifiancia-esze ell használni, amely az a nullhipoézis eszeli, hogy egyálalán nincs özös mináza a példában. Ezuán az auális adahalmaz vizsgálva meg ell haározni anna méréé, hogy mennyire ér el az adahalmaz a öéleesen mináza nélüliől. Ha saisziailag már valószínűlenne einheő az elérés mérée (5% vagy ennél isebb valószínűség jellemzi), aor ez anna bizonyíéaén veheő, hogy jelen van egy alapveő mináza az adaoban, ahol a valószínűség a vélelen minavéelezés eseén várhaó elérése sandard eloszlásá feléelezve erül iszámíásra. Eor a nullhipoézis az, hogy az aribúum irreleváns, enne öveezében nulla lenne egy végelen nagy minahalmazra ve információnyereség. Az ell iszámíani a nullhipoézis feléve, hogy milyen valószínűséggel léphe fel a megfigyel eloszlásna a vár poziív és negaív eseeloszlásól való elérése egy v méreű minahalmazban. Az elérés mérée megadhaó a részhalmazo ényleges poziív és negaív eseszámána a nullhipoézis fennállása eseén vár eseszámoal való összehasonlíásával. Feléve a nullhipoézis, az elérés méré v- szabadságfoú χ eloszlás öve (az aribúum irrelevanciájána valószínűsége ehá a sandard χ eloszlás segíségével számíhaó). A zaj, meszés alalmazásával ezelheő. Az oszályozási hibá a prediciós hibában lineáris növeedés oozna. A meszéssel észül dönési fá lényegesen jobb eredmény adna, min a meszés nélül észüle, amennyiben az adao nagy zajjal erhele. Továbbá a meszéssel észül fá önnyebben érheő, mivel gyaran lényegesen isebbe. A ereszvalidáció (cross-validaion) egy mási úlilleszedés csöenő módszer, amely anna becslésén alapul, hogy a még nem láo eseere adandó válaszoa az egyes hipoézise mennyire jól fogjá megjósolni. Enne becsléséhez az ismer adao egy részé félreeszi, és ezeel eszeli a megmarad adao alapján anulással lérehozo fa prediciós épességé. K-szoros ereszvalidációról van szó, ha ísérlee végezve minden eseben az adao más és más /-ad része lesz félreéve 57

58 validációs eszcélra, majd a végén az eredménye álagolásra erülne. Elerjeden használ éré az 5 és a 0. Speciális eseén használjá a = n válaszás, amelye hagyj-i-egye ereszvalidációs módszerne nevezne. A ereszvalidáció eszőleges dönési fa anulási módszerrel együ alalmazhaó (a meszés is beleérve). Célja a jó prediciós épességgel rendelező dönési fa iválaszása, mely prediciós épessége egy új eszhalmazon ell mérni a uucsálási jelenség elerülése vége.[9] 6. Az oszályozási felada eredményeine érelmezése A öveező ábláza muaja a dönési felada 7. ábra szerini fa alapján végrehajo oszályozásána eredmény áblájá (az 8. ábra szerini adaparicionálás uán): 3. ábláza SOURCE jelzi, hogy a saiszia a aníó (TRAIN), vagy a validáló (VALID) adaoból származi. STAT muaja a megfigyelése számá (N), a sor százaléo (Row%), az oszlop százaléo (Col%) és a mindösszesen százaléo (%). TRAMO_IN muaja a célválozó éréei (jelen eseben 0 és ); a + szimbólum reprezenálja a célválozó mindösszesen éréé. ==>0 és ==> oszlopo aralmazzá az előrejelze célválozó saisziái a ábla minden sorára. A apo fa alapján a célválozóna 44 db érée erül helyesen oszályozásra a aníó halmazból; db érée erül rosszul (0 éré szerin) oszályozásra a aníó halmazból; 46 db 0 érée erül helyesen oszályozásra a aníó halmazból; Egy 0 érée sem erül rosszul ( éré szerin) oszályozásra a aníó halmazból. 58

59 Az sor-, oszlop-, és mindösszesen százaléo hasonló módon érelmezendő. A TRAMO_IN célválozóra vonaozó levél saisziá: 4. ábláza Leaf jelzi a levélcsúcso azonosíó számá. N a megfigyelése számá muaja minden levélben a aníó adahalmazra vonaozóan. VN a megfigyelése számá muaja minden levélben a validáló adahalmazra vonaozóan (gondosodva a validáló adahalmaz használaáról). % és %0 a ill. 0 érée százaléá muaja minden levélben a aníó adahalmazra eineel. %V és %V0 az ill. 0 érée százaléá muaja minden levélben a validáló adahalmazra eineel. A öveező ábláza a aníó és validáló adahalmazo minden részfájában helyesen oszályozo megfigyelése arányá lisázza i: Misclassificaion Rae 5. ábláza A 5. ábláza egy olyan áblá aralmaz, amely mérée szolgála arra, hogy a fa mennyire jól írja le az adaoa. Minden részfára éréelő saisziáa lisáz i a aníó és a validáló adahalmaz szerin (a saiszia ípusa függ a célválozó ípusáól és a Tree onfigurációs inerfészéne Advanced lapján válaszhaó modelléréelési méréől). A ábla megjeleníi az éréelés számos adaparícó jelölre. Ha van validáló adahalmaz, a validáló adaoon alapuló éréelés megbízhaóbb, min a aníó adaoon nyugvó. Alapérelmezésben a legjobb éréelés ezen belül a legevesebb levéllel rendelező fa i van jelölve, mely fána az éréelő grafionbeli függőleges referencia vonal felel meg (ld. 0. ábra). Ez a vizsgál munában a 4 levéllel rendelező fá jeleni, mer az 5 59

60 levéllel rendelező eseében már nem javul ovább a éves oszályozási arány (Misclassificaion Rae). A oális levélszennyezeség Gini index szerini mérée még némi javulás mua, de nem jelenős: Average Square Error (Gini index) 6. ábláza A öveező ábra az eredménye grafius megjeleníésé muaja: 0. ábra Az eredménye grafius megjeleníésére szolgáló Plo lap a függőleges engelyén a ülönböző részfára vonaozó éréelés grafionjá jeleníi meg. A Tree auomaiusan iválaszja az a részfá, amely opimalizálja a modellne az Advanced lapon (a Tree onfigurációs inerfészén) válaszhaó éréelésé. A függőleges fehér referencia vonal azonosíja ez a részfá (a 4 levélszámú részfa). 60

61 A végleges, az éréelés álal elfogado fa (paríció) ehá a öveezőéppen néz i: A csúcso az alábbi saisziáa aralmazzá: Validáló adahalmaz eredményei Százaléo minden célválozó éréhez Célválozó éréei Darabszám minden célválozó éréhez Mindösszesen (darabszám). ábra 6

62 A Tree diagram a részei: Gyöér csúcs az összes megfigyelés aralmazza. Belső csúcs nem befejező csúcso, amelye vágási szabály aralmazna. Levél csúcs befejező csúcso, amelye a végső oszályozás aralmazzá a megfigyelése egy halmazára. A numerius címe özvelenül a csúcso fölö jelöli, hogy melyi éréponnál alála a Tree szignifiánsna a vágás (jelen eseben) a özépre pozicionál cimével jelöl inervallum ípusú magyarázó válozón. A jelen vizsgála során a ezdei vágás az X- QSTATISTIC_ válozón vol végrehajva. A vágás uán előáll első (bal) al-szegmens csúcsa lényegesen öbb oszályú megfigyelés aralmaz, min 0 -, míg a másodi (jobb) soal öbb 0 oszályú, min -es, amelyből mindössze csa egye. Az X- QSTATISTIC_ válozón végrehajo vágás ehá nagyon haásosan széválogaja a vizsgál adahalmaz reordjai. A é LJUNG-BOX válozó alapján öveezne a ovábbi reurzív vágáso. A öveező ablaban a program azoa a vágási szabályoa lisázza i, amelye a gyöér csúcsban szinén alalmazhaóa lennéne:. ábra Tallózni lehe a vágási szabályo és érémérői özö (mennyire jó egy válozó a ezdei adahalmaz vágására). Az érémérő jelzi, hogy mennyire jól oszja el egy 6