Idősorok elemzése. Salánki Ágnes

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Idősorok elemzése. Salánki Ágnes"

Viktória Takácsné
7 évvel ezelőtt
Látták:

1 Idősorok elemzése Salánki Ágnes Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék 1

2 Idősorok analízise Alapfogalmak Komponenselemzés Összehasonlítás Tárolás/Indexelés 2

3 Alapfogalmak Eddig: rekordok egy adatbázisban (valami struktúrával), a sorrend nem számít o Pl. vásárló kosara (pelenka sör) Sorrend is: szekvenciaelemzés o Pl. időben különböző vásárlások (fényképezőgép fényképnyomtató egy hónapon belül) Időbélyeg is: idősorelemzés 3

4 Alapfogalmak Idősor-adatbázis megadott időközönként rögzített érték- vagy esemény szekvenciák o Megj.: tehát minden idősor egy szekvencia is Alkalmazások o Természeti jelenségek adatai: hőmérséklet, légnyomás o Tőzsdeelemzés és jóslás o Folyamatirányítási rendszerek 4

5 Idősor 5

6 Idősor 6

7 Idősor 7

8 Idősor 8

9 Komponensek Y = T + S + C + I Trendmozgás Szezonális mozgás Ciklikus mozgás Irreguláris mozgás 9

10 Komponensek Y = T + S + C + I Trendmozgás Szezonális mozgás Ciklikus mozgás általános irány egy hosszú időszakon belül Irreguláris mozgás 10

11 Komponensek Y = T + S + C + I Trendmozgás Szezonális mozgás Ciklikus mozgás időszakok szerint rendszeres mozgás; pl. Valentin napi virágeladás Irreguláris mozgás 11

12 Komponensek Y = T + S + C + I Trendmozgás Szezonális mozgás Ciklikus mozgás hosszú távú változások a trend körül; megj.: nem feltétlenül periodikus Irreguláris mozgás 12

13 Komponensek Y = T + S + C + I Trendmozgás Szezonális mozgás Ciklikus mozgás véletlenszerű, előre semmilyen módon nem jósolható Irreguláris mozgás 13

14 Idősorok elemzése Egyedi idősorok jellemzése o dekompozíció o becslések a jövőre nézve Idősorok viszonya egymáshoz o távolságok meghatározása o összehasonlítás 14

15 Trendelemzés Dekompozíció, becslések 15

16 Szabad kéz módszere Trendelemzés 16

17 Módszer Szabad kéz módszere Leírás 17

18 Szabad kéz módszere Analitikus módszer o regresszió Trendelemzés 18

19 Módszer Regresszió Adott: x = x 1, x 2, x n független és y = y 1, y 2,, y m függő változók. Keressük: y = f(x, β) összefüggést és ebben a β paramétert Lineáris regresszió o a függő változó a függetlenek lineáris kombinációja Nemlineáris regresszió o paramétereiben lineáris függvények o interpoláció spline-okkal 19

Lineáris regresszió Sejtés: az y és az x között lineáris kapcsolat Legyen n a tanítóhalmaz mérete, illesszünk rá hipersíkot: y = β 0 + n β j x j j=1 A β paraméter

20 Lineáris regresszió Sejtés: az y és az x között lineáris kapcsolat Legyen n a tanítóhalmaz mérete, illesszünk rá hipersíkot: y = β 0 + n β j x j j=1 A β paraméter meghatározása: legkisebb négyzetek módszere a teljes adathalmazra N RSS β = (y i β 0 x i,j β j i=1 n j=1 Innen megvan az optimális β paramétervektor DE: csak óvatosan ) 2 20

21 Paramétereiben Paraméterében lineáris lineáris r. r. y = a b x y = a + b 1 x y = a + b log x y = a x b 21

22 Spline-ok Interpoláció Paraméterében spline-okkal lineáris r. Regressziós modellezés: általános modell Interpoláció: egy-egy pontra lokális függvény Alkalmazás: o Korlátozott számú mérőpont o Mérési hiba o Tehát előrejelzést nem tudunk adni! 22 Kép forrása:

23 Szabad kéz módszere Analitikus módszer o Regresszió Trendelemzés Simítás? o Mozgó átlag! 23

24 Módszer k-adrendű mozgóátlag k hosszú ablak, a benne szereplő elemek átlagát vesszük Eredeti k = 3 NA NA k = 4 NA NA NA NA Súlyozással is k 2,3 = k3 7,4 = Eredeti k = 3 NA NA k = 3 ( 1,3,1 ) NA NA 4 24

25 k-adrendű mozgóátlag 25

26 k-adrendű mozgóátlag 26

27 Szezonális mozgások Cél: a szezonális mozgások kiiktatása/becslése o Minden, ami naptári intervallumhoz köthető o Példa: pékség és virágüzlet január-március Szezonális index: havi átlagtól való eltérés %-ban o Ezekkel kell leosztani/ezeket kell kivonni 27

28 Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév

29 Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév Lépések: 1. Trend kiszámítása (itt: negyedrendű mozgóátlag) 29

30 Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév Lépések: 1. Trend kiszámítása (itt: negyedrendű mozgóátlag) 30

31 Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév Lépések: 1. Trend kiszámítása (itt: negyedrendű mozgóátlag) 2. Szezonális index kiszámítása 31

32 Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév Lépések: 1. Trend kiszámítása (itt: negyedrendű mozgóátlag) 2. Szezonális index kiszámítása 32

33 Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév Lépések: 1. Trend kiszámítása (itt: negyedrendű mozgóátlag) 2. Szezonális index kiszámítása 3. Átlagolás 33

Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév 2001 1.08 0.98 2002 0.89 1.04 1.04 1.02 2003 0.

34 Szezonális mozgások Alapfeladat: kezdeményezett mobilhívások (millió) Év I. negyedév II. negyedév IIII. negyedév IV. negyedév Átlag Lépések: 1. Trend kiszámítása (itt: negyedrendű mozgóátlag) 2. Szezonális index kiszámítása 3. Átlagolás 34

35 Ciklikus mozgások Cél: ciklikus komponens meghatározása Szezonmentesített adatokon: Ciklikus = mozgóátlag- trendfüggvény Lépések: 1. Trend kiszámítása (mozgóátlag) 2. A mozgóátlagra trendfüggvényt illesztünk 3. Ciklikus = mozgóátlag - trendfüggvény 35

36 Ciklikus mozgások 2. 36

37 Ciklikus mozgások 2. 37

38 Ciklikus mozgások 2. 38

39 Összehasonlítás Távolságfüggvények, dinamikus idővetemítés 39

40 Összehasonlítás motivációk Teljes egyezés (whole sequence matching) o egy szekvencia-halmazban talál hasonlóakat egymáshoz o Pl. olyan termékek, amiknek az eladási mutatói hasonlóak Rész-szekvencia keresése (subsequence matching) o egy előre definiált rész-szekvenciát keresünk az idősorokban o Pl. EKG-ban adott rendellenesség keresése 40

41 Minkowski távolság Két n dimenziós adatvektor távolsága lehet például: p d p x, y = (x k y k ) p n k=1 = x y p 41

42 Manhattan távolság p = 1 Speciális Minkowskik o d 1 x, y = x k y k Euklideszi távolság p = 2 2 o d 2 x, y = ( (x k y k ) 2 ) Chebyshev távolság p o gyakorlatilag a megegyező indexű elemek távolságai közül a legnagyobb 42

43 Speciális Minkowskik A (0, 0) ponttól 1 egységre lévő pontok halmaza p = 1, p = 2 és p = esetén 43

44 Outlierek o Mozgóátlag o Zajszűrés Euklideszi problémák Y tengely menti eltolás különböző Y tengely menti skálázás különböző normalizálás : y i = y i Átlag(y) SZÓRÁS(y) 44

45 Euklideszi problémák 45

46 Euklideszi problémák 46

47 Euklideszi problémák 2 X tengely menti eltolás? Összehasonlítás kiugró értékek alapján? Különböző hosszúságú idősorok? Dinamikus idővetemítés 47

48 Dinamikus idővetemítés Dynamic Time Wraping Az idősorok pontjait nem indexenként hasonlítjuk össze o Motiváció pl. hangfelismerésnél Kép forrása: 48

49 Dinamikus idővetemítés számítása Lépések 1. n m-es D mátrixban rögzítjük a sorok egymástól való távolságát 2. Lépkedünk a szomszédos mezőkön Kell: p = p 1, p 2, p k útvonal a D 1, 1 és D n, m között Cél: minimális költségű út Szabályok: 1. Minden lépésben előre haladunk (nem távolodhatunk, tehát i, j i, j esetén i i, j j) 2. Az út folytonos, mindig csak szomszédos cellákra léphetünk 49

50 Dinamikus idővetemítés Sakoe-Chiba sáv (**Ikatura par.) Kép forrása: 50

51 Más hasonlóságok Befoglaló négyszögek hasonlósága o Inkább a különbözőek szűrhetőek ki o Nem túl hatékony Burkolt szegmensek hasonlósága o Két konfigurációs paraméter Szegmensek közötti megengedett eltérés: ε Azonos szegmensek minimális értéke: min_supp o Gyakorlatban is alkalmazott 51

52 Tárolás/Indexelés DFT, szegmentálás, fontos pontok 52

53 Idősorok hatékony tárolása k-adrendű átlagolás Szegmentálás Fontos pontok Diszkrét Fourier-transzformáció 53

54 k-adrendű átlagolás Alkalmazása főleg DTW-nél (Keogh+Pazzani, 2000) Lépések 1. n hosszúságú idősort N darab egyenlő hosszúságú részre bontunk 2. mindenhová az átlagot helyettesítjük be: n N i x i = N n x j j= n N i

55 Szegmentálás Cél: az idősort egyenes szakaszokkal közelítsük o Minél kevesebb egyenes legyen VAGY o Minél pontosabban közelítsen Kép forrása: Keogh, Chu, Hart, Pazzani. Segmenting Time Series: A Novel Approach 55

56 Szegmentálás 2 Csúszóablakos algoritmus o Egyszerű, online, de ha nagyon rezeg, nem jó o pl. egészségügy Top Down o Minden lehetséges töréspontot megvizsgál o A legkisebb hibájúnál vág Bottom Up o A legfinomabb felbontással kezdjük o A legjobban illeszkedző i. és i + 1. szakaszt összeolvasztjuk, majd frissítjük a távolságokat 56

57 Magyarázat Összehasonlítás o E maximális hiba egy adott szegmensre o ME teljes közelítő hiba o K szegmensek száma o L a szegmens átlagos hossza Algoritmus Konfiguráció Online Bonyolultság Csúszóablakos E IGEN O(Ln) Top-Down E, ME, K NEM O(Kn 2 ) Bottom-Up E, ME, K NEM O(Ln) 57

58 Fontos pontok módszere Válasszuk ki a reprezentatív pontokat, a többieket hagyjuk el Összehasonlításnál a többi idősornak is csak a fontos pontjait vesszük figyelembe Miért lehet egy a m pont fontos minimum? o Minimális az a i,, a m,, a j szekvenciában o sokkal kisebb, mint az intervallumhatárok: a i a m R és a j a m R Kép forrása: Fink, Pratt. Indexing of Compressed Time Series 58

59 Diszkrét Fourier-transzformáció Cél: időtartományból frekvenciatartományba transzformálni az adatokat Miért jó? o a zajszűrés könnyebb o a transzformálás lineáris (af 1 t + bf 2 t = af 1 ω + bf 2 (ω)) o a tengelyeken való eltolások megjelennek (kompenzálni tudunk a fr.t.-ban is) o azonos Euklideszi távolság az idősorok és tr.-ik között 59

Tömörítés: az első néhány együttható alapján jellemzünk csak 3.

60 Diszkrét Fourier-transzformáció 2 Képzése N 1 1 F k = f i e 2πjki N N k=0 0 k N 1-re 1. Amit kapunk: Fourier-együtthatók 2. Tömörítés: az első néhány együttható alapján jellemzünk csak 3. Készítünk az együtthatók alapján egy keresőfát, amiben már könnyű lesz keresni 60

61 Idősorok analízise Összefoglalás Alapfogalmak Komponenselemzés Összehasonlítás Tárolás/Indexelés 61

Hasonló dokumentumok

STATISZTIKA. Mit nevezünk idősornak? Az idősorok elemzésének módszertana. Az idősorelemzés célja. Determinisztikus idősorelemzés

STATISZTIKA. Mit nevezünk idősornak? Az idősorok elemzésének módszertana. Az idősorelemzés célja. Determinisztikus idősorelemzés Mit nevezünk idősornak? STATISZTIKA 10. Előadás Idősorok analízise Egyenlő időközökben végzett megfigyelések A sorrend kötött, y 1, y 2 y t y N N= időpontok száma Minden időponthoz egy adat, reprodukálhatatlanság