Mintavételezés, szűrés, kilógó esetek detektálása

Átírás

1 Mintavételezés, szűrés, kilógó esetek detektálása Salánki Ágnes Budapest University of Technology and Economics Fault Tolerant Systems Research Group Budapest University of Technology and Economics Department of Measurement and Information Systems

2 Az alapfeladat ugyanaz Az aspektus más Alapfogalmak

3 Az alapfeladat ugyanaz Az aspektus más Alapfogalmak

4 OUTLIER DETEKTÁLÁS

5 Alapfeladat Ábra forrása:

6 Alapfeladat Vannak-e egyáltalán? Ábra forrása:

7 Alapfeladat Vannak-e egyáltalán? Hogy néznek ki? Ábra forrása:

8 Alapfeladat Vannak-e egyáltalán? Hogy néznek ki? Hogyan szeparálhatóak? Miért? Ábra forrása:

9 Alapfeladat Vannak-e egyáltalán? Vannak-e egyáltalán? Hogy néznek ki? Szakterület specifikus? Hogyan szeparálhatóak? Nagy adat: aggregálás? Miért? Hatások? Ábra forrása:

10 Alapfeladat

11 Alapfeladat

12 Megközelítések Távolság alapúak Sűrűség alapúak

13 Megközelítések Távolság alapúak Sűrűség alapúak

14 Megközelítések Távolság alapúak Sűrűség alapúak

15 Megközelítések Távolság alapúak Sűrűség alapúak

16 TÁVOLSÁG ALAPÚ TECHNIKÁK

17 Befoglaló burok Féltér-mélység: Tukey, hds z : min x i : x i z, x j : x j z

18 Befoglaló burok Féltér-mélység: Tukey, hds z : min x i : x i z, x j : x j z

19 Befoglaló burok Féltér-mélység: Tukey, hds z : min x i : x i z, x j : x j z

20 Befoglaló burok Féltér-mélység: Tukey, Min.: hds z : min x i : x i z, x j : x j z

21 Befoglaló burok Féltér-mélység: Tukey, Min.: Extrém pontok hds z : min x i : x i z, x j : x j z

22 Befoglaló burok Féltér-mélység: Tukey, Min.: Extrém Medián: majd a végén pontok hds z : min x i : x i z, x j : x j z

23 Befoglaló burok Féltér-mélység: Tukey, 1974

24 Befoglaló burok Féltér-mélység: Tukey, 1974

25 Befoglaló burok Féltér-mélység: Tukey, 1974

26 Befoglaló burok Féltér-mélység: Tukey, 1974

27 Befoglaló burok Féltér-mélység: Tukey, 1974

28 Befoglaló burok Féltér-mélység: Tukey, 1974

29 Befoglaló burok Féltér-mélység: Tukey, 1974

30 Befoglaló burok Féltér-mélység: Tukey, 1974

31 Befoglaló burok Féltér-mélység: Tukey, 1974

32 Befoglaló burok Féltér-mélység: Tukey, 1974

33 DEMO Befoglaló burok Csomag: depth Hasznos függvények: depth, isodepth Paraméterek: u pont, dpth mélység

34 DB Distance Based Outlier: szomszédok száma alacsony Paraméterek o r sugarú hipergömb o Szomszédok elvárt π aránya

35 DB Distance Based Outlier: szomszédok száma alacsony Paraméterek o r sugarú hipergömb o Szomszédok elvárt π aránya

36 DEMO DB Csomag: fields Függvény: fields.rdist.near Paraméterek: delta sugár

37 MCD Minimum Covariance Determinant Alapötlet o Keressük meg a legkompaktabb részhalmazt!

38 MCD Minimum Covariance Determinant Alapötlet o Keressük meg a legkompaktabb részhalmazt!

39 MCD Minimum Covariance Determinant Alapötlet o Keressük meg a legkompaktabb részhalmazt!

40 MCD Minimum Covariance Determinant Alapötlet o Keressük meg a legkompaktabb részhalmazt! Kimerítő keresés? choose(n = 1000, k = 900) [1] e

41 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján

42 Mahalanobis távolság D x, M = (x θ) T S 1 x θ o S kovarianciamátrix o θ súlypont Ábra forrása:

43 Mahalanobis távolság D x, M = (x θ) T S 1 x θ o S kovarianciamátrix o θ súlypont Ábra forrása:

44 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján o Legközelebbi x%

45 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján o Legközelebbi x%

46 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív X Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján o Legközelebbi x%

47 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján o Legközelebbi x% X

48 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív X Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján o Legközelebbi x%

49 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján o Legközelebbi x%

50 BACON Blocked Adaptive Computationally Efficient Outlier Nominators Kiinduló halmaz félig felügyelt módban is! Új halmaz: küszöbérték alapján

51 DEMO BACON Csomag: robustx Függvény: mvbacon Paraméterek o init. sel kezdőhalmaz manual man. sel kezdőhalmaz Mahalanobis, dunimedian m kezdőhalmaz mérete

52 DEMO BACON Csomag: robustx Függvény: mvbacon Paraméterek o init. sel kezdőhalmaz manual man. sel kezdőhalmaz Mahalanobis, dunimedian m kezdőhalmaz mérete

53 SŰRŰSÉG ALAPÚ TECHNIKÁK

54 DB alapötlete Hiába vagyunk a középpontban, ha nincsenek szomszédaink Distance-based approach

55 LOF motiváció: mikor jó a DB? p 2 sem, vagy C 1 is?

56 LOF Local Outlier Factor rd: reachability distance Alapötlet: csak a szomszédaival hasonlítsuk össze o lokális sűrűség Outlier kritérium o a lokális sűrűség jóval kisebb, mint a szomszédaimnak átlagosan

57 LOF Local Outlier Factor rd: reachability distance Alapötlet: csak a szomszédaival hasonlítsuk össze o lokális sűrűség Outlier kritérium o a lokális sűrűség jóval kisebb, mint a szomszédaimnak átlagosan

58 LOF Local Outlier Factor rd: reachability distance Alapötlet: csak a szomszédaival hasonlítsuk össze o lokális sűrűség Outlier kritérium o a lokális sűrűség jóval kisebb, mint a szomszédaimnak átlagosan

59 LOF Local outlier factor Ha a szomszédaim is magányosak, nincs nagy gond LOF: DMwR::lofactor

60 DEMO LOF Csomag: DMwR (Data Mining with R) Függvény: lofactor Paraméterek: k szomszédság mérete

61 OUTLIEREK ADATFOLYAMOKBAN

62 Ábra és a számértékes példák forrása: [1] Egyszer streamenként: Lokális maximum? Adatfolyamok Globális kérdések: Minden új maximumot jelezzünk Buffer, megengedett számítási memória igény korlátos 1. több forrásból, 2. ismeretlen sebességgel

63 IT Monitorozás Tőzsdei elemzések Banki csalásfelderítés Outlierek idősorokban Mindkét adattípus számít o Szenzorok: nagyrészt numerikus CPU_nice: 0.12, 0.13, 0.12, 0.13, o Naplózás: nagyrészt kategorikus VM_operations: Start, Stop, Start, Snapshot, Snapshot,

64 Additive outlier Hatások szerinti osztályozás o A rákövetkező elemekre teljesen hatástalan Level Shift Outlier o Permanens hatás Innovational Outlier o Kezdeti hatás + lecsengés, az ismétlések számával ez erősödhet Transient Change Outlier o ~Innovational outlier, de exponenciálisan lecseng a hatás, később visszatér normálra

65 Additive Basic types Level Shift Innovational Transient change

66 Outlierek szekvenciák között Az aggregált adatokon látjuk, hogy baj van. Pontosan a rendszer melyik komponense hibás? Feltételezések o Az idősorok hossza azonos o Keressük a legkiugróbbat

67 Ötletek Outlierek szekvenciák között o Képezzük le egy értékre az idősort variancia az első pillanat, amikor az érték elért egy küszöböt o Elemek egy hasonlósági mátrixba Innentől már akármelyik klasszikus klaszterezési módszer működik Távolságfüggvény a szomszédossághoz?

68 Idősorok távolságfüggvényei Euklideszi távolság o X tengely menti eltolás (offset)? Dynamic time warping o eleve kiugró értékek alapján hasonlítunk Length of common subsequence

69 Dinamikus idővetemítés Az idősorok pontjait nem indexenként hasonlítjuk össze o Motiváció pl. hangfelismerésnél

70 Dinamikus idővetemítés Az idősorok pontjait nem indexenként hasonlítjuk össze o Motiváció pl. hangfelismerésnél

71 Dinamikus idővetemítés számítása 1. n m-es D mátrixban rögzítjük a sorok egymástól való távolságát 2. Kell: p = p 1, p 2, p k útvonal a D 1,1 és D n, m között 3. Cél: minimális költség 4. Szabályok: 1. Minden lépésben előre haladunk (nem távolodhatunk, tehát i, j i, j esetén i i, j j) 2. Az út folytonos, mindig csak szomszédos cellákra léphetünk

72 Dinamikus idővetemítés Sakoe-Chiba sáv

73 Dinamikus idővetemítés Sakoe-Chiba sáv

74 Longest common subsequence Nem a pontos időpont számít Csak a sorrend x 1 : abcdefg lcs x 1, x 2 : abceg nlcs(x 1, x 2 ) = 5 x 2 : fabdceg

75 Longest common subsequence Nem a pontos időpont számít Csak a sorrend Általánosítás folytonos értékekre

76 Outlierek szekvenciákban A legkiugróbb pont megtalálása o abs(t[k] mean(t[k l],, T[k + l]) ): max

77 Outlierek szekvenciákban A legkiugróbb pont megtalálása o abs(t[k] mean(t[k l],, T[k + l]) ): max

78 Outlierek szekvenciákban A legkiugróbb pont megtalálása o abs(t[k] mean(t[k l],, T[k + l]) ): max

79 Outlierek szekvenciákban A legkiugróbb pont megtalálása o abs(t[k] mean(t[k l],, T[k + l]) ): max o Square Error regresszióból: min

80 Outlierek szekvenciákban A legkiugróbb pont megtalálása o abs(t[k] mean(t[k l],, T[k + l]) ): max o Square Error regresszióból: min

81 Outlierek szekvenciákban A legkiugróbb pont megtalálása o abs(t[k] mean(t[k l],, T[k + l]) ): max o Square Error regresszióból: min o A pont törlésével a minimum description length a lehető legjobban lecsökken. Eredeti: 5 különböző érték

82 Outlierek szekvenciákban A legkiugróbb pont megtalálása o abs(t[k] mean(t[k l],, T[k + l]) ): max o Square Error regresszióból: min o A pont törlésével a minimum description length a lehető legjobban lecsökken. Eredeti: 5 különböző érték -2 törlése után: 4 különböző érték is elég

83 Autokorrelációs módszerek Autokorrelációs módszerek o Hol térünk el nagyon a prediktált értéktől? o Hol változik legjobban az autokorrelációs modell?

84 Egy kis kitérő: NNDB Felügyelt: feltételezzük, hogy létezik orákulum Milyen sorrendben kérdezzük meg tőle a pontokat, hogy a lehető leggyorsabban megtaláljuk a ritkákat? Pl.: domain expert leellenőrzi, amit mondunk neki, de minél kevesebbet kelljen manuálisan dolgozni Variációk egy témára o Mennyi információnk van? o Milyen adatunk van? (csak attribútumok? Kapcsolatok is?)

85 Simaság Kiindulási feltételek o A többségi osztály eloszlásfüggvénye megfelelően sima Kompaktság o A ritka osztályba tartozó elemek egymástól vett távolsága kisebb, mint a többségtől vett távolság Ami nem kell feltételül: szeparáltság Ha nincs: véletlen mintavételezés

86 Simaság Kiindulási feltételek o A többségi osztály eloszlásfüggvénye megfelelően sima Kompaktság o A ritka osztályba tartozó elemek egymástól vett távolsága kisebb, mint a többségtől vett távolság Ami nem kell feltételül: szeparáltság Ha nincs: véletlen mintavételezés

87 Simaság Kiindulási feltételek o A többségi osztály eloszlásfüggvénye megfelelően sima o Matematikája kell? Kompaktság o A ritka osztályba tartozó elemek egymástól vett távolsága kisebb, mint a többségtől vett távolság Ami nem kell feltételül: szeparáltság Ha nincs: véletlen mintavételezés

88 Simaság Kiindulási feltételek o A többségi osztály eloszlásfüggvénye megfelelően sima o Matematikája kell? Kompaktság o A ritka osztályba tartozó elemek egymástól vett távolsága kisebb, mint a többségtől vett távolság Ami nem kell feltételül: szeparáltság Ha nincs: véletlen mintavételezés

89 Simaság Kiindulási feltételek o A többségi osztály eloszlásfüggvénye megfelelően sima o Matematikája kell? Kompaktság o A ritka osztályba tartozó elemek egymástól vett távolsága kisebb, mint a többségtől vett távolság Ami nem kell feltételül: szeparáltság Ha nincs: véletlen mintavételezés

90 Simaság Kiindulási feltételek o A többségi osztály eloszlásfüggvénye megfelelően sima o Matematikája kell? Kompaktság o A ritka osztályba tartozó elemek egymástól vett távolsága kisebb, mint a többségtől vett távolság Ami nem kell feltételül: szeparáltság Ha nincs: véletlen mintavételezés

91 NNDB 1. i-re NN = x S, d i, x r i, r i az adott ciklusban megengedhető maximális sugár 2. i -re s i = max NN i NN x x NN(i) 3. Sejtett ritka elem: i, amire s i maximális. 4. Ha i ritka, vége. 5. Ha nem, r i+1 = i + 1 r 1, ugrás 1-re. NN = 14 NN = 7

92 Apriori információval NNDB r i+1 = (i + 1) r 1, na de mekkora legyen r 1? Ötlet: ha a ritkák aránya p 2, akkor legyen K = p 2 S, számítsuk ki i-re a K. legközelebbi elem távolságát: n i. Legyen r 1 = min i S n i.

93 Apriori információval NNDB r i+1 = (i + 1) r 1, na de mekkora legyen r 1? Ötlet: ha a ritkák aránya p 2, akkor legyen K = p 2 S, számítsuk ki i-re a K. legközelebbi elem távolságát: n i. Legyen r 1 = min i S n i. Ha a ritkák tényleg nagyon közel vannak egymáshoz, akkor beleférnek egy körbe

94 Implementációs kérdések knn(x i ), majd NN(x i, r ) milyen adatszerkezettel? o ort x k, which x r Partíciós módszerek? o Pl. fák: k-d tree, VP-tree

95 Implementációs kérdések x r rr x r xxhcciiwwh knn(x i ), majd NN(x i, r ) milyen adatszerkezettel? Naiv o Távolságmátrixot tárolunk o sort x k, k, which x r Partíciós módszerek? o Pl. fák: k-d tree, VP-tree

96 Implementációs kérdések x r rr x r xxhcciiwwh knn(x i ), majd NN(x i, r ) milyen adatszerkezettel? Naiv o Távolságmátrixot tárolunk o sort x k, k, which x r Partíciós módszerek? o Pl. fák: k-d tree, VP-tree o Pl. fák: k-d tree, VP-tree

97 Implementációs kérdések 1. ÉPÍT Hierarchikus adatszerkezetben a közeli ponthalmazok

98 Implementációs kérdések 9 (7. zóna) = r 9 (7. zóna) 2.1 r 9 (7. zóna) 2.2 r = 7 (5-8. zóna) 1. ÉPÍT Hierarchikus adatszerkezetben a közeli ponthalmazok

99 Implementációs kérdések 9 (7. zóna) = r = 7 (5-8. zóna) 2.1 r 9 (7. zóna) 2.2 r = 7 (5-8. zóna) 1. ÉPÍT Hierarchikus adatszerkezetben a közeli ponthalmazok

100 Implementációs kérdések 9 (7. zóna) = r = 7 (5-8. zóna) 2.1 r 9 (7. zóna) 2.2 r = 7 (5-8. zóna) Nem kell mindent kiszámolni Többször kell kiszámolnunk ugyanazt 1. ÉPÍT Hierarchikus adatszerkezetben a közeli ponthalmazok

101 Map-Reduce? n elég nagy muszáj bontani

102 Map-Reduce? n elég nagy muszáj bontani MAP Csomópont milyen más cspok knn-jeit frissítheti? REDUCE Ha megvan minden jelölt: tényleges távolságszámítás

103 Map-Reduce? n elég nagy muszáj bontani Mi van, ha már a felosztást is elosztottan MAP akarom végezni? Csomópont milyen más cspok knn-jeit frissítheti? REDUCE Ha megvan minden jelölt: tényleges távolságszámítás

104 Egy kis csalás.. Voronoi cellák U 1

105 Amiért jó: MapReduce n elég nagy muszáj bontani MAP2 Csomópont milyen más cspok knn-jeit frissítheti? REDUCE2 Ha megvan minden jelölt: tényleges távolságszámítás

106 Amiért jó: MapReduce n elég nagy muszáj bontani MAP1 Csomópont->tartomány hozzárendelések REDUCE1 Tartományok értékei MAP2 Csomópont milyen más cspok knn-jeit frissítheti? REDUCE2 Ha megvan minden jelölt: tényleges távolságszámítás

107 Hivatkozásjegyzék [1] Stream Processing, filtering: Mining of Massive Data Sets o Alapmű: o Coursera tárgy: [2] Outlier Detection o Varun Chandola, Arindam Banerjee, and Vipin Kumar. Anomaly detection: A survey. ACM Computing Surveys (CSUR), 41(3):15, 2009