Mintavételezés, szűrés, kilógó esetek detektálása

Átírás

1 Mintavételezés, szűrés, kilógó esetek detektálása Salánki Ágnes Budapest University of Technology and Economics Fault Tolerant Systems Research Group Budapest University of Technology and Economics Department of Measurement and Information Systems

2 Az alapfeladat ugyanaz Az aspektus más Alapfogalmak

3 MINTAVÉTELEZÉS

4 SRS o Simple Random Sample o random mintavétel Mintavételezés Stratified Sample Cluster sample

5 SRS o Simple Random Sample Mintavételezés Stratified Sample o Homogén réteg o Mindegyikből random m. Cluster sample

6 SRS o Simple Random Sample Mintavételezés Stratified Sample Cluster sample o ~azonos méretű klaszterek o Azokból random m.

7 Idősoroknál Outlierek? Random sampling size mondjuk p = nél? Imbalanced adatsorok

8 SZŰRÉS

9 Definíciók Jelfeldolgozás frekvencia Fizika hullámhosszok Matematika részhalmaz Industrial rock?? Számítástechnika o Értékek, jellemzően data streamben Mail Tartalom Wordfilter

10 Ábra és a számértékes példák forrása: [1] Egyszer streamenként: Lokális maximum? Adatfolyamok Globális kérdések: Minden új maximumot jelezzünk Buffer, megengedett számítási memória igény korlátos 1. több forrásból, 2. ismeretlen sebességgel

11 Szenzor-adatok Adatfolyam-források o 1 millió szenzor x 10/s x 4B Képek o Szatelitek: n TB/nap Internetes szolgáltatók o A legutóbbi órában melyik volt a legnépszerűbb weboldal Hálózati forgalom Tőzsdei adatok

12 Feldolgozás: időkorlát! Diszk nem használható Megengedett memóriaigény: korlátos Elemenkénti számítási igény: korlátos Szokásos megoldások: o Csúszóablakos tárolás és feldolgozás o Mintavételezés o Közelítő algoritmusok

13 Eltároljuk Csúszóablakos tárolás o A legutolsó t elemet o Az elmúlt T időben jövőket o A triggertől számító utolsókat Csúszóablakra tervezett algoritmusok o Pl. átlagszámítás

14 Mintavételezés streamekben Pl. az elmúlt héten hány egyedi query jött? Ezt kb. 10% minta alapján

15 Random mintavételezés 1/3-os mintavételezés p = 1.0 p = 1.0 p = 1.0

16 Mintavételezés streamekben Pl. az elmúlt héten hány egyedi query jött? Ezt kb. 10% minta alapján Random mintavételezés Nem tudunk a minta alapján általánosítani a teljes streamre o Ha kétszer fordul elő, p = 0.18 a mintában o Ha tényleg egyedi a streamben, p = 0.1 a mintában o Stb.

17 Mintavételezés streamekben: Hash Pl. az elmúlt héten hány egyedi query jött? Ezt kb. 10% minta alapján Érték alapján szűrünk o Pl. hash függvény 0-9 közé o Feltételezések A hash egyenletes az értékek 1/10-e kerül be a 0-ba

18 Mintavételezés streamekben: hash 1/3-os mintavételezés Legalább becsülni tudunk Mintavételezés típusa? p = 1/3 p = 1/3 p = 1/3

19 Pl. találjuk meg o a különlegeseket o az azonosokat o a különbözőeket Szűrés streamekben Már az első is nehéz probléma

20 Adott: 0-1 stream N buffermérettel Bitszámlálás Ad-hoc query: Hány 1-es van az utolsó k bitben? Néha még erre sincs időnk

21 Bloom filterek Pl. web crawling: láttuk-e már ezt az URL-t? Bloom filter o bitvektor o hash függvények (h 1, h 2 stb.) Folyamat: x inputra o BESZÚR: h 1 x, h 2 (x) stb. indexekre: 0 1 a vektorban o KERES: ha h 1 x h 2 x... 1, akkor BESZÚR

22 Bloom filterek N = 11 Input: egész számok h 1 x : a páros bitekből képzett y mod N h 2 x : a páratlan bitekből képzett y mod N

23 Bloom filterek Folyam h 1 (x) h 2 (x) Filter BESZÚR(25 = 11001) BESZÚR(159 = ) BESZÚR(585 = ) KERES(118 = )

24 Bloom filterek Persze van fals pozitív N mérettel h hash függvénnyel eddig k beszúrt elemmel h o p P = #(1) N o # 1 k N Pl. N = 10 6, h = 5, k = 10 7 értékekkel o p FP =

25 OUTLIER DETEKTÁLÁS

26 Alapfeladat Vannak-e egyáltalán? Vannak-e egyáltalán? Hogy néznek ki? Szakterület specifikus? Hogyan szeparálhatóak? Nagy adat: aggregálás? Miért? Hatások? Ábra forrása:

27 Alapfeladat

28 Használati esetek Kép forrása:

29 Használati esetek Képek forrása:

30 Használati esetek

31 Alapfogalmak novelty peculiarity anomaly outlier discordant observations surprise exception rare event aberration

32 Kevés van belőlük Definíció Gyanús, hogy más a generáló folyamat/forrás

33 Pont- és kollektív anomála Pontanomália Kollektív anomália

34 Pont- és kollektív anomála Pontanomália Kollektív anomália

35 Pont- és kollektív anomália

36 Viselkedési és kontextusanomália Viselkedési Kontextus Ábrák forrása:

37 Viselkedési és kontextusanomália Viselkedési Kontextus Itt: viselkedési és pontanomáliák Ábrák forrása:

38 Megközelítések Távolság alapúak Sűrűség alapúak

39 Megközelítések Távolság alapúak Sűrűség alapúak

40 VIZUÁLIS MÓDSZEREK

41 1D Az aggregálás általában nem jó

42 1D Az aggregálás általában nem jó Néhány kilógó értéket a boxplot egyszerűen elmaszkol

43 nd Eddig: kilógó esetek az egyes dimenziókban Hogyan általánosítsunk? o Descartes szorzat? o Sűrűségfüggvény bevonása?

44 nd: Descartes szorzat

45 nd: Többdimenziós sűrűségfüggvény Generalization of 1D density

46 nd: Többdimenziós sűrűségfüggvény Egydimenziós általánosítása Több normál kategória is létezhet Minden más outlier, esetleg átmenet a normálok között Pontok nélkül a 0-1 nem látszik

47 TÁVOLSÁG ALAPÚ TECHNIKÁK

48 Befoglaló burok Féltér-mélység: Tukey, Min.: Extrém Medián: majd a végén pontok hds z : min x i : x i z, x j : x j z

49 Befoglaló burok Féltér-mélység: Tukey, 1974

50 Befoglaló burok Féltér-mélység: Tukey, 1974

51 DEMO Befoglaló burok Csomag: depth Hasznos függvények: depth, isodepth Paraméterek: u pont, dpth mélység

52 DB Distance Based Outlier: szomszédok száma alacsony Paraméterek o r sugarú hipergömb o Szomszédok elvárt π aránya

53 DEMO DB Csomag: fields Függvény: fields.rdist.near Paraméterek: delta sugár

54 MCD Minimum Covariance Determinant Alapötlet o Keressük meg a legkompaktabb részhalmazt!

55 MCD Minimum Covariance Determinant Alapötlet o Keressük meg a legkompaktabb részhalmazt! Kimerítő keresés? choose(n = 1000, k = 900) [1] e

56 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján

57 Mahalanobis távolság D x, M = (x θ) T S 1 x θ o S kovarianciamátrix o θ súlypont Ábra forrása:

58 Közelítő algoritmus FAST-MCD Véletlenszerűen választott kezdőhalmaz Iteratív X Legközelebbi pontok kiválasztása o Mahalanobis távolság alapján o Legközelebbi x%

59 BACON Blocked Adaptive Computationally Efficient Outlier Nominators Kiinduló halmaz félig felügyelt módban is! Új halmaz: küszöbérték alapján

60 DEMO BACON Csomag: robustx Függvény: mvbacon Paraméterek o init. sel kezdőhalmaz manual man. sel kezdőhalmaz Mahalanobis, dunimedian m kezdőhalmaz mérete

61 DEMO BACON Csomag: robustx Függvény: mvbacon Paraméterek o init. sel kezdőhalmaz manual man. sel kezdőhalmaz Mahalanobis, dunimedian m kezdőhalmaz mérete

62 SŰRŰSÉG ALAPÚ TECHNIKÁK

63 LOF motiváció

64 LOF Local Outlier Factor Alapötlet: csak a szomszédaival hasonlítsuk össze o lokális sűrűség Outlier kritérium o a lokális sűrűség jóval kisebb, mint a szomszédaimnak átlagosan

65 DEMO LOF Csomag: DMwR (Data Mining with R) Függvény: lofactor Paraméterek: k szomszédság mérete

66 Big Data környezet? Közelítő algoritmusok Stream processing

67 Hivatkozásjegyzék [1] Stream Processing, filtering: Mining of Massive Data Sets o Alapmű: o Coursera tárgy: [2] Outlier Detection o Varun Chandola, Arindam Banerjee, and Vipin Kumar. Anomaly detection: A survey. ACM Computing Surveys (CSUR), 41(3):15, 2009