Mintavételezés, szűrés, outlierek detektálása

Átírás

1 Mintavételezés, szűrés, outlierek detektálása Salánki Ágnes Budapest University of Technology and Economics Fault Tolerant Systems Research Group Budapest University of Technology and Economics Department of Measurement and Information Systems

2 Az alapfeladat ugyanaz Az aspektus más Alapfogalmak

3 Az alapfeladat ugyanaz Az aspektus más Alapfogalmak

4 MINTAVÉTELEZÉS

5 Mintavételezés SRS Stratified Sample Cluster sample

6 SRS o Simple Random Sample o random mintavétel Mintavételezés Stratified Sample Cluster sample

7 SRS o Simple Random Sample Mintavételezés Stratified Sample o Homogén réteg o Mindegyikből random m. Cluster sample

8 SRS o Simple Random Sample Mintavételezés Stratified Sample o Homogén réteg o Mindegyikből random m. Cluster sample

9 SRS o Simple Random Sample Mintavételezés Stratified Sample o Homogén réteg o Mindegyikből random m. Cluster sample

10 SRS o Simple Random Sample Mintavételezés Stratified Sample Cluster sample o ~azonos méretű klaszterek o Azokból random m.

11 SRS o Simple Random Sample Mintavételezés Stratified Sample Cluster sample o ~azonos méretű klaszterek o Azokból random m.

12 SRS o Simple Random Sample Mintavételezés Stratified Sample Cluster sample o ~azonos méretű klaszterek o Azokból random m.

13 Idősoroknál

14 Idősoroknál Outlierek? Random sampling size mondjuk p = nél? Lásd még imbalanced adatsorok

15 Mintavételezés streamekben Pl. az elmúlt héten hány egyedi lekérdezés jött? megválaszolása n% minta alapján

16 Random mintavételezés 1/3-os mintavételezés o egyedi lekérdezések aránya: 3/9 o egyedi lekérdezések aránya egy kiválasztott mintában?

17 Random mintavételezés 1/3-os mintavételezés o egyedi lekérdezések aránya: 3/9 o egyedi lekérdezések aránya egy kiválasztott mintában?

18 Random mintavételezés 1/3-os mintavételezés o egyedi lekérdezések aránya: 3/9 o egyedi lekérdezések aránya egy kiválasztott mintában?

19 Random mintavételezés 1/3-os mintavételezés o egyedi lekérdezések aránya: 3/9 o egyedi lekérdezések aránya egy kiválasztott mintában?

20 Random mintavételezés 1/3-os mintavételezés o egyedi lekérdezések aránya: 3/9 o egyedi lekérdezések aránya egy kiválasztott mintában?

21 Random mintavételezés 1/3-os mintavételezés o egyedi lekérdezések aránya: 3/9 o egyedi lekérdezések aránya egy kiválasztott mintában? p = 1.0 p = 1.0 p = 1.0

22 Mintavételezés streamekben Random mintavételezés 10 vödörrel o Ha tényleg egyedi a streamben, p = 0.1 a mintában (egy adott megfigyelt vödörben) o Ha kétszer fordul elő, a mintába p = 0.18 valószínűséggel kerül csak egy stb.

23 Mintavételezés streamekben Random mintavételezés 10 vödörrel o Ha tényleg egyedi a streamben, p = 0.1 a mintában (egy adott megfigyelt vödörben) o Ha kétszer fordul elő, a mintába p = 0.18 valószínűséggel kerül csak egy stb. Nem tudunk a minta alapján általánosítani a teljes streamre

24 Mintavételezés streamekben: Hash Pl. az elmúlt héten hány egyedi lekérdezés jött? megválaszolása n% minta alapján Érték alapján szűrünk o Pl. hash függvény 0-9 közé Az azonosak azonos vödörbe kerülnek o Feltételezések A hash egyenletes az értékek 1/10-e kerül be a 0-ba

25 Mintavételezés streamekben: hash 1/3-os mintavételezés

26 Mintavételezés streamekben: hash 1/3-os mintavételezés

27 Mintavételezés streamekben: hash 1/3-os mintavételezés 1

28 Mintavételezés streamekben: hash 1/3-os mintavételezés 1

29 Mintavételezés streamekben: hash 1/3-os mintavételezés 1 1

30 Mintavételezés streamekben: hash 1/3-os mintavételezés 1 1

31 Mintavételezés streamekben: hash 1/3-os mintavételezés 1 1 1

32 Mintavételezés streamekben: hash 1/3-os mintavételezés 1 1 1

33 Mintavételezés streamekben: hash 1/3-os mintavételezés

34 Mintavételezés streamekben: hash 1/3-os mintavételezés

35 Mintavételezés streamekben: hash 1/3-os mintavételezés

36 Mintavételezés streamekben: hash 1/3-os mintavételezés

37 Mintavételezés streamekben: hash 1/3-os mintavételezés

38 Mintavételezés streamekben: hash 1/3-os mintavételezés

39 Mintavételezés streamekben: hash 1/3-os mintavételezés p = 1/3 p = 1/3 p = 1/3

40 Mintavételezés streamekben: hash 1/3-os mintavételezés Nagyobb biztonsággal tudunk becsülni Mintavételezés típusa? p = 1/3 p = 1/3 p = 1/3

41 OUTLIER DETEKTÁLÁS

42 Outlier An outlier is an observation which deviates so much from the other observations as to arouse suspicions that it was generated by a different mechanism (Hawkins 1980)

43 Outlier An outlier is an observation which deviates so much from the other observations as to arouse suspicions that it was generated by a different mechanism (Hawkins 1980)

44 Outlier An outlier is an observation which deviates so much from the other observations as to arouse suspicions that it was generated by a different mechanism (Hawkins 1980)

45 Outlier An outlier is an observation which deviates so much from the other observations as to arouse suspicions that it was generated by a different mechanism (Hawkins 1980)

46 Használati esetek Kép forrása:

47 Használati esetek Képek forrása:

48 Használati esetek Képek forrása:

49 Használati esetek Képek forrása:

50 Használati esetek

51 Használati esetek

52 Használati esetek

53 Alapfogalmak novelty peculiarity anomaly outlier discordant observations surprise exception rare event aberration

54 Kevés van belőlük Definíció Gyanús, hogy más a generáló folyamat/forrás

55 Kevés van belőlük Definíció Gyanús, hogy más a generáló folyamat/forrás o Все счастливые семьи похожи друг на друга, каждая несчастливая семья несчастлива по-своему.

56 Kevés van belőlük Definíció Gyanús, hogy más a generáló folyamat/forrás o Все счастливые семьи похожи друг на друга, каждая несчастливая семья несчастлива по-своему. o Happy families are all alike; every unhappy family is unhappy in its own way. o A boldog családok mind hasonlók egymáshoz, minden boldogtalan család a maga módján az.

57 Kevés van belőlük Definíció Gyanús, hogy más a generáló folyamat/forrás o Все счастливые семьи похожи друг на друга, каждая несчастливая семья несчастлива по-своему. o Happy families are all alike; every unhappy family is unhappy in its own way. o A boldog családok mind hasonlók egymáshoz, minden boldogtalan család a maga módján az. (Tolsztoj: Anna Karenina)

58 Hivatkozásjegyzék [1] Stream Processing, filtering: Mining of Massive Data Sets o Alapmű: o Coursera tárgy: [2] Outlier Detection o Varun Chandola, Arindam Banerjee, and Vipin Kumar. Anomaly detection: A survey. ACM Computing Surveys (CSUR), 41(3):15, 2009