Stream Processing. Big Data elemzési módszerek. Kocsis Imre

Átírás

1 Stream Processing Big Data elemzési módszerek Kocsis Imre Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék

2 Szenzor-adatok Adatfolyam-források o 1 millió szenzor x 10/s x 4B Képek o Szatelitek: n TB/nap Internetes szolgáltatások Hálózati forgalom Tőzsdei adatok

3 Stream processing (vs at rest Big Data)

4 1. Many sources 2. With unknown sampling frequency Stream processing

5 Stream processing Resource requirements 1. Many sources 2. With unknown sampling frequency

6 Stream processing Once per stream: Local maximum? Resource requirements 1. Many sources 2. With unknown sampling frequency

7 Once per stream: Local maximum? Stream processing About stream at all times: Report each new maximum 1. Many sources 2. With unknown sampling frequency Resource requirements

8 Typically sliding window approches Autocorrelation methods o Where do we differ from the predicted value? o Where does the autocorrelation model change?

9 Feldolgozás: időkorlát! Diszk nem használható Megengedett memóriaigény: korlátos Elemenkénti számítási igény: korlátos Szokásos megoldások: o n-esenkénti (tuple) feldolgozási logika o Csúszóablakos tárolás és feldolgozás o Mintavételezés o Közelítő algoritmusok o WCET-menedzsment: skálázási logikán keresztül Illetve lehet heurisztika/mintavétel-hangolás is, de az nehéz

10 Forrás: [2], p 76 IBM InfoSphere Streams

11 LinkedIn Samza Storm Eszközök (néhány!) Ábra forrása: [3] IBM InfoSphere Streams Amazon Kinesis + kapcsolódó projektek

12 MINTAALKALMAZÁS

13 USA polgári légiközlekedés késési adatai

14 OS_contr Experimental environment OS_network CollectD replay nimbus Application superv 1 superv 2 OS_compute Workstation Workstation Host 1 Host 2

15 Application topology Redis spout <ts, city, delay> Gatherer 1 Gatherer 2 <city, delay> Aggregator Timer spout Sweeper

16 Workload Baseline workload Start of stress End of stress

17 CPU utilization

18 Process latency Relationship with guest resource usage?

19 Process latency Correlation: 0.890

20 ALKALMAZÁSI MINTÁK

21 Forrás: [2], p 80 Alkalmazás-osztályok

22 Forrás: [2], 3.2 alfejezet Tervezési minták: filter

23 Tervezési minták: outliers

24 Tervezési minták: parallel

25 Tervezési minták: supplemental data

26 Tervezési minták: consolidation

27 Tervezési minták: merge

28 R INTEGRÁCIÓ

29 IBM InfoSphere Streams: R-project Toolkit RScript operátor az SPL-ben Forrás: [4]

30 ALGORITMIKAI SZEMELVÉNYEK

31 Folyam-algoritmikai szemelvények A számítási modellt láttuk Fő korlát: adott tár + WCET, be nem látott adat Néhány tipikus probléma o Mintavételezett kulcstér, kulcsok minden értéke o Elég jó halmazba tartozás-szűrés kicsi leíróval o Count distinct korlátos tárral o Momentumok Részletes tárgyalás: [1] 4. fejezete

32 Kitérő: hash-függvények Cél: U nem rendezett univerzum elemein (átlagosan) gyors keresés, beszúrás, törlés, módosítás Eszköz: h hash függvény, ami rekordhoz logikai címet rendel o A címtartomány jellemzően sokkal kisebb, mint U o Ütközések: K K h(k) h(k ) o Vödrös hash-elés,

33 Hash-függvények: jellemző követelmények Alkalmazási területenként eltérőek! o Kriptográfia indexelés adattároláshoz Néhány tipikus követelmény o Determinizmus o Uniformitás o Meghatározott értelmezési tartomány o Folytonosság o Irreverzibilitás ( egyirányú függvény)

34 Mintavételezés Modell: o n komponensű elemek o ezek egy része key (pl. user,query,time) o a kulcsok felett mintavételezünk Probléma o Egy kulcsnak vagy minden értéke megjelenjen, vagy egy sem Megoldás o a/b méretű mintához a (kulcstér)méretű folyamon a kulcsot b vödörbe hasheljük o A hash-függvény valójában konzisztens random-generátor : a < b esetén tárolunk o Nem véges minta kisebb módosítás Példa: a felhasználók mekkora része ismétel meg lekérdezéseket a felhasználók 1/10 mintáján

35 Bloom filterek

36 Szűrés: Bloom filterek Bloom filter: o n bites vektor, kezdetben azonosan 0 o Hash függvények kollekciója: h 1, h 2, h k. Mindegyik kulcsokat rendel n vödörhöz (a vektor elemeinek felelnek meg). o S: kulcshalmaz ( S = m) Cél: minden K S átengedése, a legtöbb K S kiszűrése tárhely-hatékonyan Példa: spam -cím alapján

37 Szűrés: Bloom filterek Indulás: minden j bit-et 1-re állítunk, amire van h i és K S, hogy h i K = j Kulcs tesztelése: minden függvény eredménye 1 értékű bitbe visz-e o Igen: továbbengedés (lehet hogy S-ben) o Nem: dobás (nem lehet S-ben) Kaszkádolható! False positive valószínűség: lásd könyv (darts-modell)

38 Bloom filterek: néhány tétel Hibás pozitív valószínűség (uniform hashekkel): o (1 e km/n ) k Optimális hashfüggvény-szám o k = n m ln2

39 Count-Distinct : a Flajolet-Martin algoritmus Legyen egy bit-sztring hash-függvénynek több kimenete, mint az univerzum elemei h a a folyam-elemre r 0-ban végződik (tail length). Legyen ezek maximuma R. Count-Distinct közelítés: 2 R o Ha m 2 r, akkor szinte biztos van legalább r hosszú farok o Ha m 2 r, akkor szinte biztos nincs legalább r hosszú farok o Levezetés: lásd könyv Sok hash függvény, kis csoportok (legalább c log 2 m) átlaga, ezek mediánja

40 Rendezett univerzum Momentumok m i : i-ik elem előfordulási száma k-adrendű momentum (k-ik momentum): i(m i ) k Néhány momentum o 0: count distinct o 1: stream hossza o 2: előfordulások négyzetösszege surprise number: eloszlás egyenetlensége V.ö. I ω n = log(p(ω n ))

41 Az Alon-Matias-Szegedy algoritmus Legyen a stream n hosszú, Nem tudunk minden m i -t tárolni, Második momentum közelítése, Korlátos tárhellyel (több jobb közelítés) Minden X változónkhoz tároljuk: o Az univerzum egy elemét: X. element o Egy X. value egészet. Inicializálás: uniform, véletlenszerű választással 1 és n között kisorsolt pozíció elemére

42 Az Alon-Matias-Szegedy algoritmus Minden X-ből lehet becsülni: n (2 X. value 1) Legyen e i a stream i-ik eleme; legyen c(i) ezen elem előfordulási száma az i-ik pozíciótól 1 E 2 X. value + 1 = n n i=1 n 2 c i 1 = n i=1 (2c i 1)

43 Az Alon-Matias-Szegedy algoritmus A szumma átrendezése az elemekre: n i=1 2c i 1 = a (m a 1) Indukcióval: m a 1 = m a 2 Így: E 2 X. value + 1 = a m a 2

44 Az Alon-Matias-Szegedy algoritmus k-ik momentumra: v = X. value n (v k v 1 k ) Kiterjesztés nem véges stream-ekre: o Mindig s változót tárolunk, inicializáció o Minden új elemet változónak s n+1 o Ha választjuk, egy régit eldobunk valószínűséggel választunk

45 Hivatkozások [1] Rajaraman, A., & Ullman, J. D. (2011). Mining of Massive Datasets. Cambridge: Cambridge University Press. doi: /cbo [2] International Technical Support Organization. IBM InfoSphere Streams: Harnessing Data in Motion. September tml [3] community-preview-and-launch-of-hortonworkscertification-program-for-apache-hadoop-yarn/ [4]