Benczúr András.

Átírás

1 algritmusk és szftver-rendszerekrendszerek Benczúr András MTA SZTAKI

2

3 thenewhype big data is when the size f the dataitself becmes part f the prblem big data is data that becmes largeenugh that it cannt be prcessed using cnventinal methds Ggle srts 1PB in 33 minutes( ) Amazn S3 stre cntains 499B bjects( ) New Relic: 20B+ applicatin metrics/day( ) Walmart mnitrs 100M entities in real time( ) Surce: The Emerging slide frm the Intelligent Infrmatin Management DG INFSO/E2 Objective ICT Inf day in Luxemburg n 26 September

4 Adatbányászat, Adatbányászat: Haszns (meglepő?) tudás kinyerése nagy adattömegből Technikák Algritmusk (nagy méret) Adatbázisk (elrendezés, hzzáférés) minden még nagybb Mesterséges Intelligencia és Gépi Tanulás (mdellek) Statisztika (hiptézisvizsgálat) Algritmusk (elszttt, Mesterséges Intelligencia MapReduce, Clud) és Gépi Tanulás ajánló Adatbázisk (elszttt, NSQL) rendszerek, hálózatk Okstelefnk, közösségi Statisztika média (Facebk, Twitter, )

5 Elszttt rendszerek Murphy törvénye

6 Elszttt rendszerek Murphy törvénye Fx&Brewer CAP Tétel : C-A-P: kettőt választhatunk! C cnsistency A Availability AP: egy replika válaszlhat hibásan P Partitin-resilience Végül knzisztenssé válhat eventual cnsistency

7 Mi történik, ha szétesik a rendszer? CAP tétel biznyítás Partitin(P): a jbb ldalra beírt új értéket nem ismeri a bal ldal Ha aznnal kérdezünk a bal ldaln (availability), akkr hibás a válasz Vagy availability(a), vagy knzisztencia (C) Végül lehet knzisztens (eventual cnsistency) A kapcslat helyreállása után lehet adatt cserélni

8 Duplikátum-keresés: keresés: erősebb krlátk! name ID Mary Smith Mary De M. De M. Smith Sidló, B, Garzó, Mlnár, Infrastructures and bunds fr distributed entity reslutin. QDB

9 Duplikátum-keresés: keresés: erősebb krlátk! Halmaz metszet kmmunikációs bnylultsága Θ(n) bit [Kalyanasundaram, Schintger 1992] Következmény: több szerveren elszttt adatk esetén Θ(n) kmmunikáció eldönteni, hgy van-e duplikátum! Javaslt módszerek: Blcking [Whang, Menestrina, Kutrika, Thebald, Garcia-Mlina. ER with Iterative Blcking, 2009, stb.] Legjbb esetben is minden adatt ki kell cserélni Kapcslódó terület: Lcality Sensitive Hashing nincs minimum, azaz krdináta egyezés LSH hasnló a DnhZer nrm (nem-0 krdináták száma) negatív eredményekhez Sidló, B, Garzó, Mlnár, Infrastructures and bunds fr distributed entity reslutin. QDB

10 Gráfalgritmuskőstörténete: P, NP P: Gráfbejárás; Feszítőfa NP: Steiner fa

11 Kit érdekel ez még ma? Képszegmentálás Aznsságfelldás name ID Mary Smith Mary De M. De M. Smith

12 MapReduce Ggle technlógia MapReduce: simplified data prcessing n large clusters. J Dean, S Ghemawat- Cmmunicatins f the ACM, 2008[OSDI 2004] Hadp: Yah! által indíttt pen surce HDFS: Hadp Distributed File System MapReduce: kétfázisú algritmus környezet

13 Map/Reduce prgramzási mdell Adatelőkészítés, szűrés rendezés kulcs szerint azns kulcsk összevnása

14 Szélességi bejárás

15 Szélességi bejárás MAP: Minden n csúcs távlsága starttól (D); ki-éllista p ki-él(n): emit (p, D+1) Reduce p szerint rendezve kapja kiválasztja a legkisebb értéket (új távlság) mindent kiír diszkre, újraindul Végetér, ha egy iterációban nincs váltzás Össze kell rendelni a ki-él(n)-tés az új D-t Megldás: emit(n, éllista(n)) is kell! Élsúlykkal? A fenti a Bellman-Frd algritmus Dijkstra hatéknyabb, mert csak a határn száml

16 MapReduce BFS kód public static vid main(string[] args) { String[] value= { // key distance pints-t "1 0 2;4", "2 "+Integer.MAX_VALUE+" 1;3;4", "3 "+Integer.MAX_VALUE+" 2", "4 "+Integer.MAX_VALUE+" 1;3", }; } mapper(value); reducer(cllect.entryset());

17 MapReduce BFS kód private static vid reducer(set<entry<string, ArrayList<String>>> entryset) { fr(map.entry<string, ArrayList<String>> e : entryset) { Iteratr<String> values = e.getvalue().iteratr(); int mindist = Integer.MAX_VALUE; Stringlink_list= ""; while(values.hasnext()) { String[] dist_links= } } values.next().tstring().split("[ ]"); if(dist_links.length > 1) link_list = dist_links[1]; int dist = Integer.parseInt(dist_links[0]); mindist = Math.min(minDist, dist); } System.ut.println(e.getKey() + " -D " + (mindist+ " " + link_list)); }

18 MapReduce BFS kód private static vid mapper(string[] value) { fr(int i = 0; i < value.length; i++) { String line = value[i].tstring(); String[] keyval= line.split("[ ]"); String Key = keyval[0]; String sdist = keyval[1]; String[] links = null; if(keyval.length> 2) { links= keyval[2].split(";"); int Dist = Integer.parseInt(sDist); } } } ArrayList<String> list; if(cllect.cntainskey(key)) { list = cllect.get(key); } else{ list = new ArrayList<String>(); } list.add(sdist + " " + keyval[2]); cllect.put(key, list); } } if(dist!= Integer.MAX_VALUE) Dist++; fr(int x = 0; x < links.length; x++) { if(links[x]!= "") { ArrayList<String> list; if(cllect.cntainskey(links[x])) { list = cllect.get(links[x]); } else{ list = new ArrayList<String>(); } list.add(dist+ " "); cllect.put(links[x], list);

19 MapReduceBFS Map: távlság + 1 átadása a szmszédknak Reduce: minimum számítása Iteráció, amíg knvergál

20 Bulk Synchrnus Parallel (BSP) kmpnensek Ggle Pregel(nem publikus) GraphLab(C++, több mint BSP) Giraph, HAMA,

21 ParallelizatinCntract, BSP és a Jinművelet Adat Másdrendű függvény Elsőrendű függv. (user kód) Adat Map PACT Map PACT (PArallelizatin CntracT) Minden rekrd egy csprt Minden csprtt külön dlgzhatjuk fel ReducePACT Egyik attribútum a kulcs Azns kulcs egy csprthz tartzik Reduce PACT

22 ParallelizatinCntract, BSP és a Jinművelet Adat Másdrendű függvény Elsőrendű függv. (user kód) Adat Jin PACT Minden azns kulccsal rendelkező pár egy csprt (equi-jin) BSP Csúcsk és Élek Kulcs a csúcs ID Egy csúcs szmszédjainak összegyűjtése

23 A Stratsphererendszerrendszer PACT prgramzási mdell Végrehajtás ptimalizáció, mint hagymánys adatbázis-kezelőknél Alacsny szintű adatflyam engine(nephele) Képes adatcsatrnát (memória, diszk, hálózat) választani, adatt memóriában tartani, pl. MapReduce-t hatéknyan iterálni Elméletben

24 Algritmusk adatflyamkn Számítási mdellek Belső tár (P, NP) Külső tár Adatflyam Algritmus típusk Determinisztikus Randmizált(Las Vegas ill. Mnte Carl) Közelítő Mértékek Idő, adatk ellvasásának száma Tárhely

25 Különböző értékek száma Feladat Input Értékkészlet X = x1, x2,..., x n U = { 0, 1, 2,..., m 1} D(X) különböző értékek száma X-ben Gnd: Nagy értékkészlet (szöveg, URL, IP+prt stb) Nézzük meg különböző számítási mdellekben algritmikus mdellekben hgy megértsük az adatflyam mdell nehézségét Történet:Aln, Mathias, Szegedy1996 Self-jinvagy másdik mmentum méretére kmmunikációs krlátk, véletlen közelítő algritmusk, Gödel Prize

26 Belső tárban: hashtáblával Táblaméret r = θ(n), hash függvény h:u [1..r] Inicializálni A[1..r] tömböt; D = 0 Minden input értékre Output D Ellenőrizni, hgy i szerepel-e az A[h(i)]-ban tárlt listában Ha nem,d D+1, ésihzzáadása aza[h(i)]-bantárlt listáhz Véletlen h: kevés ütközés, legtöbb lista hssza O(1) Így Idő O(n) [várható] Tár O(n)

27 Külső tár algritmus mdell Ha az input nem fér el a belső tárban M memóriaméret Input méret n >> M Adat diszken Diszken egy blkkban B << Madat Egység lépés egy blkk diszk és memória közötti mzgatása Memória műveletek ingyen vannak!

28 Miért blkkk?? Memória ingyen?? Blkk írás/lvasás? Átviteli sebesség 100 MB/sec (kb) Blkk méret 100 KB (kb) Blkk átvitel (kb1 ms) << Seek idő (kb10 ms) Tehát csak a seek-ek száma érdekes Lineáris lvasás még jbb, mert kevesebb seek Memória miért van ingyen? Prcesszr sebesség pár GHz Seek idő kb10 ms Numbers Everyne Shuld Knw RAM L1 cache reference 0.5 ns L2 cache reference7 ns Jeff Dean, Ggle Main memry reference 100 ns Read 1 MB sequentially frm memry 250,000 ns Intra-prcess cmmunicatin Mutex lck/unlck 100 ns Read 1 MB sequentially frm netwrk 10,000,000 ns Disk Disk seek 10,000,000 ns Read 1 MB sequentially frm disk 30,000,000 ns

29 Miért nem jó külső tárban a hash tábla? Prbléma Hashtábla Anem fér a memóriába Minden inputra A véletlen eleme kell Minden elem véletlen diszk seek Lépésszám Ω(n) diszk blkk hzzáférés Lineáris idő O(n/B) lenne ebben a mdellben MergeSrt a jó megldás

30 Mintavételezés: ha az adat túl nagy Előny szublineáris tár Több adat, mint diszk (ez azért ritka ) Túl gyrsan jön az adat, nem tudjuk kiírni Ára közelítési hiba Szkáss naiv megldás Véletlen minta R(mérete r) az n hsszú X-ből Mintában D(R) Becslés D ˆ = D( R) n / Baj ritka értékek alulreprezentáltak! Van-e jbb megldás?? r

31 Mintavételezés negatív eredmény Tétel:ha E becsüli D(X)-tr<n érték vizsgálatával, ahl a mintavételezés függhet a láttt adatktól is, akkr E relatív hibája n r 1 ln 2r δ δ legalább hibával, ahl δ > e r. Példa r = n/5 20% hiba ½ valószínűséggel [Charikar, Chaudhuri, Mtwani, Narasayya 2000]

32 Adatflyam determinisztikus alsó krlát Tétel:Determinisztikus adatflyam algritmus memóriaigénye Ω(n lg m) Biznyítás: Tételezzük fel determinisztikus A (n lg m) bitet használ Válasszunk inputt, U, mérete n<m S A állapta az input ellvasása után Ellenőrizhetjük, hgy bármelyik x i ε U úgy, hgy A megkapja x i -t következő inputnak D(X) nem nő pntsan akkr, ha x i ε X Iinfrmáció-elmélet U visszaállítható S-ből m n Tehát állapt, Ω(n lg m) bit

33 Véletlen közelítés Alsó krlátmegenged randmizáltvagy közelítő algritmuskat SM Algritmus Fix t-red(x) >> t? hash függvény h: U [1..t] Kezdő válasz NEM Minden x -re,ha h( x ) = t,akkr a válasz IGEN Tétel: i HaD(X) < t,p[sm kimenete NEM] > 0.25 HaD(X) > 2t,P[SM kimenete NEM] < = 1/e^2 Figyelem 1 bit memóriakell csak! i [Indyk-Mtwani 1998]

34 Hiba csökkentése 1 bittel valószínűleg elkülöníthető D(X) < t és D(X) > 2t O(lg 1/δ) független hashfüggvény hibavalószínűség tetszőlegesen kicsi δ>0 lehet O(lg n) független hashfüggvény t = 1, 2, 4, 8, n esetén D(X) becsülhető 2 szrzón belül A 2 itt tetszőleges knstans (1+ε) esetén hiba ε Ellenőrizni D(X)(1±ε) szrzón belül (1-δ) valószínűséggel becsülhető n 1 O( lg 2 lg ) ε δ tárban

35 Leszámlálás vagy mintavételezés Nehezebb feladat Adatk sk értékkel X csak egy attribútum Adatbázis-feladatk select,jin, Elszttt algritmusk adatflyamk kmbinációja Előző algritmus Kicsi hiba De csak száml egyik fenti feladatt sem tudja megldani Mintavételezés Megtarthatja a többi attribútumt is fenti feladatk kezelhetők De előbb láttunk egy nagyn rssz alsó krlátt

36 A DistinctSamplingmódszermódszer A két világból a legjbbat akarjuk Nagy pntsság distinct sample kiválasztása az adatflyamból De minden elemet ellvasunk! Ötlet Hash véletlen priritás az értékekre Priritás a kezdő 0-k száma h(x) bináris felírásában Az O( ε 2 lgδ 1 ) legnagybb priritású eddig láttt érték megtartása Minta teljes adattartalmmal ε 1 δ relatív hiba valószínűséggel [Gibbns 2001]

37 A DistinctSamplealgritmusalgritmus Paraméter memória-méret Indítás cur_lev 0; S üres Minden xinputra L h(x) Ha L>cur_lev akkr x hzzáadása S-hez Ha S > M M S-ből minden pntsan cur_lev szintű elem törlése cur_lev cur_lev+1 cur Eredmény 2 _ lev S ( 2 1 lg ) = O ε δ

38 Adatflyam rendszer: TwitterStrm 1. Adatflyam 2. Sput 3. Blt Végtelen tuple srzat Frrás Pl. Twitter streaming API Input flyamt lvassa, feldlgzza, új flyamt ír Pl. függvény, szűrő, aggregátr, jin 4. Tplógia Sputés bltdag (irányíttt körmentes gráf)

39 Valós idejű mbilitás előrejelzés

40 Tvábbi infrmáció NSQL bevezető Key-value stres BerkeleyBD nem szttt Vldemrt behemth.strlen.net/~alex/vldemrt-nsql_live.ppt Cassandra, Dynam, Hadp alapn is létezik (lent): HBase Hadp CCA 2008.ppt HBase datasearch.ruc.edu.cn/curse/cludcmputing20102/slides/lec07.ppt Mahut cwiki.apache.rg/mahout/faq.data/mahut Overview.ppt Miért kell más? Mi más kell? Streaming Bulk Synchrnus Parallel Graphlab MOA Strm- S4 Saját előadás-srzatunk:

41 Kérdések? Benczúr András Infrmatika Kutatólabr lab