Big data amikor a probléma az adat mérete maga

Átírás

1 Big data amikor a probléma az adat mérete maga Benczúr András MTA SZTAKI Informatika kutató laboratórium MTA május 16.

2 Big Data az új divatszó big data is when the size of the data itself becomes part of the problem big data is data that becomes large enough that it cannot be processed using conventional methods Google sorts 1PB in 33 minutes ( ) Amazon S3 store contains 762B objects ( ) New Relic: 20B+ application metrics/day ( ) Walmart monitors 100M entities in real time ( ) Source: The Emerging Big Data slide from the Intelligent Information Management DG INFSO/E2 Objective ICT Info day in Luxembourg on 26 September 2011

3 Big Data Rétegek Big Data Services Big analytics Fast data

4 Tudományos és üzleti relevancia VLDB 2011 (~100 papers): 6 MapReduce/Hadoop, 10 big data (+keynote), 11 NoSQL architektúra, 6 GPS/szenzor adat cikk tutorial, demo (Microsoft, SAP, IBM NoSQL eszközök) session: Big Data Analysis, MapReduce, Scalable Infrastructures SIGMOD 2011: 70 cikkből 10 új architektúrákról és analitikai alkalmazásukról Gartner 2011 trend No. 5: Next Generation Analytics significant changes to existing operational and business intelligence infrastructures The Economist : Monstrous amounts of data Information is transforming traditional businesses News special issue on Big Data - április

5 Big data : miért pont most? A hardver egyre jobb és olcsóbb? De egyre több adatunk van éppen az IT fejlődés következtében Rossz hír a lineárisnál lassabb algoritmusoknak! Moore törvény (duplázódás 18 havonta) ma már magok száma és nem sebesség!

6 Az algoritmusok rövid története P, NP PRAM elméleti modellek SIMD, MIMD, message passing Thinking Machines: hypercube, CM-5: sok vektorproc Külső táras algortimusok Cray: vektorprocesszorok Map-reduce Google Multi-core Many-core Cloud Flash disk

7 Őstörténet: P, NP P: Gráfbejárás; Feszítőfa 15 5 NP: Steiner fa

8 Algoritmus-történelem: párhuzamos fák Iteratív minimum feszítőerdő építés Kezdetben minden csúcs egy fa; minden iterációban fák egyesülnek (Borůvka) Bentley: A parallel algorithm for constructing minimum spanning trees Harish et al. Fast Minimum Spanning Tree for Large Graphs on the GPU

9 Kit érdekel ez még ma? Képszegmentálás Azonosságfeloldás name ID Mary Smith Mary Doe M. Doe M. Smith

10 Gráfalgoritmusok és elosztott számítási paradigmák Distributed Key-Value Store: eloszott B-fa index Akár szekvenciális algoritmus pl. Project Voldemort MapReduce: map reduce műveletek Google; Apache Hadoop Bulk Synchronous Parallel: superstep: számítás kommunikáció barrier sync Google Pregel; Apache Hama, GraphLab

11 MapReduce gráfalgoritmusok Map: élsúlyok átadása a végpontoknak Reduce: minimum élsúly választás Iteráció, amíg 1 < komponens...

12 BSP példa: komponensek címkézése

13 Kísérletek: azonosság-feloldás Sidló, B, Garzó, Molnár, Infrastructures and bounds for distributed entity resolution. QDB öreg szerver, 4GB memory, 3GHz CPU biztosító ügyféladat (személyenként átlag 2 előfordulás)

14 Kísérletek: azonosság-feloldás 15 öreg szerver, 4GB memory, 3GHz CPU biztosító ügyféladat (személyenként átlag 2 előfordulás)

15 Kísérletek: azonosság-feloldás Összefüggő komponensek HAMA fázisok Hadoop fázisok Rendezés 15 öreg szerver, 4GB memory, 3GHz CPU biztosító ügyféladat (személyenként átlag 2 előfordulás)

16 Elosztott rendszerek Murphy törvénye Fox&Brewer CAP Tétel : C-A-P: kettőt választhatunk! C consistency A Availability AP: egy replika válaszolhat hibásan P Partition-resilience Végül konzisztenssé válhat eventual consistency

17 Konzisztens hash-elés objektumok n szerveren pozíció: ax+b mod n új szerver? pozíció: a x+b mod n+1?? szerver Minden objektum a legközelebbi szerverre kerül

18 Terhelésmegosztás, konzisztens hash a212: a213: a214: a215: Karger, Lehman, Leighton, Panigrahy, Levine, Lewin: Consistent hashing and random trees: distributed caching protocols for relieving hot spots on the World Wide Web. STOC 1997 Szerverek véletlen permutációja

19 Azonosság-feloldás: erősebb korlátok! Halmaz metszet kommunikációs bonyolultsága Θ(n) bit [Kalyanasundaram, Schintger 1992] Következmény: több szerveren elosztott adatok esetén Θ(n) kommunikáció eldönteni, hogy van-e duplikátum! Javasolt módszerek: Blocking [Whang, Menestrina, Koutrika, Theobald, Garcia-Molina. ER with Iterative Blocking, 2009, stb.] Legjobb esetben is minden adatot ki kell cserélni Kapcsolódó terület: Locality Sensitive Hashing nincs minimum, azaz koordináta egyezés LSH hasonló a Donoho Zero norm (nem-0 koordináták száma) negatív eredményekhez Sidló, B, Garzó, Molnár, Infrastructures and bounds for distributed entity resolution. QDB 2011

20 Big Data részterületei Összefoglalás Számítógép-architektúrák processzor tömbök, megfizethető nagyon sok magos eszközök Algoritmusok tervezési elvek a 90-es évekből Adatbázisok elosztott, oszlop-orientált, NoSQL Adatbányászat, Keresés, Gépi tanulás, Hálózatok az alkalmazási területek Algoritmikus gondolkodás és szoftvertervezés Korlátok, hibatűrés, adat és számítás-intenzív feladatok Sok kiforratlan alternatíva (pl. BSP)

21 Kérdések? Benczúr András Laborvezető, Informatika Kutató Labor MTA SZTAKI