Gartner: Hype Cycle for Big Data NoSQL Database Management Systems

Átírás

1 NOSQL RENDSZEREK Szárnyas Gábor március 3. Budapesti Műszaki és Gazdaságtudományi Egyetem Hibatűrő Rendszerek Kutatócsoport Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék

2 MOTIVÁCIÓ

3 Gartner: Hype Cycle for Big Data 2012 NoSQL Database Management Systems

4 Google Trends NoSQL

5

6 SQL történet 60-as, 70-es évek: hierarchikus, hálós modell 70, IBM: Edgar F. Codd A Relational Model of Data for Large Shared Data Banks 70-es évek, Chamberlin, Boyce SEQUEL (IBM) o Structured English Query Language 70-es évek, Larry Ellison: Relational Software, Inc. 86: ANSI SQL szabvány 70-es évektől: relációs adatbázis-kezelők aranykora Forrás: Trencséni Márton, NoSQL adatbázis-kezelés,

7 Zárt rendszerek o Oracle o Microsoft SQL Server o IBM DB2 SQL ma Nyílt forráskódú rendszerek o MySQL (Oracle) o PostgreSQL

8 Dominancia Relációs modellben gondolkozunk Legyőzte a hálós modellt a 70-es években Legyőzte az objektum modellt a 90-es években SQL adatbázis tovább él, mint az elérésre használt programozási nyelv SQL adatbázis tovább él, mint az azt futtató operációs rendszer

9 Reneszánsz 2005 előtt: RDBMS/SQL legtöbb weboldal mögött 2005 környéke: Google cikkek o Ghemawat, Gobioff, Leung: Google File System o Chang, Dean, Ghemawat, et al.: Bigtable o Mike Burrows: Chubby o Chandra, Griesemer, Redstone: Paxos made live o Dean, Ghemawat: MapReduce DeCandia et al., Amazon: Dynamo Facebook: Cassandra

10 Google cikkek Nincs forradalmi algoritmus vagy adatszerkezet Létező ötletek újfajta alkalmazása Rendszertervezésről szóló cikkek Új, elosztott architektúra Nem relációs modell, nincs SQL

11 NoSQL forradalom Google, Amazon technológiák o nem nyílt forráskódúak : új nyílt forráskódú NoSQL technológiák a Google és az Amazon ötletei alapján Maximum: 2009, hetente új projektek

12 NoSQL definíció Nyílt forráskódú Nem-relációs Elosztott Horizontálisan skálázható Sémamentes adatmodell Replikáció támogatása Fokozatos konzisztencia

13 NoSQL definíció Nyílt forráskódú Nem-relációs Elosztott Horizontálisan skálázható Sémamentes adatmodell Replikáció támogatása Fokozatos konzisztencia

14 SKÁLÁZHATÓSÁG ÉS REPLIKÁCIÓ

15 Skálázhatóság

16 Vertikális skálázódás Horizontális skálázódás Skálázódás o Commodity off-the-shelf (COTS) hardver

17 Szerverek száma 2010 Google: Intel: Facebook:

18 Replikáció Többpéldányos tárolás read V read V writeread V = V V = V =

19 Elméleti korlát: a CAP tétel Sejtés: Eric Brewer, 2000 Tétel: Nancy Lynch, Seth Gilbert, 2002 Tulajdonságok: o Consistency o Availability o Partition tolerance Elosztott rendszerben egy időben nem garantálható mindhárom tulajdonság.

20 CAP tétel precízebben Egy elosztott rendszerben nem biztosítható, hogy a rendszer mindig (üzenetek elvesztése esetén is) garantálja az alábbi tulajdonságokat: o atomi konzisztencia (consistency), o rendelkezésre állás (availability).

21 Consistency konzisztencia Egy adategység értékét bármely csomóponttól lekérdezve ugyanazt az értéket kapjuk. read V read write V = db0 db1 V = V = Nem konzisztens adategység

22 Availability rendelkezésre állás A rendszer minden működő csomóponthoz érkező kérésre válaszol read V db0 db1 write V = V = V = Nem elérhető adategység

23 CAP tétel precízebben (ism.) Egy elosztott rendszerben nem biztosítható, hogy a rendszer mindig (üzenetek elvesztése esetén is) garantálja az alábbi tulajdonságokat: o atomi konzisztencia (consistency), o rendelkezésre állás (availability).

24 A CAP tétel kritikája Egyszeres hibapontok (single point of failure, SPOF) Adatbázis-kezelő összeomlása Alkalmazáshibák Teljesítmény figyelmen kívül hagyása o Áteresztőképesség [adategység/s] o Késleltetés [s]

25 A késleltetés ára 100 ms késleltetés 1% csökkenés az eladásokban

26 A késleltetés ára 500 ms késleltetés 20% bevételcsökkenés

27 Konzisztenciamodellek A CAP tétel következménye gyenge konzisztencia Gyakori kompromisszum fokozatos konzisztencia erős konzisztencia erős konzisztencia több adategységen

28 Demó Fokozatos konzisztencia a gyakorlatban: Tumblr

29 Atomicity Consistency Isolation Durability Tranzakciók ACID garanciák Ld.

30 ACID BASE Atomicity Consistency Isolation Durability Basically Available Soft state Eventually consistent

31 NOSQL ADATBÁZISOK TÍPUSAI

32 NoSQL definíció Nyílt forráskódú Nem-relációs Elosztott Horizontálisan skálázható Sémamentes adatmodell Replikáció támogatása Fokozatos konzisztencia

33 NoSQL adatbázisok típusai Kulcs-érték tárolók Dokumentumtárolók Oszlopcsaládok Gráfadatbázisok

34 NoSQL adatbázisok típusai Kulcs-érték tárolók Dokumentumtárolók Oszlopcsaládok Gráfadatbázisok

35 Kulcs-érték tárolók Nagyon egyszerű programozási felület: o get(key) o put(key, value) o delete(key)

36 Kulcs-érték tárolók felhasználása Munkamenetek tárolása Egyszerű felhasználói profilok Képek Gyorsítótárazás (cache)

37 Kulcs-érték tároló implementációk 32 millió dollár

38 NoSQL adatbázisok típusai Kulcs-érték tárolók Dokumentumtárolók Oszlopcsaládok Gráfadatbázisok

39 Dokumentumtárolók Szemistrukturált adatok Nincs előre definiált séma Nincs illesztés művelet

40 Dokumentumtárolók JSON {"document": [ { "firstname": "Klemens", "city": "Stuttgart", "age": "42" }, { "firstname": "Rajesh", "city": "Delhi", "age": "29" }, { "firstname": "Colin", "company": "Oracle" }, { "cars": ["BMW 320d", "Jaguar XF"] } ]} JavaScript Object Notation

41 Dokumentumtárolók Naplózás Tartalomkezelő rendszerek (CMS) Valós idejű adatelemzés

42 Dokumentumtároló implementációk 223 millió dollár 56 millió dollár

43 NoSQL adatbázisok típusai Kulcs-érték tárolók Dokumentumtárolók Oszlopcsaládok Gráfadatbázisok

44 Táblák Oszlopcsaládok o Sorok = kulcs-érték párok Nincs illesztés művelet Előre definiált, de rugalmas séma Például: o Memória o Kijelző átmérője o Szín o Mobiltelefon szolgáltató o stb.

45 Oszlopcsalád implementációk DataStax: 84 millió dollár

46 Oszloptárolók használata Dokumentumtárolókhoz hasonló o Naplózás o Tartalomkezelő rendszerek (CMS) o Kötegelt adatfeldolgozás (MapReduce)

47 Vásárlói kosár name product name product John Doe Mac Pro db0 db1 John Doe ipad Air

48 Vásárlói kosár name product color name product color Jane Doe iphone 5s gold db0 db1 Jane Doe iphone 5s space gray

49 NoSQL adatbázisok típusai Kulcs-érték tárolók Dokumentumtárolók Oszlopcsaládok Gráfadatbázisok

50 Gráf adatmodell Forrás: Titan: The Rise of Big Graph Data,

51 Gráf adatmodell

52 Gráf adatmodell

53 Korlátozott kifejezőerő

54 Korlátozott kifejezőerő

55 Gyakorlatiasabb modell

56 Gyakorlatiasabb modell

57 Tulajdonsággráf

58 Tulajdonsággráf

59 Tulajdonsággráf

60 Tulajdonsággráf

61 Tulajdonsággráf

62 Tulajdonsággráf

63 Tulajdonsággráf

64 Tulajdonsággráf

65 Gráfadatbázis implementációk 24 millió dollár

66 Mérnök informatikus előtanulmányi rend

67 Kitérő: Graphviz digraph Neo { N1 [ label = "{Node\[1\] 'name' = 'Analízis 1.' : String\l 'credits' = 7 : long\l 'semester' = 1 : long\l 'exam' = true : boolean\l}" ] N1 -> N2 [ label = "KREDITRE_EPUL\n" ] N2 [ label = "{Node\[2\] 'name' = 'Analízis 2.' : String\l...

68 Előtanulmányi rend Graphviz

69 Előtanulmányi rend Graphviz

70 Mérnök informatikus előtanulmányi rend Szoftver laboratórium 5. tárgy előkövetelményei START n=node:node_auto_index(name='szoftver laboratorium 5.') MATCH a-[r r* ]->n RETURN a, r

71 Mérnök informatikus előtanulmányi rend 4. féléves vizsgás tárgyakra épülő vizsgás tárgyak START n=node:node_auto_index(semester='4') MATCH n-[r*]->o WHERE n.exam = TRUE AND o.exam = TRUE RETURN o

72 Alkalmazás: SZTAKI szótár Neo4j backend

73 SZTAKI szótár szócikk gráfja

74 NoSQL adatbázis-kezelők: Források Christof Strauch, NoSQL Databases, SZTAKI Szótár Olyan jó, hogy nem találom a szavakat, Titan: The Rise of Big Graph Data, BME Adatbázisok haladóknak kurzus,

75 Cassandra: Technológiák o o Neo4j: Titan: Massey Architecture Explorer, Graphviz:

76 Érdekességek MongoDB shell: Neo4j konzol: Sakkjátszmák gráfadatbázisban: