GENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN

Átírás

1 INFORMATIKAI PROJEKTELLENŐR 30 MB Szendi-Varga János ÚJ GENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN MMK- Informatikai projektellenőr képzés

2 MMK-Informatikai projekt ellenőr képzés 2

3 Motiváció Fő motiváció a skálázhatóságvolt, illetve a hatékonyabb működés (Big data) Struktúrálatlan adatokmegjelenése Általában egy nagy cég kezdte el használni, és onnan fejlődött ki (Google, Facebook, Twitter) CAP tétel: Elosztott rendszerekalapképességei Konzisztencia (Consistency) Rendelkezésre állás (Availability) Particionálás-tűrés (Partition tolerability) MMK-Informatikai projekt ellenőr képzés 3

4 NoSQL adatbázisok 2000-es évek elején 2009-ben újrafelhasználták a fogalmat "open source distributed, non relational databases A NoSQL (egyes értelmezések szerintnot only SQL, azaz nem csak SQL, más értelmezés szerintegyszerűen csak nem SQL) adatbázis-kezelő rendszerekgyüjtőneve. A NoSQL adatbázisok elsősorban nem táblákban tárolják az adatokat, és általában nem használnak SQL nyelvet lekérdezésre MMK-Informatikai projekt ellenőr képzés 4

5 Strukturálatlan adatok Nyers adat Tipikusan nem rendszerezett dokumentumok weboldalak mentések MMK-Informatikai projekt ellenőr képzés 5

6 Félig struktúrált adatok Metaadatok struktúráltak, de a tartalom nem Szerző Kiadás éve ISBN Naplófájlok pl MMK-Informatikai projekt ellenőr képzés 6

7 NoSQL adatbázisok típusai Oszlop alapúak Dokumentumtárolók Kulcs-érték adatbázisok Gráf adatbázisok Multi-modell adatbázisok MMK-Informatikai projekt ellenőr képzés 7

8 Oszlop alapú adatbázisok Hasonló, mint a relációs adatmodell, de inkább oszlopokban tárolja az adatokat, mint sorokba. Ez inkább csak egy optimalizálttárolási forma pl. Facebook Messenger HBase-t: több milliárdüzenet havonta Accumulo, Cassandra, Druid, HBase, Vertica MMK-Informatikai projekt ellenőr képzés 8

9 Dokumentumtárolók XML, YAML, JSON, BSON, vagy PDF, DOC Legnépszerűbb a MongoDB Apache CouchDB, Clusterpoint, Couchbase, DocumentDB, HyperDex, Lotus Notes, MarkLogic, MongoDB, OrientDB, Qizx, RethinkDB MMK-Informatikai projekt ellenőr képzés 9

10 Kulcs-érték adatbázisok Ott hatékonyak, ahol egyszer írok, többször olvasok pl. mérési rendszerek szótárak Lehetnek esetenként konzisztensek, vagy rendezettek Nagy tranzakcióigén esetén, pl. Cache, MemDB-k Aerospike, Couchbase, Dynamo, FairCom c-treeace, FoundationDB, HyperDex, MemcacheDB, MUMPS, Oracle NoSQL Database, OrientDB, Redis, Riak, Berkeley DB MMK-Informatikai projekt ellenőr képzés 10

11 Gráf adatbázisok Euler Königsbergi hidak (1736) Összekapcsolt (connected) adathalmazokra A világ efelé megy (IoT, Social Networks) Két fő objektuma van, a csomópont (node) és a reláció vagy és (relation, edge) Ezeknek lehetnek különböző tulajdonságaik (property) Felhasználás: Útkeresés Csalásdetektálás Valós idejű ajánlórendszerek AllegroGraph, InfiniteGraph, Giraph, MarkLogic, Neo4J, OrientDB, Virtuoso, Stardog MMK-Informatikai projekt ellenőr képzés 11

12 Multi-modell adatbázisok Alchemy Database, ArangoDB, CortexDB, FoundationDB, MarkLogic, OrientDB MMK-Informatikai projekt ellenőr képzés 12

13 Összefoglalás A megfelelő szerszámota megfelelő feladatra Polyglot architektúra Data Model Key Value Store Column- Oriented Store Document- Oriented Store Graph Database Relational Database Performan ce Scalability Flexibility high high high none Complexit y Functional ity variable (none) high high moderate low minimal high variable (high) high low variable (low) variable variable high high graph theory variable variable low moderate relational algebra MMK-Informatikai projekt ellenőr képzés 13

14 BI érettségi szintek Standard riportok: Klasszikus riportok, előre definiált tartalommal, ismétlődő módon készítik őket, rendszerint read-only. Tipikusan ügyfélszám, árbevétel, stb. Ad-hoc riportok: Eseti jelleggel készített kimutatás. OLAP: Az OLAP nem más mint egy speciális adatbázis kezelő, amely úgy lett megtervezve, hogy abból nagyongyorsan le tudjukkérdezni a számunkra fontos információkat. Lehetőség van magasabb részletezettségű szintekre lefúrni, valamint ugyanazt a területet különböző dimenziókbólmegvizsgálni, mint például értékesítés régiónként, vagy termékenként. Alert: olyan előre definiált riasztások, amik jelzik, hogy beavatkozás szükségek, amikor az adatokelérnek egy definiáltszintet. Statisztikaielemzés: Rendszerint idősoroselemzések, átlagok, összesítések. Előrejelzés: Egy rendszer jövőbeli működésének előrejelzését célozza meg. Prediktív modellezés: Egy rendszer jövőbeli működését modellezi le. pl. cégbedőlés előrejelzése, ügyfél lemorzsolódás előrejelzése, csalás detektálás Optimalizáció (Data-driven): A folyamatainkat úgyalakítjuk ki, hogy üzletileg a legoptimálisabb döntéseket hozzuk meg a rendelkezésre álló információink alapján MMK-Informatikai projekt ellenőr képzés 14

15 CRISP-DM (Cross Industry Standard Process for Data Mining) MMK-Informatikai projekt ellenőr képzés 15

16 Ajánlórendszerek Az ajánlórendszerek olyan informatikai rendszerek, amelyek előrejelzik hogy a felhasználómilyen értékelést adna egy adottdolognak, vagy melydolgokatrészesíteneelőnyben. Akkoraadathalmaz keletkezik az interneten, hogy muszáj segíteni az embereknek megtalálni azt az információt, amit keresnek MMK-Informatikai projekt ellenőr képzés 16

17 Ajánlóalgoritmusok fajtái Collaborative filtering (CF) Azt jelenti, hogy az ajánlatok megtétele más emberek preferenciái alapján történik meg. Content-Based filtering (CB) A felhasználónak olyan terméket ajánlunk, amelyek hasonlítanak az általa korábban megvásárolt, vagy magasra értékelt termékhez. Hybrid Az ajánlás testreszabottabb lehet, ha a tartalomalapú és a kollaboratív módszerek elemeit vegyítjük MMK-Informatikai projekt ellenőr képzés 17

18 Gráf adatmodell ajánlórendszerekhez MMK-Informatikai projekt ellenőr képzés 18

19 Ann Bob Forrest Gump 3 10 Jurassic Park 8 8 The Dark Knight Trilogy 7 6 Avatar 5 6 Gladiator 2 4 The Social Network MMK-Informatikai projekt ellenőr képzés 19

20 Neo4j Cypher MATCH (p1:person {name: Ann'})-[s:SIMILARITY]-(p2:Person) WITH p2, s.similarity AS sim ORDER BY sim DESC LIMIT 5 RETURN p2.name AS Neighbor, sim AS Similarity Neighbor Similarity Puskás Bella Pusztai Aurelia Göröncsér Márkó Mayer Dominika Schmid Dorina MMK-Informatikai projekt ellenőr képzés 20

21 Ajánlóalgoritmus MATCH (b:person)-[r:rated]->(m:movie), (b)-[s:similarity]-(a:person {name: Ann'}) WHERE NOT((a)-[:RATED]->(m)) WITH m, s.similarity AS similarity, r.rating AS rating ORDER BY m.name, similarity DESC WITH m.name AS movie, COLLECT(rating)[0..3] AS ratings WITH movie, REDUCE(s = 0, i IN ratings s + i)*1.0 / LENGTH(ratings) AS reco ORDER BY reco DESC RETURN movie AS Movie, reco AS Recommendation Movie The Bourne Trilogy 9 Recommendation Taken Pan's Labyrinth MMK-Informatikai projekt ellenőr képzés 21

22 Neo4j gráf adatbázistovábbi felhasználási lehetőségei Valós idejűajánlások Csalás detektálás Szociális hálózatok Hírközlési és informatikai hálózatok Törzsadatkezelés Jogosultságkezelés Gráf alapúkeresések MMK-Informatikai projekt ellenőr képzés 22

23 Köszönöm a figyelmet! Szendi-Varga János szendi.varga.janos@nextent.hu MMK-Informatikai projekt ellenőr képzés 23