MMK-Informatikai projekt ellenőr képzés 4

Átírás

1 Miről lesz szó Big Data definíció Mi a Hadoop Hadoop működése, elemei Köré épülő technológiák Disztribúciók, Big Data a felhőben Miért, hol és hogyan használják

2 Big Data definíció

3 Miért Big a Data?

4 MMK-Informatikai projekt ellenőr képzés 4

5 Mi a Hadoop? Open-source alkalmazás JAVA-baníródott keretrendszer az elosztott rendszerek operációs rendszere Lehetővé teszi az elosztott Adattárolást Adatfeldolgozást Lineárisan skálázható

6 Rövid történet 2002 Nutch (web crawler), új, gyorsabb keresőmotor Doug Cutting, Mike Cafarella 2003 Október Google File System paper 2004 December MapReduce paper (szintén a Google adta ki) 2005 ráépítették a Nutchot erre a két technológiára (20-40 gépen) 2006-ban Cuttinga Yahoo-hoz ment dolgozni A Yahoonak már akkor nagyon tetszett a GFS és a MapReduce -> open-source platform építése Elkezdték fejleszteni a Hadoop-ot az Apache SF keretei között Cutting vezetésével Egymás után jelentek meg a kiegészítő komponensek (orchestration, security) 2008: Cloudera, 2009-től Cuttingis ott dolgozik, jelenleg Chief Architect Eric Baldeschwieler (VP of Hadoop a Yahoo-nál) megalapítja a Hortonworks-öt

7 Komponensek HDFS adattárolás MapReduce adatfeldolgozás YARN erőforrás menedzsment

8 Cluster architektúra

9 Elosztottság Nem csak a fájlrendszer elosztott, hanem minden adatfeldolgozó szolgáltatás is (például a MapReduce)

10 Csak append HDFS (Hadoop Distributed File System)

11 MapReduce

12 SQL --> MapReduce SELECT pozicio, SUM(fizetes) FROM alkalmazottak WHERE fizetes > GROUP by pozicio >> MAP REDUCE MMK-Informatikai projekt ellenőr képzés 12

13 YARN MMK-Informatikai projekt ellenőr képzés 13

14 Főbb, Hadoop-pal együttműködő open-source szoftverkomponensek MMK-Informatikai projekt ellenőr képzés 14

15 Adattárház a Hadoopon Impala, Hive, Presto Adattárház funkciók a HDFS-en tárolt fájlokon SQL Táblák, adatbázisok, sémák Táblakapcsolatok Hozzáférés ODBC, JDBC-vel Oozie BI eszközök Workflow készítő és workflow ütemező, monitorozó HUE-ban monitorozó felület is van hozzá Az Oozie-ban definiált jobok folyamatosan feedback-et szolgáltatnak Sqoop Kapcsolat más rendszerekkel Kapcsolat a Hadoop és a relációs adatbázisok között MySQL, Oracle, PostreSQL, SQL Server, Generic JDBC Adatok importálása és exportálása Hivemetastore-t használja MMK-Informatikai projekt ellenőr képzés 15

16 Disztribúciók A Hadoopot önmagában sem könnyű telepíteni 20 szoftverkomponenssel majdnem lehetetlen üzemeltetni Létrejöttek disztribúciók MMK-Informatikai projekt ellenőr képzés 16

17 Data Engineer Data Analyst BI Tools Data Scientist Analytic Tools STREAM Stream processors Interfaces BATCH Structured Data Unstructured Data Loaders Hadoop-based Data Management Cluster Data Process Engines Data Store Structured Data Unstructured Data System Engineer

18 Nagyvállalati hibrid architektúra MMK-Informatikai projekt ellenőr képzés 18

19 RAID és HDFS RAID (hardveres megoldás) 1. Hibatűrés: replikáció a diszkeken 2. Jobb teljesítmény: 1 fájl több diszken van tárolva, párhuzamosan lehet olvasni HDFS (szoftveres megoldás) 1. Hibatűrés: a fájl blokkok replikálva vannak a több datanode diszkjein. 2. Jobb teljesítmény : Minden diszk full sebességen tud pörögni egy jól optimalizált clusteren, hiszen itt is párhuzamosan lehet felolvasni 1-1 fájlt, csak itt blokkonként. Tehát a HDFS gyakorlatilag elvégzi a RAID munkáját. Ha mindkettőt egyszerre használnánk, akkor Költésgesebb lenne Kevesebb storage állna rendelkezésre Lassabb lenne

20 Virtualizálás Az általános mondás szerint nem virtualizálunk Hadoopot, mert teljesítménycsökkenést okoz VMware kutatása szerint akár érdemes lehet virtualizálni (non-shared, direct-attached storage (DAS)) -brie f-look-at-the-possibility/

21 Felhő A felhőben Olcsón Könnyen Gyorsan Deployolhatunk Hadoop clustert A meglévő disztribúciók mellett kínálnak saját Hadoop disztribúciókat is A telepítés a platform saját konzoljáról történik MMK-Informatikai projekt ellenőr képzés 21

22 Szabó Csenger Chatbotok 22