Big Data adattárházas szemmel. Arató Bence ügyvezető, BI Consulting

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Big Data adattárházas szemmel. Arató Bence ügyvezető, BI Consulting"

Margit Szalai
9 évvel ezelőtt
Látták:

1 Big Data adattárházas szemmel Arató Bence ügyvezető, BI Consulting 1

2 Bemutatkozás 15 éves szakmai tapasztalat az üzleti intelligencia és adattárházak területén A BI Consulting szakmai igazgatója A BI.hu portál és a BI Évkönyv periodika főszerkesztője Az Adattárház Fórum és Open Source BI Fórum konferenciák szervezője 2

3 Big Data 3

4 A Big Data sztori 4

5 Big Data Volume - Velocity Variety - Variability 5

6 Mekkora? Big Data a szokásos módon és eszközökkel nem kezelhető, mert Vagy túl nagy a mennyiség Vagy túlságosan gyorsan változik Vagy nem kellőképpen strukturált Felmerülő problémák Skálázhatóság Rugalmasság Költségek (HW és SW) 6

7 Mire használható? Hogyan hasznos? Ügyfélviselkedés jobb megértése Akciók és tevékenységek személyre szabása Működés optimalizálása (árazás, logisztika) Élettudományok (orvosi adatok, genetika) Kinek hasznos ez? Akinek vannak ügyfelei vagy látogatói, termékei, eladásai, mérési adatai, szenzorai és így tovább 7

Működés optimalizálása (árazás, logisztika) Élettudományok (orvosi adatok,

8 8

9 Hadoop: A Big Data emelkedő csillaga 9

10 Hadoop: A Big Data emelkedő csillaga A Hadoop lényege Nyílt forráskódú, könnyen használható keretrendszer párhuzamos feldolgozások futtatására olcsó hardveren A Google és a Yahoo belső projektjeként indult, a cél egy nagyméretű adattömegek feldolgozására alkalmas platform kifejlesztése volt Néhány év alatt hatalmas karriert futott be, mára kiemelt Apache projekt és a meghatározó BigData platform 10

projektjeként indult, a cél egy nagyméretű adattömegek feldolgozására alkalmas platform

11 HADOOP 11

12 HADOOP 12

13 Hadoop megéri? The hardware and software combined will sell for $450,000. That's highly competitive, working out to less than $700 per terabyte and being in line with the low costs big data practitioners expect from deployments built on commodity hardware. 13

14 Mire használható? Alkalmazási réteg Adattárolás ETL és ELT Analitika és elemzések Alkalmazási terület Adatok előfeldolgozása webes viselkedés elemzése Adatbányászati modellek futtatása 14

15 Példák Cég Hadoop környezet Alkalmazási környezet Caree.rs 15 node Állásajánlatok elemzése Beebler 14 node, 56 core Társkeresők párosítása Cooliris 15 node, 120 core Online fotómegosztási adatok elemzése Enormo 4 node, 32 cores Ingatlanhirdetések feldolgozása Pronux 4 node, 32 core Könyvelési tételek elemzése PokerTableStats 2 node, 16 core Pókerstatisztikák számítása wiki.apache.org/hadoop/poweredby 15

120 core Online fotómegosztási adatok elemzése Enormo 4 node, 32 cores Ingatlanhirdetések

16 Szállítók Big Data stratégiái 16

17 Céges stratégiák 17

18 Céges stratégiák Oracle Bejelentés Partnercég Saját disztribúció Termékek Érdekességek Elérhetőség ősz Cloudera Igen Oracle Big Data Appliance Oracle integráció, R integráció Appliance, ODI, Analytics Option 18

ősz Cloudera Igen Oracle Big Data Appliance Oracle

19 Céges stratégiák 19

20 Big Data Connectors Oracle Direct Connector for HDFS Hadoop által kezelt adatok elérése SQL-ből Oracle Loader for Hadoop Hadoop adatok betöltése Oracle adatbázisba Oracle Data Integrator Application Adapter Hadoop programok generálása ODI felületről Oracle R Connector for Hadoop Hadoop által kezelt adatok elérése R nyelvből 20

adatbázisba Oracle Data Integrator Application Adapter Hadoop programok

21 Céges stratégiák 21

22 Céges stratégiák IBM Bejelentés Partnercég Saját disztribúció Termékek Érdekességek Elérhetőség tavasz Igen IBM InfoSphere BigInsights DB konnektorok, tanácsadási háttér, Watson, BigSheets Többféle változatban is elérhető, a Basic ingyenes 22

23 Céges stratégiák 23

24 Céges stratégiák 24

25 Céges stratégiák Microsoft Bejelentés Partnercég Saját disztribúció Termékek Érdekességek ősz HortonWorks Igen SQL Server 2012, Windows Server, Azure HIVE ODBC driver, Javascript programozási felület Elérhetőség Jelenleg bétateszt, várhatóan 2012 közepén 25

26 Céges stratégiák 26

27 Céges stratégiák 27

28 Céges stratégiák SAP Bejelentés Partnercég Saját disztribúció Termékek Érdekességek Elérhetőség ősz Cloudera HANA, Sybase IQ MapReduce, R, PMML támogatás, Hadoop interfészek Elérhető 28

29 Céges stratégiák 29

Hasonló dokumentumok

A webanalitika változó világa 4 felvonásban

A webanalitika változó világa 4 felvonásban Arató Bence, BI Consulting Email: arato@bi.hu, Twitter: @aratob Traffic Meetup, 2013.02.06 1 Bemutatkozás 15 éves szakmai tapasztalat az üzleti intelligencia