Oracle Big Data koncepció Stadler Gellért Vezető tanácsadó Oracle ConsulKng HTE 2015 Konferencia Copyright 2015, Oracle and/or its affiliates. All rights reserved. Oracle ConfidenKal Internal/Restricted/Highly Restricted
Safe Harbor Statement The following is intended to outline our general product direckon. It is intended for informakon purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or funckonality, and should not be relied upon in making purchasing decisions. The development, release, and Kming of any features or funckonality described for Oracle s products remains at the sole discrekon of Oracle. 2
Gartner Hype Cycle for Emerging Technologies, 2014 3
Gartner Hype Cycle for Emerging Technologies, 2015 4
Big Data helye[ 1 2 3 4 Machine Learning Advanced analykcs With Self- Service Delivery Smart Advisors Internet of Things 5
Versenyelőny az üzlek elemzésben Információ frissessége Operabv lekérdezések AnaliKkus elemzések Információ mennyisége 6
Hol volt a versenyelőny az üzlek riporkng területén? 1 2 3 4 5 Eladási adatok, Költség adatok Eladási adatok + Költség adatok - > Profitabilitás, CV Egyéb működési adatok Mi történt a múltban? Egyéb külső adatok bevonása Adatok rendelkezésre állása: havi, hek, napi (T+1) 7
Mi várható a jövőben? 1 2 3 Mit fog tenni az ügyfelem? Mi érdekelhetné a jelenlegi termékein kívül? Hogyan növelhetném az elégede[ségét? 8
Machine learning és a Big Data Igazi pozibv arány Ügyfél lemorzsolódás elemzés pontossága Ügyfél (törzs) adat Ügyféladat + pénzügyi adat Ügyféladat + pénzügyi adat + hívásadat Ügyféladat + pénzügyi adat + hívásadat + logok/szöveges adatok Hamis negabv arány Minél több adatot vonunk be az elemzésbe, annál pontosabb lesz az eredmény. 9
Versenyelőny az üzlek elemzésben Információ frissessége Fast Data Operabv elemzések AnaliKkus elemzések Big Data Információ mennyisége 10
Big Data az üzlei elemzésben Relációs tárolás Big Data Adatmennyiség <= Terabytes >= Terabytes Struktúra Kötö[ Szabad Transzformációk Jellemzően betöltés elő[/ közben Jellemzően elemzés közben Tipikusabb felhasználás Hagyományos reporkng StaKszKkai, adatbányászak jellegű elemzések Tipikusabb felhasználás Múltbéli adatok jelentése, KPI- ok kalkulációja Jövőt kutató elemzések, mélyebb összefüggések keresése Fejlesztési igény Jellemzően magas Jelentősen alacsonyabb is lehet 11
Big Data adatok elemzésének nehézségei Adat bizonytalanság Ismeretlen, lehengerlő mennyiségű adat Nem nyilvánvaló a benne lévő érték Jelentős átalakítást igényel Komplex eszközrendszer Szükséges há[értudás jelentős lehet BI eszköztámogatás limitált Inkább csak céleszközök léteznek, nincs egy eszközben széles funkcionalitás Az elemzési idő 80%- a az adatok előkészítésére, értelmezésére megy el Gyakran van szükség olyan szakértelemre, ami ritka vagy nehezen elérhető. Copyright 2015, Oracle and/or its affiliates. All rights reserved. 12
Hol van a fő nehézség? Tárkapacitás Elemző eszközök Jól skálázható teljesítmény Szakértelem Integráció 13
Oracle Big Data koncepció Relációs tárolás és a Big Data együ[es alkalmazása Hatékonyság alapján osszuk meg az adatokat a két világ közö[ Szoros integráció (átjárhatóság) a Big Data és relációs adatok közö[ Egységes elemzői felületek biztosítása Ne építsünk magunk Big Data infrastruktúrát Integráció költségét a szállító viselje Egy szállítóhoz tudjunk fordulni a teljes technologiai stack- en Ne töltsük a bevezetési időt infrastruktúrális feladatokkal Használjunk szállítói tanácsadást a projekteknél is! 14
Big Data Appliance X5-2 Sun Oracle X5-2L Servers with per server: 2 * 18 Core Intel Xeon E5 Processors 128 GB DDR4-2133 DIMMs Memory (Upgradable to 768GB) 48TB Disk space Integrated So\ware (4.1): Oracle Linux6.x, Oracle JDK Oracle Big Data SQL 1.1* Cloudera DistribuKon of Apache Hadoop EDH EdiKon Cloudera Manager Oracle R DistribuKon Oracle NoSQL Database CE * Oracle Big Data SQL külön licenszelendő Copyright 2015, Oracle and/or its affiliates. All rights reserved. 15
Buy Your Own vs Build Your Own ApplicaKons Hadoop DistribuKon Integrated Tuned OpKmized IdenKcal OS Compute & Storage Networking Red Hat / CentOS CPU, RAM, Blade, Rack Cisco Different Pla orm Every Time 1 Big Data Appliance Unpack to produckon in days 120+ separate parts Months from start to produckon Copyright 2011 Oracle Corporation Copyright 2015, Oracle and/or its affiliates. All rights reserved.
Oracle Big Data SQL A teljes Oracle SQL funkcionalitás támogato[. Egységes jogosultság kezelés Smartscan funkcionalitás az egyes node- okon: Where feltétel kiértékelés Oszlop projekciók Bloom szűrés join- okhoz JSON parsing, adatbányászak funkciók 17
Oracle Big Data Discovery Hadoop Cluster (BDA or Commodity Hardware) Studio Oracle Big Data Discovery Workloads Web UI: Find, Explore, Transform, Discover, Share Other Hadoop Workloads MapReduce BDD node In- Memory Discovery Indexes DGraph: Search, Guided NavigaKon, AnalyKcs Spark name node data node data node data node data node Hadoop 2.x Metadata (HCatalog) Workload Mgmt (YARN) Filesystem (HDFS) Data Processing, Workflow & Monitoring Profiling: catalog entry creakon, data type & language deteckon, schema configurakon Sampling: dgraph (index) file creakon Transforms: >100 funckons Enrichments: locakon (geo), text (cleanup, senkment, enkty, key- phrase, whitelist tagging) Self- Service Provisioning & Data Transfer Personal Data: Upload CSV and XLS to HDFS Hive Pig Oracle Big Data SQL (BDA only) Copyright 2015, Oracle and/or its affiliates. All rights reserved. 18
Hogyan kezdjünk hozzá- Oracle Konzultációval Üzlet vezérelt bevezetés BIG DATA ELEMZÉSEK BIG DATA MANAGEMENT Adatból Információ BIG DATA ALKALMAZÁSOK BIG DATA INTEGRÁCIÓ Innova1on Workshops Informa1on Management Deep Dive Data Reservoir DW Offload Discovery Lab Data Factory Engine Infrastruktúrális alapozás Pilot projekt Fast Data Rapid Start Packs Big Data & Analytics Copyright Copyright 2015, Oracle 2014 Oracle and/or and/or its affiliates. its affiliates. All rights All rights reserved. reserved. Oracle ConfidenKal 19
20