Data Vault 2.0 és az Oracle DW/BD referencia architektúra. Gollnhofer Gábor Meta Consulting Kft.

Átírás

1 Data Vault 2.0 és az Oracle DW/BD referencia architektúra Gollnhofer Gábor Meta Consulting Kft.

2 Az Oracle referencia architektúrák Rövid bevezető Az IT Strategies from Oracle (ITSO) része Átgondolt, bevált, részletes módszertanok Tervezési template -ek oldalas dokumentumok Koncepcionális leírások Szabványok Termék megfeleltetések 2

3 Oracle ITSO 3

4 Oracle Information Management & Big Data Reference Architecture 4

5 Knowledge Discovery 5

6 Relációs és nem-relációs homokozók 6

7 Valósidejű eseményekkel bővítve 7

8 A Data Vault helye az Oracle referencia architektúrában Forrás: Oracle Information Management & Big Data Reference Architecture 8

9 Data Vault 2.0 architektúra Dan Linstedt, all rights reserved Forrás: Dan Linstedt 9

10 Mi a Data Vault? Adatmodell Részletes adatok Történetiség kezelés (mindig, mindenhol) Egy vagy több üzleti területet támogat Normalizált táblák egyértelműen összekötött halmaza Módszertan A DW/BI legjobb gyakorlat (best-practice) alapján Ismételhető, konzisztens, optimalizált Projekttervezés, kockázatkezelés, verziókezelés, stb. The Data Vault is the optimal choice for modeling the EDW in the DW 2.0 framework. Bill Inmon 10

11 Data Vault 2.0 változások Adatmodell Hash-ek (ID-k helyett) Töltési template-ek Insert-only DW NoSQL modellezés Architektúra Information Mart (Business Vault, Data Mart) Virtualizáció NoSQL támogatás Módszertan Agile, CMMI és Six Sigma alapokon 11

12 A Data Vault adatmodellezés Adatmodellezési módszer, mint a 3NF vagy dimenziós 3. normál forma (3NF) operatív rendszerek Dimenziós data mart / OLAP / elemzések Data Vault vállalati adattárház 3NF Data Vault Dimenziós Értékesítés Pénzügy Gyártás Vállalati adattárház Adatpiac 1 Adatpiac 2 Adatpiac 3 Adatpiac 4 12

13 A Data Vault modell alapelemei HUB Primary Key (HASH) Business Key Load Date & Time Record Source LINK Primary Key (HASH) HUB_1 Key HUB_n Key Load Date & Time Record Source Hub Az üzleti kulcsok (Business Key) egyedi listája Link A Hub-ok közötti kapcsolatok (mindig N:M) egyedi listája Satellite A leíró adatok, teljes történetiség kezeléssel A Sat-nak egy és csak egy szülő táblája van (Hub vagy Link) SAT Primary Key (HASH) HUB/LINK Key Load Date & Time Load End Date & Time Record Source 13

14 A Data Vault színei Hub, Link, Sat 14

15 A Data Vault modellezés előnyei Teljes körű All the data all the time Auditálható, compliance Rugalmas Gyorsan kialakítható, módosítható Rugalmas, egyszerű struktúrák Egyszerűen tölthető (generálható ETL eljárások) Segíti az agilis IT-t Teljesítmény Gyors, parallel töltések Könnyen bővíthető, jól skálázható Stage töltések Data Vault töltések Adatpiacok betöltései Adatforrások Stage HUB-ok HUB SAT-ok LINK SAT-ok Dimenziók Tények Fontos szinkronizációs pontok LINK-ek 15

16 Mi a NoSQL modellezés célja? Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report 16

17 Több vagy kevesebb modellezés? Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report 17

18 Összefoglaló Oracle Reference Architecture Részletes, jól átgondolt, használható Termék megfeleltetésekkel is Nem kell újra feltalálni a melegvizet Data Vault 2.0 All the data, all the time Funkcionális egységek elkülönítése Gyors, rugalmas, integrált relációs és big data környezetben 18

19 Kérdések & válaszok 19