Oracle SQL Developer Data Modeler és a DW adatmodellezés. Gollnhofer Gábor Meta Consulting Kft.

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Oracle SQL Developer Data Modeler és a DW adatmodellezés. Gollnhofer Gábor Meta Consulting Kft."

Ödön Halász
5 évvel ezelőtt
Látták:

1 Oracle SQL Developer Data Modeler és a DW adatmodellezés Gollnhofer Gábor Meta Consulting Kft.

2 Oracle Information Management & Big Data Reference Architecture 2

3 Mi a NoSQL modellezés célja? Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report 3

4 Több vagy kevesebb modellezés? Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report 4

5 Technológia & IT Üzlet & Management A tudás piramis (DIKW) Bölcsesség = alkalmazott tudás Tudás = az elemzés eredménye Információ = feldolgozott adatok (strukturált & kontextus) Nyers adatok = tények/megfigyelések strukturált, nem strukturált 5

6 Miért kell ezzel foglalkozni? Az adatmodell a kialakítandó rendszer alapvető térképe Itt kell definiálni, hogy: milyen területekkel, adatokkal foglalkozik ezek között milyen összefüggések vannak hogyan képezzük le a tényleges üzleti folyamatokat és mérőszámaikat A kialakítandó rendszer alapjait határozza meg, ezért legalábbis koncepcionális szinten a felhasználónak is meg kell értenie és el kell fogadnia! 6

7 Hogyan modellezzünk? 7

8 Az 5 (6-7) kérdés (5Ws [+1H]) Ki (Who) Mit (What) Miért (Why) Hol (Where) Mikor (When) Hogyan (How) Mennyi (how many) Kivel/kinek (to whom) Mivel (with what) Rudyard Kipling: The Elephant's Child I keep six honest serving-men (They taught me all I knew); Their names are What and Why and When And How and Where and Who Plusz: 8

9 Több jó modell is létezhet!!! Specifikus vs. absztrakt A világegyetem modellje: 9

10 Adattárház modellezés #1 Problémák a 3NF modellekkel Tipikusan a tranzakciós rendszerekhez optimalizált Nagyon normalizált, akár több száz entitás A felhasználók számára nehezen átlátható, lekérdezhető Sokszor bonyolult, lassú, drága join-ok segítségével kérdezhető csak le 10

11 Adattárház modellezés #2 Adattárház modellezési módszerek Dimenziós modellezés Data Vault modellezés Anchor modelling Egyéb, pl. flat & wide 11

12 DW modellező eszköz elvárások Adatforrások visszafejtése Többféle adatbázis technológia támogatása DW-s modellezési módszerek támogatása Dimenziós, multidimenziós, Data Vault Modell jóság ellenőrzés Modell dokumentáció generálás Több felhasználó és verziók kezelése Automatizálási lehetőségek 12

13 Oracle SQL Developer Data Modeler #1 Alapvető tulajdonságok Modern, támogatott modellező eszköz Ingyenes Java alapú (több platformos) és nem kell installálni! Oracle SQL, NoSQL és más gyártók támogatása Business Information és folyamat modellezés Logikai, relációs és fizikai modellek (oda<=>vissza) Multi dimenziós modell 13

14 Oracle SQL Developer Data Modeler #2 Nyitottság Importálás: DDL, ErWin, Oracle Designer, Data dictionary Támogatott adatbázisok: alapból: Oracle SQL és NoSQL, MSSQL, DB2 egyéb JDBC-n elérhető adatbázisokkal kiegészíthető 14

15 Oracle SQL Developer Data Modeler #3 Testre szabhatóság Glossary Névkonvenciók Modell megjelenítés notation (Barker, Bachman, IE) Modell ellenőrző scriptek (Design Rules) Transzformációs scriptek Egyedi adattípusok Riport template-ek 15

16 Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 16

17 Screenshot Adatbázis reverse engineering #1 17

18 Screenshot Adatbázis reverse engineering #2 18

19 Screenshot Adatbázis reverse engineering #3 19

20 Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 20

21 Screenshot Transformation #1 21

22 Screenshot Transformation #2 22

23 Screenshot Transformation #3 23

24 Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 24

25 Screenshot Modell ellenőrzés #1 25

26 Screenshot Modell ellenőrzés #2 26

27 Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 27

28 Screenshot Riport #1 28

29 Screenshot Riport #2 29

30 Screenshot Riport #3 30

31 Screenshot Riport #4 31

32 Oracle SQL Developer Data Modeler Ami nagyon hiányzik Mapping-ek, ETL definíciók Magyar nyelvű modell riportok Könnyebben kezelhető felhasználói felület 32

33 Összefoglaló Modellezni kell az adattárházaknál is! Az Oracle SQL Developer Data Modeler: Ingyenes! Használható Bővíthető, testre szabható Ingyenes! 33

34 Kérdések & válaszok 34

35 Olvasnivalók Adatmodellezés: Data Modeling Made Simple - Enterprise Model Patterns - Data Warehouse & Data Vault: Building a Scalable Data Warehouse with Data Vault 2.0 Super Charge Your Data Warehouse Data Architecture: A Primer for... Modeling the Agile Data Warehouse with Data Vault The Official Data Vault Standards Document (Version 1.0) 35

Hasonló dokumentumok

Data Vault 2.0 és az Oracle DW/BD referencia architektúra. Gollnhofer Gábor Meta Consulting Kft.

Data Vault 2.0 és az Oracle DW/BD referencia architektúra Gollnhofer Gábor Meta Consulting Kft. Az Oracle referencia architektúrák Rövid bevezető Az IT Strategies from Oracle (ITSO) része Átgondolt, bevált,