Oracle SQL Developer Data Modeler és a DW adatmodellezés Gollnhofer Gábor Meta Consulting Kft.
Oracle Information Management & Big Data Reference Architecture 2
Mi a NoSQL modellezés célja? Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report 3
Több vagy kevesebb modellezés? Forrás: Insights into Modeling NoSQL A DATAVERSITY 2015 Report 4
Technológia & IT Üzlet & Management A tudás piramis (DIKW) Bölcsesség = alkalmazott tudás Tudás = az elemzés eredménye Információ = feldolgozott adatok (strukturált & kontextus) Nyers adatok = tények/megfigyelések strukturált, nem strukturált 5
Miért kell ezzel foglalkozni? Az adatmodell a kialakítandó rendszer alapvető térképe Itt kell definiálni, hogy: milyen területekkel, adatokkal foglalkozik ezek között milyen összefüggések vannak hogyan képezzük le a tényleges üzleti folyamatokat és mérőszámaikat A kialakítandó rendszer alapjait határozza meg, ezért legalábbis koncepcionális szinten a felhasználónak is meg kell értenie és el kell fogadnia! 6
Hogyan modellezzünk? 7
Az 5 (6-7) kérdés (5Ws [+1H]) Ki (Who) Mit (What) Miért (Why) Hol (Where) Mikor (When) Hogyan (How) Mennyi (how many) Kivel/kinek (to whom) Mivel (with what) Rudyard Kipling: The Elephant's Child I keep six honest serving-men (They taught me all I knew); Their names are What and Why and When And How and Where and Who Plusz: http://en.wikipedia.org/wiki/five_ws 8
Több jó modell is létezhet!!! Specifikus vs. absztrakt A világegyetem modellje: 9
Adattárház modellezés #1 Problémák a 3NF modellekkel Tipikusan a tranzakciós rendszerekhez optimalizált Nagyon normalizált, akár több száz entitás A felhasználók számára nehezen átlátható, lekérdezhető Sokszor bonyolult, lassú, drága join-ok segítségével kérdezhető csak le 10
Adattárház modellezés #2 Adattárház modellezési módszerek Dimenziós modellezés Data Vault modellezés Anchor modelling Egyéb, pl. flat & wide 11
DW modellező eszköz elvárások Adatforrások visszafejtése Többféle adatbázis technológia támogatása DW-s modellezési módszerek támogatása Dimenziós, multidimenziós, Data Vault Modell jóság ellenőrzés Modell dokumentáció generálás Több felhasználó és verziók kezelése Automatizálási lehetőségek 12
Oracle SQL Developer Data Modeler #1 Alapvető tulajdonságok Modern, támogatott modellező eszköz Ingyenes Java alapú (több platformos) és nem kell installálni! Oracle SQL, NoSQL és más gyártók támogatása Business Information és folyamat modellezés Logikai, relációs és fizikai modellek (oda<=>vissza) Multi dimenziós modell 13
Oracle SQL Developer Data Modeler #2 Nyitottság Importálás: DDL, ErWin, Oracle Designer, Data dictionary Támogatott adatbázisok: alapból: Oracle SQL és NoSQL, MSSQL, DB2 egyéb JDBC-n elérhető adatbázisokkal kiegészíthető 14
Oracle SQL Developer Data Modeler #3 Testre szabhatóság Glossary Névkonvenciók Modell megjelenítés notation (Barker, Bachman, IE) Modell ellenőrző scriptek (Design Rules) Transzformációs scriptek Egyedi adattípusok Riport template-ek 15
Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 16
Screenshot Adatbázis reverse engineering #1 17
Screenshot Adatbázis reverse engineering #2 18
Screenshot Adatbázis reverse engineering #3 19
Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 20
Screenshot Transformation #1 21
Screenshot Transformation #2 22
Screenshot Transformation #3 23
Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 24
Screenshot Modell ellenőrzés #1 25
Screenshot Modell ellenőrzés #2 26
Oracle SQL Developer Data Modeler DEMO Adatforrás visszafejtés (reverse engineering) Transzformációs script (automatizált audit oszlopok) Modell ellenőrzés (Design Rules) Modell riport és template testre szabás 27
Screenshot Riport #1 28
Screenshot Riport #2 29
Screenshot Riport #3 30
Screenshot Riport #4 31
Oracle SQL Developer Data Modeler Ami nagyon hiányzik Mapping-ek, ETL definíciók Magyar nyelvű modell riportok Könnyebben kezelhető felhasználói felület 32
Összefoglaló Modellezni kell az adattárházaknál is! Az Oracle SQL Developer Data Modeler: Ingyenes! Használható Bővíthető, testre szabható Ingyenes! http://www.oracle.com/technetwork/developertools/datamodeler/overview/index.html 33
Kérdések & válaszok gollnhofer.gabor@adatmodellezes.hu 34
Olvasnivalók Adatmodellezés: Data Modeling Made Simple - http://technicspub.com/core/ Enterprise Model Patterns - http://technicspub.com/patterns/ Data Warehouse & Data Vault: Building a Scalable Data Warehouse with Data Vault 2.0 Super Charge Your Data Warehouse Data Architecture: A Primer for... Modeling the Agile Data Warehouse with Data Vault The Official Data Vault Standards Document (Version 1.0) 35