Oracle Enterprise Metadata Management

Átírás

1 Oracle Enterprise Metadata Management Rövid bemutató Oracle Enterprise Metadata Management Gollnhofer Gábor 1

2 Tartalom Bevezetés a metaadatokhoz Oracle Enterprise Metadata Management - OEMM Összefoglaló Linkek Kérdések & válaszok 2

3 Bevezetés a metaadatokhoz Mi is az a metaadat? A metaadatok forrásai és búvóhelyei Fajtái, típusai, feladatai/felhasználása Miért kell kezelni a metaadatokat? 3

4 Mi a metaadat? Példa Metaadat nélkül (csak adatok) Metaadatokkal együtt A Válasz a Nagy Kérdésre... Az Élet, a Mindenség Meg Minden Negyvenkettő Név: - mondta Bölcs Elme végtelen méltósággal és hidegvérrel.... Cím: Telefonszám: - Negyvenkettő! - ordította Loonkawl. - Ez minden, amit hét és fél millió év alatt kiagyaltál? Ügyfélszám: - Viszont gondosan ellenőriztem - mondta a computer - és egész egyértelműen Elhasznált köbméter: ez a Válasz. Hogy őszinte legyek, a probléma szerintem abban rejlik, hogy Vízóra állás: magatok sem tudjátok, mi a kérdés. Vízdíj (Ft):... Mihelyst tudjátok, hogy mi a kérdés, érteni fogjátok a választ is. 4

5 A metaadat definíciója A metaadat adat az adatokról Komplett információcsomag, amely pontosan definiálja a szervezet működéséhez szükséges adatokat A szervezeten, vállalaton belül közös nyelvet határoz meg, a munkatársak és rendszerek könnyen kommunikálhatnak A metaadat beazonosítja a rendszerekben levő adatokat és menedzselésük/irányításuk módját Üzleti kontextusban mutatja be az adatokat Specifikálja a rendszer(ek)en belüli helyét Adatkinyeréseket, betöltéseket, frissítéseket indíthat el 5

6 Jellemző metaadat fajták Üzleti szabályok Adattérképek, táblák, indexek Mezőnevek és definíciók Kiválasztási, szűrési kritériumok A származtatott adatok számítási szabályai Adat transzformációk Adatkinyerés, -töltés ütemezése Működés statisztikai adatai Felhasználási adatok 6

7 A metaadatok feladatai Feladat #1: Adatdefiníció A Vevő az A rendszerben ugyanaz, mint az Ügyfél a B rendszerben? Mit jelent a FEL_ERT? Felvett érték vagy az Ügyfél értéke? Kitől kell megkérdezni? A Bevétel a termékeket és szolgáltatásokat is tartalmazza vagy csak a termékeket? A cél: hogy almát almához hasonlítsunk 7

8 A metaadatok feladatai Feladat #2: az adatok forrásának, transzformációinak leírása Hogy tudjuk, honnan jön az adat és hová megy Ez az értékesítési adat rossznak tűnik, honnan jött? Mely számokat kombinálják a havi adat előállításához? Ha ezt megváltoztatom, mire lesz hatással? Milyen gyakran frissítik a jelentéseket? Kitől kell ezeket megkérdeznem? 8

9 Metaadatok típusai és felhasználói: Üzleti metaadatok Felhasználói: Az üzleti felhasználók Célja: A metaadat segítség az adatok maximális kihasználásához Megjelenési formája: Üzleti definíciók, szabályok, fogalomtárak, hierarchiák Lekérdezések, nézetek, navigálási szabályok Az információ használata/elterjedtsége Help Desk (nevek, szaktudás területei, telefonszám) 9

10 Metaadatok típusai és felhasználói: Technikai metaadatok Felhasználói: Rendszertervezők, fejlesztők és adminisztrátorok számára Célja: A rendszerek kialakításához, bevezetéséhez és működtetéséhez szükséges adatok teljes leírása, jellemzése Megjelenési formája Adatbázisok, táblák, oszlopok, indexek, kapcsolatok Adatforrás, adat transzformáció és leképezési szabályok Adat adminisztrációs folyamatok és szabályok Adat frissítés, használat mérési eredmények 10

11 A metaadatok standard forrásai Elérhetőségi sorrendben: DBMS katalógusok (repository) Tranzakciós rendszerek adattárai ETL eszköz repository Adatmodellezési eszközök Belső és külső adatszótárak, ontológiák Szakértők (szakterületi és informatikai szakértők) 11

12 A metaadatok titkos forrásai Feldolgozhatóság sorrendben: Adat- és folyamat modellekben Szótárakban és katalógusokban Üzleti folyamatok leírásában, vállalati standardokban Munkafolyamok/workflow-k és a beágyazott megjegyzéseikben Fájlszerkezetekben és beágyazott megjegyzéseikben Alkalmazásprogram logikában, megjegyzésekben 12

13 Hol a helye az architektúrában? Forrás: Oracle Information Management & Big Data Reference Architecture 13

14 Tartalom Bevezetés a metaadatokhoz Oracle Enterprise Metadata Management OEMM Összefoglaló Linkek Kérdések & válaszok 14

15 Oracle Enterprise Metadata Management - OEMM Bevezetés, történet Funkciók Kapcsolódási lehetőségek, támogatott eszközök Demo Előnyök, hátrányok 15

16 Oracle Enterprise Metadata Management Bevezetés, történet Vállalati metaadat kezelő megoldás ISO/IEC szabvány kompatibilis Information Technology -- Metadata registries (MDR) Eredeti gyártó: Meta Integration Technology, Inc. (MITI) 1997 óta csak metaadat kezeléssel foglalkoznak többen is OEM-ben beépítették ( MITI bridge ) Oracle verzió Oracle (OEM) branding és módosított webes felület (Oracle Enterprise Metadata Management 12cR1 ( )) A legújabb 8.0-ás verzió alapján 16

17 Oracle Enterprise Metadata Management Fontosabb funkciói Metaadatok importálása és indexelése Kézzel és ütemezetten is indítható Glossary (fogalomtár) Keresés és metaadatok böngészése Szöveges leírások Diagramok (adatmodell, ETL folyamat, stb.) Függőség és hatáselemzés (impact & lineage) Szöveges formában Grafikus ábrázolás Verziókezelés 17

18 Oracle Enterprise Metadata Management Felépítése, elemei Felhasználói felület Böngésző alapú (Chrome, Firefox, Safari, IE) Metadata Manager és Metadata Explorer alkalmazás Web alkalmazás server Tomcat vagy Oracle WebLogic Server (esetleg Websphere) Repository Relációs adatbázisban (pl. Oracle Database12c) Meta modell bridge -ek A különböző eszközök támogatásához (import) Kézi és ütemezett begyűjtés 18

19 Oracle Enterprise Metadata Management Metaadat források és funkciók 19

20 Kapcsolódási lehetőségek, támogatott eszközök Kb. a világ összes komolyabb eszközét ismeri Oracle termékek Database (v6-12c), Designer, Data Modeler, Oracle Data Integrator, OWB, OBI, Hyperion Más gyártók Adatmodellezés: Erwin, ER/Studio, PowerDesigner, RationalRose ETL: BODI, DataStage, Informatica, SAS DIS, SSIS, Talend BI: Business Objects, Cognos, MicroStrategy, QlikView, SAS, Tableau, stb. Adatbázis: DB2, SQL Server, Netezza, Greenplum, Excel, SSAS, Teradata, különböző Hadoop implementációk, stb. XMI (CWM és UML) 20

21 Demo Környezet: heterogén!!! OEMM Repository: SQL Server 2008R2 Metaadat források: Business Glossary: Excel Koncepcionális modell: SAP PowerDesigner Fizikai adatmodell: SQL Developer Data Modeler Adatbázis: Oracle Database (és Hadoop) ETL eszköz: ODI OEMM és repository: Windows Adatbázis és ETL: Oracle Linux 6.5 Ingyenes virtuális gép: Oracle Big Data Lite VM

22 Demo Képernyők Fogalomtár (Glossary) Metaadat importálás (Excel, SDDM, PDM) Metaadat keresés, böngészés Hatás és előzmény elemzés (Impact & lineage analysis) Adatfolyam diagram 22

23 Demo Fogalomtár - Glossary 23

24 Demo Adatmodell importálás 24

25 Demo Adatmodell importálás Eredeti modell (részlet) 25

26 Demo Adatmodell importálás OEMM modell (részlet) 26

27 Demo Metaadat keresés, böngészés 27

28 Demo Metaadat keresés, böngészés 28

29 Demo Metaadat keresés, böngészés 29

30 Demo Hatás- és előzmény elemzés (Impact & lineage) 30

31 Demo Adatfolyam (Data Flow Overview) 31

32 Előnyök Végre van ilyen a termékpalettán Nyitottság Támogatott eszközök, platformok széles köre Elterjedt (más gyártók eszköziben is beépítve) Kiegészíthető, bővíthető Funkcionalitás Böngésző alapú felhasználói felület Jó keresési lehetőségek Impact és Lineage elemzés támogatás Ütemezett frissítés támogatása 32

33 Hátrányok Enterprise kategóriájú árazás Angol nyelvű felület (üzleti felhasználóknak?) Viszonylag kevés tapasztalat 33

34 Összefoglaló A metaadat kezelés az egyik feljövőben lévő terület Az adatvagyon kezelés kritikus eleme Business glossary és impact&lineage analysis Önkiszolgáló BI ( Mit, hol találok? ) Többféle megoldást is lehet használni Akár vásárolni, akár fejleszteni is lehet Az Oracle-nek is van megoldása Ami heterogén környezetben is jól működik Mindenkinek foglalkoznia kell vele! Főleg, aki elosztott rendszerekkel dolgozik Inkább előbb, mint utóbb 34

35 Tisztult a kép? 35

36 Kérdések & válaszok 36

37 Linkek Oracle Enterprise Metadata Management (OEMM) w/index.html - a hivatalos oldal e/system_management_and_integration/enterprise-metadatamanagement - a community oldal - az eredeti gyártó Külső példák: