Oracle Enterprise Metadata Management Rövid bemutató Oracle Enterprise Metadata Management Gollnhofer Gábor 1
Tartalom Bevezetés a metaadatokhoz Oracle Enterprise Metadata Management - OEMM Összefoglaló Linkek Kérdések & válaszok 2
Bevezetés a metaadatokhoz Mi is az a metaadat? A metaadatok forrásai és búvóhelyei Fajtái, típusai, feladatai/felhasználása Miért kell kezelni a metaadatokat? 3
Mi a metaadat? Példa Metaadat nélkül (csak adatok) Metaadatokkal együtt A Válasz a Nagy Kérdésre... Az Élet, a Mindenség Meg Minden...... - Negyvenkettő Név: - mondta Bölcs Elme végtelen méltósággal és hidegvérrel.... Cím: Telefonszám: - Negyvenkettő! - ordította Loonkawl. - Ez minden, amit hét és fél millió év alatt kiagyaltál? Ügyfélszám: - Viszont gondosan ellenőriztem - mondta a computer - és egész egyértelműen Elhasznált köbméter: ez a Válasz. Hogy őszinte legyek, a probléma szerintem abban rejlik, hogy Vízóra állás: magatok sem tudjátok, mi a kérdés. Vízdíj (Ft):... Mihelyst tudjátok, hogy mi a kérdés, érteni fogjátok a választ is. 4
A metaadat definíciója A metaadat adat az adatokról Komplett információcsomag, amely pontosan definiálja a szervezet működéséhez szükséges adatokat A szervezeten, vállalaton belül közös nyelvet határoz meg, a munkatársak és rendszerek könnyen kommunikálhatnak A metaadat beazonosítja a rendszerekben levő adatokat és menedzselésük/irányításuk módját Üzleti kontextusban mutatja be az adatokat Specifikálja a rendszer(ek)en belüli helyét Adatkinyeréseket, betöltéseket, frissítéseket indíthat el 5
Jellemző metaadat fajták Üzleti szabályok Adattérképek, táblák, indexek Mezőnevek és definíciók Kiválasztási, szűrési kritériumok A származtatott adatok számítási szabályai Adat transzformációk Adatkinyerés, -töltés ütemezése Működés statisztikai adatai Felhasználási adatok 6
A metaadatok feladatai Feladat #1: Adatdefiníció A Vevő az A rendszerben ugyanaz, mint az Ügyfél a B rendszerben? Mit jelent a FEL_ERT? Felvett érték vagy az Ügyfél értéke? Kitől kell megkérdezni? A Bevétel a termékeket és szolgáltatásokat is tartalmazza vagy csak a termékeket? A cél: hogy almát almához hasonlítsunk 7
A metaadatok feladatai Feladat #2: az adatok forrásának, transzformációinak leírása Hogy tudjuk, honnan jön az adat és hová megy Ez az értékesítési adat rossznak tűnik, honnan jött? Mely számokat kombinálják a havi adat előállításához? Ha ezt megváltoztatom, mire lesz hatással? Milyen gyakran frissítik a jelentéseket? Kitől kell ezeket megkérdeznem? 8
Metaadatok típusai és felhasználói: Üzleti metaadatok Felhasználói: Az üzleti felhasználók Célja: A metaadat segítség az adatok maximális kihasználásához Megjelenési formája: Üzleti definíciók, szabályok, fogalomtárak, hierarchiák Lekérdezések, nézetek, navigálási szabályok Az információ használata/elterjedtsége Help Desk (nevek, szaktudás területei, telefonszám) 9
Metaadatok típusai és felhasználói: Technikai metaadatok Felhasználói: Rendszertervezők, fejlesztők és adminisztrátorok számára Célja: A rendszerek kialakításához, bevezetéséhez és működtetéséhez szükséges adatok teljes leírása, jellemzése Megjelenési formája Adatbázisok, táblák, oszlopok, indexek, kapcsolatok Adatforrás, adat transzformáció és leképezési szabályok Adat adminisztrációs folyamatok és szabályok Adat frissítés, használat mérési eredmények 10
A metaadatok standard forrásai Elérhetőségi sorrendben: DBMS katalógusok (repository) Tranzakciós rendszerek adattárai ETL eszköz repository Adatmodellezési eszközök Belső és külső adatszótárak, ontológiák Szakértők (szakterületi és informatikai szakértők) 11
A metaadatok titkos forrásai Feldolgozhatóság sorrendben: Adat- és folyamat modellekben Szótárakban és katalógusokban Üzleti folyamatok leírásában, vállalati standardokban Munkafolyamok/workflow-k és a beágyazott megjegyzéseikben Fájlszerkezetekben és beágyazott megjegyzéseikben Alkalmazásprogram logikában, megjegyzésekben 12
Hol a helye az architektúrában? Forrás: Oracle Information Management & Big Data Reference Architecture 13
Tartalom Bevezetés a metaadatokhoz Oracle Enterprise Metadata Management OEMM Összefoglaló Linkek Kérdések & válaszok 14
Oracle Enterprise Metadata Management - OEMM Bevezetés, történet Funkciók Kapcsolódási lehetőségek, támogatott eszközök Demo Előnyök, hátrányok 15
Oracle Enterprise Metadata Management Bevezetés, történet Vállalati metaadat kezelő megoldás ISO/IEC 11179 szabvány kompatibilis Information Technology -- Metadata registries (MDR) Eredeti gyártó: Meta Integration Technology, Inc. (MITI) 1997 óta csak metaadat kezeléssel foglalkoznak többen is OEM-ben beépítették ( MITI bridge ) Oracle verzió Oracle (OEM) branding és módosított webes felület (Oracle Enterprise Metadata Management 12cR1 (12.1.3.0.1)) A legújabb 8.0-ás verzió alapján 16
Oracle Enterprise Metadata Management Fontosabb funkciói Metaadatok importálása és indexelése Kézzel és ütemezetten is indítható Glossary (fogalomtár) Keresés és metaadatok böngészése Szöveges leírások Diagramok (adatmodell, ETL folyamat, stb.) Függőség és hatáselemzés (impact & lineage) Szöveges formában Grafikus ábrázolás Verziókezelés 17
Oracle Enterprise Metadata Management Felépítése, elemei Felhasználói felület Böngésző alapú (Chrome, Firefox, Safari, IE) Metadata Manager és Metadata Explorer alkalmazás Web alkalmazás server Tomcat vagy Oracle WebLogic Server (esetleg Websphere) Repository Relációs adatbázisban (pl. Oracle Database12c) Meta modell bridge -ek A különböző eszközök támogatásához (import) Kézi és ütemezett begyűjtés 18
Oracle Enterprise Metadata Management Metaadat források és funkciók 19
Kapcsolódási lehetőségek, támogatott eszközök Kb. a világ összes komolyabb eszközét ismeri Oracle termékek Database (v6-12c), Designer, Data Modeler, Oracle Data Integrator, OWB, OBI, Hyperion Más gyártók Adatmodellezés: Erwin, ER/Studio, PowerDesigner, RationalRose ETL: BODI, DataStage, Informatica, SAS DIS, SSIS, Talend BI: Business Objects, Cognos, MicroStrategy, QlikView, SAS, Tableau, stb. Adatbázis: DB2, SQL Server, Netezza, Greenplum, Excel, SSAS, Teradata, különböző Hadoop implementációk, stb. XMI (CWM és UML) 20
Demo Környezet: heterogén!!! OEMM 12.1.3 Repository: SQL Server 2008R2 Metaadat források: Business Glossary: Excel Koncepcionális modell: SAP PowerDesigner Fizikai adatmodell: SQL Developer Data Modeler 4.1.0 Adatbázis: Oracle Database 12.1.0.2 (és Hadoop) ETL eszköz: ODI 12.1.3 OEMM és repository: Windows Adatbázis és ETL: Oracle Linux 6.5 Ingyenes virtuális gép: Oracle Big Data Lite VM 4.0.1 21
Demo Képernyők Fogalomtár (Glossary) Metaadat importálás (Excel, SDDM, PDM) Metaadat keresés, böngészés Hatás és előzmény elemzés (Impact & lineage analysis) Adatfolyam diagram 22
Demo Fogalomtár - Glossary 23
Demo Adatmodell importálás 24
Demo Adatmodell importálás Eredeti modell (részlet) 25
Demo Adatmodell importálás OEMM modell (részlet) 26
Demo Metaadat keresés, böngészés 27
Demo Metaadat keresés, böngészés 28
Demo Metaadat keresés, böngészés 29
Demo Hatás- és előzmény elemzés (Impact & lineage) 30
Demo Adatfolyam (Data Flow Overview) 31
Előnyök Végre van ilyen a termékpalettán Nyitottság Támogatott eszközök, platformok széles köre Elterjedt (más gyártók eszköziben is beépítve) Kiegészíthető, bővíthető Funkcionalitás Böngésző alapú felhasználói felület Jó keresési lehetőségek Impact és Lineage elemzés támogatás Ütemezett frissítés támogatása 32
Hátrányok Enterprise kategóriájú árazás Angol nyelvű felület (üzleti felhasználóknak?) Viszonylag kevés tapasztalat 33
Összefoglaló A metaadat kezelés az egyik feljövőben lévő terület Az adatvagyon kezelés kritikus eleme Business glossary és impact&lineage analysis Önkiszolgáló BI ( Mit, hol találok? ) Többféle megoldást is lehet használni Akár vásárolni, akár fejleszteni is lehet Az Oracle-nek is van megoldása Ami heterogén környezetben is jól működik Mindenkinek foglalkoznia kell vele! Főleg, aki elosztott rendszerekkel dolgozik Inkább előbb, mint utóbb 34
Tisztult a kép? 35
Kérdések & válaszok gabor.gollnhofer@datagovernance.hu 36
Linkek Oracle Enterprise Metadata Management (OEMM) http://www.oracle.com/technetwork/middleware/oemm/overvie w/index.html - a hivatalos oldal https://community.oracle.com/community/business_intelligenc e/system_management_and_integration/enterprise-metadatamanagement - a community oldal http://metaintegration.net - az eredeti gyártó http://metaintegration.net/products/mimb/supportedtools.html Külső példák: http://www.rittmanmead.com/2015/01/why-and-how-to-useoracle-metadata-management-12c-part-1-getting-started/ http://information-asset.com/index.php/integrating-oracleenterprise-metadata-manager-with-hadoop/ 37