Az adatvagyon kezelés és a metaadatok Gollnhofer Gábor DMS Consulting 1
Nagyon rövid bevezetés az adatvagyon kezelésbe Big Data és elemzések, adattárház és önkiszolgáló BI - napjaink sláger témái. Ugyanakkor ahhoz, hogy hatékonyan tudjuk kezelni és elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül. Többek között ennek megválaszolását segíti az adatvagyon kezelés (data governance). 2
Az adatok értéke - Miért adat vagyon? Hasonló az egyéb vagyonelemekhez Költség: Beszerzési érték, beszerzés költsége Használattal kapcsolatos költségek Kicserélés, javítás, pótlás költsége Karbantartás költsége Haszon: Használati érték (idő, produktivitás, jó vezetői döntések) Kockázat csökkentés (bank/biztosító/retail/eü szabályozás, pl. kötelező tartalékképzés) Monetizing (ha lehetséges/szabad) 3
Mi az adatvagyon kezelés (data governance)? Az adatvagyon kezelésnek foglalkoznia kell a kezelt adatok: elérhetőségével, felhasználhatóságával, integritásával (és minőségével), biztonságával. Ezek nem csak technológiai kérdések! Hanem üzleti és jogi is (pl. személyes adatok védelme; Right to be forgotten ) 4
Az adatvagyon kezelés elemei Emberek (People) Folyamatok (Process) IT (Technology) 5
Az adatvagyon adatelemei Metaadatok Operatív adatok Törzsadatok 6
Eszközei Soft eszközök Üzleti fogalomtár(ak), definíciók és ontológiák Folyamat leírások, szabályzatok (üzleti és IT), dokumentációk Oktatás Hard eszközök Törzsadatkezelés (Master Data Management MDM és/vagy Customer Data Integration CDI; Product Data Mgmt - PDM) Metaadat kezelés (üzleti és technológiai) Hozzáférés kezelés (jogosultságok és naplózás) Archiválási eszközök és eljárások (pl. anonimizálás) Katalógusok (pl. rendszertérkép) Adatminőség biztosítás (Data Quality Management) 7
A metaadat definíciója A metaadat adat az adatokról Komplett információcsomag, amely pontosan definiálja a szervezet működéséhez szükséges adatokat A szervezeten, vállalaton belül közös nyelvet határoz meg, a munkatársak és rendszerek könnyen kommunikálhatnak A metaadat beazonosítja a rendszerekben levő adatokat és menedzselésük/irányításuk módját Üzleti kontextusban mutatja be az adatokat Specifikálja a rendszer(ek)en belüli helyét Adatkinyeréseket, betöltéseket, frissítéseket indíthat el 8
A metaadatok feladatai Feladat #1: Adatdefiníció Hány ügyfelünk van? A Vevő az A rendszerben ugyanaz, mint az Ügyfél a B rendszerben? Mit jelent az UGYFEL_ERT? Ügyfél értéke vagy Ügyfél értesítés dátuma? Kitől kell megkérdezni? Ezen a riporton a Bevétel a termékeket és szolgáltatásokat is tartalmazza vagy csak a termékeket? A cél: hogy almát almához hasonlítsunk 9
A metaadatok feladatai Feladat #2: az adatok forrásának, transzformációinak leírása Hogy tudjuk, honnan jön az adat és hová megy: Mely számokat kombinálják a havi adat előállításához? Ha ezt megváltoztatom, mire lesz hatással? Ez az adat rossznak tűnik, honnan jött? Milyen gyakran frissítik a jelentéseket? Ez vajon hogyan jött ki? Kitől kell ezeket megkérdeznem? 10
Metaadatok értéke Az üzleti és technikai felhasználók különböző kérdéseire adott válaszokban rejlik Forrás: Oracle Big Data Governance 11
Hol a helye az architektúrában? Forrás: Oracle Information Management & Big Data Reference Architecture 12
Kapcsolódó Oracle eszközök Data Privacy Metadata Management Business Glossary Oracle Enterprise Metadata Management (OEMM) Data Governance Data Archiving Data Profiling Data Cleansing Oracle Enterprise Data Quality 13
Oracle Enterprise Metadata Management (OEMM) Metaadat kezelés Vízszintes és szemantikai függőség (lineage) kezelés Üzleti fogalomtár Az üzleti fogalmak együttműködő és egyszerű definiálása és kapcsolataik nyilvántartása Tulajdonságok Üzleti adat/fogalom katalógus Riport Forrás (Lineage) Hatáselemzés (Impact) Auditálás, verziókezelés Kollaboráció lehetőségek Annotációk, tag-ek Nyílt, más gyártók eszközeit is ismeri 14
Oracle Enterprise Metadata Management A metaadat kezelés két nézete 15
Oracle Enterprise Metadata Management Bevezetés, történet Vállalati metaadat kezelő megoldás ISO/IEC 11179 szabvány kompatibilis Information Technology -- Metadata registries (MDR) Eredeti gyártó: Meta Integration Technology, Inc. (MITI) 1997 óta csak metaadat kezeléssel foglalkoznak többen is OEM-ben beépítették ( MITI bridge ) Oracle verzió Oracle (OEM) branding és módosított webes felület (Oracle Enterprise Metadata Management 12cR1 (12.1.3.0.2)) A legújabb 8.0-ás verzió alapján 16
Oracle Enterprise Metadata Management Fontosabb funkciói Glossary (fogalomtár) Metaadatok importálása és indexelése Kézzel és ütemezetten is indítható Keresés és metaadatok böngészése Szöveges leírások Diagramok (adatmodell, ETL folyamat, stb.) Függőség és hatáselemzés (impact & lineage) Szöveges formában Grafikus ábrázolás Verziókezelés 17
Oracle Enterprise Metadata Management Felépítése, elemei Felhasználói felület Böngésző alapú (Chrome, Explorer, Firefox, Safari) Metadata Manager és Metadata Explorer alkalmazás Web alkalmazás server Tomcat vagy Oracle Weblogic (esetleg Websphere) Repository Relációs adatbázisban (pl. Oracle 12c, MSSQL, stb.) Meta modell bridge -ek A különböző metaadat források kezeléséhez (import) Kézi és ütemezett begyűjtés ( harvesting ) 18
Kapcsolódási lehetőségek, támogatott eszközök Kb. a világ összes komolyabb eszközét ismeri Adaptive Altova Apache Hcatalog Apache Hive/HQL Borland CA ERwin Cloudera Impala COBOL Copybook DataStax Embarcadero EMC ProActivity GentleWare Google BigQuery Grandite Hadapt Hive Hortonworks Hive IBM Cognos IBM DB2 IBM DataStage IBM Discovery IBM Federation Server IBM Lotus Notes IBM Netezza IBM Rational Rose IBM Rational Architect Informatica Metadata Mgr. Informatica PowerCenter CoSORT ISO SQL Standard (DDL) MapR Hadoop Hive MicroFocus Microsoft Access Microsoft Office Excel Microsoft Visio Microsoft SQL Server Microsoft SSIS Microsoft Visual Studio Microstrategy Magic Draw OMG CWM Standard OMG UML Standard Oracle BI Answers Oracle BI Enterprise Edition Oracle BI Server Oracle DAC Oracle Data Integrator Oracle Data Modeler Oracle Database Oracle Designer Oracle Hyperion Applications Oracle Hyperion Essbase Oracle Warehouse Builder Pivotal Greenplum PostgreSQL QlikView SAP BO Crystal Reports SAP BO Designer SAP BO Desktop Intelligence SAP BO Repository SAP BO Data Integrator SAP BO Data Steward SAP Master Data Management SAP Sybase PowerDesigner SAP Sybase ASE Database SAS Data Integration Studio SAS BI Server SAS Information Map SAS Metadata Management SAS OLAP Server Select Sparx Architect Syncsort Tableau Talend Teradata Tigris Visible W3C DTD & XSD Schema 19
Oracle Enterprise Metadata Management Demo Képernyők Fogalomtár (Glossary) Metaadat importálás (Excel, SDDM, PDM) Metaadat keresés, böngészés Hatás és előzmény elemzés (Impact & lineage analysis) Adatfolyam diagram 20
Demo Fogalomtár - Glossary 21
Demo Adatmodell importálás Eredeti modell (részlet) 22
Demo Adatmodell importálás OEMM modell (részlet) 23
Demo Metaadat keresés, böngészés 24
Demo Metaadat keresés, böngészés 25
Demo Metaadat keresés, böngészés 26
Demo Hatás- és előzmény elemzés (Impact & lineage) 27
Demo Adatfolyam (Data Flow Overview) 28
Oracle Enterprise Metadata Management Előnyök Végre van ilyen a termékpalettán Nyitottság Támogatott eszközök, platformok széles köre Elterjedt (más gyártók eszköziben is beépítve) Kiegészíthető, bővíthető Funkcionalitás Böngésző alapú felhasználói felület Jó keresési lehetőségek Impact és Lineage elemzés támogatás Ütemezett frissítés támogatása 29
Oracle Enterprise Metadata Management Hátrányok Enterprise kategóriájú árazás Angol nyelvű felület (üzleti felhasználóknak?) Viszonylag kevés tapasztalat 30
Összefoglaló #1 Adatvagyon kezelés Az adatvagyon kezelés feljövőben levő terület, mert: Sokkal nagyobb mennyiségű és sokrétűbb adatokat kezelünk Több és összetettebb rendszer (sokszor inkonzisztens) Bonyolultabb folyamatok mentén Az adatvagyon kezelés: Abban segít, hogy uraljuk a káoszt Azt, úgy és addig kezeljük, amennyire szükség van rá (üzleti, technológiai és jogi kérdés is lehet) Emberek, folyamatok és technológiai megoldások 31
Összefoglaló #2 Metaadat kezelés A metaadat kezelés: Az adatvagyon kezelés kritikus eleme Business glossary és impact&lineage analysis Önkiszolgáló BI ( Mit, hol találok? ) Mindenkinek foglalkoznia kell vele! Főleg, aki elosztott rendszerkörnyezetben dolgozik Inkább előbb, mint utóbb Az Oracle-nek (is) van jó megoldása Oracle Enterprise Metadata Management Ami heterogén környezetben is jól működik 32
Kérdések & válaszok gabor.gollnhofer@datagovernance.hu 33