INFORMATIKAI PROJEKTELLENŐR 30 MB Dr. Horváth Gábor KLASSZIKUS ADATTÁRHÁZAK 2016. 12. 31. MMK- Informatikai projektellenőr képzés
Tartalom Elemző Adatbázisok Az adattárházak komponensei Adatmodell Adatbázis-kezelő ETL Front-end : BI eszköz Operatív döntéstámogatás: kimenő interfészek Adatbányász eszköz Meta-adat kezelés és data governance Jogosultság-kezelés, adat biztonság Egy kis kitekintés: Klasszikus adattárházak és Big Data Architektúrák Az adattárház projekt főbb elemei Agilis módszerek alkalmazása az adattárház projektekben Az adattárház projektek sikerességének alapjai 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 2
Informatika Elemző adatbázisok OLTP vs Elemző adatbázisok A tranzakciós rendszerek működésének melléktermékei az adatok. Ez a vállalat az adatvagyona. Az tranzakciós adatok felhasználása : VIR, MI és egyéb elemzések Más funkció Más típusú adatbáziskezelés Más adatmodell Más hardver környezet 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 3
A vállalati adatvagyon részei Exabytes User Generated Content Social Network BIG DATA User Click Stream Mobile Web Sentiment Petabytes Web Logs Offer History Dynamic Pricing A/B Testing WEB External Demographics Business Data Feeds Terabytes Offer Details Segmentation CRM Affiliate Networks Search Marketing HD Video Speech to Text Gigabytes Purchase Detail ERP Customer Touches Behavioral Targeting Product/ Service Logs Purchase Record Payment Record Support Contacts Dynamic Funnels SMS/MMS INCREASING Data Variety and Complexity DECREASING Value Density in the Data 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 4
Az adattárházak komponensei 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 5
Informatika Adatpiac és adattárház: Adatarchitektúrák 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 6
Informatika Adatpiac és adattárház: Adatarchitektúrák 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 7
Informatika Adatpiac és adattárház : adatarchitektúrák tervezési szempontok Elemzési célok sokrétűsége Az elemzési adatbázis szerepe a vállalati architektúrában A felhasználók széleskörűsége, típusai, száma Az elemzendő adatok (forrásrendszerek ) száma Adatbázis méret, history..stb 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 8
Az adattárházak komponensei: adatmodell Relációs vs. dimenzionális Kész adatmodellek vs. custom developed Az adatmodell karbantartása házon belülre vs. szállítónál Adatmodellező team : rend vs. szűk keresztmetszet CASE eszköz használata metaadat kezelés 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 9
Az adattárházak komponensei: adatbázis kezelés Egyszeri bulk insert No update Select Időkezelés Particionálás Párhuzamos felhasználás Real-time igény Index kezelés Index vs full table scan Jogosultság kezelés Tuningolás, adminisztráció Shared everything vs shared nothing vs in memory Appliance megközelítés 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 10
Az adattárházak komponensei: ETL ETL eszközök vs kézzel írt kódok - ODI - Informatica - IBM DataStage - SAS - Talend stb - Custom developed Tervezési szempontok meta-adat kezelés CASE eszközök használata: Enterprise Architect, Powerdesigner Ütemező modul ETL eszköz kiválasztás szempontjai: - funkcionalitás - ár - szakemberek elérhetősége 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 11
Az adattárházak komponensei: Operatív döntéstámogatás kimenő interfészek i) Bejövő interfészek : file, db-link, connectors, SOA megközelítés szerepe. Szabványok kialakítása ii) Kimenő interfészek : illeszkedés a SOA architektúrába Adattárház funkciók vs. Core rendszer funkciók: A DWH túlnő az eredeti terjedelmén Rugalmasabban lehet fejleszteni mint a Core rendszereket Integrált adatok szükségesek Historikus adatok szükségeke Integrált és historikus adatok szükségesek Vállalati szintű adat architektúra Rövid távú határidők vs. rend 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 12
Az adattárházak komponensei: BI - eszköz 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 13
Az adattárházak komponensei: adatbányászat 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 14
Az adattárházak komponensei: metaadat kezelés, adatminőség, data governance i) Átláthatóság üzleti meta-adatok ii) Értékkészletek és hierarchiák karbantartása iii) Auditálhatóság technikai meta-adatok iv) Adatminőség automatikus ellenőrzések / hibák javítása v) Meta-adat kezelési architektúra -- rajz vi) Data governance az adattárházakat menedzselő szervezet és folyamatok szerepe 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 15
Target Adatmodell Forrás adatmodell Mapping szabályok Meta-adat repository Üzleti definíciók Ütemezési meta-adatok Adatminőségi szabályok Info portál Adatminőség ellenőrzés ETL eszköz Ütemező eszköz ETL program 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 16
SalesLT.Dim_Geography Geography_Key City StateProvince CountryRegion PostalCode meta_validfrom_date meta_validto_date meta_status_flag... nvarchar(30) nvarchar(50) nvarchar(50) nvarchar(15) SalesLT.Dim_Date DateKey FullDateAlternateKey DayNumberOfWeek EnglishDayNameOfWeek HungarianDayNameOfWeek DayNumberOfMonth DayNumberOfYear WeekNumberOfYear EnglishMonthName HungarianMonthName MonthNumberOfYear CalendarQuarter CalendarYear CalendarSemester FiscalQuarter FiscalYear FiscalSemester meta_validfrom_date meta_validto_date meta_status_flag... Geography_Key = Geography_Key numeric(8) date nvarchar(10) nvarchar(10) smal l i nt nvarchar(10) nvarchar(10) smal l i nt smal l i nt <pk> <pk> <ak> Geography_Key = ShipTo_Address_Key Geography_Key = BillTo_Address_Key DateKey = OrderDate_Key DateKey = DueDate_Key DateKey = ShipDate_Key Customer_Key CustomerID Geography_Key NameStyle Title FirstName MiddleName LastName Suffix CompanyName SalesPerson EmailAddress Phone PasswordHash PasswordSalt AddressLine1 AddressLine2 meta_validfrom_date meta_validto_date meta_status_flag... SalesLT.Dim Customer int bit nvarchar(8) nvarchar(50) nvarchar(50) nvarchar(50) nvarchar(10) nvarchar(128) nvarchar(256) nvarchar(50) nvarchar(25) varchar(128) varchar(10) nvarchar(60) nvarchar(60) Customer_Key = Customer_Key SalesLT.Fact SalesOrder SalesOrder_Key SalesOrderID SalesOrderDetailID Product Key Customer_Key ShipTo_Address_Key BillTo_Address_Key OrderDate_Key DueDate_Key ShipDate_Key OrderQty UnitPrice UnitPriceDiscount LineTotal RevisionNumber Status OnlineOrderFlag SalesOrderNumber PurchaseOrderNumber AccountNumber ShipMethod CreditCardApprovalCode SubTotal TaxAmt Freight TotalDue Comment meta_lastmodification_date meta_status_flag... int int numeric(8) numeric(8) numeric(8) smal l i nt money money money bit nvarchar(25) nvarchar(25) nvarchar(15) nvarchar(50) varchar(15) money money money money nvarchar(max) <pk> <fk> <pk> <fk4> <fk1> <fk2> <fk3> <fk5> <fk6> <fk7> Product Key = Product Key SalesLT.Fact ProductModel Description ProductDescription Key Product Key Culture Description... Product Key = Product Key Product Key ProductID Name ProductNumber Color StandardCost ListPrice Size Weight ProductSubCategory_Key SellStartDate SellEndDate DiscontinuedDate ThumbNailPhoto ThumbnailPhotoFileName Product Model Name CatalogDescription meta_validfrom_date meta_validto_date meta_status_flag... ProductSubCategory_Key = ProductSubCategory_Key SalesLT.Dim ProductCategory ProductSubCategory_Key ProductSubCategoryID ProductSubCategory_Name ProductCategory_Name meta_validfrom_date meta_validto_date meta_status_flag... nchar(6) nvarchar(400) SalesLT.Dim Product int nvarchar(50) nvarchar(25) nvarchar(15) money money nvarchar(5) decimal(8, 2) varbinary(max) nvarchar(50) nvarchar(50) XML int nvarchar(50) nvarchar(50) <pk> <fk> <pk> <fk> <pk> <ak> 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 17
Adatminőség biztosítás egy lehetséges módja - Hibás adatok kezelése - Hogyan töltsük? - Mit ne töltsünk? - Speciális esetek pl: - Banki környezetben kötelező jelentések Stage Adatminőségi riportok DWH Javítások a DWH-ban (adattárház hibák) Adatminőségi riportok Adattisztító alkalmazás Javítások a forrásrendszerekben 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 18
Az adattárházak komponensei: jogosultság kezelés és adatbiztonság i) Jogosultsági szintek ii) Érzékeny adatok iii) Üzemeltetés fejlesztés környezetek 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 19
Az adattárházak komponensei: Klasszikus adattárház és Big Data 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 20
Az adattárházak komponensei: Klasszikus adattárház és Big Data 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 21
Az adattárház projektek főbb elemei Üzleti követelmény felmérés IT követelmény felmérés Jogosultság kezelés Tesztelés tervezés Meta-adat tervezés Adatmodellezés ETL tervezés Logikai mapping - BA Fizikai mapping - fejlesztés Adatbázis fizikai terv Üzemeltetés tervezés Tesztelés Adatpiac tervezés (adatmodellezés, riport tervezés, logikai, fizikai map, riport fejlesztés tesztelés) Szervezet kiépítés Oktatás 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 22
Agilitás az adattárház építésben Back-end: töltési megközelítés: vigyünk mindent, modellezzük ami kell Front-end : klasszikus agilis módszerek: SCRUM, prototípus - Megfelelő BI eszközök Klasszikus Bi eszközök vs önkiszolgáló BI - Sand-box az éles környezetben 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 23
Mitől sikeres egy adattárház projekt - Terjedelem : ne lőjünk nagyra de legyen hosszú távú víziónk rugalmasság, időtállóság a legfőbb tervezési szempont - Megfelelő szervezet / data governance - Az üzlet és az IT szoros együttműködése : nem kínai fal, üzleti célok vs IT költségek - Agilitás - Szponzor - Több beszállító vs. Egységes adattárház építési módszertan (monopólium vs verseny) - Ügyfél beszállítók partnersége (Saját szervezet vs beszállítók) - Kulcs ügyfél oldali pozíciók: - PM - Adatmodellező - Data steward - BI helpdesk - Üzemeltetés - Adatminőség biztosítása - Tesztelés tervezése időben 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 24
Köszönöm a figyelmet! 2016. 12. 31. MMK-Informatikai projekt ellenőr képzés 25