INFORMATIKAI PROJEKTELLENŐR 30 MB. Dr. Horváth Gábor KLASSZIKUS ADATTÁRHÁZAK MMK- Informatikai projektellenőr képzés

Átírás

1 INFORMATIKAI PROJEKTELLENŐR 30 MB Dr. Horváth Gábor KLASSZIKUS ADATTÁRHÁZAK MMK- Informatikai projektellenőr képzés

2 Tartalom Elemző Adatbázisok Az adattárházak komponensei Adatmodell Adatbázis-kezelő ETL Front-end : BI eszköz Operatív döntéstámogatás: kimenő interfészek Adatbányász eszköz Meta-adat kezelés és data governance Jogosultság-kezelés, adat biztonság Egy kis kitekintés: Klasszikus adattárházak és Big Data Architektúrák Az adattárház projekt főbb elemei Agilis módszerek alkalmazása az adattárház projektekben Az adattárház projektek sikerességének alapjai MMK-Informatikai projekt ellenőr képzés 2

3 Informatika Elemző adatbázisok OLTP vs Elemző adatbázisok A tranzakciós rendszerek működésének melléktermékei az adatok. Ez a vállalat az adatvagyona. Az tranzakciós adatok felhasználása : VIR, MI és egyéb elemzések Más funkció Más típusú adatbáziskezelés Más adatmodell Más hardver környezet MMK-Informatikai projekt ellenőr képzés 3

4 A vállalati adatvagyon részei Exabytes User Generated Content Social Network BIG DATA User Click Stream Mobile Web Sentiment Petabytes Web Logs Offer History Dynamic Pricing A/B Testing WEB External Demographics Business Data Feeds Terabytes Offer Details Segmentation CRM Affiliate Networks Search Marketing HD Video Speech to Text Gigabytes Purchase Detail ERP Customer Touches Behavioral Targeting Product/ Service Logs Purchase Record Payment Record Support Contacts Dynamic Funnels SMS/MMS INCREASING Data Variety and Complexity DECREASING Value Density in the Data MMK-Informatikai projekt ellenőr képzés 4

5 Az adattárházak komponensei MMK-Informatikai projekt ellenőr képzés 5

6 Informatika Adatpiac és adattárház: Adatarchitektúrák MMK-Informatikai projekt ellenőr képzés 6

7 Informatika Adatpiac és adattárház: Adatarchitektúrák MMK-Informatikai projekt ellenőr képzés 7

8 Informatika Adatpiac és adattárház : adatarchitektúrák tervezési szempontok Elemzési célok sokrétűsége Az elemzési adatbázis szerepe a vállalati architektúrában A felhasználók széleskörűsége, típusai, száma Az elemzendő adatok (forrásrendszerek ) száma Adatbázis méret, history..stb MMK-Informatikai projekt ellenőr képzés 8

9 Az adattárházak komponensei: adatmodell Relációs vs. dimenzionális Kész adatmodellek vs. custom developed Az adatmodell karbantartása házon belülre vs. szállítónál Adatmodellező team : rend vs. szűk keresztmetszet CASE eszköz használata metaadat kezelés MMK-Informatikai projekt ellenőr képzés 9

10 Az adattárházak komponensei: adatbázis kezelés Egyszeri bulk insert No update Select Időkezelés Particionálás Párhuzamos felhasználás Real-time igény Index kezelés Index vs full table scan Jogosultság kezelés Tuningolás, adminisztráció Shared everything vs shared nothing vs in memory Appliance megközelítés MMK-Informatikai projekt ellenőr képzés 10

11 Az adattárházak komponensei: ETL ETL eszközök vs kézzel írt kódok - ODI - Informatica - IBM DataStage - SAS - Talend stb - Custom developed Tervezési szempontok meta-adat kezelés CASE eszközök használata: Enterprise Architect, Powerdesigner Ütemező modul ETL eszköz kiválasztás szempontjai: - funkcionalitás - ár - szakemberek elérhetősége MMK-Informatikai projekt ellenőr képzés 11

12 Az adattárházak komponensei: Operatív döntéstámogatás kimenő interfészek i) Bejövő interfészek : file, db-link, connectors, SOA megközelítés szerepe. Szabványok kialakítása ii) Kimenő interfészek : illeszkedés a SOA architektúrába Adattárház funkciók vs. Core rendszer funkciók: A DWH túlnő az eredeti terjedelmén Rugalmasabban lehet fejleszteni mint a Core rendszereket Integrált adatok szükségesek Historikus adatok szükségeke Integrált és historikus adatok szükségesek Vállalati szintű adat architektúra Rövid távú határidők vs. rend MMK-Informatikai projekt ellenőr képzés 12

13 Az adattárházak komponensei: BI - eszköz MMK-Informatikai projekt ellenőr képzés 13

14 Az adattárházak komponensei: adatbányászat MMK-Informatikai projekt ellenőr képzés 14

15 Az adattárházak komponensei: metaadat kezelés, adatminőség, data governance i) Átláthatóság üzleti meta-adatok ii) Értékkészletek és hierarchiák karbantartása iii) Auditálhatóság technikai meta-adatok iv) Adatminőség automatikus ellenőrzések / hibák javítása v) Meta-adat kezelési architektúra -- rajz vi) Data governance az adattárházakat menedzselő szervezet és folyamatok szerepe MMK-Informatikai projekt ellenőr képzés 15

16 Target Adatmodell Forrás adatmodell Mapping szabályok Meta-adat repository Üzleti definíciók Ütemezési meta-adatok Adatminőségi szabályok Info portál Adatminőség ellenőrzés ETL eszköz Ütemező eszköz ETL program MMK-Informatikai projekt ellenőr képzés 16

17 SalesLT.Dim_Geography Geography_Key City StateProvince CountryRegion PostalCode meta_validfrom_date meta_validto_date meta_status_flag... nvarchar(30) nvarchar(50) nvarchar(50) nvarchar(15) SalesLT.Dim_Date DateKey FullDateAlternateKey DayNumberOfWeek EnglishDayNameOfWeek HungarianDayNameOfWeek DayNumberOfMonth DayNumberOfYear WeekNumberOfYear EnglishMonthName HungarianMonthName MonthNumberOfYear CalendarQuarter CalendarYear CalendarSemester FiscalQuarter FiscalYear FiscalSemester meta_validfrom_date meta_validto_date meta_status_flag... Geography_Key = Geography_Key numeric(8) date nvarchar(10) nvarchar(10) smal l i nt nvarchar(10) nvarchar(10) smal l i nt smal l i nt <pk> <pk> <ak> Geography_Key = ShipTo_Address_Key Geography_Key = BillTo_Address_Key DateKey = OrderDate_Key DateKey = DueDate_Key DateKey = ShipDate_Key Customer_Key CustomerID Geography_Key NameStyle Title FirstName MiddleName LastName Suffix CompanyName SalesPerson Address Phone PasswordHash PasswordSalt AddressLine1 AddressLine2 meta_validfrom_date meta_validto_date meta_status_flag... SalesLT.Dim Customer int bit nvarchar(8) nvarchar(50) nvarchar(50) nvarchar(50) nvarchar(10) nvarchar(128) nvarchar(256) nvarchar(50) nvarchar(25) varchar(128) varchar(10) nvarchar(60) nvarchar(60) Customer_Key = Customer_Key SalesLT.Fact SalesOrder SalesOrder_Key SalesOrderID SalesOrderDetailID Product Key Customer_Key ShipTo_Address_Key BillTo_Address_Key OrderDate_Key DueDate_Key ShipDate_Key OrderQty UnitPrice UnitPriceDiscount LineTotal RevisionNumber Status OnlineOrderFlag SalesOrderNumber PurchaseOrderNumber AccountNumber ShipMethod CreditCardApprovalCode SubTotal TaxAmt Freight TotalDue Comment meta_lastmodification_date meta_status_flag... int int numeric(8) numeric(8) numeric(8) smal l i nt money money money bit nvarchar(25) nvarchar(25) nvarchar(15) nvarchar(50) varchar(15) money money money money nvarchar(max) <pk> <fk> <pk> <fk4> <fk1> <fk2> <fk3> <fk5> <fk6> <fk7> Product Key = Product Key SalesLT.Fact ProductModel Description ProductDescription Key Product Key Culture Description... Product Key = Product Key Product Key ProductID Name ProductNumber Color StandardCost ListPrice Size Weight ProductSubCategory_Key SellStartDate SellEndDate DiscontinuedDate ThumbNailPhoto ThumbnailPhotoFileName Product Model Name CatalogDescription meta_validfrom_date meta_validto_date meta_status_flag... ProductSubCategory_Key = ProductSubCategory_Key SalesLT.Dim ProductCategory ProductSubCategory_Key ProductSubCategoryID ProductSubCategory_Name ProductCategory_Name meta_validfrom_date meta_validto_date meta_status_flag... nchar(6) nvarchar(400) SalesLT.Dim Product int nvarchar(50) nvarchar(25) nvarchar(15) money money nvarchar(5) decimal(8, 2) varbinary(max) nvarchar(50) nvarchar(50) XML int nvarchar(50) nvarchar(50) <pk> <fk> <pk> <fk> <pk> <ak> MMK-Informatikai projekt ellenőr képzés 17

18 Adatminőség biztosítás egy lehetséges módja - Hibás adatok kezelése - Hogyan töltsük? - Mit ne töltsünk? - Speciális esetek pl: - Banki környezetben kötelező jelentések Stage Adatminőségi riportok DWH Javítások a DWH-ban (adattárház hibák) Adatminőségi riportok Adattisztító alkalmazás Javítások a forrásrendszerekben MMK-Informatikai projekt ellenőr képzés 18

19 Az adattárházak komponensei: jogosultság kezelés és adatbiztonság i) Jogosultsági szintek ii) Érzékeny adatok iii) Üzemeltetés fejlesztés környezetek MMK-Informatikai projekt ellenőr képzés 19

20 Az adattárházak komponensei: Klasszikus adattárház és Big Data MMK-Informatikai projekt ellenőr képzés 20

21 Az adattárházak komponensei: Klasszikus adattárház és Big Data MMK-Informatikai projekt ellenőr képzés 21

22 Az adattárház projektek főbb elemei Üzleti követelmény felmérés IT követelmény felmérés Jogosultság kezelés Tesztelés tervezés Meta-adat tervezés Adatmodellezés ETL tervezés Logikai mapping - BA Fizikai mapping - fejlesztés Adatbázis fizikai terv Üzemeltetés tervezés Tesztelés Adatpiac tervezés (adatmodellezés, riport tervezés, logikai, fizikai map, riport fejlesztés tesztelés) Szervezet kiépítés Oktatás MMK-Informatikai projekt ellenőr képzés 22

23 Agilitás az adattárház építésben Back-end: töltési megközelítés: vigyünk mindent, modellezzük ami kell Front-end : klasszikus agilis módszerek: SCRUM, prototípus - Megfelelő BI eszközök Klasszikus Bi eszközök vs önkiszolgáló BI - Sand-box az éles környezetben MMK-Informatikai projekt ellenőr képzés 23

24 Mitől sikeres egy adattárház projekt - Terjedelem : ne lőjünk nagyra de legyen hosszú távú víziónk rugalmasság, időtállóság a legfőbb tervezési szempont - Megfelelő szervezet / data governance - Az üzlet és az IT szoros együttműködése : nem kínai fal, üzleti célok vs IT költségek - Agilitás - Szponzor - Több beszállító vs. Egységes adattárház építési módszertan (monopólium vs verseny) - Ügyfél beszállítók partnersége (Saját szervezet vs beszállítók) - Kulcs ügyfél oldali pozíciók: - PM - Adatmodellező - Data steward - BI helpdesk - Üzemeltetés - Adatminőség biztosítása - Tesztelés tervezése időben MMK-Informatikai projekt ellenőr képzés 24

25 Köszönöm a figyelmet! MMK-Informatikai projekt ellenőr képzés 25