Mi a szerepe az informatikai projekt ellenőrnek?

Átírás

1 0

2 Mi a szerepe az informatikai projekt ellenőrnek? A projekt előrehaladásának támogatása Biztonság ellenőrzés A jogszabályi és szervezeti biztonsági előírások betartásának biztosítása a projektben Az információbiztonság megvalósulásának ellenőrzése a projektben Előrehaladás Minőségbiztosítás Projekt dokumentáció véleményezése Termék dokumentáció véleményezése Elkészült rendszer ellenőrzése 1

3 Mik az informatikai projektellenőr feladatai? Projekt Projekt előrehaladás támogatása Részvétel a projekt megbeszéléseken, felmerülő kérdések esetén tanácsadás Tanácsadás és támogatás a projekt döntéseiben Projektvezető(k) szakmai támogatása, a projektben felmerülő bármilyen informatikai jellegű kérdés megválaszolásában Az elkészült projektterv véleményezése Projektmegbeszélések jegyzőkönyveinek/emlékeztetőinek véleményezése Dokumentáció Követelményspecifikáció véleményezése, jogszabályi megfelelőség vizsgálata, eltérések jelzése, megoldási javaslatok megfogalmazása Logikai és fizikai rendszertervek véleményezése, szakmai kiegészítési javaslatok megtétele, előírt követelményektől való eltérések jelzése és korrekciós javaslatok megfogalmazása Tesztelési tervek véleményezése, az elkészített tesztelési tervek megfelelőek-e a rendszer átadás-átvételéhez, a követelményeknek teljesülésének igazolásához (funkcionális, integrációs, biztonsági és teljesítmény tesztelés) Dokumentumok véleményezése, az elkészített műszaki dokumentációk (felhasználói leírás, üzemeltetői leírás) véleményezése, annak vizsgálata, hogy megfelelő minőségű és terjedelmű-e az átvételhez (munkafolyamat orientált, részletezettsége megfelelő) 2

4 Mik az informatikai projektellenőr feladatai? Szakértői támogatás Iparági gyakorlat és szabványok szerinti megvalósulás vizsgálata: a tervezett és megvalósított rendszer összevetése a műszaki dokumentációban hivatkozott IT iparági gyakorlat szerinti megoldásokkal Gyártói előírások betartásának vizsgálata: a telepített eszközök megfelelő üzemeléshez előírt telepítési feltételek alkalmazásának vizsgálata, eltérések jelzése Az előírt számszerűsített követelmények teljesítésének ellenőrzése a műszaki dokumentációban előírt követelményeknek a tesztek során Műszaki szakértői feladatok ellátása a teszteknél és átvételi eljárásoknál, tervektől való eltérések dokumentálása A tesztforgatókönyv végrehajtásának ellenőrzése, az egyes lépések eredményének hitelesítése, hibák és eltérések esetén azok dokumentálása 3

5 Tartalom Elemző Adatbázisok Az adattárházak komponensei Adatmodell Adatbázis-kezelő ETL Front-end : BI eszköz Operatív döntéstámogatás: kimenő interfészek Adatbányász eszköz Meta-adat kezelés és data governance Jogosultság-kezelés, adat biztonság Egy kis kitekintés: Klasszikus adattárházak és Big Data Architektúrák Az adattárház projekt főbb elemei Agilis módszerek alkalmazása az adattárház projektekben Az adattárház projektek sikerességének alapjai MMK-Informatikai projekt ellenőr képzés 4

6 Informatika Elemző adatbázisok OLTP vs Elemző adatbázisok A tranzakciós rendszerek működésének melléktermékei az adatok. Ez a vállalat az adatvagyona. Az tranzakciós adatok felhasználása : VIR, MI és egyéb elemzések Más funkció Más típusú adatbáziskezelés Más adatmodell Más hardver környezet MMK-Informatikai projekt ellenőr képzés 5

7 A vállalati adatvagyon részei Exabytes User Generated Content Social Network BIG DATA User Click Stream Mobile Web Sentiment Petabytes Web Logs Offer History Dynamic Pricing A/B Testing WEB External Demographics Business Data Feeds Terabytes Offer Details Segmentation CRM Affiliate Networks Search Marketing HD Video Speech to Text Gigabytes Purchase Detail ERP Customer Touches Behavioral Targeting Product/ Service Logs Purchase Record Payment Record Support Contacts Dynamic Funnels SMS/MMS INCREASING Data Variety and Complexity DECREASING Value Density in the Data MMK-Informatikai projekt ellenőr képzés 6

8 Az adattárházak komponensei MMK-Informatikai projekt ellenőr képzés 7

9 Az adattárházak adatarchitektúrája Stage System of Records/ DW Aggregációk Adatpiacok Források MMK-Informatikai projekt ellenőr képzés 8

10 Az adattárházak adatarchitektúrája STAGE forrásrendszerrel megegyező tárolási struktúra forrásadatok többnyire napi táblapartíciókban adatfogadás vagy beszerzés forrásadatok változtatásmentes archiválása Teljes újratöltés lehetősége DW egységes üzleti adatmodell helyettesítő kulcs képzése forrás természetes kulcsainak tárolása történeti adattárolás elsődleges, egyedi és idegen kulcsok beállítása forrásrendszeri fix értékkészletek egységes tárolása forrásoldali fizikai törlés kezelése szótár-, törzs-, kapcsoló- és esemény típusú táblák technikai mezők: OBJ_TIPUS, FORRAS_AZON_1 5 DM helyettesítő kulcs megtartása különböző aggregáltsági szint több rétegen keresztül újrafuttathatóság a folyamatos bővítések miatt aggregátumok üzleti paraméterezés alapján helygazdálkodás kérdése, visszamenőleges adattárolás MMK-Informatikai projekt ellenőr képzés 9

11 Adatpiac és adattárház: Adatarchitektúrák Informatika MMK-Informatikai projekt ellenőr képzés 10

12 Adatpiac és adattárház: Adatarchitektúrák Informatika MMK-Informatikai projekt ellenőr képzés 11

13 Informatika Adatpiac és adattárház : adatarchitektúrák tervezési szempontok Elemzési célok sokrétűsége Az elemzési adatbázis szerepe a vállalati architektúrában A felhasználók széleskörűsége, típusai, száma Az elemzendő adatok (forrásrendszerek ) száma Adatbázis méret, history..stb MMK-Informatikai projekt ellenőr képzés 12

14 Az adattárházak komponensei: adatmodell Relációs vs. dimenzionális Kész adatmodellek vs. custom developed Az adatmodell karbantartása házon belülre vs. szállítónál Adatmodellező team : rend vs. szűk keresztmetszet CASE eszköz használata metaadat kezelés MMK-Informatikai projekt ellenőr képzés 13

15 Az adattárházak komponensei: adatbázis kezelés Egyszeri bulk insert No update Select Időkezelés Particionálás Párhuzamos felhasználás Real-time igény Index kezelés Index vs full table scan Jogosultság kezelés Tuningolás, adminisztráció Shared everything vs shared nothing vs in memory Appliance megközelítés MMK-Informatikai projekt ellenőr képzés 14

16 Az adattárházak komponensei: ETL ETL eszközök vs kézzel írt kódok - ODI - Informatica - IBM DataStage - SAS - Talend stb - Custom developed Tervezési szempontok meta-adat kezelés CASE eszközök használata: Enterprise Architect, Powerdesigner Ütemező modul ETL eszköz kiválasztás szempontjai: - funkcionalitás - ár - szakemberek elérhetősége MMK-Informatikai projekt ellenőr képzés 15

17 Az adattárházak komponensei: ETL - ETL folyamat minősége függ Épített adatmodell minőségétől Mappelés minőségétől Betöltési folyamatvezérlés és naplózás teljességétől MMK-Informatikai projekt ellenőr képzés 16

18 Az adattárházak komponensei: ETL Fejlesztő eszköz független formalizált tervezés Egységes meta adatok képzése Egységes adatmodellre és kulcsolási mechanizmusra épülő mappelés Futtatható kód generálás az adatbázisban ill. interface-en keresztül A generálási folyamat hátterét egy adatbázis objektumokból álló alkalmazás adja, ami a paraméterezésnek megfelelő mappingeket állít elő. History képzése : egyedi kulcs alapú history képzés standard mezők felhasználásával history kezelt mezők meghatározása automatikusan - dictionary alapján céltáblával azonos szerkezetű munkatáblák használata Fizikai mapping a logikai mapping alapján könnyen elkészíthető DW töltése egyszerűbb DM töltése aggregáltsági szinttől függően több lépésben valósítható meg Mapping logikák egymásba ágyazhatók Bonyolultabb forráslekérdezések nézetbe rendezhetők Generált kód kézi továbbfejlesztése kizárja a központi meta adattár további használatát Újraindítható kódok MMK-Informatikai projekt ellenőr képzés 17

19 Az adattárházak komponensei: ETL A tervezés előtt a fizikai modell ismeretén kívül szükséges a betöltés szabványainak és névkonvencióinak definiálása. Adatbázis objektumokból álló generálási folyamat háttér, háromszintű paraméterezés: -Alapadatok definiálása 1.Map neve, csoportja 2.Céltábla és tulajdonosa, alias 3.Töltés típusa: DELTA/FULL History képzés típusa 4.SQL paraméterezés/hintek -Forrástáblák és kapcsolatok definiálása 1.Forrás táblák, tulajdonosok, aliasok 2.Forrásként használt táblák kapcsolási feltételei: JOIN Halmazműveletek DISTINCT Analitikus függvények használata 3.Filterek megadása 4.SQL paraméterezés (hintek) 5.Automatikus forrás struktúra forgatások tipikusan DM töltéskor aktuális és history adatok együttes használata (ACT_HIST_FL = I ) -Mezőszintű mappelés 1.Forrás-cél mezőpárok 2.History képzés egyedi kulcs alapján 3.Helyettesítő kulcs képzése szekvenciából egységes rövidnevek alapján 4.Lookup kapcsolatok egyszerű paraméterezése forrás objektumok és idegen kulcsok alapján MMK-Informatikai projekt ellenőr képzés 18

20 Az adattárházak komponensei: Operatív döntéstámogatás kimenő interfészek i) Bejövő interfészek : file, db-link, connectors, SOA megközelítés szerepe. Szabványok kialakítása ii) Kimenő interfészek : illeszkedés a SOA architektúrába Adattárház funkciók vs. Core rendszer funkciók: A DWH túlnő az eredeti terjedelmén Rugalmasabban lehet fejleszteni mint a Core rendszereket Integrált adatok szükségesek Historikus adatok szükségeke Integrált és historikus adatok szükségesek Vállalati szintű adat architektúra Rövid távú határidők vs. rend MMK-Informatikai projekt ellenőr képzés 19

21 Az adattárházak komponensei: BI -eszköz MMK-Informatikai projekt ellenőr képzés 20

22 Az adattárházak komponensei: adatbányászat MMK-Informatikai projekt ellenőr képzés 21

23 Az adattárházak komponensei: meta-adat kezelés, adatminőség, data governance i) Átláthatóság üzleti meta-adatok ii) Értékkészletek és hierarchiák karbantartása iii) Auditálhatóság technikai meta-adatok iv) Adatminőség automatikus ellenőrzések / hibák javítása v) Meta-adat kezelési architektúra -- rajz vi) Data governance az adattárházakat menedzselő szervezet és folyamatok szerepe MMK-Informatikai projekt ellenőr képzés 22

24 Target Adatmodell Mapping szabályok Üzleti definíciók Ütemezési meta-adatok Forrás adatmodell Info portál Adatminőség ellenőrzés Meta-adat repository Adatminőségi szabályok Ütemező eszköz ETL eszköz ETL program MMK-Informatikai projekt ellenőr képzés 23

25 SalesLT.Dim_Geography Geography_Key City StateProvince CountryRegion PostalCode meta_validfrom_date meta_validto_date meta_status_flag... numeric(10) nvarchar(30) nvarchar(50) nvarchar(50) nvarchar(15) datetime datetime tinyint SalesLT.Dim_Date DateKey FullDateAlternateKey DayNumberOfWeek EnglishDayNameOfWeek HungarianDayNameOfWeek DayNumberOfMonth DayNumberOfYear WeekNumberOfYear EnglishMonthName HungarianMonthName MonthNumberOfYear CalendarQuarter CalendarYear CalendarSemester FiscalQuarter FiscalYear FiscalSemester meta_validfrom_date meta_validto_date meta_status_flag... Geography_Key = Geography_Key numeric(8) date tinyint nvarchar(10) nvarchar(10) tinyint smallint tinyint nvarchar(10) nvarchar(10) tinyint tinyint smallint tinyint tinyint smallint tinyint datetime datetime tinyint <pk> <pk> <ak> Geography_Key = ShipTo_Address_Key Geography_Key = BillTo_Address_Key DateKey = OrderDate_Key DateKey = DueDate_Key DateKey = ShipDate_Key Customer_Key CustomerID Geography_Key NameStyle Title FirstName MiddleName LastName Suffix CompanyName SalesPerson Address Phone PasswordHash PasswordSalt AddressLine1 AddressLine2 meta_validfrom_date meta_validto_date meta_status_flag... SalesLT.Dim Customer numeric(10) int numeric(10) bit nvarchar(8) nvarchar(50) nvarchar(50) nvarchar(50) nvarchar(10) nvarchar(128) nvarchar(256) nvarchar(50) nvarchar(25) varchar(128) varchar(10) nvarchar(60) nvarchar(60) datetime datetime tinyint Customer_Key = Customer_Key SalesLT.Fact SalesOrder SalesOrder_Key SalesOrderID SalesOrderDetailID Product Key Customer_Key ShipTo_Address_Key BillTo_Address_Key OrderDate_Key DueDate_Key ShipDate_Key OrderQty UnitPrice UnitPriceDiscount LineTotal RevisionNumber Status OnlineOrderFlag SalesOrderNumber PurchaseOrderNumber AccountNumber ShipMethod CreditCardApprovalCode SubTotal TaxAmt Freight TotalDue Comment meta_lastmodification_date meta_status_flag... numeric(10) int int numeric(10) numeric(10) numeric(10) numeric(10) numeric(8) numeric(8) numeric(8) smallint money money money tinyint tinyint bit nvarchar(25) nvarchar(25) nvarchar(15) nvarchar(50) varchar(15) money money money money nvarchar(max) datetime tinyint <pk> <fk> <pk> <fk4> <fk1> <fk2> <fk3> <fk5> <fk6> <fk7> Product Key = Product Key SalesLT.Fact ProductModel Description ProductDescription Key Product Key Culture Description... Product Key = Product Key Product Key ProductID Name ProductNumber Color StandardCost ListPrice Size Weight ProductSubCategory_Key SellStartDate SellEndDate DiscontinuedDate ThumbNailPhoto ThumbnailPhotoFileName Product Model Name CatalogDescription meta_validfrom_date meta_validto_date meta_status_flag... ProductSubCategory_Key = ProductSubCategory_Key SalesLT.Dim ProductCategory ProductSubCategory_Key ProductSubCategoryID ProductSubCategory_Name ProductCategory_Name meta_validfrom_date meta_validto_date meta_status_flag... numeric(10) numeric(10) nchar(6) nvarchar(400) SalesLT.Dim Product numeric(10) int nvarchar(50) nvarchar(25) nvarchar(15) money money nvarchar(5) decimal(8, 2) numeric(10) datetime datetime datetime varbinary(max) nvarchar(50) nvarchar(50) XML datetime datetime tinyint numeric(10) int nvarchar(50) nvarchar(50) datetime datetime tinyint <pk> <fk> <pk> <fk> <pk> <ak> MMK-Informatikai projekt ellenőr képzés 24

26 Stage Adatminőség biztosítás egy lehetséges módja - Hibás adatok kezelése - Hogyan töltsük? - Mit ne töltsünk? - Speciális esetek pl: - Banki környezetben kötelező jelentések Adatminőségi riportok DWH Javítások a DWH-ban (adattárház hibák) Adatminőségi riportok Adattisztító alkalmazás Javítások a forrásrendszerekben MMK-Informatikai projekt ellenőr képzés 25

27 Az adattárházak komponensei: jogosultság kezelés és adatbiztonság i) Jogosultsági szintek ii) Érzékeny adatok iii) Üzemeltetés fejlesztés környezetek MMK-Informatikai projekt ellenőr képzés 26

28 Az adattárházak komponensei: Klasszikus adattárház és Big Data MMK-Informatikai projekt ellenőr képzés 27

29 Az adattárházak komponensei: Klasszikus adattárház és Big Data MMK-Informatikai projekt ellenőr képzés 28

30 Az adattárház projektek főbb elemei Üzleti követelmény felmérés IT követelmény felmérés Jogosultság kezelés Tesztelés tervezés Meta-adat tervezés Adatmodellezés ETL tervezés Logikai mapping - BA Fizikai mapping - fejlesztés Adatbázis fizikai terv Üzemeltetés tervezés Tesztelés Adatpiac tervezés (adatmodellezés, riport tervezés, logikai, fizikai map, riport fejlesztés tesztelés) Szervezet kiépítés Oktatás MMK-Informatikai projekt ellenőr képzés 29

31 Tesztelés SAP BW KOFER Konszolidált készletek Konszolidáció (BCS) Konszolidált fedezet Outputok tesztje Konszolidált önköltség Feldolgozások tesztje Anyagmozgások Zárókészletek Konszolidált cikkszámok Pénzügyi adatok (pl. vám, bérmunka) Önköltségi beépülési adatok Szolgáltatások értékesítési költség korrekciója (WEU) DWH alapadatok tesztje Töltések tesztje COPA Anyavállalat Árbevétel COPA RGPH/MEDI/GRIT RGPL RGRO RGRU Árbevétel... További leányvállalatok Árbevétel Önköltség WEU-s adattárház Szolgáltatások értékesítési költség korrekciója Anyaggazdálkodás Gyártás Anyaggazdálkodás Gyártás 30

32 Tipikus adattárház projekt szervezet Projekt Irányító Bizottság Projekt Szponzor Kulcs Stakeholderek PM DW Architect / Technikai vezető Üzleti elemző Team Adatmodellező(k) ETL Team BI Team Üzemeltetés Team Üzleti elemzők/ Tesztelők ETL Fejlesztők/ Tesztelők BI Fejlesztők/ Tesztelők MMK-Informatikai projekt ellenőr képzés 31 DBA Release Manager ETL Üzemeltetés Rendszer Admin

33 Agilitás az adattárház építésben Back-end: töltési megközelítés: vigyünk mindent, modellezzük ami kell Front-end : klasszikus agilis módszerek: SCRUM, prototípus - Megfelelő BI eszközök Klasszikus Bi eszközök vs önkiszolgáló BI - Sand-box az éles környezetben MMK-Informatikai projekt ellenőr képzés 32

34 Mitől sikeres egy adattárház projekt - Terjedelem : ne lőjünk nagyra de legyen hosszú távú víziónk rugalmasság, időtállóság a legfőbb tervezési szempont - Megfelelő szervezet / data governance - Az üzlet és az IT szoros együttműködése : nem kínai fal, üzleti célok vs IT költségek - Agilitás - Szponzor - Több beszállító vs. Egységes adattárház építési módszertan (monopólium vs verseny) - Ügyfél beszállítók partnersége (Saját szervezet vs beszállítók) - Kulcs ügyfél oldali pozíciók: - PM - Adatmodellező - Data steward - BI helpdesk - Üzemeltetés - Adatminőség biztosítása - Tesztelés tervezése időben MMK-Informatikai projekt ellenőr képzés 33

35 Köszönöm a figyelmet! 34