Meta vezérelt bank adattárház bevezetése és működtetése

Átírás

1 Meta vezérelt bank adattárház bevezetése és működtetése 2013 Adattárház Fórum Rekenei Zoltán, Adattárház Fejlesztés, Szervezés és Modellezés vezető Június 05.

2 Tartalom Meta alapú DWH bevezetése Mikor kezdtük, milyen célkitűzéssel Akadályok, kudarcok, sikerek Fejlesztési módszer Legfontosabb meta elemek Meta adatok használata Meta információk keresése Jogosultságkezelés Archiválási szabályok Feldolgozási folyamatok kezelése 2

3 A kezdetek 2006 Döntés Folyamatos alakításokkal, de nem kigondolt modell mentén fejlesztett adattárházból szeretnénk elmozdulni. Meddig foltozzuk, módosítgassuk az adattárházat? 3

4 A kezdetek 2006 Jövőkép Gyári modell lokalizálásával, klasszikus architektúrában kialakított adattárház szerkezet Adatpiac 1 Adatpiac 2 Adatpiac 3 Helyi módosításokkal bevezetett modell Nyers adat réteg 4

5 Akadályok Az elgondolás Gyorsan legenerálom a programot és már készen is vagyok... 5

6 Akadályok A fő probléma a fejlesztő eszköz volt Mentés után az objektumok szétestek, az asszociációk elvesztek 6

7 Akadályok Emberi érzelmek, a változás befogadása Kódolással kialakított programok. Új eszközök használatának megkezdése. Hibásan működő eszköztár. Fejlesztési nehézségek. Gyakorlat megszerzése. Határozott, gyors fejlesztés. 7

8 Akadályok Úttörőként indultunk a fejlesztésnek, hazai referencia hiányában Architektúra ismerete Új eszközök fejlesztői ismerete Túl nagy szkóp Lendület Ezekkel kellett kalkulálnunk a project indulásakor 8

9 Akadályok Úttörőként indultunk a fejlesztésnek, hazai referencia hiányában Architektúra ismerete Új eszközök fejlesztői ismerete Túl nagy szkóp Lendület 9

10 Akadályok Fejlesztői szabályzat Az egységes rendszer kialakítására fejlesztői szabályzatot vezettünk be a beszállítói és belső fejlesztések egységesítésére Megrendelt fejlesztéseknél a szerződés melléklete Az ellenőrzésre külön alkalmazást fejlesztettünk, amivel a fejlesztés szabályoknak való megfelelését ellenőrizheti a fejlesztő 10

11 Eredmények Modell és meta alapján felépített adattárház, jelenleg 5 adatpiac 11,5 Terra nettó adat DM DM DM DM DM Adatkör Táblák száma Jobok száma DM DDS DDS TRANS Egyéb TRANS Összesen >40 Input rendszer 11

12 Eredmények A meta alapú programok mindenki által érhetőek A rendszert úgy is értem, hogy nem vagyok programozó Felvétel után 2 héttel már szállítok az éles rendszerbe Üzemeltető Nem kell kibogarásznom a kódokat, mert a diagram érthető Fejlesztő Rendszerszervező 12

13 Eredmények A = Európa legnagyobb SAS meta adatokon alapuló adattárháza a CIB Bank Zrt-ben 13

14 Fejlesztési módszer Új keretrendszer, új fejlesztési módszerek. Némi filozófia váltás. Álljunk meg a megvalósítás előtt 5 percre gondolkodni Javuló minőség +10% amikor úgy éreztük, hogy vége a munkának +10% Ha lehet egyszerűsítsünk (1+2)* =2 1+1=2 14

15 Fejlesztési módszer Minden átláthatóan Kódgenerálás Flow futtatás Flow szervezés Minden meta alapon 15

16 Meta adatok A rendszerben mindenki meta adatokat gyárt és meta adatokat felhasználva dolgozik Üzleti logikák, betöltők Elemezési definíciók Modell definíciók Üzemeletési információk 16

17 Meta adatok Meta adatok kapcsolódása A rendszerben egy egyszerű person objektum kapcsolódásainak száma is igen magas Már látom a mátrixot 17

18 Meta adatok A legfontosabb meta adatok a teljesség igénye nélkül A meta objektum típusok száma >

19 Meta adatok Tábla név1 Fejlesztési szempontból legkiemeltebb meta elem a tábladefiníció 19

20 Meta adatok Tábla név1 Fejlesztési szempontból legkiemeltebb meta elem a tábladefiníció Tábla név1 Tábla név1 20

21 Meta adatok Tábla név1 Fejlesztési szempontból legkiemeltebb meta elem a tábladefiníció Tábla név1 Tábla név1 Tábla név1 Tábla név1 21

22 Meta adatok A modell kialakítása A modellezők powerdesigner eszközzel állítják össze az adatmodellt Adatbetöltés metabridge eszközzel 22

23 Használat archiválási szabályok Tábla név1 Az archiváló alkalmazás a modellező által definiált módon menti ki az adatokat az adatbázisból Modellező Üzemeltető Archiváló alkalmazás 23

24 Használat MAP táblakarbantartó >600 paraméterezési lehetőséget automatikusan oldjuk meg, a meta definíciók alapján Tábla név1 MANUALEDITREETPATH=az alkalmazás folder struktúráját határozza meg MANUALEDITTYPE=A tábla szerkesztési szabályait határozza meg TIMETRACKINGFIELDS, MANUALEDITFIELDS=A tábla szerkesztésénél használ mezők definíciói 24

25 Használat Deperszonalizálási szabályok A mezők deperson formula definíciója szabályozza a tesztadtok deperszonalizálását A tesztadat leválogató alkalmazás meta definíciók alapján deperszonalizált adatokkal szolgálja ki a teszt rendszereket Éles rendszer Teszt rendszer Tesztadat leválogató alkalmazás 25

26 Használat Meta adatok böngészése Ha már léteznek a meta adatok, akkor hogyan tudjuk elemezni, böngészni őket? Program kódokkal data Table_list(keep=TableName); length uri uri2 $256 TableName $60 ExtensionName $30 ExtensionValue $50; uri="";n=1;tablename=""; do while(metadata_getnobj("omsobj:physicaltable?@nam e? 'FEE_GROUP'",n,uri) >= 0); rc=metadata_getattr(uri,"name",tablename); n=n+1; output; end; run; Böngésző funkcióval 26

27 Használat Impact és reverse analízis Impact és reverse analízis Na nézzük mi van benne 27

28 Használat Impact és reverse analízis Impact és reverse analízis Na nézzük mi van benne 28

29 Használat Impact és reverse analízis Impact és reverse analízis Tábla név1 Na nézzük mi van benne 29

30 Használat Jogosultság kezelés Csoportok és felhasználók az Active Directory-ban vannak definiálva, melyet a meta szerverre szinkronizálunk naponta Az üzemeltetőknek nem kell a felhasználók jogaival foglalkozni 30

31 Használat Folyamatok üzemeltetése Az üzemeltető más eszközben, de ugyanúgy job objektumokként látja a feldolgozást Hiba esetén a rendszer automatikus és sms üzenettel támogat Fejlesztő a jobokat folyamatokba szervezi, és ütemezi 31

32 Kérdések? 32

33 Elérhetőségeim: 33