Pénzügyi adattárház építése az Aegon Biztosító Zrt-nél. ELNÖK-IGAZGATÓ SEBESTYÉN ZSOLT

Átírás

1 Pénzügyi adattárház építése az Aegon Biztosító Zrt-nél ELNÖK-IGAZGATÓ SEBESTYÉN ZSOLT

2 Mivel foglakozunk? Üzleti folyamat Egyedi ügyviteli rendszerek fejlesztése Core biztosítói rendszer fejlesztése Workflow Adat tárolás Adattárház építése Data Vault modellezés ETL Üzleti előny BI kiaknázás Prediktív analízis, pénzügyi tervezés

3 Bemutatkozás számokban ZRT. alakulás éve IBM Cognos Év üzleti partnere 2012 IBM Cognos Év üzleti partnere 2014 IBM Cognos Év üzleti partnere IBM Cognos BI 10 fő (alkalmazott)(minősítés 28 db) DWH szakértő 13 fő (alkalmazott) Szoftverfejlesztés 18 fő (alkalmazott)

4 Referenciák

5 Az Aegon termék portfolió Balesetbiztosítás Utasbiztosítás Életbiztosítás Befektetési Kockázati Vállalati vagyon biztosítás Gépjármű biztosítások Csoportos életbiztosítás Nem biztosítási termékek LTP Önkéntes nyugdíj Viszontbiztosítás Lakásbiztosítás

6 Kiválasztási folyamat Több mint fél éves előkészítés Kiírás, több mint 30 első körös meghívott 6-os shortlist Prezentációk, bemutatók, árak

7 Megrendelői siker kritériumok MNB jelentések Adattárház alapú főkönyvi feladás Kontrolling elemzések Aktuáriusi számítások támogatása Önkiszolgáló BI Mindezt egységesített analitikával, több mint 10forrás rendszerből

8 Másodlagos célok Gyorsabb zárási folyamat Gyorsított tartalék számítások Egyszerűen auditálható, transzparens folyamatok Integrált Data Governance, Data Quality Managements Önkiszolgáló riporting, dashboarding Adatbányászati támogatás Data Science Experience Aktuáriusi számítások támogatása Beépített R támogatás

9 Mivel nyert a BPC Zrt.? Biztosítási szakma ismerete Reporting szaktudás Adattárház szaktudás MNB jelentések készítése, követése Több mint 15 éves biztosítástechnika rendszer fejlesztésében szerzett tapasztalat

10 One more thing És még egy dolog A nyertes ajánlatunk nem tartalmazott hardver és adattárház adatbázis szoftver licenceket Kiderült, hogy a szükséges licenc igen drága Ekkor ajánlottuk az IBM appliance lehetőségét Megcsináltunk egy proof of concept feladatot IBNR tartalék számítás volt, amely az eredeti környezetben 6 órán keresztül futott Az IBM appliance környezetben a kérdéses számítás 1 perc! Az IBM appliance hardverrel együtt olcsóbb volt mint a konkurrens szoftver termék.

11 HW SW környezet Reporting IBM Cognos Analytics Data Governance IBM InfoSphere Information Governance Catalog ETL IBM InfoSphere Data Stage Adattárház IBM Integrated Analytic System

13 Hagyományos adattárház komplexitás

14 Appliance egyszerűsített adattárház

15 1 Erőmű az adattárházhoz 2X - 5X Powered by RedHat on Power X86-os géphez képest 4x több szál magonként, 4x nagyobb memória sávszélesség, 4x több cache memória IBM Flash Storage Az alapértelmezett Flash tároló a hardveres gyorsító architektúrával közelít az in memory sebességhez POWER Tiered Storage Technology Több hőmérsékletű tárolás, a forró adatok az extrém gyors Flash, míg a hidegebb adatok a gazdaságos merevlemez alapú tárolóba kerülnek Designed For Massively Parallel Performance Memory Optimized In memory BLU columnar technology Data Skipping Skips unnecessary processing of irrelevant data Actionable Compression Patented technique that preserves order so data can be used without decompressin PL/SQL compatibiltity

16 IBM Integrated Analytics System configurations IBM Power 8 S822L 24 core server 3.02GHz TMS 900 Flash systems In-place Expansion Tiered storage Mellanox 10G Ethernet switches Brocade SAN switches M /3 Rack M /3 Rack M Full Rack M Racks M Racks Servers Cores Memory 1.5 TB 2.5 TB 3.5 TB 7 TB 14 TB 1 16 User capacity (Assumes 4x compression) 64 TB 128 TB 192 TB Business Process Consulting_Pénzügyi adattárház_vezetői összefoglaló_

17 A Db2Wh BLU gyorsító Az IBM Research & Development páratlan innovácója Next Generation In-Memory In memory Oszlop folytonos feldolgozás és dinamikus adatmozgatás a tároló rétegről C1 C2 C3 C4 C5 C6 C7 C8 Analyze Compressed Data A szabadalmazott tömörítési technika megtartja a sorrendet, az adat a kitömörítés nélkül is használható Encoded CPU Acceleration Több magos feldolgozás, egyutasítással több adat SIMD (Single Instruction Multiple Data) Data Skipping Az irreleváns adatok átlépésével kihagyjuk a szükségtelen műveleteket Instructions Data Results

18 1 MACHINE LEARNING READY Beépített Spark és DSX az interaktív és csoportos Data Science képességekhez Built-in Jupyter Notebooks for visualizing and coding on data science tasks using Python, R, & Scala. Built-in RStudio with Spark embed parallelizes & accelerates data science tasks using Sparklyr and dplyr libraries. Full Integration with Tools for Model Building and Scoring IBM SPSS, SAS, Open Source R, Fuzzy Logix Data mining, prediction, transformations, statistics, spatial, data preparation for predictive and prescriptive in-place analytics Full Integration with Tools for BI & Visualization IBM Cognos, Tableau, Microstrategy, Business Objects, SAS, MS Excel, SSRS, Kognitio, Qlikview Full Integration for Custom Analytics Open Source R, Java, C, C++, Python, LUA For additional value Self Service Data for new Discoveries Full Integration with InfoSphere Governance Catalog

20 InfoSphere DataStage A beépített funkciók lehetővé teszik, hogy kódolás nélkül vizuálisan tervezzük meg az adatfolyamokat Támogatja a batch és a valós idejű feldolgozásokat Újra felhasználható komponenseket készíthetünk, amelyek más jobokban ismét felhasználhatunk Teljes körű, metaadat-vezérelt ETL funkcionalitás Teljes körű csapatmunka támogatás Támogatja és integrálja a különböző adatforrásokat Integrate, transform and deliver data on demand across multiple sources and targets including databases and enterprise applications Load Join Lookup Transform Load Dataset

21 Transzformációs stagek Több mint 50 előre beépített transzformációs és adatfeldolgozó stage-gel rendelkezik, elősegítve a gyors munkavégzést Számos beépített függvénnyel rendelkezik a bonyolultabb transzformációs logika egyszerű elkészítéséhez Az egyszerűen használható stagek gyors testreszabást tesznek lehetővé C++ és JAVA segítségével bővíthető a funkcionalitás

22 DataStage szekvenciák Dinamikus munkafolyamatok is definiálhatóak Külső folyamatokat indíthatunk és komplex kiértékeléseket is végezhetünk Haladó funkciók, mint például a ciklusok készítése is támogatott

23 Párhuzamosítás Folyamat szintű párhuzamosítás Partíció szintű párhuzamosítás A fejlesztő által készített job A végrehajtás során pedig a több példányban futó job

24 InfoSphere QualityStage Adatminőség ellenőrző folyamat a tiszta, szabványosított és egyedi információkhoz Vizuális eszközök segítenek az egyes szabályok és a hozzájuk tartozó logika kialakításához Intuitív felhasználói felület a gyorsabb fejlesztésért és karbantartásért Zökkenőmentes integráció az DataStage programmal Rules Development Toolkit Summary Reporting on Data Standardization Visual Match Rule Design

26 Information Server Az InfoSphere portfólió egyedülálló szinergikus értékkel rendelkezik, melynek köszönhetően vállalkozás hatékonyabbá és gyorsabbá válik. Költségei és kockázatai csökkennek, így javítva üzleti eredményességét. Segíti a gyorsabb értékteremtést: A komponensek mély integrációja Hozzáférés a központi tudástárhoz IT és az üzlet együttműködését segítő eszközök A gyors élesítést segítő funkciók

27 Information server A teljes adatintegrációs folyamat támogatása Import Industry Data Models Exchange Data Structures Services Oriented Architecture InfoSphere Data Architect Populate Link Information Services Director Deploy Common Enterprise Vocabulary Search and Profile Source Data Map Sources to Target Model Transform and Cleanse Information Governance Catalog Share Information Analyzer FastTrack DataStage and QualityStage Share Share Share 27 Metadata Server Active Cross-Platform Administration, Management and Reporting Business Process Consulting_Pénzügyi adattárház_vezetői összefoglaló_

28 Information Governance Catalog Elősegíti az üzlet és informatika hatékonyabb kommunikációját egy közös üzleti szótár létrehozásával Rálátást biztosít az üzleti összefüggésekre Nagyobb bizalom és elfogadottság az információk kontextusba helyezése révén Összekapcsolja az üzleti fogalmakat a technikai eszközökkel Adatszótárhoz való hozzáférhetőség számos eszköz segítségével Information Governance Catalog Browser InfoSphere Glossary Anywhere REST API (bármely alkalmazásba történő integráció) Blueprints Glossary Anywhere Smart Hover Taxonomy Business Terms

29 Information Governance Catalog Segít a változáskezelési kockázat felmérésében és enyhítésében Támogatja a vállalati információk hatékony kezelését az adatok, adatmodellek és a BI tartalom változásainak nyomon követhetősége révén Vizsgálhatóak az Information Server és a nem IBM eszközök közötti függőségek Testreszabott lekérdezések készíthetőek Policies and Rules Queries Lineage 29 Business Process Consulting_Pénzügyi adattárház_vezetői összefoglaló_

30 Az Information Governance Catalog segítségével... Függőségeket és kapcsolatokat vizsgálhatunk: Nyomon követhető az információ áramlása az adatbázisoktól az ETL folyamatokon keresztül a BI riportokig Megérthetjük az adatbázis táblák és oszlopok tartalmát A lineage (származás) segítségével meghatározható, hogy az adatok honnan származnak, vagy hova tartanak. Az impact (behatás) analízis segít megérthatjük a függőségeket, valamint a töltési folyamatok, vagy oszlopok változtatásának hatásait A futáskori meta adatok vizsgálatával megtudjuk, hogy egy folyamat futtatása hány sort érintett és sikeres volt-e

32 Történelem

33 Kvíz I. Cognos

34 Kvíz II. Cognos

35 Kvíz III. Cognos

36 Köszönöm a figyelmet! SEBESTYÉN ZSOLT ELNÖK - IGAZGATÓ sebestyen.zsolt@bpc.hu 36