Segítség, összementem!

Átírás

1 Segítség, összementem! Előadók: Kránicz László Irimi János Budapest, április 10. ITFI - Adatintegrációs Kompetencia Központ

2 ITFI - Adatintegrációs Kompetencia Központ Tartalomjegyzék 2 Az Adattárház story a bankban Tárház nézetek Adattárház komplexum számokban A diagnózis Pár gondolat a költözésről Az architektúra váltás tapasztalatai és eredményeinek értékelése Hogyan tovább dilemmák?

3 ITFI - Adatintegrációs Kompetencia Központ Adattárház Story a bankban A történet üzleti nézetben december Az Oracle készítheti az OTP Bank Tranzakciós Adattárházát egy meghívásos tender győzteseként április A Tárház fejlesztéseit megvalósító projekt ténylegesen elindul december Elindul a Tárház az operatív adatpiacával együtt,az öt legnagyobb forrásrendszerrel, klasszikus adattárházi funkciókkal, adatbányaszati megoldásokkal, tavasza A több éves adatvagyon növekedés, az üzleti funkciók gyarapodásnak eredményeképpen, a Tárház folyamatos 100% körüli leterhelése egyre nagyobb mértékben érezhető korlátot szab az üzleti igények megfelelő válaszidőkkel történő teljesülését illetően október 2007 február Az Adattárház architektúrájának platform váltása, az adatbázis kezelő upgrade-jével februártól a költözésig (2012. október) Adatvagyon növelése új külső forrásokkal Forrásrendszerek populáció növekedése Historikus adatok keletkezése Új adatpiacok kialakítása, meglévő adatpiacok idősorainak bővítése 2011 végén már jelentkeznek az architektúra túlhajtás tünetei

4 ITFI - Adatintegrációs Kompetencia Központ Adattárház Story a bankban Üzleti funkciója, felhasználási köre, jelentősége Adattárházi Adatgyűjtés, konszolidáció,integráció, adatszolgáltatás, Értékesítés támogatás 4 Célzott kampányok és értékesítés, termékfejlesztés támogatása Kockázatkezelés Hitel-és kockázat monitoring, BASEL számítások Ügyfél és CRM menedzsment Szegmentációra épülő kiemelt ügyfélkezelés, kiszolgálás Ösztönzés és érdekeltség A banki stratégiát támogató, minőségalapú ösztönzés CECIL = (Ce)ntral (C)ustomer (I)nformation (L)ine

5 ITFI - Adatintegrációs Kompetencia Központ Adattárház Story a bankban A történet technológia nézetben április A Tárház környezet 32 bites technológiával Windows alapokon Oracle8i adatbázis kezelővel december Elindul a Tárház az operatív adatpiacával együtt február Oracle9i-re upgrade október február Az Adattárház architektúrájának platform váltása, 64 bites Unix alapú architektúra Oracle 10gR2 adatbázis kezelőre februártól a költözésig (2012. október) adatbázisok verzióra történő frissítése több lépcsőben augusztusától kezdődött a migráció előkészítse Használt eszközpark : Warehouse Builder, Oracle BI Discoverer, Siebel, F, IAS, Weblogic, ADF, adatbányászat: Clementine, Oracle Data Mining 5

6 ITFI Adatintegrációs Kompetencia Központ Adattárház számai a költözés előtt 6 Az adatbázisai kb. nettó 47,7 Tbyte-t tesznek ki adatpiacok: 26, táblák: 3588, nézetek: 877 rendelkezésre álló jelentések száma: 9000 csillagsémák: 200, dimenziók: 400,adatpontok: 3000 havi riport lekérdezések utolsó 10 havi átlaga : Mit jelentenek ezek a számok: közel öt millió ügyfél, havi százmilliónyi tranzakcióját, pár tízmilliós szerződésállományát, és ezeknek gyakorlatilag minden részlete idősorosan, napi töltési technikával

7 ITFI - Adatintegrációs Kompetencia Központ Adattárház komplexum mérete tól napjainkig

8 ITFI - Adatintegrációs Kompetencia Központ A diagnózis 8 Az OTP Tranzakciós és Operatív Adattárháza beépült a banki kiszolgáló folyamatokba És öt évente kinövi a rendelkezésre álló hardware architektúrát Két évente majdnem megduplázza a nettó tárolt adat mennyiségét

9 ITFI - Adatintegrációs Kompetencia Központ Pár gondolat a költözésről Alapvetések Miért ide? 9 Adatbetöltés és lekérdezés többszörös gyorsítása a T4 processzorok, az Exadata tárolón működő speciális szoftver és InfiniBand architektúra következtében. Kiemelkedő skálázódás magonként 8 párhuzamos szál futtatásával, azaz SPARC T4-2 szerverenként 128 hardware thread (strand) támogatása Tároló terület igény harmadrészre csökkentése a hibrid oszlop alapú tömörítés (Exadata Hybrid Columnar Compression) alkalmazásával

10 Hová? Oracle Engineered Systems 10 Adatközpont Menedzsment Osztály

11 Honnan? Sun/Solaris & EMC/HDS Platform 11 Adatközpont Menedzsment Osztály

12 12 Migráció és Konszolidáció II. Migráció és Konszolidáció I. Adatközpont Menedzsment Osztály

13 Pár gondolat a költözésről Alapvetések és technikai megfontolások Alkalmazható a jelenlegi architektúra és annak tudásbázisa, további változások vagy új szaktudás nélkül. 100% bináris kompatibilitás a jelenlegi Solaris, SPARC gépekkel Az üzleti fontosság miatt nem lehet jelentősebb üzemszünetet tartani A költözés több lépcsőben, a legnagyobb adatbázis folyamatos tömörítése biztosítja a szükséges tárterületet Oracle Data Guard technológiával stand-by adatbázis kialakítása az új környezetekben Alkalmazás környezetek container másolása (klónozás) 13 ITFI - Adatintegrációs Kompetencia Központ

14 Az architektúra váltás tapasztalatai 14 az átállások után komolyabb üzemzavarok is voltak, 34 SR-t jelentettünk a support felé az SR-k egy része kritikus 7x24 eszkalációban került megoldásra Kötelező quartely patch telepítések Storage hely hiány probléma A tervezettnél jóval jelentősebb embernap felhasználással történt meg az átállás ITFI - Adatintegrációs Kompetencia Központ

15 Az architektúra váltás eredményei Tárhely Átlagos tömörítési arány a korábban alkalmazott BASIC tömörítéshez képest archive high 3,2 query low 2,2 Processzor használat/feldolgozások a CPU maximum és átlag terhelése még az ETL folyamatok és a nappali üzem torlódása esetén sem okoz jelentős terhelést A több szálas napi átlag futási idő 118 óráról 62,5 órára csökkent a migráció után ITFI - Adatintegrációs Kompetencia Központ 15

16 Hogyan tovább dilemmák? A Tárház jelenlegi felhasználásával kapcsolatos tapasztalatok Sosem futatott riportok Kiaknázatlan adatpiacok Nem használt adatpiaci idősorok Elfelejtett historikus adatok Mondjuk ki az összegzést! Releváns, üzletileg értékes-e még az összes adatom? vagy marad a növekedés és haladunk a BIG DATA felé? 16 ITFI - Adatintegrációs Kompetencia Központ

17 17 Köszönöm a figyelmet! Kérdések És Válaszok!