Segítség, összementem! Előadók: Kránicz László Irimi János Budapest, 2013. április 10. ITFI - Adatintegrációs Kompetencia Központ
ITFI - Adatintegrációs Kompetencia Központ Tartalomjegyzék 2 Az Adattárház story a bankban Tárház nézetek Adattárház komplexum számokban A diagnózis Pár gondolat a költözésről Az architektúra váltás tapasztalatai és eredményeinek értékelése Hogyan tovább dilemmák?
ITFI - Adatintegrációs Kompetencia Központ Adattárház Story a bankban A történet üzleti nézetben 3 2001. december Az Oracle készítheti az OTP Bank Tranzakciós Adattárházát egy meghívásos tender győzteseként 2002. április A Tárház fejlesztéseit megvalósító projekt ténylegesen elindul 2002. december Elindul a Tárház az operatív adatpiacával együtt,az öt legnagyobb forrásrendszerrel, klasszikus adattárházi funkciókkal, adatbányaszati megoldásokkal, 2006. tavasza A több éves adatvagyon növekedés, az üzleti funkciók gyarapodásnak eredményeképpen, a Tárház folyamatos 100% körüli leterhelése egyre nagyobb mértékben érezhető korlátot szab az üzleti igények megfelelő válaszidőkkel történő teljesülését illetően. 2006. október 2007 február Az Adattárház architektúrájának platform váltása, az adatbázis kezelő upgrade-jével 2007. februártól a költözésig (2012. október) Adatvagyon növelése új külső forrásokkal Forrásrendszerek populáció növekedése Historikus adatok keletkezése Új adatpiacok kialakítása, meglévő adatpiacok idősorainak bővítése 2011 végén már jelentkeznek az architektúra túlhajtás tünetei
ITFI - Adatintegrációs Kompetencia Központ Adattárház Story a bankban Üzleti funkciója, felhasználási köre, jelentősége Adattárházi Adatgyűjtés, konszolidáció,integráció, adatszolgáltatás, Értékesítés támogatás 4 Célzott kampányok és értékesítés, termékfejlesztés támogatása Kockázatkezelés Hitel-és kockázat monitoring, BASEL számítások Ügyfél és CRM menedzsment Szegmentációra épülő kiemelt ügyfélkezelés, kiszolgálás Ösztönzés és érdekeltség A banki stratégiát támogató, minőségalapú ösztönzés CECIL = (Ce)ntral (C)ustomer (I)nformation (L)ine
ITFI - Adatintegrációs Kompetencia Központ Adattárház Story a bankban A történet technológia nézetben 2002. április A Tárház környezet 32 bites technológiával Windows alapokon Oracle8i adatbázis kezelővel 2002. december Elindul a Tárház az operatív adatpiacával együtt 2004. február Oracle9i-re upgrade 2006. október 2007. február Az Adattárház architektúrájának platform váltása, 64 bites Unix alapú architektúra Oracle 10gR2 adatbázis kezelőre 2007. februártól a költözésig (2012. október) adatbázisok 11.2.0.3 verzióra történő frissítése több lépcsőben 2012. augusztusától kezdődött a migráció előkészítse Használt eszközpark : Warehouse Builder, Oracle BI Discoverer, Siebel, F, IAS, Weblogic, ADF, adatbányászat: Clementine, Oracle Data Mining 5
ITFI Adatintegrációs Kompetencia Központ Adattárház számai a költözés előtt 6 Az adatbázisai kb. nettó 47,7 Tbyte-t tesznek ki adatpiacok: 26, táblák: 3588, nézetek: 877 rendelkezésre álló jelentések száma: 9000 csillagsémák: 200, dimenziók: 400,adatpontok: 3000 havi riport lekérdezések utolsó 10 havi átlaga : 232.920 Mit jelentenek ezek a számok: közel öt millió ügyfél, havi százmilliónyi tranzakcióját, pár tízmilliós szerződésállományát, és ezeknek gyakorlatilag minden részlete idősorosan, napi töltési technikával
ITFI - Adatintegrációs Kompetencia Központ Adattárház komplexum mérete 7 2002-tól napjainkig
ITFI - Adatintegrációs Kompetencia Központ A diagnózis 8 Az OTP Tranzakciós és Operatív Adattárháza beépült a banki kiszolgáló folyamatokba És öt évente kinövi a rendelkezésre álló hardware architektúrát Két évente majdnem megduplázza a nettó tárolt adat mennyiségét
ITFI - Adatintegrációs Kompetencia Központ Pár gondolat a költözésről Alapvetések Miért ide? 9 Adatbetöltés és lekérdezés többszörös gyorsítása a T4 processzorok, az Exadata tárolón működő speciális szoftver és InfiniBand architektúra következtében. Kiemelkedő skálázódás magonként 8 párhuzamos szál futtatásával, azaz SPARC T4-2 szerverenként 128 hardware thread (strand) támogatása Tároló terület igény harmadrészre csökkentése a hibrid oszlop alapú tömörítés (Exadata Hybrid Columnar Compression) alkalmazásával
Hová? Oracle Engineered Systems 10 Adatközpont Menedzsment Osztály
Honnan? Sun/Solaris & EMC/HDS Platform 11 Adatközpont Menedzsment Osztály
12 Migráció és Konszolidáció II. Migráció és Konszolidáció I. www.houg.hu/pls/apex/houg.download_my_file?p_file=4451530807197302 Adatközpont Menedzsment Osztály
Pár gondolat a költözésről Alapvetések és technikai megfontolások Alkalmazható a jelenlegi architektúra és annak tudásbázisa, további változások vagy új szaktudás nélkül. 100% bináris kompatibilitás a jelenlegi Solaris, SPARC gépekkel Az üzleti fontosság miatt nem lehet jelentősebb üzemszünetet tartani A költözés több lépcsőben, a legnagyobb adatbázis folyamatos tömörítése biztosítja a szükséges tárterületet Oracle Data Guard technológiával stand-by adatbázis kialakítása az új környezetekben Alkalmazás környezetek container másolása (klónozás) 13 ITFI - Adatintegrációs Kompetencia Központ
Az architektúra váltás tapasztalatai 14 az átállások után komolyabb üzemzavarok is voltak, 34 SR-t jelentettünk a support felé az SR-k egy része kritikus 7x24 eszkalációban került megoldásra Kötelező quartely patch telepítések Storage hely hiány probléma A tervezettnél jóval jelentősebb embernap felhasználással történt meg az átállás ITFI - Adatintegrációs Kompetencia Központ
Az architektúra váltás eredményei Tárhely Átlagos tömörítési arány a korábban alkalmazott BASIC tömörítéshez képest archive high 3,2 query low 2,2 Processzor használat/feldolgozások a CPU maximum és átlag terhelése még az ETL folyamatok és a nappali üzem torlódása esetén sem okoz jelentős terhelést A több szálas napi átlag futási idő 118 óráról 62,5 órára csökkent a migráció után ITFI - Adatintegrációs Kompetencia Központ 15
Hogyan tovább dilemmák? A Tárház jelenlegi felhasználásával kapcsolatos tapasztalatok Sosem futatott riportok Kiaknázatlan adatpiacok Nem használt adatpiaci idősorok Elfelejtett historikus adatok Mondjuk ki az összegzést! Releváns, üzletileg értékes-e még az összes adatom? vagy marad a növekedés és haladunk a BIG DATA felé? 16 ITFI - Adatintegrációs Kompetencia Központ
17 Köszönöm a figyelmet! Kérdések És Válaszok!