VvAaLlÓóSs IiıDdEeJjȷŰű OoDdSs goldengate alapokon a magyar telekomban

Átírás

1 VvAaLlÓóSs IiıDdEeJjȷŰű OoDdSs goldengate alapokon a magyar telekomban Pusztai Péter IT fejlesztési senior menedzser Magyar Telekom Medveczki György szenior IT architekt T-Systems Magyarország március 26.

2 AaMmIiıRrŐőLl SsZzÓó LlEeSsZz Siebel Replika ODS rendszer születésének körülményei a Magyar Telekomban Replikáció GoldenGate-tel Valós idejű adattörténet építés mikéntje és gyakorlati haszna Kihívások az implementáció során A rendszer felhasználási céljai, lehetőségei GoldenGate működése, tapasztalatok Technológiai jógyakorlatok 2

3 Aa SsZzÜüLlEeTtÉéSs KkĸÖöRrÜüLlMmÉéNnYyEeIiı MmIiıLlYyEeNn IiıGgÉéNnYyEeKkĸ HhÍíVvTtÁáKkĸ ÉéLlEeTtRrEe Aa SsIiıEeBbEeLl RrEePpLlIiıKkĸÁáTt 1 Adattárház táplálása Valós időben épülő adattörténet 2 3 Érzékeny adatok és Siebel audit logok kezelése Éles Siebel tehermentesítése Siebel audit logok biztonságos és elkülönített gyűjtése Meghatározott tulajdonságok alapján történő adatirányítás Érzékeny adatokhoz történő hozzáférés korlátozása Nagy számításigényű feladatok elvégzése Nagy adattömegű, batch adatszolgáltatások Aa SsZzÜüLlEeTtÉéSsTt KkĸÖöVvEeTtŐőEeNn ÚúJjȷAaBbBb IiıGgÉéNnYyEeKkĸ JjȷEeLlEeNnTtEeKkĸ MmEeGg: Több forrásból származó, integrált adatokra épített adatszolgáltatások Rugalmasan építhető riporting keretrendszer kialakítása 3

4 GgOoLlDdEeNnGgAaTtEe RrEePpLlIiıKkĸÁáCcIiıÓó RrEePpLlIiıKkĸÁáCcIiıÓóSs SsZzÁáLlAaKkĸ GoldenGate szálak NG Siebel SIBREP DML/DDL AUDREP DML/DDL, insert all HSTREP csak DML Siebel Replika AIA SOAREP DML/DDL 4

5 AaDdAaTtTtÖöRrTtÉéNnEeTt ÉéPpÍíTtÉéSs ÉéSs AaZz AaDdAaTtTtÖöRrTtÉéNnEeTt GgYyAaKkĸOoRrLlAaTtIiı HhAaSsZzNnAa Rugalmasan konfigurálható keretrendszer History record előállítása 3 lépésben Metaadatbázis használata (tábla / mező szintű konfiguráció, fázisok definiálása, triggerek felépítése) Adattörténet felhasználási lehetőségei: adattárház számára előkészített érvényességkezelt idősor nyomozás (hibák, incidensek, performancia) folyamattámogató üzleti funkciók riportolás 5

6 KkĸIiıHhÍíVvÁáSsOoKkĸ Forrás adatbázisok struktúrájának változása Megoldás DDL replikáció DDL replikáció monitorozása Adattörténet folytonosságának fenntartása Megoldás Adattörténet javító eszköz Programok fejlesztése, tesztelése Megoldás Adatmodell feltérképezése Tesztadatok előállítása a replika adatbázisban 6

7 AaRrCcHhIiıTtEeKkĸTtÚúRrAa ÁáTtTtEeKkĸIiıNnTtÉéSsEe FfOoRrRrÁáSs- ÉéSs CcÉéLlRrEeNnDdSsZzEeRrEeKkĸ, MmOoDdUuLlOoKkĸ Streng vertraulich, Vertraulich, Intern Autor / Thema der Präsentation

8 FfEeLlHhAaSsZzNnÁáLlÁáSsIiı CcÉéLlOoKkĸ, FfUuNnKkĸCcIiıÓóKkĸ Számos felhasználási lehetőség: valósidejűség kihasználása: audit logok szolgáltatása a logelemző rendszernek akár perces gyakorisággal kérés válasz alapú interfész: dolgozói kedvezmény osztás visszairányú interfészek: a forrás rendszer egyben a replikában feldolgozott adatok fogadó rendszere Siebel terméktörzs adatok szolgáltatása teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás, ahol minden változás átadása szükséges operatív riportok: pl. vizsgálatra váró invalid címek 8

9 Aa VvAaLlÓóSs IiıDdEeJjȷŰű IiıNnFfOoRrMmÁáCcIiıÓó VvOoNnZzEeRrEeJjȷEe 9

10 MmIiı AaZz OoDdSs ÉéSs MmIiıÉéRrTt JjȷÓó? Az Operational Data Store fogalma (Inmon) Összeköti a nagyvállalat rendszereit, adatszolgáltatás buszként működhet Gyorsabban és alacsonyabb költségekkel épülhet, mint egy adattárház Valós idejű adatigények is kielégíthetők (online interface-ek, realtime riportok) Tehermentesíti a produktív rendszereket Az adattárház előszobája 10

11 EeGgYy RrEePpLlIiıKkĸÁáCcIiıÓóSs AaDdAaTtBbÁáZzIiıSs EeLlŐőNnYyEeIiı Siebel Replika A dobozos CRM rendszer lehetőségeit kiterjeszti egy valós idejű másolaton A replikált adatbázison közvetlenül lehet fejleszteni Átmeneti WA megoldások gyorsan fejleszthetők manuális munka helyett Ütemezett batch feldolgozások Kimball és a kések a vendéglő konyhájában vs. ügyfél igények Többlet jogosultság lehetőségek (db szintű hozzáférés, Database Vault) Licensz optimalizálás: pl. egy DB Vault alacsonyabb core számon 11

12 GgOoLlDdEeNnGgAaTtEe RrEePpLlIiıKkĸÁáCcIiıÓó BbEeMmUuTtAaTtÁáSsAa 12

13 GgOoLlDdEeNnGgAaTtEe KkĸÉéPpEeSsSsÉéGgEeKkĸ ETL képességek - defgen, filter, meta adatok (pl. commit timestamp), transzformációk Több utas replikáció Heterogén platformok: Oracle Database, MySQL, IBM DB2, Microsoft SQL Server, Teradata, Sybase, SQL/MX (Nonstop SQL) amit mi is használunk, stb. Logikai standby DB Oda-vissza irányú szinkronizáció GoldanGate 12c 13

14 TtEeCcHhNnOoLlÓóGgIiıAaIiı JjȷÓóGgYyAaKkĸOoRrLlAaTtOoKkĸ Historizációs eljárások (pl. SCD2), megőrizhető tranzakciós logok Valós idejű adattörténet építő megoldás minden változás megőrizhető! GoldenGate funkciók: metaadatok, replikációs metódusok Konfigurációs lehetőségek: SCD1, SCD2 Külön initial load támogatás historyhoz Adattörténet javító alkalmazás, ha hiányzó változást kell pótolnunk Hibrid terhelés, egyszerre van OLTP és OLAP -szerű DB használat 14

15 ÖöSsSsZzEeGgZzÉéSs ODS rendszer előnyei egy nagyvállalati infrastruktúrában Operatív rendszer terhelésének csökkentése Az operatív rendszerbe új funkció fejlesztése kockázatos, időigényes költséges Adatelérés lehetősége szélesebb felhasználói körnek ODS adattörténetre van szükség Valós idejű kiaknázás, adatigények 15

16 ?

17 KkĸÖöSsZzÖöNnJjȷÜüKkĸ a figyelmet!

18 GgOoLlDdEeNnGgAaTtEe TtEeLlJjȷEeSsÍíTtMmÉéNnYy HhAaNnGgOoLlÁáSs 18