VvAaLlÓóSs IiıDdEeJjȷŰű OoDdSs goldengate alapokon a magyar telekomban

Hasonló dokumentumok
Valós idejű megoldások: Realtime ODS és Database In-Memory tapasztalatok

Oracle GoldenGate Studio Nagyon rövid bemutató. Quick Talk. Gollnhofer Gábor

BEVEZETÉS AZ ADATTÁRHÁZ AUTOMATIZÁLÁSBA

ADATTÁRHÁZ MENEDZSMENT ÉS METAADAT KEZELÉS

ETL keretrendszer tervezése és implementálása. Gollnhofer Gábor Meta4Consulting Europe Kft.

Amit mindig is tudni akartál a Real Application Testing-ről. Földi Tamás Starschema Kft.

Infor PM10 Üzleti intelligencia megoldás

Szolgáltatás Orientált Architektúra a MAVIR-nál

Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő február 20.

A hibrid DB cloud biztonsági eszköztára. Kóródi Ferenc Budapest,

ADATBÁZISOK, ADATTÁRHÁZAK

Oracle TTS migrációs technológia használata

Oracle SQL Developer Data Modeler és a DW adatmodellezés. Gollnhofer Gábor Meta Consulting Kft.

Jogosultság-monitorozó rendszer kialakítása

ADATBÁZIS-KEZELÉS - BEVEZETŐ - Tarcsi Ádám, ade@inf.elte.hu

Az információs rendszerek adatai

Az információs rendszerek adatai

Seacon Access and Role Management

Adattárház kialakítása a Szövetkezet Integrációban, UML eszközökkel. Németh Rajmund Vezető BI Szakértő március 28.

Van-e ingyen-ebéd? Avagy mire elég a nyílt forráskodú Pentaho? Fekszi Csaba Ügyvezető október 4.

Titkok. Oracle adatbázisok proaktív es reaktív védelmi eszközei. Mosolygó Ferenc, vezetı technológiai tanácsadó. <Insert Picture Here>

Teljes Életút Bázis Adatok

2011. November 8. Boscolo New York Palace Budapest. Extrém teljesítmény Oracle Exadata és Oracle Exalogic rendszerekkel

Sikerünk kulcsa: az információ De honnan lesz adatunk? Palaczk Péter

Rendszermodernizációs lehetőségek a HANA-val Poszeidon. Groma István PhD SDA DMS Zrt.

I. RÉSZ. Tartalom. Köszönetnyilvánítás...13 Bevezetés...15

Adatbányászat és Perszonalizáció architektúra

Data Vault 2.0 és az Oracle DW/BD referencia architektúra. Gollnhofer Gábor Meta Consulting Kft.

TAKARNET24 szolgáltatásai

Adattárház tiszta alapokon Oracle Day, Budapest, november 8.

Valós idejű adatszinkronizáció heterogén környezetben GoldenGate tapasztalatok

Mosolygó Ferenc értékesítési konzultáns

Oracle Audit Vault and Database Firewall. Gecseg Gyula Oracle DBA

Szemléletmód váltás a banki BI projekteken

DW/BI rendszerek kialakítása bevezetői szemszögből. Gollnhofer Gábor - Meta Consulting Kft.

MMK-Informatikai projekt ellenőr képzés 4

Bevezetés: az SQL-be

Újdonságok az AX2012-ben! Hauserné Kozák Veronika

Gara Péter, senior technikai tanácsadó. Identity Management rendszerek

Adatbázis rendszerek. dr. Siki Zoltán

Oracle adatbázis biztonság a gyakorlatban és 12c újdonságok

ADATBÁZISOK, ADATTÁRHÁZAK

Üzleti folyamatok rugalmasabb IT támogatása. Nick Gábor András szeptember 10.

Teljeskörű BI megoldás a gyakorlatban IBM eszközök használatával, Magyarországon

Döbrönte Zoltán. Data Vault alapú adattárház - Fél óra alatt. DMS Consulting Kft.

Az információ hatalom. adatok. információ

Oracle Enterprise Manager: Az első teljesértékű felhő üzemeltetési megoldás

IIR Internal Audit 2011 Hogyan segítheti az IT háttér a hatékony kockázatkezelést?

Servicedesk bevezetés tapasztalatai Nagy Gábor

Component Soft és tovább

Név- és tárgymutató A, Á

Követelmény alapú minőségbiztosítás az államigazgatásban

ALKALMAZÁS KERETRENDSZER

Hogyan növelje kritikus üzleti alkalmazásainak teljesítményét?

Üzleti intelligencia - eszközöktől a megoldásokig

Exadata hibrid oszlopos adattömörítés automatizálása; DB 12c partition merge

NAV online számla regisztráció SAP rendszerhez

Big Data adattárházas szemmel. Arató Bence ügyvezető, BI Consulting

Microsoft SQL Server telepítése

Data Governance avagy adatvagyon kezelés Rövid bevezető. Gollnhofer Gábor DMS Consulting

Data Governance avagy adatvagyon kezelés Rövid bevezető. Gollnhofer Gábor DMS Consulting

Vállalati információs rendszerek I, MIN5B6IN, 5 kredit, K. 4. A meghirdetés ideje (mintatanterv szerint vagy keresztfélében):

Tranzakciókezelés PL/SQL-ben

HATÉKONY ETL FOLYAMATOK WORKSHOP

Segítség, összementem!

Nagyvállalati adatintegráció és adatkezelés

Célkitűzések Az Oracle10 g felépítésének, használatának alapszíntű megismerése

Integrációs mellékhatások és gyógymódok a felhőben. Géczy Viktor Üzletfejlesztési igazgató

CMDB architektúra megjelenítése SAMU-val Rugalmas megoldás. ITSMF Bekk Nándor Magyar Telekom / IT szolgáltatás menedzsment központ

Újdonságok. Jancsich Ernő Ferenc

Oracle Active Data Guard

Adatbázis-kezelő rendszerek. dr. Siki Zoltán

Waberer s BI a BO-n túl. WABERER S INTERNATIONAL Nyrt. Szatmári Johanna, Tobak Tamás

Alternatív adatbázisok Gráfadatbázisok

Átfogó megoldás a számlafolyamatok felgyorsításához ELO DocXtractor. Laczkó Kristóf ELO Digital Office Kft. Bálint András Prognax Kft.

BIRDIE. Business Information Reporter and Datalyser. Előadó: Schneidler József

Exadata, a világ leggyorsabb adatbázisgépe

április 24. INFO Savaria április 24. INFO Savaria április 24. INFO Savaria

Az adatbázisrendszerek világa

Visual Studio 2012 és MSDN. Csomagok és licencelés

Az adatvagyon kezelés és a metaadatok. Gollnhofer Gábor DMS Consulting

Magyar Posta központi Oracle infrastruktúrája VMware alapokon

Hatékony adatbázis-kezelés

Oracle E-Business Suite auditok tapasztalatai. Gáspár Gyula Senior Manager Oracle License Management Services, Central Europe április 6.

SQL SERVER 2012 ÚJ TÁVLATOKAT NYIT AZ ADATBÁZIS PLATFORMOK TERÜLETÉN

Takács Gábor mérnök informatikus, okl. mérnöktanár

Szolgáltatásmérés mérni a lehetetlent

Az INSPIRE előírásai szerinti hazai téradatok szolgáltatásának, forgalmazásának megoldandó kérdései. GIS OPEN konferencia

K&H Központosított felhasználó adminisztráció gyakorlati megvalósítása

IRÁNYTŰ A SZABÁLYTENGERBEN

<Insert Picture Here> Közeli jövőkép az üzleti intelligenciáról

Oracle 12c Active Data Guard Sokkal több mint egy DR... Gecseg Gyula Oracle DBA

Vodafone ODI ETL eszközzel töltött adattárház Disaster Recovery megoldása. Rákosi Péter és Lányi Árpád

KKV Adattárház. Presented to: Adattárház Fórum 2014 Date: Június 5, Presented by: Csippán János IT Director

Szabálykezelés a gyakorlatban

GDi Esri Magyarország Felhasználói Konferencia Timár Gábor: Konkurens adatfeldolgozás ArcGIS rendszerben

Párhuzamos és Grid rendszerek

Self service reporting fogások, technikák és megoldások controllereknek, nem csak Excel alapon

IT Szolgáltatás Menedzsment az oktatási szektorban - 90 nap alatt költséghatékonyan

API tervezése mobil környezetbe. gyakorlat

Átírás:

VvAaLlÓóSs IiıDdEeJjȷŰű OoDdSs goldengate alapokon a magyar telekomban Pusztai Péter IT fejlesztési senior menedzser Magyar Telekom Medveczki György szenior IT architekt T-Systems Magyarország 2014. március 26.

AaMmIiıRrŐőLl SsZzÓó LlEeSsZz Siebel Replika ODS rendszer születésének körülményei a Magyar Telekomban Replikáció GoldenGate-tel Valós idejű adattörténet építés mikéntje és gyakorlati haszna Kihívások az implementáció során A rendszer felhasználási céljai, lehetőségei GoldenGate működése, tapasztalatok Technológiai jógyakorlatok 2

Aa SsZzÜüLlEeTtÉéSs KkĸÖöRrÜüLlMmÉéNnYyEeIiı MmIiıLlYyEeNn IiıGgÉéNnYyEeKkĸ HhÍíVvTtÁáKkĸ ÉéLlEeTtRrEe Aa SsIiıEeBbEeLl RrEePpLlIiıKkĸÁáTt 1 Adattárház táplálása Valós időben épülő adattörténet 2 3 Érzékeny adatok és Siebel audit logok kezelése Éles Siebel tehermentesítése Siebel audit logok biztonságos és elkülönített gyűjtése Meghatározott tulajdonságok alapján történő adatirányítás Érzékeny adatokhoz történő hozzáférés korlátozása Nagy számításigényű feladatok elvégzése Nagy adattömegű, batch adatszolgáltatások Aa SsZzÜüLlEeTtÉéSsTt KkĸÖöVvEeTtŐőEeNn ÚúJjȷAaBbBb IiıGgÉéNnYyEeKkĸ JjȷEeLlEeNnTtEeKkĸ MmEeGg: Több forrásból származó, integrált adatokra épített adatszolgáltatások Rugalmasan építhető riporting keretrendszer kialakítása 3

GgOoLlDdEeNnGgAaTtEe RrEePpLlIiıKkĸÁáCcIiıÓó RrEePpLlIiıKkĸÁáCcIiıÓóSs SsZzÁáLlAaKkĸ GoldenGate szálak NG Siebel SIBREP DML/DDL AUDREP DML/DDL, insert all HSTREP csak DML Siebel Replika AIA SOAREP DML/DDL 4

AaDdAaTtTtÖöRrTtÉéNnEeTt ÉéPpÍíTtÉéSs ÉéSs AaZz AaDdAaTtTtÖöRrTtÉéNnEeTt GgYyAaKkĸOoRrLlAaTtIiı HhAaSsZzNnAa Rugalmasan konfigurálható keretrendszer History record előállítása 3 lépésben Metaadatbázis használata (tábla / mező szintű konfiguráció, fázisok definiálása, triggerek felépítése) Adattörténet felhasználási lehetőségei: adattárház számára előkészített érvényességkezelt idősor nyomozás (hibák, incidensek, performancia) folyamattámogató üzleti funkciók riportolás 5

KkĸIiıHhÍíVvÁáSsOoKkĸ Forrás adatbázisok struktúrájának változása Megoldás DDL replikáció DDL replikáció monitorozása Adattörténet folytonosságának fenntartása Megoldás Adattörténet javító eszköz Programok fejlesztése, tesztelése Megoldás Adatmodell feltérképezése Tesztadatok előállítása a replika adatbázisban 6

AaRrCcHhIiıTtEeKkĸTtÚúRrAa ÁáTtTtEeKkĸIiıNnTtÉéSsEe FfOoRrRrÁáSs- ÉéSs CcÉéLlRrEeNnDdSsZzEeRrEeKkĸ, MmOoDdUuLlOoKkĸ Streng vertraulich, Vertraulich, Intern Autor / Thema der Präsentation 26.03.2014 7

FfEeLlHhAaSsZzNnÁáLlÁáSsIiı CcÉéLlOoKkĸ, FfUuNnKkĸCcIiıÓóKkĸ Számos felhasználási lehetőség: valósidejűség kihasználása: audit logok szolgáltatása a logelemző rendszernek akár perces gyakorisággal kérés válasz alapú interfész: dolgozói kedvezmény osztás visszairányú interfészek: a forrás rendszer egyben a replikában feldolgozott adatok fogadó rendszere Siebel terméktörzs adatok szolgáltatása teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás, ahol minden változás átadása szükséges operatív riportok: pl. vizsgálatra váró invalid címek 8

Aa VvAaLlÓóSs IiıDdEeJjȷŰű IiıNnFfOoRrMmÁáCcIiıÓó VvOoNnZzEeRrEeJjȷEe 9

MmIiı AaZz OoDdSs ÉéSs MmIiıÉéRrTt JjȷÓó? Az Operational Data Store fogalma (Inmon) Összeköti a nagyvállalat rendszereit, adatszolgáltatás buszként működhet Gyorsabban és alacsonyabb költségekkel épülhet, mint egy adattárház Valós idejű adatigények is kielégíthetők (online interface-ek, realtime riportok) Tehermentesíti a produktív rendszereket Az adattárház előszobája 10

EeGgYy RrEePpLlIiıKkĸÁáCcIiıÓóSs AaDdAaTtBbÁáZzIiıSs EeLlŐőNnYyEeIiı Siebel Replika A dobozos CRM rendszer lehetőségeit kiterjeszti egy valós idejű másolaton A replikált adatbázison közvetlenül lehet fejleszteni Átmeneti WA megoldások gyorsan fejleszthetők manuális munka helyett Ütemezett batch feldolgozások Kimball és a kések a vendéglő konyhájában vs. ügyfél igények Többlet jogosultság lehetőségek (db szintű hozzáférés, Database Vault) Licensz optimalizálás: pl. egy DB Vault alacsonyabb core számon 11

GgOoLlDdEeNnGgAaTtEe RrEePpLlIiıKkĸÁáCcIiıÓó BbEeMmUuTtAaTtÁáSsAa 12

GgOoLlDdEeNnGgAaTtEe KkĸÉéPpEeSsSsÉéGgEeKkĸ ETL képességek - defgen, filter, meta adatok (pl. commit timestamp), transzformációk Több utas replikáció Heterogén platformok: Oracle Database, MySQL, IBM DB2, Microsoft SQL Server, Teradata, Sybase, SQL/MX (Nonstop SQL) amit mi is használunk, stb. Logikai standby DB Oda-vissza irányú szinkronizáció GoldanGate 12c 13

TtEeCcHhNnOoLlÓóGgIiıAaIiı JjȷÓóGgYyAaKkĸOoRrLlAaTtOoKkĸ Historizációs eljárások (pl. SCD2), megőrizhető tranzakciós logok Valós idejű adattörténet építő megoldás minden változás megőrizhető! GoldenGate funkciók: metaadatok, replikációs metódusok Konfigurációs lehetőségek: SCD1, SCD2 Külön initial load támogatás historyhoz Adattörténet javító alkalmazás, ha hiányzó változást kell pótolnunk Hibrid terhelés, egyszerre van OLTP és OLAP -szerű DB használat 14

ÖöSsSsZzEeGgZzÉéSs ODS rendszer előnyei egy nagyvállalati infrastruktúrában Operatív rendszer terhelésének csökkentése Az operatív rendszerbe új funkció fejlesztése kockázatos, időigényes költséges Adatelérés lehetősége szélesebb felhasználói körnek ODS adattörténetre van szükség Valós idejű kiaknázás, adatigények 15

?

KkĸÖöSsZzÖöNnJjȷÜüKkĸ a figyelmet!

GgOoLlDdEeNnGgAaTtEe TtEeLlJjȷEeSsÍíTtMmÉéNnYy HhAaNnGgOoLlÁáSs 18