Élet a Warehouse Builder után, avagy mit hoz a Data Integrator? Szabó Gábor Csoportvezető, Vezető tanácsadó Üzleti Intelligencia. R&R Software Zrt.

Átírás

1 Élet a Warehouse Builder után, avagy mit hoz a Data Integrator? Oracle Day november 8. Szabó Gábor Csoportvezető, Vezető tanácsadó Üzleti Intelligencia R&R Software Zrt.

2 A téma aktualitása

3 Miért az R&R Software? ODI projekt: T-Com Hyperion Planning bevezetés Oracle University oktatások megtartása Magyarország Skócia Szlovákia USA R&R Software s trainer spoke clearly and confidently about the subject. He demonstrated a clear understanding about the tool and was able to explain the concepts well."

4 Tartalom Oracle adatintegrációs eszközök Oracle Data Integrator architektúra, működési elv Az ODI és a GoldenGate az Oracle BIEE Suite Plus a SOA a Hyperion az adatminőség Mikor válasszuk az ODI-t?

5 Adatintegáció Oracle módra Oracle Applications Custom Applications MDM Applications Business Intelligence Activity Monitoring SOA Platforms Process Manager Comprehensive Data Integration Solution SOA Abstraction Layer Service Bus Data Services Data Federation Oracle Data Integrator ELT/ETL Data Transformation Bulk Data Movement Data Lineage Oracle GoldenGate Real-time Data Log-based CDC Data Replication Data Verification Oracle Data Quality Data Profiling Data Parsing Data Cleansing Match and Merge Exadata Data Warehouse/ Data Mart OLTP System OLAP Cube Flat Files Web 2.0 Web and Event Services, SOA

6 Oracle Data Integrator Legacy rendszerek Alkalmazások Platformfüggetlen Nyílt rendszer, standardokra épül Bármilyen adattárház Tranzakciós adatbázisok Egyszerű használat Nagy teljesítmény és skálázhatóság Alacsony üzemeltetési költség Bármilyen OLAP, tervező rendszer

7 ODI architektúra Desktop JVM OpenTools for adding OS functionality to any ELT/ETL job ODI Studio Designer WebLogic 11g / Application Server FMW Console ODI Plug-in Open Web Services for decoupled invocation of any ODI jobs Java EE Application Operator Servlet Container Web Service Container ODI SDK Topology Security Java EE Application ODI SDK ODI Console Runtime WS Java EE Agent Public WS Data Services SDK APIs for Java generation of any ODI system metadata Heterogeneous access Data Sources Connection Pool Repositories Sources and Targets JVM ODI Master Repository Metadata is an open relational model with built-in Flex Fields ODI Work Repository Legacy Files / XML DBMS Applications DW / BI / EPM ERP/CRM/PLM/SCM Run-time WS Standalone Agent

8 E-LT kontra ETL Tradicionális ETL architektúra Extract Transform Load ODI megközelítés E-LT Extract Load Teljesítményoptimalizálás Az adatbázis képességeinek kihasználása Nincs szükség transzformációs szerverre Meglévő hardver infrastruktúra használata Hálózati forgalom optimalizálása Transform Transform

9 E-LT architektúra Data Integrator-al 100% Java Adatbázis CPU használat, alkalmazás CPU helyett Apps Business Intelligence ODI Agent Az ODI Agent bárhova telepíthető Natívan támogatja a legismertebb adattárház platformokat. JKM A B LKM C$_0 IKM D LKM C$_1 I$ E$ (Errors) File C RKM IKM CKM Extract-Load Transform Check-Load

10 Declarative Design Hagyományos ETL fejlesztés Minden egyes lépés megadása fejlesztéskor Rendkívül erőforrás igényes mind a fejlesztés mind a karbantartás során Hagyományos ETL fejlesztés ODI Declarative Design megközelítés Automatikusan generálja a töltési folyamatot Csökkenti a fejlesztési lépések számát Egyszerűsíti a folyamatot Előnyök Csökken a betanulási idő Rövidebb fejlesztési szakasz Nem IT szakemberek számára is érthető ODI Declarative Design 1 2 Mit akarunk Automatikusan legenerálja a folyamatot Hogyan: Beépített sablonok

11 ODI Knowledge Modules Extract/Join/Transform Transform and integrate Mapping - SALES = SUM(LINES.AMOUNT) + CORRECTION.VALUE. Filter - SALES_REP = - ORDERS.STATUS=CLOSED ORDERS.SALES_REP_ID Constraints -ID is flagged not null in the model. -Unique index UK_ID is declared on Join table SALES. - ORDERS.ORDER_ID = LINES.ORDER_ID KM Join/Transform 1 2 Extract/Transform Staging Area TEMP_1 3 TEMP_2 TEMP_ SALES 5 4

12 Kódgenerálás Fejlesztés Implemented business rules Inc_net = Round (Sum(Inc * coeff)) Knowledge module Truncate Table <%=odiref.gettable()%> Insert into <%=odiref.getcollist( )%> Select <%=odiref.getfrom()%> Begin If.. Then Else ftp... plus Generated code Truncate Table SCOTT.EMP Insert into SCOTT.EMP Select Round(Sum(Sal*Coeff)) Begin If.. Then Else ftp... Other metadata - Topology of your servers - Models in servers - Technology, and so on Futtatás Sources Targets Truncate Table SCOTT.EMP Insert into SCOTT.EMP ODI Agent runs the generated code

13 Beépített modul minden platformhoz Application Adapters for Oracle E- Business Suite, PeopleSoft, Siebel, JD Edwards, SAP ERP and SAP BW. Oracle OLAP, Oracle CDC Hyperion Planning, Financial Management and Essbase Real-Time CDC with GoldenGate Optimizations for Teradata and multi-statements Oracle DB multi-table insert ADF-View Objects via OBI-EE SAP ERP SAP BW Oracle Datapump Oracle DBLink JMS Queues External Tables KMs Oracle Data Integrator Enterprise Edition KMs KMs TPump/ Multiload Oracle Merge Legacy Sources Application Sources OLTP, OLAP Sources Oracle Web Services Siebel ebusiness Suite DB2 Exp/Imp Oracle SQL*Loader J.D Edwards Type II SCD Siebel EIM Schema DB2 Web Services

14 Changed Data Capture (CDC) Csak a változott rekordok áttöltése Teljesítményoptimalizálás Valós idejű adattárház Szeparált riport adatbázis Adatbázis replika magas rendelkezésre álláshoz

15 ODI CDC vagy ODI + GoldenGate? ODI CDC Triggerekkel Adatbázis log alapú ODI CDC vagy IBM AS/400 ODI + GoldenGate Nem terheli a forrásadatbázist

16 Az ODI és az Oracle BIEE Suite Plus Kész Oracle BI repository és riportok Riporton megjelenő adatok nyomon követése Futtatási statisztikák

17 Példa: Riporton megjelenő adatok nyomon követése

18 Az ODI és a SOA Data Service elérés az adatokhoz ODI folyamat indítása Web service-ként Any Data Source High Performance ETL & Replication Data Warehouse & OLAP Web service hívása ODI folyamatból Oracle Fusion Applications Oracle Fusion AIA Oracle Fusion Middleware Oracle Business Intelligence Oracle Performance Management Oracle Database, Essbase & Tools

19 Az ODI és az Oracle EPM (Hyperion) Oracle Hyperion Planning Oracle Hyperion Financial Mgt Oracle Hyperion Essbase Planning API HFM API Essbase API Oracle Hyperion Data Access Authentication API Layer Data Services Logging Services Oracle Hyperion Application Adapters Hyperion Planning Hyperion Financial Management Hyperion Essbase Metadata Discovery & Model Creation Extract Data Extracts Dimension Members Use Essbase KM Use Essbase KM Loads Data Oracle Data Integration Suite Loads Dimension Members Data Distribution & Delivery APIs Metadata Lineage Bulk/Trickle Loading Changed Data Capture Master Data Data Quality & Profiling Other Features Cube Refresh Consolidate Calculate ODI Knowledge Module Framework Bulk and Real-Time Data Processing Information Assets Other Sources Oracle EBS CDC PeopleSoft SAP/R3 Data Message Warehouse Queues

20 Adatminőség ODI EE Better Data Visibility Tighter Data Control Greater Data Accuracy Visual Data Quality Tools Oracle Data Profiling Metadata Profiling of Source & Target Oracle Data Quality Duplicate Detection, Matching & Merging

21 Mikor válasszuk az ODI-t? Új, zöldmezős adattárház projekt Új, nagyobb fejlesztés meglévő adattárházban Alkalmazás integráció Valós idejű adatintegráció + Tervezni a meglévő OWB környezetek leváltását

22 Miben tud segíteni az R&R Software? Megvalósíthatósági tanulmány Zöldmezős Migráció (OWB, egyéb) Megvalósítás Teljes körű projektvezetéssel Alvállalkozóként Oktatás Oracle University Személyre szabott Hot-line, support

23 Köszönjük! További információk:

24 Melléklet R&R Software Zrt. cégbemutató Megoldások és szolgáltatások Iparágak, referenciák Üzleti intelligencia és vállalati teljesítmény menedzsment üzletág

25 R&R Software Zrt. Vezető hazai üzleti alkalmazás szállító Alapítva 1991 Management tulajdonosi kör 130+ foglalkoztatott szakértő Árbevétel 2010: 1,38 milliárd Ft. 1,28 milliárd Ft saját tőke Kiemelkedő ügyfél-elégedettség ISO 9001:2000 (DNV)

26 Megoldások és szolgáltatások Vállalatirányítási rendszerek (ERP) Ügyfélszolgálati és Számlázási rendszerek (BSS, Utility) Ügyfélkapcsolat-kezelési rendszerek (CRM) Üzleti Intelligencia, Vállalati Teljesítmény Menedzsment (BI EPM) Rendszerintegráció és Tanácsadás

27 Iparágak, referenciák Autókereskedések Bank Élelmiszeripar Gyártás Kereskedelem Közmű Telekom Egyéb és még sokan mások:

28 BI EPM üzletág Üzleti intelligencia és vállalati teljesítmény menedzsment