Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő február 20.

Átírás

1 Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő február 20.

2 Pentaho eszköztára Data Integrator Spoon felület Spoon program elemek Hagyományos ETL - alap komponensekből ODI Architektúrája és működési elve Oracle Data Integrator ETL vs ELT ODI tervezési szemlélete Knowledge modulok - Adatfolyamok

3 A Pentaho eszköztára ETL Pixelhelyes riportok Önkiszolgáló riportolás Analízis Műszerfalak Adatbányászat Big Data Funkció OLAP elemzések Tervező eszköz Schema Workbench Megjelenítő eszköz Analysis View, Saiku, OpenI Ad-hoc riportok Metadata Editor Ad-hoc Reporting, Saiku Pixelhelyes riportok Report Designer Riportok ETL Spoon Kitchen, Pan, Carte

4 Pentaho Data Integrator bemutatása Legfontosabb előnyök: könnyű telepíthetőség platform függetlenség (100 % Java Windows, Linux, ) egyszerű használhatóság (grafikus felület, specifikus ismereteket nem igényel) integrálhatóság nagyfokú teljesítmény és skálázhatóság PDI komponensei: Spoon: grafikus felületű transzformáció és job készítés Kitchen: parancssori job futtatás Pan: parancssori transzformáció futtatás Carte: egyszerű web szerver transzformációk távoli futtatása céljából Repository: File alapú Adatbázisban

5 Spoon felület Menü Perspektívák Paletta Grafikus munkaterület Eszköztár Futási naplók Step metrika

6 Spoon program elemek - Transzformáció Transzformáció (Kettle Transformation - kiterjesztés: ktr): Transzformációs lépés/elem (Step) Adatfolyam (Hop)

7 Spoon program elemek - Job Munkafolyamat (Kettle Job - kiterjesztés: kjb): Elem (Job entry) Adatfolyam (Job hop)

8 Alapvető transzformációs komponensek Input, Output elemek (file, tábla, Excel, OLAP, LDAP, SAP) Adatok (sorok) generálása (Generate rows): Számítás (Calculator) Szűrés (Filter rows) Csoport művelet (Group by / Memory Group by) Sorba rendezés (Sort rows) Naplózás (Write to log) Alapvető job komponensek Folyamatvezérlési elemek (Start, Success, Abort, Job) Transzformációk hívása (Transformation) Feltételek (Conditions) (pl file exist, folder empty, check DB connection) File műveletek

9 ODI - Architektúra

10 ODI Működési elve Master, Work repository Source SQL utasítások Repository Source Adat Target Agents Adatmozgatás, transzformációk koordinálása, Frissíti a futások eredményei alapján Kapcsolódás a repository-hoz SQL utasítások ODI Studio

11 Oracle Data Integrátor: ETL vs E-LT Transzformáció külön ETL szerveren Gyenge teljesítmény Magas költségek Hagyományos ETL Architektúra Extract Transform Load Transzformáció meglévő RDBMS-n: Erőforrás jobb kihasználása Hatékonyság Nagy teljesítmény E-LT Architektúra E-LT Transform Extract Load Transform

12 Tervezési szemlélet ETL Dataflow lépéseinek meghatározása: minden egyes lépésénél a komplex ETL folyamat logikájának ismerete szükséges speciális ETL ismeret karbantartási nehézség Hagyományos ETL tervezés Deklaratív alapú tervezés: Egyszerűbb és kevesebb lépésszám Automatikus Data Flow generálás, függetlenül a források és a cél platformtól Rövidebb végrehajtási idő Jelentősen csökkenti a tanulási időt ODI deklaratív tervezés 1 2 Mit szeretnék csinálni Automatikusan legenerálódik a Dataflow Hogyan: Knowledge Module

13 Knowledge Modulok (KM) KM s Meta Code A forrás és cél közötti elemi lépéseket tartalmazza Testreszabható template-k Több mint 120 előre definiált KM Metadata KM Interpreter Executed Code - SQL Knowledge Modules Architecture Reverse Engineer Metadata Reverse Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services W S W S W S Sources CDC Journalize Load Staging Tables Check Error Tables Integrate Target Tables Services Néhány példa a Knowledge Modules-ra SAP/R3 Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/ Multiload Oracle Merge Oracle Web Services Siebel DB2 Journals DB2 Exp/Imp Oracle SQL*Loader Check Sybase Type II SCD Siebel EIM Schema DB2 Web Services

14 ODI Mapping Mit? ODI deklaratív tervezés 1 2 Mit szeretnék csinálni Automatikusan legenerálódik a Dataflow Hogyan: Knowledge Module

15 ODI Dataflow Hogyan? ODI deklaratív tervezés 1 2 Mit szeretnék csinálni Automatikusan legenerálódik a Dataflow Hogyan: Knowledge Module

16 Kérdések/válaszok

17 Köszönöm a figyelmet! Fekszi Csaba Omnit Solutions Kft. 1134, Budapest Rózsafa utca Tel.: 30/ fekszi.csaba@omnit.hu