Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő 2013. február 20.

Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő 2013. február 20.

1 2 3 4 5 6 7 8 Pentaho eszköztára Data Integrator Spoon felület Spoon program elemek Hagyományos ETL - alap komponensekből ODI Architektúrája és működési elve Oracle Data Integrator ETL vs ELT ODI tervezési szemlélete Knowledge modulok - Adatfolyamok

A Pentaho eszköztára ETL Pixelhelyes riportok Önkiszolgáló riportolás Analízis Műszerfalak Adatbányászat Big Data Funkció OLAP elemzések Tervező eszköz Schema Workbench Megjelenítő eszköz Analysis View, Saiku, OpenI Ad-hoc riportok Metadata Editor Ad-hoc Reporting, Saiku Pixelhelyes riportok Report Designer Riportok ETL Spoon Kitchen, Pan, Carte

Pentaho Data Integrator bemutatása Legfontosabb előnyök: könnyű telepíthetőség platform függetlenség (100 % Java Windows, Linux, ) egyszerű használhatóság (grafikus felület, specifikus ismereteket nem igényel) integrálhatóság nagyfokú teljesítmény és skálázhatóság PDI komponensei: Spoon: grafikus felületű transzformáció és job készítés Kitchen: parancssori job futtatás Pan: parancssori transzformáció futtatás Carte: egyszerű web szerver transzformációk távoli futtatása céljából Repository: File alapú Adatbázisban

Spoon felület Menü Perspektívák Paletta Grafikus munkaterület Eszköztár Futási naplók Step metrika

Spoon program elemek - Transzformáció Transzformáció (Kettle Transformation - kiterjesztés: ktr): Transzformációs lépés/elem (Step) Adatfolyam (Hop)

Spoon program elemek - Job Munkafolyamat (Kettle Job - kiterjesztés: kjb): Elem (Job entry) Adatfolyam (Job hop)

Alapvető transzformációs komponensek Input, Output elemek (file, tábla, Excel, OLAP, LDAP, SAP) Adatok (sorok) generálása (Generate rows): Számítás (Calculator) Szűrés (Filter rows) Csoport művelet (Group by / Memory Group by) Sorba rendezés (Sort rows) Naplózás (Write to log) Alapvető job komponensek Folyamatvezérlési elemek (Start, Success, Abort, Job) Transzformációk hívása (Transformation) Feltételek (Conditions) (pl file exist, folder empty, check DB connection) File műveletek

ODI - Architektúra

ODI Működési elve Master, Work repository Source SQL utasítások Repository Source Adat Target Agents Adatmozgatás, transzformációk koordinálása, Frissíti a futások eredményei alapján Kapcsolódás a repository-hoz SQL utasítások ODI Studio

Oracle Data Integrátor: ETL vs E-LT Transzformáció külön ETL szerveren Gyenge teljesítmény Magas költségek Hagyományos ETL Architektúra Extract Transform Load Transzformáció meglévő RDBMS-n: Erőforrás jobb kihasználása Hatékonyság Nagy teljesítmény E-LT Architektúra E-LT Transform Extract Load Transform

Tervezési szemlélet ETL Dataflow lépéseinek meghatározása: minden egyes lépésénél a komplex ETL folyamat logikájának ismerete szükséges speciális ETL ismeret karbantartási nehézség Hagyományos ETL tervezés Deklaratív alapú tervezés: Egyszerűbb és kevesebb lépésszám Automatikus Data Flow generálás, függetlenül a források és a cél platformtól Rövidebb végrehajtási idő Jelentősen csökkenti a tanulási időt ODI deklaratív tervezés 1 2 Mit szeretnék csinálni Automatikusan legenerálódik a Dataflow Hogyan: Knowledge Module

Knowledge Modulok (KM) KM s Meta Code A forrás és cél közötti elemi lépéseket tartalmazza Testreszabható template-k Több mint 120 előre definiált KM Metadata KM Interpreter Executed Code - SQL Knowledge Modules Architecture Reverse Engineer Metadata Reverse Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services W S W S W S Sources CDC Journalize Load Staging Tables Check Error Tables Integrate Target Tables Services Néhány példa a Knowledge Modules-ra SAP/R3 Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/ Multiload Oracle Merge Oracle Web Services Siebel DB2 Journals DB2 Exp/Imp Oracle SQL*Loader Check Sybase Type II SCD Siebel EIM Schema DB2 Web Services

ODI Mapping Mit? ODI deklaratív tervezés 1 2 Mit szeretnék csinálni Automatikusan legenerálódik a Dataflow Hogyan: Knowledge Module

ODI Dataflow Hogyan? ODI deklaratív tervezés 1 2 Mit szeretnék csinálni Automatikusan legenerálódik a Dataflow Hogyan: Knowledge Module

Kérdések/válaszok

Köszönöm a figyelmet! Fekszi Csaba Omnit Solutions Kft. 1134, Budapest Rózsafa utca 13-17. www.omnit.hu Tel.: 30/914-9208 fekszi.csaba@omnit.hu