Sikerünk kulcsa: az információ De honnan lesz adatunk? Palaczk Péter

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Sikerünk kulcsa: az információ De honnan lesz adatunk? Palaczk Péter"

Bence Németh
8 évvel ezelőtt
Látták:

1 Sikerünk kulcsa: az információ De honnan lesz adatunk? Palaczk Péter

2 Bevezető az Oracle9i adattárházas újdonságaihoz Elemzési és vezetői információs igények 80:20 az adatgyűjtés javára! Adattárházak kínálta megoldás Az Oracle válasza a kihívásokra

3 A vezetők előtt álló feladatok Elemzések Értékesítési csatornák, szolgáltatások Üzletkötői teljesítmények Ügyfél- és partner-jövedelmezőség Tárgyalási pozíciók alátámasztása Termék-, szolgáltatás-jövedelmezőség mérése Vállalatirányítás költségei Fedezeti elemzés, tervezés Eredmény-előrejelzés Tulajdonosi és menedzsment jelentések

alátámasztása Termék-, szolgáltatás-jövedelmezőség mérése Vállalatirányítás

4 A megoldás klasszikus feladatelemei 1. Adatok előállítása 2. Tárolás, 3. Elemzés, lekérdezés, prezentáció

5 A megoldások evolúciója Excel: általános eszköz korlátokkal Elemző eszközök, adatpiacok További hangsúlyok: Nagyobb volumenű adatgyűjtés Több adatforrás integrációja Nagy mennyiségű adat tárolása, elemzése Hatványozódik az adatminőségi probléma

volumenű adatgyűjtés Több adatforrás integrációja Nagy

6 80% - 20% szabály Az adattárház építésére fordított erőforrások 80%-át az adatok összegyűjtése, konszolidációja és az adatminőség biztosítása emészti fel.

7 A forrásadatok mindig összetettek! Számos adatforrást integrálunk Ismétlődő nyilvántartások Kódegyeztetések, kódkonszolidáció Párhuzamos rendszerek

8 Az adatok minősége: a forrás adatok hibái Metaadatok Alkalmazások Adat beviteli hibák Anomáliák Többszörösen kiosztott kulcsok Hiányos adatok Kitöltetlen mezők Szabad formátumú mezők Az adatminőség ellenőrzéséhez nem csak az adat definíciókat kell vizsgálni, hanem magukat az adatokat is.

Kitöltetlen mezők Szabad formátumú mezők Az adatminőség ellenőrzéséhez

9 Adatminőség: meglepetések CUSNUM NAME ADDRESS TYPE Digital Equipment 187 N. PARK St. Salem NH OEM DEC 187 N. Pk. St. Sarem NH OEM Digital 187 N. Park StSalem NH $#% Digital Corp 187 N. Park Ave. Salem NH Comp Digital Consulting 15 Main Street Andover MA Consult Digital Info Services PO Box 9 Boston MA Mail List Digital Integration Park Blvd. Boston MA SYS INT Nem egyedi kulcs Szabványok hiánya Anomáliák Melléütés Szemét az üres mezõkben Hogyan lehet észrevenni és kijavítani a hibákat több millió rekordban?

Salem NH 01458 Comp 90233489 Digital Consulting 15 Main Street Andover MA 02341 Consult 90234889 Digital Info Services PO Box 9 Boston MA 02210 Mail List

10 Példák az ETL komplexitására Adatellenőrzés számtalan szabálya Rengeteg betöltő program Soklépcsős adatátalakítás Komplex konzisztencia-ellenőrzések

11 Tradícionális ETL megoldások (Extract Transform Load) Jellemzők Batch orientált Szekvenciális Komplex transzformációk - gyakorta láncolva Technológia Speciális szerverek: transzformáció majd betöltés DWn belül: betöltés majd transzformáció Párhuzamos betöltést bonyolult megvalósítani Skálázási problémák a nagy adatmennyiségre Gyakorta 3. Generációs nyelveket használ

transzformáció majd betöltés DWn belül: betöltés majd transzformáció Párhuzamos betöltést

12 Az Oracle válasza az adattárházak adta kihívásokra 9i-ben alkalmazott robosztus ETL motor: Speciális adatfeltöltési, tárolási, indexelési, menedzselési technikák Komfortos, gyors, átlátható ETL munka OWB 3i: ETL front-end eszköz Server konszolidáció: ETL OLAP Adatbányász motor

menedzselési technikák Komfortos, gyors, átlátható ETL munka OWB 3i:

13 Adatgyűjtési architektúra az Oracle Serverben Források Target Adat kivonatolás Transzport mechanizmus Transzformációs motor Cél Táblák Oracle Server Skálázható adatbetöltés Nagy teljesítményű transzformációs motor

mechanizmus Transzformációs motor Cél Táblák Oracle

14 Klasszikus ETL folyamat Szöveg file-ok Betöltés köztes táblákba Köztes tábla 1 Adatellenőrzés Köztes tábla 2 Adatátalakítás Köztes tábla 3 Beemelés az adattárház táblákba INSERT and UPDATE Adattárház táblák

Köztes tábla 2 Adatátalakítás Köztes tábla 3

15 Pipeline típusú adatbetöltés az Oracle9iben Külső táblák Külső tábla Szöveg file-ok Adatellenőrzés Táblafüggvények Adatátalakítás Adattárház táblák Beemelés az adattárház táblákba MERGE

16 Rövid fejlesztési idő Grafikus tervezés Grafikus felület ( GUI ) Varázslók Metaadat alapú tervezési folyamat Kód generálás Érvényesség ellenőrzés Hibamentes kód

17 2001.: Szerver konszolidáció az adattárház piacon Elemző szerver ETL Szerver motor Relációs adattárolás Adatbányászati szerver Forrásrendszerek Specializált többszerveres környezet Többféle tudást igényel Adat duplikálás, interfacek Integrációs szabványok hiánya Üzleti elemző és jelentéskészítő alkalmazások

Specializált többszerveres környezet Többféle tudást igényel Adat

18 Új üzleti intelligencia alapvetés Oracle 9i az E-üzleti intelligencia alapja Operatív adat E-Business Intelligencia csomag Oracle9i Reports Discoverer Web adat Warehouse Builder ETL Infrastructure and OLAP Services and Data Mining 9i Application Server BI Beans Külső adat Portal CWM Metadata

Discoverer Web adat Warehouse Builder ETL Infrastructure and OLAP

19 A megoldandó feladatok tehát változatlanok: 1. Adatok előállítása 2. Tárolás, 3. Elemzés, lekérdezés, prezentáció

Hasonló dokumentumok

Adattárház tiszta alapokon Oracle Day, Budapest, november 8.

Adattárház tiszta alapokon Oracle Day, Budapest, 2011. november 8. WIT-SYS Consulting Zrt. Lévai Gábor gabor.levai@wit-sys.hu Tematika Az adattárházról általánosan Az adattárház definíciója Fő jellemzők