Nagyvállalati adatintegráció és adatkezelés

Átírás

1 Nagyvállalati adatintegráció és adatkezelés az Informatica eszközeivel Biró Attila fejlesztési igazgató, Areus Zrt. Nagy Balázs szoftverfejlesztő, Areus Zrt.

2 Miről lesz ma szó? 17:05 18:00: Prezentáció /Biró Attila, Nagy Balázs/ A nagyvállalati adatkezelés problémakörei Adatintegrációs szoftverek bemutatása Areus Zrt. és Informatica Corporation 18:00 18:15: Szünet 18:15?: Kérdések és válaszok

3 IT trendek Mit hoz a jövő? FUTURE CLOUD INTERACTIONS MOBILE PAST ON-PREMISE TRANSACTIONS DESKTOP WHERE WHAT HOW

4

5 Adatintegráció

6 Adatintegráció Használati esetek DW Adatmigráció Tesztadat kezelés és Archiválás B2B Adatkonszolidáció MDM Replikáció / Szinkronizáció

7

8 1990-es évek: az első kódolásmentes ETL eszköz 2002: az első 64 bites ETL eszköz 2006: az első grid támogatású ETL eszköz 2007: az első felhő alapú adatintegrációs megoldás 2011: Hadoop adatok natív feldolgozása (Hparser) 2012: Facebook, Twitter, LinkedIn,...

9 Informatica PowerCenter

10 Informatica PowerCenter egységes, alkalmazás és platform független SOA architektúra univerzális csatlakoztathatóság késleltetésmentes, valós idejű adatintegráció, tranzakció figyelés és esemény feldolgozás nagy teljesítmény, jó skálázhatóság H/A, terheléselosztás és hibatűrés webszolgáltatásként és API-n keresztül is hívható

11 PowerCenter architektúra

12 Univerzális csatlakoztathatóság XML, Messaging, and Web Services IBM MQSeries TIBCO webmethods SAP NetWeaver XI MSMQ Web Services XML JMS JDBC Server Packaged Applications Relational and Flat Files SAP NetWeaver SAP NetWeaver BI SAS Essbase SalesForce.com Oracle DB2 UDB DB2/400 SQL Server Sybase Peoplesoft Oracle Apps Siebel JD Edwards LDAP Informix Teradata Netezza ODBC Flat Files Web Logs PowerCenter Batch Change Mainframe and Midrange Unstructured Data ADABAS Datacom DB2 IDMS IMS Word, Excel PDF Industry Standards VSAM C-ISAM Complex Files Tape Formats Print Streams Unstructured Real time

13 Optimalizációs lehetőségek Lineáris skálázhatóság, 64 bites architektúra Heterogén Grid + Terheléselosztás Dinamikus memória allokáció Pushdown Optimization (EL-T) Dinamikus particionálás Többféle adatbetöltési mód: Batch Change Data Real-Time Mainframe UNIX LINUX Windows UNIX

14 PowerCenter GUI

15 Adatprofilozás

16 Tartomány / kapcsolat feltérképezés

17 Adatminőség monitorozása

18 Adatvizualizáció

19 Miért jó ez a nagyvállalatoknak? Produktivitás javul Gyorsabb time-to-market, time-to-delivery Alacsonyabb IT üzemeltetési költségek Megbízható, átlátható és időszerű adatok Jobb üzleti döntések Nagyobb bevétel

20 Az adatkezelés problémakörei Produktív (éles) környezet Nem produktív üzemű környezetek ÉLES Környezet 30TB Funkcionális TESZT Környezet 30TB FEJLESZTŐI Integrációs FUNKION ESZT TESZT Környezet 30TB INTEGRÁCIÓS TESZT Üzemeltetési TESZT Környezet 30TB FEJLESZTŐI Környezet 30TB OKTATÁSI Környezet 30TB

21 Az adatkezelés kritikus problémái

22 Informatica Persistent Data Masking & Data Subset

23 Mi a megoldás? Forrás rendszerek Informatica Persistent Data Masking and Data Subset Oktatási, fejlesztői és teszt környezetek Custom Apps CSONKOLÁS PERZISZTENS ADATMASZKOLÁS CSONKOLÁS + MASZKOLÁS

24 Csonkolás Entitások és csoportok segítségével, a megfelelő szűrőfeltételeket megfogalmazva. PRODUCTION Master Tables Setup Tables 2011 Transactions 2010 Transactions 2009 Transactions 2008 Transactions utáni tranzakciók megőrzése DEV / TEST Master Tables Setup Tables 2011 Transactions 2010 Transactions Older than 2008

25 Maszkolási szabályok Véglegesen anonimizálja a szenzitív adatokat, előre definiált maszkolási technikákkal, megfelelve az adatbiztonsági szabványoknak (HIPAA, PCI DSS). ID Name City Credit Card 0964 John Mike Smith Wilson Plano Fresno Mark Jerry Morrow Jones Modesto Fresno Rob Andy Davis Sanders Hartford Fresno Jeff Josh Richards Phillips Tampa Fresno

26 Konzisztens maszkolás (munkafolyamaton belül) Value cascade Auto cascade Expression cascade

27 Konzisztens maszkolás (alkalmazásokon, munkafolyamatokon keresztül is)

28 Miért jó ez a nagyvállalatoknak? Adatvesztés, adatlopás megelőzése, törvényi megfelelés Alacsonyabb tárhely és karbantartási költség Növekvő produktivitás: a tesztkörnyezet előállítása 2-3 hónap helyett néhány nap realisztikus tesztadatok -> hatékony fejlesztés

29 Megéri kompetensnek lenni! Új trend a nagyvállalatok körében, növekvő kereslet, piacképes tudás Innovatív technológiák, best of breed eszközök Adatbázis kezelő rendszerek ismerete előny

30 Ügyfelek világszerte Financial Services and Insurance Government and Public Sector Healthcare and Life Sciences Manufacturing Retail and Services Telecommunications Transportation and Distribution Energy and Utilities

31 Hivatalos magyarországi disztribútor és kompetenciaközpont vagyunk. areus.hu/adatintegracio informatica.com

32 Köszönjük a figyelmet!

33 Kérdések és Válaszok