Nagyvállalati adatintegráció és adatkezelés az Informatica eszközeivel Biró Attila fejlesztési igazgató, Areus Zrt. Nagy Balázs szoftverfejlesztő, Areus Zrt.
Miről lesz ma szó? 17:05 18:00: Prezentáció /Biró Attila, Nagy Balázs/ A nagyvállalati adatkezelés problémakörei Adatintegrációs szoftverek bemutatása Areus Zrt. és Informatica Corporation 18:00 18:15: Szünet 18:15?: Kérdések és válaszok
IT trendek Mit hoz a jövő? FUTURE CLOUD INTERACTIONS MOBILE PAST ON-PREMISE TRANSACTIONS DESKTOP WHERE WHAT HOW
Adatintegráció
Adatintegráció Használati esetek DW Adatmigráció Tesztadat kezelés és Archiválás B2B Adatkonszolidáció MDM Replikáció / Szinkronizáció
1990-es évek: az első kódolásmentes ETL eszköz 2002: az első 64 bites ETL eszköz 2006: az első grid támogatású ETL eszköz 2007: az első felhő alapú adatintegrációs megoldás 2011: Hadoop adatok natív feldolgozása (Hparser) 2012: Facebook, Twitter, LinkedIn,...
Informatica PowerCenter
Informatica PowerCenter egységes, alkalmazás és platform független SOA architektúra univerzális csatlakoztathatóság késleltetésmentes, valós idejű adatintegráció, tranzakció figyelés és esemény feldolgozás nagy teljesítmény, jó skálázhatóság H/A, terheléselosztás és hibatűrés webszolgáltatásként és API-n keresztül is hívható
PowerCenter architektúra
Univerzális csatlakoztathatóság XML, Messaging, and Web Services IBM MQSeries TIBCO webmethods SAP NetWeaver XI MSMQ Web Services XML JMS JDBC Email Server Packaged Applications Relational and Flat Files SAP NetWeaver SAP NetWeaver BI SAS Essbase SalesForce.com Oracle DB2 UDB DB2/400 SQL Server Sybase Peoplesoft Oracle Apps Siebel JD Edwards LDAP Informix Teradata Netezza ODBC Flat Files Web Logs PowerCenter Batch Change Mainframe and Midrange Unstructured Data ADABAS Datacom DB2 IDMS IMS Word, Excel PDF Industry Standards VSAM C-ISAM Complex Files Tape Formats Print Streams Unstructured Real time
Optimalizációs lehetőségek Lineáris skálázhatóság, 64 bites architektúra Heterogén Grid + Terheléselosztás Dinamikus memória allokáció Pushdown Optimization (EL-T) Dinamikus particionálás Többféle adatbetöltési mód: Batch Change Data Real-Time Mainframe UNIX LINUX Windows UNIX
PowerCenter GUI
Adatprofilozás
Tartomány / kapcsolat feltérképezés
Adatminőség monitorozása
Adatvizualizáció
Miért jó ez a nagyvállalatoknak? Produktivitás javul Gyorsabb time-to-market, time-to-delivery Alacsonyabb IT üzemeltetési költségek Megbízható, átlátható és időszerű adatok Jobb üzleti döntések Nagyobb bevétel
Az adatkezelés problémakörei Produktív (éles) környezet Nem produktív üzemű környezetek ÉLES Környezet 30TB Funkcionális TESZT Környezet 30TB FEJLESZTŐI Integrációs FUNKION ESZT TESZT Környezet 30TB INTEGRÁCIÓS TESZT Üzemeltetési TESZT Környezet 30TB FEJLESZTŐI Környezet 30TB OKTATÁSI Környezet 30TB
Az adatkezelés kritikus problémái
Informatica Persistent Data Masking & Data Subset
Mi a megoldás? Forrás rendszerek Informatica Persistent Data Masking and Data Subset Oktatási, fejlesztői és teszt környezetek Custom Apps CSONKOLÁS PERZISZTENS ADATMASZKOLÁS CSONKOLÁS + MASZKOLÁS
Csonkolás Entitások és csoportok segítségével, a megfelelő szűrőfeltételeket megfogalmazva. PRODUCTION Master Tables Setup Tables 2011 Transactions 2010 Transactions 2009 Transactions 2008 Transactions 2010.01.01. utáni tranzakciók megőrzése DEV / TEST Master Tables Setup Tables 2011 Transactions 2010 Transactions Older than 2008
Maszkolási szabályok Véglegesen anonimizálja a szenzitív adatokat, előre definiált maszkolási technikákkal, megfelelve az adatbiztonsági szabványoknak (HIPAA, PCI DSS). ID Name City Credit Card 0964 John Mike Smith Wilson Plano Fresno 4417 1234 9741 5678 1949 9112 9471 9388 Mark Jerry Morrow Jones Modesto Fresno 4981 4078 1341 9149 0854 1491 0508 2586 Rob Andy Davis Sanders Hartford Fresno 4298 0149 9341 0134 9544 0148 9114 7310 Jeff Josh Richards Phillips Tampa Fresno 4198 9148 9481 1499 9147 1341 0521
Konzisztens maszkolás (munkafolyamaton belül) Value cascade Auto cascade Expression cascade
Konzisztens maszkolás (alkalmazásokon, munkafolyamatokon keresztül is)
Miért jó ez a nagyvállalatoknak? Adatvesztés, adatlopás megelőzése, törvényi megfelelés Alacsonyabb tárhely és karbantartási költség Növekvő produktivitás: a tesztkörnyezet előállítása 2-3 hónap helyett néhány nap realisztikus tesztadatok -> hatékony fejlesztés
Megéri kompetensnek lenni! Új trend a nagyvállalatok körében, növekvő kereslet, piacképes tudás Innovatív technológiák, best of breed eszközök Adatbázis kezelő rendszerek ismerete előny
Ügyfelek világszerte Financial Services and Insurance Government and Public Sector Healthcare and Life Sciences Manufacturing Retail and Services Telecommunications Transportation and Distribution Energy and Utilities
Hivatalos magyarországi disztribútor és kompetenciaközpont vagyunk. areus.hu/adatintegracio informatica.com
Köszönjük a figyelmet!
Kérdések és Válaszok