Baranyi Szabolcs, IBM Magyarországi Kft. baranyi@hu.ibm.com Kattintson 2012. júniuside 12.szöveg hozzáadásához IBM új generációs adattárház megoldások BigData és DB2 V10
Napirend Big Data IBM Big Data platform Adattárház és Big Data DB2 V10 újdonságai Hierarchikus tárolóeszköz kezelés Workload management Query optimalizáció Row and column access Guardium: adatbázis biztonság DB2 és SAP együttműködés 2
Adatok forrása: közösségi háló, mérések 12+ TBs? TBs of data every day of tweet data every day 30 billion RFID tags today (1.3B in 2005) 25+ TBs of log data every day 76 million smart meters in 2009 200M by 2014 4.6 billion camera phones world wide 100s of millions of GPS enabled devices sold annually 2+ billion people on the Web by end 2011
Big Data: Lehetőségek Értékes információ kinyerése a rendkívül nagy mennyiségű változatos,gyorsan termelődő adatfolyamból, új kontextusba helyezi a megszokott elemzéseinket Variety: Sokféle struktúrájó, komplexitású adat: relációs, log, szöveges Folyamatosan termelődő, Velocity: változó Streaming adatok Terabytes --> Petabytes (1K Volume: TBs) --> Zettabytes (1B TBs)
Miért csak most?
IBM Big Data Platform
IBM Big Data Termékcsalád InfoSphere BigInsights Hadoop-alapú gyors analitika nagy adatmennyiség Hadoop Integráció Stream Computing InfoSphere Information Server InfoSphere Streams Nagy mennyiségű adatok integrációja transzformációja Folytonos feldolgozás kis késleltetés MPP Data Warehouse DB2 V10 Struktúrált adat klasszikus tárház IBM Netezza High Capacity Appliance Online Archív adatok IBM Netezza 1000 Ad- hoc elemzések IBM Smart Analytics System Klasszikus analitikai megoldások széleskörű felhasználás IBM Informix Timeseries Idősoros elemzés mérésadatgyűjtés
InfoSphere BigInsights V3: volume, variety, velocity Kiterjesztett Hadoop és analitika Enterprise Edition Licensed Szöveg analitika Webes felület Storage, security, cluster management DB2, Netezza, JDBC adatbázis kapcsolatok Enterprise class Vállalati szintű kulcsrakész alkalmazások Apache Hadoop Business process accelerators ( Apps ) Text analytics Spreadsheet-style analysis tool RDBMS, warehouse connectivity Integrated Web-based console Basic Edition Flexible job scheduler Performance enhancements Free download Eclipse-based tooling Integrated install LDAP authentication Online InfoCenter... BigData Univ. Basic Edition: Ingyenes Breadth of capabilities
BigInsights és DW komplementer megoldás Big Data analytic applications Traditional analytic tools Data warehouse BigInsights Filter Transform Aggregate
BigInsights és DW archív kiegészítés Traditional analytic tools Big Data analytic applications BigInsights Query-ready archive Data Warehouse cold warehouse data
BigInsights Kapcsolódás Sample UDFs to submit BigInsights jobs, consume results JDBC read/write DB2 LUW, IW with DPF Netezza BigInsights JDBC DBMS BigInsights drives RDBMS work DB2 drives BigInsights work JDBC read/write
DB2 V10 Klasszikus adattárház motor Efficient Simple Reliable Unparalleled automation, compression, and performance Easy Development, XML support, and virtual appliances World class audit & security, high availability, and workload management Driving down costs overall
Adaptive Compression Dinamikus tömörítés Page-level compression Jobb tömörítés = tárhely megtakarítás Adaptivitás miatt 60% jobb mint hagyományos Nem szükséges tábla reorg a jobb tömörítésért Potenciálisan jobb I/O hasznlat Kevesebb tárterület: kisebb költség jobb performancia
Multi-Temperature Data Management hierarchikus tárolóeszköz kezelés SSD RAID (Very Fast) HOT különböző típusú tárolóeszközök, rétegek teljeskörű támogatása, egyszerű menedzsment mellett Adott célra megfelelő eszközt elv Disk költségek optimalizációja Perfomancia javítás SAS RAID (Fast) WARM Könnyű menedzselhetőség SATA RAID (Medium) COLD Adattárolás optimalizálása: hatékonyság javulás, költség csökkentés
Workload Management Managing Service-Level Agreements Jelentős teljesítmény növekedés fontos terhelések előnybe részesíthetők hatékony teljesítmény elosztás előre megadott felhasználási lehetőség processzorra, futó szolgáltatásokra Hierarchikus tárolás kihasználása CPU allokáció adatbázis szinten Az adatbázis terheléshez igazodik Platformfüggetlen Teljesítmény optimalizáció, SLA betartása
Time Travel Query employees Time Travel Query adatlekérdezés valós időben, és a múlt egy adott időpontjában, elősegíti a jobb üzleti döntéshozatalt trendek elemzése történelmi adatok alapján szükségtelenné teszi az egyedi, ideiglenesen kialakított rendszerek karbantartását Időbeniség kezelés applikáció változtatása nélkül Standard support ideiglenes változtatásokhoz (jövőbeni adatok bevitele) EmpID Dept System_start System_end 12345 M15 05/31/2000 12/31/9999 employees_history EmpID Dept System_start System_end 12345 J13 11/15/1995 01/31/1998 12345 M24 01/31/1998 05/31/2000 67890 K25 11/15/1995 03/31/2000 Which department is employee 12345 in? SELECT Dept FROM employees WHERE EmpID=12345 Which department was employee 12345 in on 12/01/1997? SELECT Dept FROM employees FOR SYSTEM_TIME AS OF 12/01/1997 WHERE EmpID=12345 Historikus adatok kezelése minimális változtatással
Row and Column Access Control Row and Column Access Control szabály-alapú hozzáférés vezérlés sorok elrejtése a nem megfelelő jogosultsággal rendelkező felhasználók elől oszlopok adatainak maszkolása a nem megfelelő jogosultsággal rendelkező felhasználók felé előzetesen nem szükséges az adatok osztályozása Security és DBA Felelősség szétválasztása Megnövelt adatbiztonság kisebb költséggel
Lekérdezés gyorsítás Warehouse Query gyorsítási módok Hash Joins Star Schemas Aggregation EXISTS and NOT EXISTS subqueries Jobb Statisztika Cost based optimalizáció javítás Dynamikus registry Index Management Újragondolva ugró keresés: soros helyett, így kevesebb index kell index prefetch: ritkább index újraépítés szükséges adat prefetch: ritkább tábla újraépítés szükséges Performancia növekedés, analitika segítése
Multi-Core Parallelism Több magos párhuzamoság Sokmagos processzorok maximális kihasználása Megnövelt performancia mind tranzakciós mind tárház workload esetén Példa: Többszörös index scan, range partícionált táblák párhuzamos kezelése Többmagos hardver jobb kihasználása
DB2 purecluster Transzparens Skálázhatóság Szabadon skálázható, fürtözhető adatbázis-szerverek Földrajzilag távoli helyen is lehetnek Fagyon magas Folytonos rendelkezésre állás, redundanciával Applikáció felé transzparens Külön termék helyett a V10 opciója Extreme Capacity 128 node
HADR Multiple Stand-by Megnövelt rendelkezésre állás Több stand-by Több standby node Redundáns marad az első hiba után is Késleltetett tranzakció Tranzakció átküldés késleltethető Visszavont tranzakcók kiszűrése Javított rendelkezésre állás
Oracle Kompatibilitás Trigger kezelés javítás PL SQL Performancia javulás Új migrációs csomag DB2 re való migráció költsége csökken
IBM s DBaaS (Database as a Service) Adatbázis telepítés felhőben Adatbázis ellátás és menedzsment felhőben Egyszerűbb menedzselhetőség DB2 Cloud szolgáltatások IBM Workload Deployer IBM SmartCloud Enterprise Amazon EC2, Rightscale Traditional DB 2 Operating system OS configuration OS maintenance 2 DB2 installations DB2 configuration DB2 maintenance HA topology OS Image Backup strategy Security patches DB2 and OS Failure recovery Usage based on DBA skills HADR OS Image vs. DBaaS Automated Best Practices Felhő felxibilitásának kihasználása
Új tulajdonságok elérhetősége az egyes DB2 10 változatokban Enterprise Database Developer Edition DB2 Workgroup Server DB2 Express DB2 Enterprise Server DB2 Advanced Enterprise Server Adaptive Compression Opt Multi-Temperature Data Management DB2 purescale Opt Opt HADR Time Travel Query Row & Column Access Control 24
Napirend Big Data IBM Big data platform Adattárház és Big Data DB2 V10 újdonságai Hierarchikus tárolóeszköz kezelés Workload management Query optimalizáció Row and column access Guardium: adatbázis biztonság DB2 és SAP együttműködés 25
Adatvesztés, adatszivárgás okai 2009 Data Breach Report (Verizon RISK Team) http://www.verizonbusiness.com/resources/security/reports/2009_databreach_rp.pdf 26
Kritikus adatok védelme a teljes életciklusuk alatt Különböző adatbázisok, alkalmazások és kliensek felderítése Sebezhetőség felmérés Konfiguráció felmérés Az érzékeny, kritikus adatok felderítése és osztályozza Viselkedés felmérés Assess & Harden Discover & Classify Alaprendszer meghatározás Konfiguráció lezárás és változás követés Titkosítás The Database Security Lifecycle Központosított irányítás Megfelelőségi jelentések Aláírások kezelése Automatizált eszkalálás Biztonságos audit repository Célzott adatbányászat (forensic csalások megelőzése, felderítése és kivizsgálása) Hosszú távú megőrzés 27 27 Audit & Report Monitor & Enforce 100% átláthatóság Szabály-alapú akciók Anomália érzékelés Valós idejű megelőzés Hangolható hozzáférés ellenőrzés SIEM integráció
Guardium - Valósidejű adatbázis monitorozás és biztonság DB2 Microsoft SQL Server Privileged Users Teljekörű hozzáférés-monitorozás Ki, mit, mikor és hogyan - monitorozás Használatához nem szükséges adatbázis vagy alkalmazás módosítás Valós idejű, szabályrendszeren alapuló monitorozás Minimális adatbázis-teljesítmény terhelés A céleszköz 3-6 hónapnyi adatot tud tárolni a saját tárhelyén Egyértelműen elkülöníthető szerepkörök (biztonságos audit állományok) 28 Automatizált megfelelőség jelentések, aláírások (SOX, PCI, NIST, stb.)
Napirend Big Data IBM Big data platform Adattárház és Big Data DB2 V10 újdonságai Hierarhcikus tárolóeszköz kezelés Workload management Query optimalizáció Row and column access Guardium: adatbázis biztonság DB2 és SAP együttműködés 29
Példa egy jó együttműködésre: IBM-SAP SAP runs SAP... on DB2 Aktuális, általános üzleti elvárások az SAP rendszerekkel szemben javuló rendszerteljesítmény hatékonyság növelés működési kockázatok csökkentése alacsonyabb működési költségek DB2 platform segíti e célok elérését Tények: SAP IT 2000-es évek eleje óta DB2-t használ az SAP üzleti alkalmazásaihoz és K+F rendszerihez DB2-t használ SAP több mint 1200 rendszerén DB2 Kutatás és fejlesztés szinte minden nagyobb SAP termékfejlesztés, mint az ERP, BI, CRM, SRM, valamint a minőségbiztosítás DB2 alapú rendszereken van DB2 a jelentős K+F platform Üzleti rendszerek az SAP a fő üzleti rendszereit migrálta DB2-re SAP HR, ERP, CRM, BI mind DB2-n fut 30
AUDI csoport, benne AUDI Hungaria Motor Kft. Előzetesen várt eredmények: adatbázisméret és a havi növekedés mértékének csökkenése on-line DB Backup idejének csökkenése performancia (sebesség) javulása üzemeltetési feladatok csökkenése a SAP release stratégiájához igazított DB2 release menetrend kiszámítható/tervezhető patch-menetrend (negyedévente) jelentős költségmegtakarítás a high-end storage területen az adatbázisok méretének csökkenése miatt. Megvalósítási tanulmány (Proof of Concept) kiválasztott rendszerek: erecruiting, ERP (FI/CO), BW cél: minimum 40%-os adatbázis méretcsökkenés, performancia nem lehet rosszabb a jelenleginél PoC eredmények erecruiting toborzás a DB2 adatbázis titkosítása nem igényelt jelentős erőforrás-többletet. a 78,6 GB-os DB2 adatbázis titkosítása sikeresen, 30 perc alatt lezajlott. ERP (FI/CO) pénzügy, kontrollung erőforrásszükséglet : A CPU és a RAM igény egyértelműen kisebb volt. tárolókapacitás: a DB2 73%-kal kevesebb diszket igényelt. performancia: a DB2 adatbázis átlagosan (az összes mérést figyelembe véve) 64%-kal gyorsabb volt, bizonyos esetekben akár 9 szeres gyorsulást is sikerült elérni. BW Business Information Warehouse üzleti inteligencia erőforrásszükséglet: a CPU-igény hasonló, RAM egyértelműen kevesebb kellett tárolókapacitás: a DB2 53%-kal kevesebb diszket igényelt performancia: a DB2 átlagosan (az összes mérést figyelembe véve) 23%-kal gyorsabb volt. bizonyos mérések a DB2-nél 101-szeres gyorsulást mutattak az Oracle DB-hez képest (az SAP BW kihasználja a DB2 adatbázis speciális funkcióit). A projekt eddig sikeresen zajlik, AHM zökkenőmentes migrációja 2010. szeptember 11-i hétvégén megtörtént, majd 2010. végére mind a 106 rendszerkörnyezet (landscape => 106x éles, tesz, fejlesztői szerver) átültetése is befejeződött. 31
baranyi@hu.ibm.com
DB2 által nyújtott általános technológiai előnyök DB2 Deep Compression, és egyes változatokban Adaptive Compression automatikus tömörítés (sor, index és ideiglenes táblák, akár 80%-os helymegtakarítás) hatékonyabb I/O kezelés és átmeneti tábla felhasználás automatikus szótár létrehozás DB2 HADR: integrált HA+DR megoldás egyszerűen konfigurálható és üzemeltethető DB2-n belül 3 tartalék szerver is támogat egyidőben minden DB2 változatban szabadon elérhető Automatizált DBA feladatok tábla és index statisztikák karbantartása, újraszervezése konfiguráció módosítások kezelése DB2 Database Partitioning Feature (DPF) megosztásmenetes architektúra a lineáris skálázhatóság érdekében DB2 Multi-Dimensional Clustering (MDC) gyors betöltési, kiszolgálási képesség nem szükséges külön adminisztráció 99% tömörítése a kapcsolódó indexeknek 34
DB2-re történő áttérés egyszerűsége DB2 natív módon támogatja más gyártók által fejlesztett egyedi adatbázis jellemzőket: belső leírási tulajdonságok, csomagok, adat típusok, egyidejűségi modellek, leíró nyelvek, stb. A fejlesztések folyamatosan követik és biztosítják az új tulajdonságok áttérését Áttérés Oracle adatbázisról az Oracle PL/SQL megfelelősség 98%*-os IBM Data Movement Tool képessé teszi az alkalmazások futását Oracle környezetből DB2 környezetbe alkalmas adatok DB2-be történő átmozgatására különböző adatbázis-kezelőkből IBM DB2 Workshop for Oracle Professionals testreszabott oktatás Oracle adatbázis üzemeltetőknek, fejlesztőknek egyszerűen kiterjeszti a PL/SQL ismereteket 2 nap, amely lefedi a két adatbázis-kezelő teljes összeegyeztethetőségét élő mintaáttérés demonstrációs környezetben * 2011. szeptember 28. és 2012. március 7-e között végzett belső tesztek és ügyféltapasztalatok alapján. Valós igény esetén az IBM térítésmenetesen felméri a megfelelősség mértékét. 35