Kattintson ide szöveg hozzáadásához Vajon mit ajánlunk IM témakörben? DBs, Archiving, Security, DWH, Appliances, Social Network, Visualization Information Management
Információ kezelés ~ Information Management Transactional & Collaborative Applications Integration Analyze Business Analytic Applications Manage Master Data Big Data Cubes External Information Sources Data Document Streaming media Analytics DW Data Warehouse Streams Quality Lifecycle Govern Security & Privacy Standards 2 2
IBM DB2: a megtakarítások forrása Alacsony működési költségek automatizált DBA feladatok, optimális tárolók, egyedi teljesítmény Megbízhatóság bizonyított megbízhatóság, rendelkezésre állás, és a biztonság Egyszerű használat egyedi fejlesztői támogatás, XML alapú adatkezelés, virtuálizációs eszközök Alacsony adminisztrációs költségek egyedi automatizálás Alacsony háttértárhoz kapcsolódó költségek egyedi, kiemelkedő tömörítési eljárások Alacsony szerverparkhoz kapcsolódó költségek piacvezető teljesítmény Alacsony IT jellegű költségek gyors és egyszerű virtuálizációs eszközök számszerűsített teljesítmény növekedés SAP környezetben ERP 20%+, BW 40%+; mért 9-szeres BW válaszidő gyorsulás számszerűsített háttértár igény csökkenés (teljes rendszerre vetítve: 55-68%) 3 teljeskörű integráltság
IBM DB2: a megtakarítások továbbvitele (DB2 10.1 2012. július 17.) Alacsony működési költségek automatizált DBA feladatok, optimális tárolók, egyedi teljesítmény Megbízhatóság bizonyított megbízhatóság, rendelkezésre állás, és a biztonság Egyszerű használat egyedi fejlesztői támogatás, XML alapú adatkezelés, virtuálizációs eszközök A DB2 9.7-hez képest további 20-30%-os tömörítési ráta Mindez Coca Cola esetén: 77% 1 Egyszerű szabad hely felszabadítás komplex lekérdezések esetén 3-szor nagyobb teljesítmény 2 Coca Cola: 90% 1 gyorsabb futási idő a batch alapú feldolgozásoknál Általánosságban 30-60% 3 teljesítmény javulás Továbbfejlesztett logikai hibakezelés a HADR segítségével 10-gigabit Ethernet támogatás AIX szervereken Támogatott purescale platform DB2 10.1 megjelenést követő három hónapon belül támogatott SAP környezetben 1 Coca Cola Bottling DB2 10.1 for LUW video: http://www.youtube.com/watch?v=qma5tmpxtcy 2 Belső mérés alapján: IBM DB2 9.7 FP3 vs. DB2 10.1 felhasználva az új tömörítési módszert; hardver: P6-550; dátum: 2012. március 29. 3 Belső mérés és ügyfél kikérdezés alapján, amely 2011. szeptember 28. és 2012. március 7. között történt. 4
Kimagasló megtakarítás az adaptív tömörítés segítségével DB2 10.1 for Linux, Unix and Windows (LUW) DB2 9 LUW: DB2 9.7 LUW: DB2 10.1 LUW: jelentős háttértár megtakarítás és memória felhasználás a táblák esetén kiterjesztett tömörítés (Index, Temp és LOB) adaptív tömörítés tábla-oldal szinten, és archív logokra is Comp. Rate 40-50 % 1 Comp. Rate Up to 65 % 2 Comp. Rate bis 77 % 3 Our migration from Oracle Database to DB2 resulted in a 40% storage savings. Upgrading to DB2 9.7 and index compression brought our average savings to 57%. Now adaptive compression brings our average savings to 77%, dramatic savings! Andrew Juarez, Lead SAP Basis / DBA, Coca Cola Bottling Company. 5 1 Esettanulmány: Schaeffler http://www-01.ibm.com/software/success/cssdb.nsf/cs/strd-7jejg9?opendocument&site=gicss67sap&cty=en_us 2 Esettanulmány: olasz közlekedési cég http://public.dhe.ibm.com/common/ssi/ecm/en/spc03369iten/spc03369iten.pdf 3 Coca Cola Bottling DB2 10.1 LUW video: http://www.youtube.com/watch?v=qma5tmpxtcy
Teljesítmény növekedés (példa): MPC MCP = Multi Core Parallelism, része a D2 10.1 LUW csomagnak Biztosítja a nagy lekérdezések párhozamos futtatását (OLTP, OLAP) Támogatja a párhuzamos feldolgozást SAP NetWeaver BW környezetben nem szükséges a DB2 Database Partitioning Feature alkalmazása Egyszerűen kezelhető, beállítható Teszt eset Nagy, nem partíciónált infókocka 20 tipikus lekérdezés 4 CPU mag (!) Átlagos teljesítménynövekedés: DB2 10.1 44%-kal volt gyorsabb, mint DB2 9.7 (felhasználva Intra Parallel processing módot). 6
What makes BLU Acceleration different? Unmatched innovations from IBM Research & Development labs Next Generation In-Memory In-memory columnar processing with dynamic movement of data from storage Analyze Compressed Data Patented compression technique that preserves order so data can be used without decompressing C1 C2 C3 C4 C5 C6 C7 C8 Encoded CPU Acceleration Multi-core and SIMD parallelism (Single Instruction Multiple Data) Data Skipping Skips unnecessary processing of irrelevant data Instructions Data Results
What is BLU for Cloud? DB2 BLU for Cloud Self-service Data Warehousing & BI in the Cloud The same benefits of DB2 with BLU Acceleration, plus On-demand analytics, deploy analytics in under an hour Powerful database & analytic capabilities at a fraction of the cost No infrastructure investment Cognos Business Intelligence included Expert-built schemas for business insight Available on: For use by: Business IT Data Scientists Business Analysts Line of Business Users DBAs Developers
DB2-re történő áttérés egyszerűsége DB2 natív módon támogatja más gyártók által fejlesztett egyedi adatbázis jellemzőket: belső leírási tulajdonságok, csomagok, adat típusok, egyidejűségi modellek, leíró nyelvek, stb. A fejlesztések folyamatosan követik és biztosítják az új tulajdonságok áttérését Áttérés Oracle adatbázisról az Oracle PL/SQL kódok 90-99%-a azonnal átfordítható DB2-be IBM Data Movement Tool képessé teszi az alkalmazások futását Oracle környezetből DB2 környezetbe alkalmas adatok DB2-be történő átmozgatására különböző adatbázis-kezelőkből IBM DB2 Workshop for Oracle Professionals testreszabott oktatás Oracle adatbázis üzemeltetőknek, fejlesztőknek egyszerűen kiterjeszti a PL/SQL ismereteket 2 nap, amely lefedi a két adatbázis-kezelő teljes összeegyeztethetőségét élő mintaáttérés demonstrációs környezetben 9
SAP IT - Germany DB2 a stratégiai adatbázis-kezelő az SAP IT-nál Az SAP több mint 1200 rendszerén fut DB2 ~ 522 DB2 9.1-es és ~ 183 a DB2 9.5-ös SAP HR rendszerét migrálta Oracle-ről DB2-re párhuzamos Unicode és a DB2 migráció egy hétvége alatt 40%-kal csökkent a válaszadási idő Az SAP az ERP rendszerét is migrálta... legnagyobb rendszer 2,4 TB-os volt R/3-ról ERP 2005-re történt a váltás, párhuzamosan Unicode és DB2 átállással DB2 a jelentős K+F platform az SAP-nál A rendszer válaszidejének javulása 20 százalék körülire volt tervezve, azonban a valóságban már megfigyelhető a 40 százalékos válaszidő csökkenés DB2-vel. Peter Boegler, Solution Architect, SAP IT 10
AUDI csoport, benne AUDI Hungaria Motor Kft. Előzetesen várt eredmények: Adatbázisméret és a havi növekedés mértékének csökkenése on-line DB Backup idejének csökkenése Performancia (sebesség) javulása Üzemeltetési feladatok csökkenése a SAP release stratégiájához igazított DB2 release menetrend kiszámítható/tervezhető patch-menetrend (negyedévente) Jelentős költségmegtakarítás a high-end storage területen az adatbázisok méretének csökkenése miatt. Proof of Concept Kiválasztott rendszerek: erecruiting, ERP (FI/CO), BW Cél: minimum 40%-os adatbázis méretcsökkenés, performancia nem lehet rosszabb a jelenleginél PoC eredmények erecruiting a DB2 adatbázis titkosítása nem igényelt jelentős erőforrás-többletet. a 78,6 GB-os DB2 adatbázis titkosítása sikeresen, 30 perc alatt lezajlott. ERP (FI/CO) Erőforrásszükséglet: a CPU és a RAM igény egyértelműen kisebb volt. Tárolókapacitás: a DB2 73%-kal kevesebb diszket igényelt. Performancia: a DB2 adatbázis átlagosan (az összes mérést figyelembe véve) 64%-kal gyorsabb volt, bizonyos esetekben akár 9 szeres gyorsulást is sikerült elérni. BW Erőforrásszükséglet: a CPU-igény hasonló, RAM egyértelműen kevesebb kellett Tárolókapacitás: a DB2 53%-kal kevesebb diszket igényelt Performancia: a DB2 átlagosan (az összes mérést figyelembe véve) 23%-kal gyorsabb volt. Bizonyos mérések a DB2-nél 101-szeres gyorsulást mutattak az Oracle DB2-höz képest (az SAP BW kihasználja a DB2 adatbázis speciális funkcióit). Migráció befejeződött: AHM 2010. szeptember 11-i hétvégén, többi rendszer 2010. év végéig 11
Adatbázisok kezelése Archiválás és visszaállítás, felderítés javuló adatkezelési teljesítményét ellenőrzött adatmennyiség növekedés, költségmegtakarítással adatmegőrzési megfelelőség támogatása Tesztadatok kezelése megfelelő méretű és minőségű tesztkörnyezet javuló alkalmazás-minőség ismétlődő teszteljárások felgyorsítása Bizalmas adatok védelme kényes adatok maszkolása megfelelőség biztosítása Alkalmazások frissítése, összevonása, nyugdíjazása régi adatok elérése (az eredeti éles környezet visszaállítás nem szükséges) univerzális adatelérés: SQL, ODBC/JDBC, XML, portál felület, jelentéskészítő eszközök (Cognos), egyéb használt állomány formátumok (txt, csv, xls, stb.) Információk életciklusának kezelése 12
Optim nagyvállalati architektúra Egyszerű, skálázható architektúra, amely központi eszközként biztosítja a kivonat készítést, tárolást és visszaállítást, adatvédelmet (anonimizálás), alkalmazások adatainak megőrzését 13
Archiválás és visszaállítás, felderítés archiválás Éles adatbázis visszaállítás Archívum Univerzális adatelérés Biztonságosan mozgatja a nem használt, vagy történelmi adatokat az archívumba Az archívum jelentős számú különböző módokon elérhető felderítés, riportkezelők, alkalmazási elérések, stb. 14
Tesztadatok kezelése Éles adatbázis átmozgatás Egyedi állományok betöltés beillesztés frissítés összehasonlítás Könnyen kezelhető teszt környezet Megfelelő méretű és minőségű részadatbázis létrehozása hatékonyabb módon, mint a klónozás fejlesztői rendszer minőségbiztosítási rendszer 15 teszt rendszer
Bizalmas adatok védelme Éles adatbázis Átalakítás és maszkolás Maszkolt teszt adatok Átfogó adatmaszkolási technikák alkalmazásával az eredeti adatok azonosítása nem lehetséges A bizalmas információt helyettesítő (maszkolt) adat kontextuálisan pontos, de mesterségesen létrehozott adat 16
Alkalmazások frissítése, összevonása, nyugdíjazása Elavult alkalmazás archiválás archívum Alkalmazás adatbázis Referencia adat történeti adat Riportolási adat Univerzális adatelérés Az alkalmazás adatainak archiválása a kikapcsolás előtt Az adatok elérése az elavult alkalmazás nélkül, vagy teljes körű visszaállítás ODBC / JDBC XML Riport készítő 17
Optim által nyújtott életciklus kezelés Aktuális adatok Aktív történeti adatok Online archívum Offline archívum 1-2 év 3-4 év 5-6 év 7+ év Éles adatbázis archiválás visszaállítás Archív riport adatbázis Nem DBMS alapú megőrzési platform Offline megőrzési platform CD szalag optika Archívum (tömörített) Archívum (tömörített) Archívum (tömörített) 18
Universal Access Natív alkalmazás elérés Normál képernyők, folyamatok Optim Alkalmazás független elérés iparági standardok: SQL, ODBC/JDBC, XML IBM Mashups portálok jelentéskészítő eszközök Crystal Reports, Cognos, Business Objects, Discoverer végfelhasználói alkalmazások: Excel, CSV, Access adatbázis formátumok Access Any Record, Anytime, Anywhere! 19
Kritikus adatok védelme a teljes életciklusuk alatt Valósidejű adatbázis biztonság és monitorozás Cyber támadás elleni védelem Kiváltságos felhasználók figyelése és ellenőrzése (100% átláthatóság) Valós idejű megelőzés és riasztás Hangolható hozzáférés és alkalmazás szintű ellenőrzés Szabály-alapú akciók SIEM integráció Különböző adatbázisok, alkalmazások és kliensek felfedezése Az érzékeny, kritikus adatok felderítése és osztályozása A biztonsági szabályrendszerek folyamatos frissítése Rosszindulatú számítógépes programok (malware) és beépülő logikai bombák azonosítása Monitor & Enforce Find & Classify Kritikus adatinfrastruktúra Audit & Report Assess & Harden Automatikus, központosított irányítás Előre meghatározott szabályok, megfelelőségi jelentések Automatizált eszkalálás Különböző adatbázisokon, változtatás nélküli, minimális teljesítményigényű működés Hosszú távú megőrzés Sebezhetőség, konfiguráció és viselkedés felmérés Konfiguráció lezárás és változás követés Titkosítás Előre meghatározott tesztek a leghasznosabb tapasztalatokat alapján (STIG, CIS, CVE) 20
Fő üzleti mozgatórugók adatbázis biztonság és megfelelőség 1. Adatszivárgás megakadályozása külső, illetve belső fenyegetések elkerülése 2. Adatkezelés megfelelő biztosítása bizalmas adatok illetéktelen módosításának megakadályozása (beleértve kiváltságos jogosultsággal rendelkező felhasználókat is) 3. Megfelelőséghez kapcsolódó költségek csökkentése automatikus, folyamatos kontrol egyszerű auditálási folyamatok minimális teljesítmény igény adatbázisok, alkalmazások változatlan fenntartása 21
Guardium - Valósidejű adatbázis monitorozás és biztonság Privileged Users Teljekörű hozzáférés-monitorozás Használatához nem szükséges adatbázis vagy alkalmazás módosítás Minimális adatbázis-teljesítmény terhelés Egyértelműen elkülöníthető szerepkörök (biztonságos audit állományok) 22 Ki, mit, mikor és hogyan - monitorozás Valós idejű, szabályrendszeren alapuló monitorozás A céleszköz 3-6 hónapnyi adatot tud tárolni a saját tárhelyén Automatizált megfelelőség jelentések, aláírások (SOX, PCI, NIST, stb.)
Guardium monitorozási képességek SQL hibák, Login események DDL parancsok (Create/Drop/Alter Tables) SELECT futtatás DML parancsok (Insert, Update, Delete) DCL parancsok (Grant, Revoke) Procedúra alapú leíró nyelvek Adatbázisból hívott XML 23 23
Guardium felhasználása alkalmazások felhasználóinak azonosítására Felhasználók azonosítása Felfedi a lehetséges csalásokat Pontosan ellenőrzi a felhasználói hozzáféréseket az érzékeny táblákhoz Támogatott nagyvállalati alkalmazások SAP, Siebel, Oracle E-Business Suite, PeopleSoft, Business Objects Web Intelligence, JD Edwards, (és belső fejlesztésű egyedi alkalmazások integrációja is lehetséges) Felhasználói azonosítók (ID) rögzítése Egyedi azonosítót összegyűjtése az adott adatbázisokból (táblák, trigger, stb. által) Egyedi hívásokat ellenőrzése és a paraméter-információk összegyűjtése S-TAP szonda által az alkalmazás, vagy proxy szerver által a felhasználói azonosító megszerzése 24
Sebezhetőség vizsgálat valós példa Teszteredmény 100% a legjobb elérhető érték Összesítés a vizsgált 267 teszt eset alapján Az egyes tesztek külön csoportba vannak osztva, külön láthatók az eredmények 25
Skálázható, heterogén architektúra Integráció: LDAP, Kerberos, SNMP/SMTP, QRadar, ArcSight, RSA SecurID & envision, McAfee epo, IBM TSM, Tivoli, Remedy, stb. 26
...... GGr: InfoSphere Guardium Grid (GGr) Instance 1 Instance 2 Instance 3 Instance 100 Instance 101 virtuális IP kiosztás az S-TAP-oknak teljesítmény-elosztás a gyűjtőeszközök (Collector) között automatikus Újrarendezés gyűjtőeszköz (Collector) meghibásodása esetén IP Load balancer(s) (Cisco, F5) Collector 1 Előnyök: virtuális IP kiosztás egyszerűsíti az S-TAP konfigurálást a rendszer a megfelelő eszközhöz rendeli a szondát figyelembe véve az a elérhetőséget és kapacitást (egyszerűbb tervezés) egyedi gyűjtőeszközök egyszerűen hozzáadhatók, vagy elvehetők a rendszerből Instance 102 Collector N megőrzi a rendszer teljes redundanciáját és folyamatosan biztosítja a terheléselosztást Instance 901 Collector Z Instance 902 Instance 903 GGr támogatja a központi változtatásokat IP függőség nélkül 27
Capture/Replay Új funkció az idei évtől támogatja a heterogén, több adatbázisos környezete a visszajátszás egy külön tesztrendszeren Működés az adatrögzítés a monitorozott rendszeren történik a rögzített adatok és terhelés visszajátszása alrendszeren valósul meg lehetőséget nyújt az alrendszeren végzett visszajátszás összehasonlítására is Milyen esetekben hasznos? migráció tesztelés (operációs rendszer, adatbázis) funkcionális és teljesítmény tesztelés hiba felderítése a visszajátszás során változtatások hatásának elemzése a valós és a tesztrendszeren egy időben működés összehasonlítása hibakeresés és diagnosztikai céllal 28 28
Integráció a meglévő infrastruktúrával a költséghatékonyság érdekében Directory Services (Active Directory, LDAP, etc.) SIEM (Q1 Labs, ArcSight, EnVision, Tivoli, etc.) SNMP Dashboards (HP OpenView, Tivoli, etc.) Change Ticketing Systems - Remedy, Peregrine, etc Authentication (RSA SecurID, RADIUS, Kerberos) Send Alerts (CEF, CSV, syslog) Vulnerability Standards (CVE, STIG, CIS Benchmark) Sensitive Data - ---- - - - - - xxx-xx-xxxx - - - - - - - Data Leak & Data Classification Software Deployment (Tivoli, RPM, Native Distributions) McAfee (EPO) Long Term Storage (EMC Centera, IBM TSM FTP, SCP, etc.) Application Servers (Oracle EBS, SAP, Siebel, Cognos, PeopleSoft, WebSphere, etc.) 29
IBM PureSystems Family How much flexibility, integration and workload optimization does the client want out of the box? Infrastructure Integrated and optimized infrastructure with flexibility Runs your choice of applications and middleware Application Platform Integrated and optimized application platform Built on IBM middleware to accelerate deployment of your choice of applications Data Platform Integrated and optimized data platform Delivers high performance data services to transactional and analytics applications Enhanced Updated with enhanced Flex System elements* Delivering application platform services New New system optimized exclusively for data workloads * November 13 announce 30
What makes IBM PureData System unique? Different models pre-optimized exclusively for different data workloads Saving clients time, effort and cost to tune on their own PureData System for Transactions PureData System for Analytics Next generation Netezza appliance Data services for applications like payment processing Very fast response times for high transaction volumes with high reliability, scalability and efficiency Data services for applications like medical diagnosis Ability to analyze millions of medical records quickly, easily and cost effectively PureData System for Operational Analytics Data services for applications like real-time fraud detection Supports both complex analytical queries as well as thousands of interactive operational queries per second 31
Törzsadatkezelés Konszolidált, egységes hozzáférés, ellenőrzött kezelés???????????? Ügyfélszolgálat Befektetés Master Data életbiztosítás gépjármű lakás Kárrendezés, Kockázat elemzés 32 32
Közös törzsadatkezelés előnyei Megalapozottabb stratégiai döntések, elemzések pontosabb információk alapján Csökkenő működési költségek, Hatékony központosított törzsadat karbantartás Master Data Management Ügyfélkapcsolat és kiszolgálás javítása,kevesebb adatlap Egyablakos ügyintézés. Hibás adatokból származó veszteség, csökkenése NEM CRM! Új alkalmazások bevezetése lerövidül. Új feladatok, ügyfelek felvétele egyszerűsödik Szervezeti, intézményi átalakulások átszervezések költsége csökken Törvényi szabályoknak való megfelelés Speciális szabályzás, összeférhetetlenség jelzése Fraud detektálás segítése 33
Széleskörű képességek az igényekhez igazodó törzsadatkezelésért. Integrate Master Data Előredefiniált, jól bevált törzsadat domain akár új domainnel is bővíthető Központi törzsadat mint szolgáltatás (SOA) több mint 800 kiajánlott service Erős adat-felügyeleti képességek, DataStewardship, Authority Adatkezelési, adattisztítási folyamatok Törzsadat kezelő megjelenítő felület Testreszabható, és kibővíthető alaprendszer (új szolgáltatások) InfoSphere termékcsalád elemeivel integrált, DataStage Quality Stage Data Warehouse 34
The IBM Big Data Platform InfoSphere BigInsights Hadoop-based low latency analytics for variety and volume Hadoop Information Integration Stream Computing InfoSphere Information Server High volume data integration and transformation InfoSphere Streams Low Latency Analytics for streaming data MPP Data Warehouse IBM InfoSphere Warehouse Large volume structured data analytics IBM Netezza High Capacity Appliance Queryable Archive Structured Data IBM Netezza 1000 BI+Ad Hoc Analytics on Structured Data IBM Smart Analytics System Operational Analytics on Structured Data IBM Informix Timeseries Time-structured analytics
Warehouse Modernization Has to Themes Traditional Analytics Structured & Repeatable Structure built to store data Hypothesis Question? Big Data Analytics Iterative & Exploratory Data is the structure Data All Information Exploration Analyzed Information Answer Data Start with hypothesis Test against selected data Actionable Insight Correlation Data leads the way Explore all data, identify correlations Analyze after landing Analyze in motion
Data Warehouse Augmentation: Value & Diagram Pre-Processing Hub Query-able Archive Exploratory Analysis 1 2 3 Streams Real-time processing Data Explorer BigInsights Landing zone for all data BigInsights Information Integration Data Explorer Find and view the data Can combine with unstructured information BigInsights Streams Offload analytics for microsecond latency Data Warehouse Data Warehouse Data Warehouse 37 2013 IBM Corporation
Enhanced 360º View of the Customer: Value & Diagram SOURCE SYSTEMS CRM Name: J Robertson Address: 35 West 15 th Address: Pittsburgh, PA 15213 ERP Name: Janet Robertson Address: 35 West 15 th St. Address: Pittsburgh, PA 15213 Legacy Name: Address: Jan Robertson 36 West 15 th St. Address: Pittsburgh, PA 15213 Master Data Management 360 View of Party Identity First: Last: Address: City: State/Zip: Janet Robertson 35 West 15 th St Pittsburgh PA / 15213 Unified View of Party s Information Gender: F Age: 48 DOB: 1/4/64 BigInsights Streams Warehouse Unified View of Party s Information 38 2013 IBM Corporation
Access across many sources Dynamic categorization Expertise location Highly relevant, personalized results Leveraging Structured and unstructured content Enhanced by social collaboration Refinements based on structured information Organize content into virtual folders 39 39
How Streams Works Continuous ingestion Continuous analysis Filter / Sample Infrastructure provides services for Scheduling analytics across hardware hosts, Establishing streaming connectivity Transform Annotate Correlate Classify Achieve scale: By partitioning applications into software components By distributing across stream-connected hardware hosts Where appropriate: Elements can be fused together for lower communication latency
The Big Data Platform InfoSphere Data Explorer Find, navigate, visualize all data Accelerators Speed time to value with analytic and application accelerators InfoSphere BigInsights Bringing Hadoop to the enterprise InfoSphere Streams Analytics for data in-motion exploration PureData for Analytics & InfoSphere Warehouse Delivers deep insight with advanced database analytics & operational analytics Information Integration and Governance Govern data quality and manage the information lifecycle Solutions Analytics and Decision Management Visualization & Discovery Hadoop System IBM Big Data Platform Application Development Accelerators Stream Computing Information Integration & Governance Big Data Infrastructure Systems Management Data Warehouse 41 2013 IBM Corporation
Emerging Big Data Implementation Pattern Ingestion and Real-time Analytic Zone Ingest Filter, Transform Analytics and Reporting Zone Correlate, Classify Warehousing Zone Query Engines Cubes Data Sinks Connectors Extract, Annotate Landing and Analytics Sandbox Zone Enterprise Warehouse Descriptive, Predictive Models Analytics MapReduce Hive/HBase Col Stores Indexes, facets Data Marts Widgets Discovery, Visualizer Search Ingest Documents In Variety of Formats Models Metadata and Governance Zone Repository, Workbench
Big SQL: Native SQL Query Access for Hadoop Native SQL access to data stored in BigInsights ANSI SQL 92+ Standard syntax support (joins, data types, ) Real JDBC/ODBC drivers Prepared statements Cancel support Database metadata API support Secure socket connections (SSL) Optimization Leveraging MapReduce parallelism or Direct access for low-latency queries Varied data sources HBase (including secondary indexes) CSV, Delimited files, Sequence files JSON Hive tables BigInsights Application SQL JDBC / ODBC Driver JDBC / ODBC Server Big SQL Engine Data Sources Hive Tables HBase tables CSV Files 43 2013 IBM Corporation
Cognos Business Intelligence Optimized for Big SQL Cognos BI server can push down many computations to BigInsights Big SQL directs this processing to happen on BigInsights instead of the Cognos BI Server Faster response times Increased opportunity for query processing to occur closer to the data Free from the limitations of Hive (latency, SQL language support) Explore & Analyze Cognos BI Server SQL Interface via JDBC Application (Map-Reduce) Storage (HBase, HDFS) Report & Act InfoSphere BigInsights 44 2013 IBM Corporation
Integration Integration Integration Caixabank Big Data Reference Architecture CaixaBank Electronic Journal (structured) CaixaBank at rest / in motion (unstructured) Text Analytics Predictive Model Integration Streams (Data in Motion) Real Time Event Detection Big Data (Data At Rest) Offers Creation and Management System Marketing unstructured data Text Analytics Deep Analytics Pattern Detection Matching System External Social Media (unstructured) structured data Integration Multichannel Notification System CaixaBank operational system (structured) Datawarehouse Customers Profiles 45
IBM Counter-Fraud Management employs multi-layered analytical techniques Entity Analytics Predictive Analytics Behavioral Analytics Context Analytics Content Analytics Big Data Veracity Velocity Variety Volume Decision Management GeoSpatial Analytics Forensic Analysis Social Network Analysis
Insurance claim fraud scenario walkthrough FNOL, Bill, etc. Entity Analytics Detection Discovery Claimant Provider Business Rules Entity Analytics Optimize Fraud Decisions Predictive Model Anomaly Detection 9,500 model library Selection Evaluation Identification Real Time Alert New Investigation Observation Space Case Management Intelligent Investigation Intelligent Fraud Dashboards 47
Szociális háló elemzés Identity Insight fő funkciói KI-KIcsoda? Személy, cég azonosítás KI-KIT ismer? Nem triviális kapcsolat KI-MIT tesz? Személyhez kötött akciók Háttérben folyamatosan gyűjti az adatokat Adatforrás visszakereshető Adatbázis folyamatosan alakul aktualizálódik, időben változik Gyűjtött kapcsolati adat vizualizálható Valós Idejű működés! 48
i2: Vizualizáció és analízis Mrs. Kate Greene 1 Bourne St Clinton MA 01510 Tel#978-365-5312 EIN#097376156 DOB 07/08/64 PPN# 068588345 LIC#1702188364 Mrs. Kathy Green 10 Bouren St Clifton MA 01510 Tel#978-365-5312 LIC#1702188364 PPN# 086588345 Ms. Katherine Green 1 Bourne St Clinton MA 01510 TEL#978-365-6631 LIC#1702188364 DOB 07/09/66 EIN#097376156 Mrs. Kate Jones APT 4909 Bethesda, MD 20814 Tel#301-654-5404 LIC#1702188364 DOB 07/08/64 49
Azonosság felderítése ID 1987839 ID 8987009 Kate Mills 4737 Cimarron Dr. Bolton, MA 01512 Phone: (978)365-6631 DOB: 12/13/71 Kate Mills-Green 1 Bourne St. Bolton, MA 01512 Phone: (501)661-8044 Silverback DOB: 12/12/71 Azonosítás Kumulatív adatgyűjtés Automatikus korrekció Forrásmegőrzés Tetszőleges forrásból származó adatokkal Nagy hibatűrés Entity #14465 ID 1786616 Egyezőség jelzés Gyanús attribútum jelzés Katie Green ADDRESSES P.O. Box 12743 4737 Cimarron Dr. Clinton, MA Easton, MA 02334 01510 1 Bourne St. Phone: (978)365-6631 Bolton, MA 01512 Kinear P.O. Box 12743 Clinton, MA 01510 NAMES Katherine D. Green Kate Mills-Green Katie Green Kate Mills Kate Green Kate M. Green ADDITIONAL Hasonló adatok keresése (fuzzy matching) DOB: 12/13/71 Phone:(508)278-6019 (978)365-6631 (501)661-8044 Work: Zycast Int. Silverback Kinear Katherine D. Green 4737 Cimarron Dr. Easton, MA 02334 Phone:(508)278-6019 Zycast Int. DOB: 11/13/71 ID 3335673
Kapcsolatok keresése facebook Debbie Creston STR/SAR List VIN#222-222-356 Charlie Green Family Relationship ACCT#564-088-300 Közös cím katonaság IP sharing VIN#222-222-356 Kapcsolatkeresés Nemtriviális, kapcsolatok Soklépcsős kapcsolatok Gyanús, kapcsolat jelzése Feketelista Kizáró szerepkörök Kapcsolati háló megjelenítés EIN#667-009-008 Háló érték meghatározás P.O. Box 567 fektelistás facebook John Gairhan Watch List EIN#667-009-008 Whitley St. John Employee P.O. Box 567
Aktivitás figyelés előfordulás Több entitás Aktivitás minták Határidő túllépés Szolgáltatás Számla aktivitás Távolság - idő Complex Event Processing Events & Transactions Szabály alapú jelzés Térbeli és időbeli lefutás Esemény mintázat Határ Pénzforgalom Közeli hely Találkozó
Global Name Recognition Kat Cait Katchen Katya Aikaterina Legpontosabb névanalízis Cathy Catriona Catriona Ekaterina Nyelvi elemzés Kultúrális adatbázis, névvariánsok Katrina Személy és cégnév különválasztás Transzliteráció Kiska Catherina Katelyn Kathy Casey
Analyst notebook: Vizualizáció és analízis Fejlett megjelenítő és analizáló eszköz ISII -vel integrált Kapcsolati háló, szociális háló analízis Sok adatforrás adatainak közös felületen megjelenítése Tranzakció analízis Célirányos adatgyűjtés GEO analízis Kapcsolatok, tranzakciós utak, viselkedésminták hatékony feltárása
Pénzügyi tranzakciók hálózati vizsgálata Csaló hálózat vizualizációja Pénz mozgása hálózatban, időbeli lefolyásban Hálózat tagjainak súlya hozzájuk köthető érték megjelenítése Lefúrás a tranzakciók felé, pénz, információ áramlásmegjelenítése a hálózatban
56