Big Data. Benczúr András Big Data Lendület kutatócsoport MTA SZTAKI, Informatika Laboratórium Benczúr András

Átírás

1 Big Data Benczúr András Big Data Lendület kutatócsoport MTA SZTAKI, Informatika Laboratórium Benczúr András Big SZTAKI Október 17.

2 Big Data: volume, velocity, variety - V 3 big data is when the size of the data itself becomes part of the problem big data is data that becomes large enough that it cannot be processed using conventional methods Google sorts 1PB in 33 minutes ( ) Amazon S3 store contains 499B objects ( ) New Relic: 20B+ application metrics/day ( ) Walmart monitors 100M entities in real time ( ) Forrás: The Emerging Big Data slide from the Intelligent Information Management DG INFSO/E2 Objective ICT Info day in Luxembourg on 26 September 2011

3 Megvalósítás: új technológiai lehetőségek Technikai és kutatási kérdés: A nagy számú jelenleg lehetséges új technológia és megoldás jelölt közül melyik architektúra legalkalmasabb az adott üzleti probléma megoldására?

4 Elosztott rendszerek Murphy törvénye

5 Elosztott rendszerek Murphy törvénye Fox&Brewer CAP Tétel : C-A-P: kettőt választhatunk! C consistency Apache Flink A Availability AP: egy replika válaszolhat hibásan P Partition-resilience

6 Alkalmazások Big SZTAKI szeptember 17.

7 Temperatures -30 Model estimation error (%) [limit: +/- 17%] Big Data feladat: szenzor adatok Non-conform situation detection - estimation of the gearbox bearing temperature by a neural network modell (Model validity: ambient temperature between 4 and 10 C) Values_for_Model_INPUT_2 Gearbox bearing temperature_model_estimates Values_for_Model_INPUT_1 Gearbox bearing temperature_measured Ambient temperature (for model vaildity) Error_% Time - a year

8 Big Data feladat: nagyvállalati IT log Hagyományos megoldások: kudarc Aggregált adatok: adattárház? Tapasztalat: GB/nap 3-60 millió esemény teljesítményprobléma, folyamat-optimalizálás rosszindulatú támadás, visszaélés-felderítés

9 Intelligens környezet mobilitási adatok Mobilitási adatok többcélú elemzése o Mobil szolgáltatás minősége, csomagvesztés előrejelzése o Személyre szabott profilépítés térben és időben Felhasználó és helyszín modellek építése és előrejelzés o Helyszín, útvonal predikció, valós idejű közlekedési előrejelzés Intelligens város alkalmazások o Többtényezős optimalizáció (ár, idő elektromos autók!) o Tömegközlekedés o Katasztrófahelyzetek, nagy rendezvények biztosítása Metropolisz adatmennyisége o Tárolásra nincs idő (volume) o Azonnali reakció (velocity) o Mozgás, események, tartalomfogyasztás, közösség (variety)

10 Mobilitás adatfolyam kísérlet (Orange D4D)

11 Virtuális neuro-kognitív labor VirCA-ra épülő együttműködés o SZTAKI 3D Internet Kontroll és Kommunikáció Labor (Baranyi) o MTA TTK Kognitív Idegtudomány és Pszichológia Intézete o BME Ergonómia, Pszichológia és TMIT tanszékek Big Data feladatok: 1. Részletes naplózás és visszakeresés 2. Események rekonstruálása 3. Analitika Gazdag, heterogén adatforrás: mozgás közbeni EEG, szemkövetés, FIRST projekt Smart City alprojektjéhez kapcsolódó kutatás

12 Közösségi média trendek Algoritmikus kihívás: o Sok millió releváns dokumentum o Interaktív válaszidő demo o ELTE Twitter gyűjtés első éve (2012) o 1.2Md Tweet, 700M angol nyelvű o Meryl Streep előfordul 50,000 üzenetben o Valós időben Leválogatni Előszedni a teljes szöveget Gyakori szavakat kiválasztani

13 HANA demo Twitter 2012: Meryl Streep

14 HANA demo Twitter 2012: Meryl Streep

15 HANA demo Twitter 2012: Meryl Streep

16 HANA demo Twitter 2012: Meryl Streep

17 HANA demo Twitter 2012: Meryl Streep

18 HANA demo Twitter 2012: Meryl Streep

19 HANA demo Twitter 2012: Meryl Streep

20 HANA demo Twitter 2012: Meryl Streep

21 HANA demo Twitter 2012: Meryl Streep

22 Közösségi média, ajánló rendszerek Ajánlás (retweet, hashtag) tartalom ÉS hálózat alapján Maidan: tweets, retweets, users Euromaidan: tweets, retweets, users Olympics: tweets, retweets, users Putin: tweets, retweets, users Berkin Elvan: tweets, retweets, user MH17: elemzésre vár

23 Összefoglalás Big Data feladatok jellemzői Adat más célból gyűlik Elosztottan kell feldolgozni Valós idejűség gyakran igény, és lehetőség Szoftver-rendszerek zavarba ejtő választéka Alkalmazási területek Szenzorhálózatok, IT rendszerek Mobilitás, közlekedés, intelligens környezet Közösségi média Együttműködés FIRCC-hez kapcsolódó SZTAKI projekt SAP, Ericsson EU projektek

24 Köszönöm a figyelmet! Big SZTAKI szeptember 17.