Takács Gábor mérnök informatikus, okl. mérnöktanár takacsg@sze.hu http://rs1.sze.hu/~takacsg/
Big Data Definition Big Data is data that can t be stored or analyzed using traditional tools.
Információ tartalom, adat strukturáltság Az analitika miként emeli az adatok értékét? elemzési számosság
Számítástechnika új korszaka (párhuzamosítás) Első mérföldkő a kognitív technológiának 15th February 2014 IBM Labs: - neuron áramkörös chip - ultra-gyors, energiahatékony analóg-digitális átalakító (ADC) - új technológiai áttörés - lehetővé teszi a 400 Gb / s adatátviteli sebességet
Tévhitek, mitológiák Nagy adatmennyiségről van szó! A Big Data, az a Hadoop környezet. A most meglévő relációs adatbázisok Big Data Technológiával kiválthatók NoSQL jelenti, hogy soha többé nincsen szükség SQL adatbáziskora A BigData nem struklturált adatokat, és Sentiment analysis jelent Strukturáltság tervezési időben nem ismert Streaming feldolgozás, text analytika Adattárháznál megvannak a klasszikus indexelési technológiák NoJustSQL, tehát más adatbázis is jelen van Gyakran, és a legtöbbet használt területe a pozitív-negatív érzelemvizsgálat, de a magyar nyelv miatt ez sem egyszerű Érzelmek gépi keresése: szív, izzadás, EKG, agyhullám Baba rabok példa
Dolgok internete Adatok tárolás nélküli, valós idejű feldolgozása
IBM Watson (Mindent vagy semmit) https://www.youtube.com/watch?v=wfr3lom_xhe Természetes nyelvi elemzés után tétel bizonyítás alapú válaszkeresés. Viszonyító algoritmus : Szabályrendszer adatbázis összefüggés feltárás hipotézis Ami mögötte van: Hadoop technológia + PC klaster
Orvosi panasz elemzés, ügyfél szokások, IP Tv, gyártási adatok optimalizálásra, Adatgyűjtés: BMW, AUDI, WV
Képfelismerés, videóanalytika
Biztonsági rendszerek felokosítása, valós idejű elemzés
Alakfelismerés Kontúr detektálés Konkrét alakfelismerés Objektum arányok összehasonlítása
Jósló (predictive) analitika egy egészségügyi intézménynél Szélső érték esetén riasszon a rendszer. A kérdés, a riasztások sűrűsége.
Mi a különbség a klasszikus adattárházi technológiai keresés, és a BIG DATA analitikai technológia között? Az üzleti intelligencia rendszerek megteremtésének alapfeltétele, hogy az információk és felhasználható tudások előállításához szükséges adatok a megfelelő formában, a megfelelő időben és megfelelő minőségben rendelkezésre álljanak.
F1 csapat, és más pilóták Vélemény vezérek megkeresése
1. 2. 3. 4.
A két technológia akár egymást kiegészítheti
BIG DATA mögötti adatbázisok Objektumorientált adatbázis-kezelő Objektumkénti gráfok tárolása (Térképek, navigáció)
(Beépített DB)
Piaci részesedések
Hadoop klaszter
Hadoop jelentése Adatok számítógépeken szétosztva Nem csak adattárolásra jó, hanem keretrendszert ad Hadoop környezetben az algoritmust tesszük az adatok mellé. A programok a klaszter minden NODE-jára települhet. MŰKÖDÉS: 1. Program meghívásakor elősször a NODE-ok között történik egy feladatkiosztás 2. Algoritmusok kiválasztása 3. Adatok összevonása
Miből is áll egy ilyen enterprise platform? Adat vizualizációs réteg Elemző eszközök SPSS, R nyelv BI-hoz Optimalizált menedzsmenti réteg. Script nyelvek. Futtató környezet BD_szint opensource Fájlrendszer
Merre tart a Hadoop környezet? Relációs adatbázisokra is legyen elérhető Hadoop környezet Sok relációs adatbázisra épülő alkalmazás fut, amit ki kell használni. Tranzakció kezelés javítása.
Jó, jó, de hol az exceltáblám? Amikor elkészül a diagram, akkor csak egy kivonatot látunk az adatokból. A teljes adatbázisra, csak a diagram összeállítás végén fut le teljesen.
Adatok feldolgozásának összefüggései
Adatfolyam feldolgozás (streaming feldolgozás) Nehézkes szinkronizáció (megfelelő feldolgozás kiválasztása) Más fejlesztői logika szükséges a csőszerű feldolgozás miatt Az adategység indítja el a feldolgozást. Négyzet: adategység (Pl.: twitter üzenet) gömb: feldolgozóegység
Hibatűrő rendszer
Vállalaton belüli Google Több rendszerből gyűjtött adatok
Miből is áll egy ilyen BIG Data keretrendszer az IBM szemszögéből? Hadoop környezet adatok tárolására Adatforrás 1: Adatforrás 2: Adattárházak, célgépek
Hogyan épül fel az IBM platformja Pl: mi van a hűtőben Végfelhasználói megoldások Elemző réteg Adatkritikus megoldások
Karácsonyi ajándékötletek az IBM Big Datájától forrás: http://www.digitalhungary.hu/e-volution/karacsonyi-ajandekotletek-az-ibm-big-datajatol/2319/ http://www-01.ibm.com/software/marketing-solutions/watson-trend/ https://ibmwatsontrend.com/#/
Képzés ajánlás http://adatlabor.hu/big-data-kepzes/
Köszönöm a figyelmet!