Takács Gábor mérnök informatikus, okl. mérnöktanár

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Takács Gábor mérnök informatikus, okl. mérnöktanár"

Ernő Tóth
5 évvel ezelőtt
Látták:

1 Takács Gábor mérnök informatikus, okl. mérnöktanár

2 Big Data Definition Big Data is data that can t be stored or analyzed using traditional tools.

3 Információ tartalom, adat strukturáltság Az analitika miként emeli az adatok értékét? elemzési számosság

Számítástechnika új korszaka (párhuzamosítás)

átalakító (ADC) - új technológiai áttörés -

4 Számítástechnika új korszaka (párhuzamosítás) Első mérföldkő a kognitív technológiának 15th February 2014 IBM Labs: - neuron áramkörös chip - ultra-gyors, energiahatékony analóg-digitális átalakító (ADC) - új technológiai áttörés - lehetővé teszi a 400 Gb / s adatátviteli sebességet

5 Tévhitek, mitológiák Nagy adatmennyiségről van szó! A Big Data, az a Hadoop környezet. A most meglévő relációs adatbázisok Big Data Technológiával kiválthatók NoSQL jelenti, hogy soha többé nincsen szükség SQL adatbáziskora A BigData nem struklturált adatokat, és Sentiment analysis jelent Strukturáltság tervezési időben nem ismert Streaming feldolgozás, text analytika Adattárháznál megvannak a klasszikus indexelési technológiák NoJustSQL, tehát más adatbázis is jelen van Gyakran, és a legtöbbet használt területe a pozitív-negatív érzelemvizsgálat, de a magyar nyelv miatt ez sem egyszerű Érzelmek gépi keresése: szív, izzadás, EKG, agyhullám Baba rabok példa

6 Dolgok internete Adatok tárolás nélküli, valós idejű feldolgozása

IBM Watson (Mindent vagy semmit) https://www.youtube.com/watch?

7 IBM Watson (Mindent vagy semmit) Természetes nyelvi elemzés után tétel bizonyítás alapú válaszkeresés. Viszonyító algoritmus : Szabályrendszer adatbázis összefüggés feltárás hipotézis Ami mögötte van: Hadoop technológia + PC klaster

8 Orvosi panasz elemzés, ügyfél szokások, IP Tv, gyártási adatok optimalizálásra, Adatgyűjtés: BMW, AUDI, WV

9 Képfelismerés, videóanalytika

10 Biztonsági rendszerek felokosítása, valós idejű elemzés

11 Alakfelismerés Kontúr detektálés Konkrét alakfelismerés Objektum arányok összehasonlítása

12 Jósló (predictive) analitika egy egészségügyi intézménynél Szélső érték esetén riasszon a rendszer. A kérdés, a riasztások sűrűsége.

13 Mi a különbség a klasszikus adattárházi technológiai keresés, és a BIG DATA analitikai technológia között? Az üzleti intelligencia rendszerek megteremtésének alapfeltétele, hogy az információk és felhasználható tudások előállításához szükséges adatok a megfelelő formában, a megfelelő időben és megfelelő minőségben rendelkezésre álljanak.

14 F1 csapat, és más pilóták Vélemény vezérek megkeresése

16 A két technológia akár egymást kiegészítheti

17 BIG DATA mögötti adatbázisok Objektumorientált adatbázis-kezelő Objektumkénti gráfok tárolása (Térképek, navigáció)

18 (Beépített DB)

19 Piaci részesedések

20 Hadoop klaszter

Hadoop jelentése Adatok számítógépeken szétosztva Nem csak adattárolásra jó, hanem keretrendszert ad Hadoop környezetben az algoritmust tesszük az adatok mellé.

21 Hadoop jelentése Adatok számítógépeken szétosztva Nem csak adattárolásra jó, hanem keretrendszert ad Hadoop környezetben az algoritmust tesszük az adatok mellé. A programok a klaszter minden NODE-jára települhet. MŰKÖDÉS: 1. Program meghívásakor elősször a NODE-ok között történik egy feladatkiosztás 2. Algoritmusok kiválasztása 3. Adatok összevonása

22 Miből is áll egy ilyen enterprise platform? Adat vizualizációs réteg Elemző eszközök SPSS, R nyelv BI-hoz Optimalizált menedzsmenti réteg. Script nyelvek. Futtató környezet BD_szint opensource Fájlrendszer

23 Merre tart a Hadoop környezet? Relációs adatbázisokra is legyen elérhető Hadoop környezet Sok relációs adatbázisra épülő alkalmazás fut, amit ki kell használni. Tranzakció kezelés javítása.

24 Jó, jó, de hol az exceltáblám? Amikor elkészül a diagram, akkor csak egy kivonatot látunk az adatokból. A teljes adatbázisra, csak a diagram összeállítás végén fut le teljesen.

25 Adatok feldolgozásának összefüggései

26 Adatfolyam feldolgozás (streaming feldolgozás) Nehézkes szinkronizáció (megfelelő feldolgozás kiválasztása) Más fejlesztői logika szükséges a csőszerű feldolgozás miatt Az adategység indítja el a feldolgozást. Négyzet: adategység (Pl.: twitter üzenet) gömb: feldolgozóegység

27 Hibatűrő rendszer

28 Vállalaton belüli Google Több rendszerből gyűjtött adatok

29 Miből is áll egy ilyen BIG Data keretrendszer az IBM szemszögéből? Hadoop környezet adatok tárolására Adatforrás 1: Adatforrás 2: Adattárházak, célgépek

30 Hogyan épül fel az IBM platformja Pl: mi van a hűtőben Végfelhasználói megoldások Elemző réteg Adatkritikus megoldások

31 Karácsonyi ajándékötletek az IBM Big Datájától forrás:

32 Képzés ajánlás

33 Köszönöm a figyelmet!

Hasonló dokumentumok

Component Soft 1994-2013 és tovább

Component Soft 1994-2013 és tovább IT szakemberek oktatása, tanácsadás Fő témáink: UNIX/Linux rendszerek, virtualizációs, fürtözési, tároló menedzsment és mentési technológiák Adatbázisok és middleware