BIG DATA A H I VATA L O S S TAT I S Z T I K Á B A N

Átírás

1 BIG DATA A H I VATA L O S S TAT I S Z T I K Á B A N

2 ADATÁRADAT 2,5 exabyte (10 18 ) adatot állítunk elő minden áldott nap (ennek a kétszerese arra elég, hogy az emberiség által valaha kimondott összes szót tartalmazza) 2012-ben: az emberiség által valaha termelt adatok 90%-a az utóbbi két évben keletkezett. A Wal-Mart óránként 1 millió tranzakciót rögzít.

3 ADATÁRADAT De nem csak az adatok mennyisége növekszik, hanem főleg a social media és a mobiltelefonok szolgálatatásainak széleskörű terjedése miatt az adatok természete is változik. Ennek az információnak a nagyja olyan adatforma, amely digitálisan követhető vagy tárolható. Többniyre cselekedetek, választások vagy preferenciák, amelyet az emberek az életük során termelnek.

4 BIG DATA DEFINÍCIÓJA Wiki: a BIG DATA olyan nagy és komplex adathalmazok összessége, amelyeknek a kezelése hagyományos adatbáziskezelő eszközökkel nem lehetséges. Volume Variety Velocity Veracity Kép forrása: ISTAT

5 A 4 V Volume: nehéz meghatározni, hogy mennyire nagy, de abban mindenki egyetért, hogy amit ma soknak tartunk az holnapra mégtöbb lesz. Variety: különböző típusú adatok, különböző forrásból. Strukturált, félig strukturált és nem strukturált. Szenzorok, okos eszközök, social média terjedése számos formában termeljük az adatot, pl text, web data (hipertext), tweet-ek, érzékelők adatai, audio, video, klik, log fájlok stb

6 A 4 V Velocity: az élő adat az adatok létrejöttének, feldolgozásának és értelmezésének a sebessége folyamatosan gyorsul. A sebesség az adatok élő jellege miatt növekszik, és egyre elterjedtebb az adafolyamok integrációja az üzleti folyamatokba. Veracity: megbízhatóság. A jó minőségű adat nagy kihívás! A legjobb adattisztító eljárások sem képesek bizonyos adatok megjósolhatatlanságát kezelni.: pl időjárás, vagy a vevők vásárlási preferenciái.

7 TAXONÓMIA Emberi eredetű adat (social networks): az emberi tapasztalatok szubjektív recordjai, amelyeket korábba könyvekben, művészi akotásokban azt követően foto/audio/video-bann tároltak Folyamat eredetű adat: üzleti folyamatok adatai, magasan strukturált, hogyományos üzleti rendszerek termékei Gépi eredetű adat: számítógépes log file-ok, szenzorok és gépek digitális adatai. Ez a típus adja amgát a számítógépes feldolgozáshoz, mert jól strukturált, de a mennyisége és gyorsasága gyakran a hagyományos ezsközökön túl mutat (Internet of Things).

8 SOCIAL NETWORKS Napjaikban az emberi eredetű információ csaknem egészében digitláisan keletkezik és tárolódik a PC-től a social networkig. Ezek az adatok gyengén strukturáltak és gyakran ellenőrizetlenek. -Facebook, Twitter, -Blogs, comments -Személyes dokumentumok -Képek és videók: Instagram, Youtube, Pinterest -Internet keresések - -User-generated maps

9 Forrás: ISTAT

10 FOLYAMAT EREDETŰ ADATOK ÜZLETI FOLYAMATOK ADATAI Jól strukturált.adatok és meta adatok összessége. Általában RDBMS (relációs, klasszikus adatbázisok) adatai. Adminisztratív adatok. -Közhivatalok adatai -Orvosi rekordok -Vállalkozások üzleti adatai -Kereskedelmi tranzakciók adatai -Banki/részvény adatok -E-kereskedelem -Hitelkártyák

11 Forrás: ISTAT

12 INTERNET OF THINGS A fizikai világ eseményeit rögzítő és mérő érzékelők milliárdjai. Ahogy egyre több érzékelő kerül bevezetésre vagy aktiválásra, úgy nő az adatok volumene. Az általában feldolgozott adatok nagy része ilyen. Ez a típusú adat növekszik a leggyorsabban. -Háztartási eszközök érzékelői -Időjárás /szennyezettség érzékelők -Forgalmi érzékelők/webkamerák -Mobil szenzorok (tracking) (location) -Satellite képek -Autók

13 BIG DATA KEZELÉSE 1. Egyre növekvő számítástechnikai teljesítmény kell: MPP Massive paralell processing 2. Adatmennyiség redukáló szofvertechnológia: No SQL (not only SQL) 3. Adat disztribúció és párhuzamos feldolgozás (SETI) MapReduce/ Hadoop (open source software, külön fájl rendszere van) -Hortonworks Data Platform -R-Rstudio -Elastic Search

14 Forrás: ISTAT

15 BIG DATA A STATISZTIKÁBAN A hagyományos statisztika minőségének javítása: Hol tud javítani: -mintavételi keret létrehozása -jobb minták tervezése -jobb imputálás/kalibrálás -nem válaszolási arány csökkentése

16 HAGYOMÁNYOS MEGKÖZELÍTÉS -milyen információra van szükségünk / hipotézis kell! -az adatgyűjtés megtervezése -adatgyűjtés -adat előkészítése -adatelemzés -információ kinyerése / hipotézis igazolása vagy cáfolata

17 A HAGYOMÁNYOS MÓDSZER Felülről-lefelé paradigma Adattervezés: kezdettől fogva azon van a hangsúly, hogy az adat KÉSŐBB kerül elemzésre -célsokaság kiválasztása, units -változók, definíciók, osztályozás, kérdőívek -listák, regiszterek az alapsokaság elérésére -módszerek Elemzési célok (specifikus információra/hipotézisre van szükség) -modelépítés Becslés/előrejelzés adása

18 BIG DATA PARADIGMA -Az adat már ott van (mindenütt ott van) -Adatgyűjtés -Adat előkészítés -Adat feltárás (korrelációk keresése) -Az algoritmusok testreszabása -Új tudás felfedezése / az eredmények validálása

19 ALULRÓL FELFELÉ ÉPÍTKEZÉS Itt a hangsúly -a hozzáférhető adatok felfedezése, olyan információértékek keresése, amit még nem szedtek ki belőle -Big Adatba vetett bizalom Az adatot általában objektív adatnak veszzük, a felfedezett korrelációkat szintén. A data scientist elsősorban az érdekli, hogy mi történikk, sokkal kevésbé a miért vagy hogyan. -Skálázható algoritmusok választása (aggregálás kerülendő) -Heurisztikus (mintakereső) technológiák használata az előrejelzésekhez/becslésekhez

20 GONDOK A BIG DATÁVAL -reprezentativitás -ismeretlen a célpopuláció -nem tiszta a mintaegységek kiléte/miléte -pre processing errors (mint a mérési hiba) -social media (céltalan adatok/ robotok kiszűrése) Nem egyértelmű korrelációk - az okozat halála -hamis korrelációk

21 ADATFORRÁSOK Forrás: ISTAT

22 MIÉRT NEM MŰKÖDNEK A HAGYOMÁNYOS ELJÁRÁSOK A BIG DATA ESETÉBEN -a számítási komplexitás határai: Példa: inverz mátrix képzés (legkisebb négyzetek elve, maximum-likelihood via Newton-Raphson algoritmus) -a legtöbb hagyományos algoritmust nehéz párhuzamosítani (hogy egyszerre több processzor dolgozzon a részletein) (hadoop nem tudja ezt kezelni) -a hibás adatra / hibás szélsőrétékekre borzasztóan érzékenyek a hagyományos eljárások -pedig a big data zajos és strukturálatlan (óriási adatmennyiség, nem lehet editálni, imputálni, outliert kezelni)

23 KÖVETKEZTETÉSEK -a hivatalos statisztika jelen eljárásai (tervezett, modellre épülő mintavételi eljárások, regresszió elmélet, általános lineáris modellek, stb) hagyományos alapadatok specifikus tulajdonságain állnak vagy buknak -nevezetesen : magas minőségű, de kevés adat Ezek az eljárások: -nagyon érzékenyek a hibás adatokra és a szélsőértékekre (ezért kötelező a hagyományos eljárásoknál az ellenőrzés, adattisztítás) -tipikusan magas számítási komplexitással bírnak ezek az adatok (exponenciális viselkedés jellegzetes) Szintézis: a jelenlegi statsiztikai eljárásoknak semmi közük a big data-hoz Diagnózis: radikális paradigmaváltás kell a statisztikai metodológiában

24 KÖVETKEZTETÉSEK 2 Mit lehet tenni? 1. Robosztusabb eljárásokat használni, még akkor is, ha az némileg a pontosság rovására megy. 2. Ez a metódus közelítő és nem exact optimalizációs technikán alapuljon amelyek, képesek megbirkózni zajos objektív funkciókkal. 3. El kell fogadni a Big Data más típusú elemzéseket tesz lehetővé.

25 SANDBOX PROJEKT-2014 Shared Computing Enviroment Lényege: Big Data források stabil- és ismételhető módon hozzáférhetőek, relatív könnyen és hatékonyan elérhető és manipulálható. -a választott források, a hivatalos statsiztikák értékeléséhez általában használt minőségi kritériumoknak megfelelőek. -Létező, sokak által használt adatokkal megfeleltethetőek, HBS indikátorok, árstatisztika. -A különböző országok által használt platformok, módszerek, eszközök és adatbázisok megfeleltehetők legyenek. -Össznépi összjáték, (módszerek megoszthatók legyenek).

26 Forrás: ISTAT

27 Common Statistical Production Architecture Forrás: ISTAT

28 AZ OLASZ MELÓ : megállapodások kötése: NSI, Akadémia, Private Sector Adatforrás Online keresés Internet-scraped Data Mobiltelefon adatok Scanner data Domain LFS ICT, Árstatisztika Turizmus statisztika Árstatisztika Social Media Társadalomstatisztika (!) Képek: Közlekedési webkamerák Közlekedésstatisztika

29 A MIXED METHOD BIG DATA ÉRTELMEZÉSE ICT in enterprises : Kérdőív kiküldése: 1) web-scraping 2) Text mining Forrás: ISTAT

30 EURÓPAI PÉLDÁK Hollandia: Road sensors (Traffic loops) index of traffic intenstiy -főutakon elhaladó autók száma -230 millió record/nap -komplex adattisztítási eljárások Észtország: turizmus (mobiltelefon adatokkal) -turizmus inbound/outbond -transportation flows -mindennapi mobilitás -egyéni közösségi jellemzők (találkozóhelyek) UK: Twitter adatok -Geo located tweets

31 BIG DATA VIZUALIZÁCIÓ