Nagy mennyiségű adatok elemzése és előrejelzési felhasználása masszívan párhuzamosítható architektúrával

Átírás

1 Nagy ennyiségű adatok elezése és előrejelzési felhasználása asszívan párhuzaosítható architektúrával Készítette: Retek Mihály Budapesti Corvinus Egyete, Gazdaságföldrajz és Jövőkutatás Tanszék A Magyar Tudoány Ünnepe 24 BIG DATA FORRADALMASÍTJA MINDENNAPJAINKAT? Az MTA IX. Osztály Statisztikai és Jövőkutatási Tudoányos Bizottságának tudoányos ülése 24. noveber 2.

2 MIPS (illió utasítás per ásodperc) és Megabájt Forrás:

3 Száítógépek fejlődése Forrás:

4 Moore törvénye (Gordon E. Moore, 96) Az integrált árakörök összetettsége körülbelül 8 hónaponként egduplázódik. Forrás: intel.co

5 Flynn - féle osztályzás Michael J. Flynn (966) SISD egy időben egyetlen utasítás végrehajtása MISD több utasításfolyaal egyetlen adatfolya feldolgozása. egyás utáni adatfeldolgozás egy vezérlő egységgel és egy aritetikai-logikai egység gyakorlati felhasználásba ne léteznek progra utasításai és a feldolgozandó adatok egy tárolóban esetlegesen a pipeline szervezésű processzorok Neuann-elvű gépek esetlegesen a hibatűrő architektúrák SIMD MIMD egy időpontban ugyanaz az utasítás végrehajtása több adaton egy vezérlő egységgel és több aritetikai-logikai egységgel rendelkeznek egyás utáni adatfeldolgozás vektorprocesszor GPU X86 architektúra MMX kiterjesztése több utasításfolya több adatfolyaot dolgoz fel több processzor ultiprocesszoros száítógép

6 Adahl törvénye (967), Gustafson törvénye (988) Forrás: Ha tudjuk a párhuzaosan végrehajtandó utasítások arányát, akkor egy felső határt eghatározható a gyorsulás értékére. gyorsulás értéke Forrás: ig=273572_d fig5&req=4 Hatékonyan párhuzaosítható a tetszőlegesen nagy adathalazok feldolgozása. S (P)=P α ( P ) P+ N: processzorok száa P: párhuzaosíthatóság aránya P N P: a processzoragok száa S: az irányadó adat az elérhető gyorsulásra, α: a ne folyaatnak. párhuzaosítható töredéke bárilyen párhuzaosítható

7 CPU Forrás: intel.co Intel Xeon Processor E v3 Launch Date Q3'4 Processor Nuber E5-2699V3 Intel Sart Cache 45 MB Intel QPI Speed 9.6 GT/s Instruction Set 64-bit Lithography 22 n VID Voltage Range.65V.3V Cores 8 Threads 36 Processor Base Freq. 2.3 GHz Max Turbo Frequency 3.6 GHz TDP 45 W Max Meory Size 768 GB Meory Types DDR4-6/866/233 Meory Channels 4 Max Meory Bandwidth 68 GB/s

8 GPU Tesla, Titan, FireGL Forrás: nvidia.co Tesla K8 GPU 2x Kepler GK2 Peak double precision floating 2.9 Tflops (GPU Boost Clocks) point perforance.87 Tflops (Base Clocks) Peak single precision floating 8.74 Tflops (GPU Boost Clocks) point perforance 5.6 Tflops (Base Clocks) Meory bandwidth (ECC off) 48 GB/sec (24 GB/sec per GPU) Meory size (GDDR5) 24 GB (2GB per GPU) CUDA cores 4992 ( 2496 per GPU)

9 GPU gyakorlati alkalazása Forrás:

10 APU = (CPU-k + GPU) Forrás: ad.co

11 Xeon Phi Forrás: Intel Xeon Phi Coprocessor 72X Launch Date Q2'3 L2 Cache 3.5 MB Instruction Set 64-bit Lithography 22 n Cores 6 Processor Base Frequency.238 GHz Max Turbo Frequency.333 GHz TDP 3 W Max Meory Size (dependent on eory type) Meory Channels 6 Max Meory Bandwidth 352 GB/s 6 GB

12 Szuperszáítógépek Forrás: top5.org Tianhe-2 (MilkyWay-2) - TH-IVB-FEP Cluster, Intel Xeon E C 2.2GHz, TH Express-2, Intel Xeon Phi 3SP Site: National Super Coputer Center in Guangzhou Manufacturer: NUDT Cores: 3,2, Linpack Perforance (Rax) 33,862.7 TFlop/s Theoretical Peak (Rpeak) 54,92.4 TFlop/s Nax 9,96, Power: 7,88. kw Meory:,24, GB Processor: Intel Xeon E5-2692v2 2C 2.2GHz Interconnect: TH Express-2 Operating Syste: Kylin Linux Copiler: icc Math Library: Intel MKL-.. MPI: MPICH2 with a custoized GLEX channel

13 Felhők Forrás:

14 Adatok ennyiségének változása -big-data-ade-anonyity-ipossible/

15 Az 5 legnagyobb adatközpont

16 Eléleti példa a GPU alkalazására: Evolúciós ódszer (Retek 24) Egyszerre több rendszerdinaikai előrejelzés használata, aelyekben a különböző típusú paraétereknek az értékei különböznek egyástól. Minden egyed, résztvevő egy különálló rendszerdinaikai rendszer. Az egyedek génálloánya, pedig a rendszer paraéterei. Az evolúciós ódszerben használatos utáció felelős azért, hogy az egyedek különbözzenek egyástól. A keresztezés pedig két egyástól független rendszer felhasználva történik, ez a ódszer garantálja, hogy az újonnan létrejövő egyed bizonyos értékben hasonlítson a ár eglévő rendszerekhez, de bizonyos értékben ugyanakkor térjen is el. A szelekció különböző feltételek, vagy azok kobinációja alapján történhet. Ezek például a következőek lehetnek: születések száa egészségügyi állapot szülőkorú nők alakulása nyugdíjas/gyerekek aránya unkaképes népesség stb.

17 CPU egy szál folyaatábra Aktuális állapot Kezdeti populáció generálása (Retek 22) Kezdeti utáció Egyedek generálása keresztezéssel Új egyedek k Mutáció Mutáció utáni egyedek k Kiértékelés Egyedek +k Szelekció Megaradó szelektált egyedek Megállási feltétel i

18 A CPU több szál folyaatábra (Retek 22) Aktuális állapot agszá Kezdeti populáció generálása agszá Kezdeti utáció agszá Egyedek generálása keresztezéssel Új egyedek k agszá Mutáció agszá Kiértékelés agszá Szelekció Mutáció utáni egyedek k Egyedek +k Megaradó szelektált egyedek Megállási feltétel i

19 A GPU sziuláció felépítése folyaatábra Aktuális állapot Kezdeti populáció generálása Kezdeti utáció k Egyedek generálása keresztezéssel k Mutáció (Retek 22) Új egyedek k Mutáció utáni egyedek k +k Kiértékelés Egyedek +k s Megaradó szelektált egyedek Megállási feltétel i Szelekció

20 Mire használható a jövőkutatásban A últ és a keletkező jövő nagyennyiségű adatainak feldolgozása, rövidebb idő alatt. Egyszerre sok lehetséges jövőalternatíva képzése párhuzaosan a sziulációknál. Részletesebb időfelbontás és távolabbi időpontokra előrejelzések és előreszáítások alkalazása. kitekintő Koplexebb, a valóságot inél nagyobb értékben egközelítő odellek és sziulációk. A ár eglévő különböző típusú ódszerek kobinálási lehetősége. Egyre valósághűbb interaktivitási élények egjelenése a szakértők táogatására, a odellezés egyre több fázisában.

21 Felhasznált irodalo. Flynn, M. :Soe Coputer Organizations and Their Effectiveness, 948, IEEE Trans. Coput.C-2, Moore, Gordon E. 965: Craing ore coponents onto integrated circuits, Electronics, Volue 38, Nuber 8, April 9, Mark D. Hill and Michael R. Marty: Adahl s Law in the Multicore Era, 4. Michael J. Flynn and Kevin W, RuDD: Parallel Architectures, Vol. 28, No., ACM Coputing Surveys, 996 March. 5.Retek Mihály: Nagyértékben párhuzaosítható probléák ipleentálása GPU-re (CUDA), Műszaki és inforatikai rendszerek és odellek IV., 2. (könyvrészlet) 6. Retek Mihály: GPU-val táogatott jövőkutatás, GPU nap 22, MTA-RMKI, Budapest, 22. július Retek Mihály: Evolúciós deográfiai előrejelzés, "MONDD EL A MÚLTAT, DIAGNOSZTIZÁLD A JELENT, JÓSOLD MEG A JÖVŐT HIPPOKRATÉSZTŐL A HARMADIK ÉVEZREDIG" konferencia, Szolnok, 24. noveber 7.