Nagy ennyiségű adatok elezése és előrejelzési felhasználása asszívan párhuzaosítható architektúrával Készítette: Retek Mihály Budapesti Corvinus Egyete, Gazdaságföldrajz és Jövőkutatás Tanszék A Magyar Tudoány Ünnepe 24 BIG DATA FORRADALMASÍTJA MINDENNAPJAINKAT? Az MTA IX. Osztály Statisztikai és Jövőkutatási Tudoányos Bizottságának tudoányos ülése 24. noveber 2.
MIPS (illió utasítás per ásodperc) és Megabájt Forrás: http://www.transhuanist.co/volue/oravec.ht
Száítógépek fejlődése Forrás: http://www.transhuanist.co/volue/oravec.ht
Moore törvénye (Gordon E. Moore, 96) Az integrált árakörök összetettsége körülbelül 8 hónaponként egduplázódik. Forrás: intel.co
Flynn - féle osztályzás Michael J. Flynn (966) SISD egy időben egyetlen utasítás végrehajtása MISD több utasításfolyaal egyetlen adatfolya feldolgozása. egyás utáni adatfeldolgozás egy vezérlő egységgel és egy aritetikai-logikai egység gyakorlati felhasználásba ne léteznek progra utasításai és a feldolgozandó adatok egy tárolóban esetlegesen a pipeline szervezésű processzorok Neuann-elvű gépek esetlegesen a hibatűrő architektúrák SIMD MIMD egy időpontban ugyanaz az utasítás végrehajtása több adaton egy vezérlő egységgel és több aritetikai-logikai egységgel rendelkeznek egyás utáni adatfeldolgozás vektorprocesszor GPU X86 architektúra MMX kiterjesztése több utasításfolya több adatfolyaot dolgoz fel több processzor ultiprocesszoros száítógép
Adahl törvénye (967), Gustafson törvénye (988) Forrás: http://rtcagazine.co/articles/view/329 Ha tudjuk a párhuzaosan végrehajtandó utasítások arányát, akkor egy felső határt eghatározható a gyorsulás értékére. gyorsulás értéke Forrás: http://openi.nl.nih.gov/detailedresult.php? ig=273572_d-65-659-fig5&req=4 Hatékonyan párhuzaosítható a tetszőlegesen nagy adathalazok feldolgozása. S (P)=P α ( P ) P+ N: processzorok száa P: párhuzaosíthatóság aránya P N P: a processzoragok száa S: az irányadó adat az elérhető gyorsulásra, α: a ne folyaatnak. párhuzaosítható töredéke bárilyen párhuzaosítható
CPU Forrás: intel.co Intel Xeon Processor E5-2699 v3 Launch Date Q3'4 Processor Nuber E5-2699V3 Intel Sart Cache 45 MB Intel QPI Speed 9.6 GT/s Instruction Set 64-bit Lithography 22 n VID Voltage Range.65V.3V Cores 8 Threads 36 Processor Base Freq. 2.3 GHz Max Turbo Frequency 3.6 GHz TDP 45 W Max Meory Size 768 GB Meory Types DDR4-6/866/233 Meory Channels 4 Max Meory Bandwidth 68 GB/s
GPU Tesla, Titan, FireGL Forrás: nvidia.co Tesla K8 GPU 2x Kepler GK2 Peak double precision floating 2.9 Tflops (GPU Boost Clocks) point perforance.87 Tflops (Base Clocks) Peak single precision floating 8.74 Tflops (GPU Boost Clocks) point perforance 5.6 Tflops (Base Clocks) Meory bandwidth (ECC off) 48 GB/sec (24 GB/sec per GPU) Meory size (GDDR5) 24 GB (2GB per GPU) CUDA cores 4992 ( 2496 per GPU)
GPU gyakorlati alkalazása Forrás: http://www.gtspirit.co/24//6/autonoous-audi-rs7-piloted-driving-concept-track-review/
APU = (CPU-k + GPU) Forrás: ad.co
Xeon Phi Forrás: http://ark.intel.co Intel Xeon Phi Coprocessor 72X Launch Date Q2'3 L2 Cache 3.5 MB Instruction Set 64-bit Lithography 22 n Cores 6 Processor Base Frequency.238 GHz Max Turbo Frequency.333 GHz TDP 3 W Max Meory Size (dependent on eory type) Meory Channels 6 Max Meory Bandwidth 352 GB/s 6 GB
Szuperszáítógépek Forrás: top5.org Tianhe-2 (MilkyWay-2) - TH-IVB-FEP Cluster, Intel Xeon E5-2692 2C 2.2GHz, TH Express-2, Intel Xeon Phi 3SP Site: National Super Coputer Center in Guangzhou Manufacturer: NUDT Cores: 3,2, Linpack Perforance (Rax) 33,862.7 TFlop/s Theoretical Peak (Rpeak) 54,92.4 TFlop/s Nax 9,96, Power: 7,88. kw Meory:,24, GB Processor: Intel Xeon E5-2692v2 2C 2.2GHz Interconnect: TH Express-2 Operating Syste: Kylin Linux Copiler: icc Math Library: Intel MKL-.. MPI: MPICH2 with a custoized GLEX channel
Felhők Forrás: http://hoe.web.cern.ch/about/coputing
Adatok ennyiségének változása http://www.technologyreview.co/news/5435/has -big-data-ade-anonyity-ipossible/ http://searchenginewatch.co/article/2339/digitaldata-trends-search-social-content-fusion
Az 5 legnagyobb adatközpont
Eléleti példa a GPU alkalazására: Evolúciós ódszer (Retek 24) Egyszerre több rendszerdinaikai előrejelzés használata, aelyekben a különböző típusú paraétereknek az értékei különböznek egyástól. Minden egyed, résztvevő egy különálló rendszerdinaikai rendszer. Az egyedek génálloánya, pedig a rendszer paraéterei. Az evolúciós ódszerben használatos utáció felelős azért, hogy az egyedek különbözzenek egyástól. A keresztezés pedig két egyástól független rendszer felhasználva történik, ez a ódszer garantálja, hogy az újonnan létrejövő egyed bizonyos értékben hasonlítson a ár eglévő rendszerekhez, de bizonyos értékben ugyanakkor térjen is el. A szelekció különböző feltételek, vagy azok kobinációja alapján történhet. Ezek például a következőek lehetnek: születések száa egészségügyi állapot szülőkorú nők alakulása nyugdíjas/gyerekek aránya unkaképes népesség stb.
CPU egy szál folyaatábra Aktuális állapot Kezdeti populáció generálása (Retek 22) Kezdeti utáció Egyedek generálása keresztezéssel Új egyedek k Mutáció Mutáció utáni egyedek k Kiértékelés Egyedek +k Szelekció Megaradó szelektált egyedek Megállási feltétel i
A CPU több szál folyaatábra (Retek 22) Aktuális állapot agszá Kezdeti populáció generálása agszá Kezdeti utáció agszá Egyedek generálása keresztezéssel Új egyedek k agszá Mutáció agszá Kiértékelés agszá Szelekció Mutáció utáni egyedek k Egyedek +k Megaradó szelektált egyedek Megállási feltétel i
A GPU sziuláció felépítése folyaatábra Aktuális állapot Kezdeti populáció generálása Kezdeti utáció k Egyedek generálása keresztezéssel k Mutáció (Retek 22) Új egyedek k Mutáció utáni egyedek k +k Kiértékelés Egyedek +k s Megaradó szelektált egyedek Megállási feltétel i Szelekció
Mire használható a jövőkutatásban A últ és a keletkező jövő nagyennyiségű adatainak feldolgozása, rövidebb idő alatt. Egyszerre sok lehetséges jövőalternatíva képzése párhuzaosan a sziulációknál. Részletesebb időfelbontás és távolabbi időpontokra előrejelzések és előreszáítások alkalazása. kitekintő Koplexebb, a valóságot inél nagyobb értékben egközelítő odellek és sziulációk. A ár eglévő különböző típusú ódszerek kobinálási lehetősége. Egyre valósághűbb interaktivitási élények egjelenése a szakértők táogatására, a odellezés egyre több fázisában.
Felhasznált irodalo. Flynn, M. :Soe Coputer Organizations and Their Effectiveness, 948, IEEE Trans. Coput.C-2, 972. 2. Moore, Gordon E. 965: Craing ore coponents onto integrated circuits, Electronics, Volue 38, Nuber 8, April 9, 965 3. Mark D. Hill and Michael R. Marty: Adahl s Law in the Multicore Era, http://research.cs.wisc.edu/ultifacet/papers/tr593_adahl_ulticore.pdf 4. Michael J. Flynn and Kevin W, RuDD: Parallel Architectures, Vol. 28, No., ACM Coputing Surveys, 996 March. 5.Retek Mihály: Nagyértékben párhuzaosítható probléák ipleentálása GPU-re (CUDA), Műszaki és inforatikai rendszerek és odellek IV., 2. (könyvrészlet) 6. Retek Mihály: GPU-val táogatott jövőkutatás, GPU nap 22, MTA-RMKI, Budapest, 22. július 2. 7. Retek Mihály: Evolúciós deográfiai előrejelzés, "MONDD EL A MÚLTAT, DIAGNOSZTIZÁLD A JELENT, JÓSOLD MEG A JÖVŐT HIPPOKRATÉSZTŐL A HARMADIK ÉVEZREDIG" konferencia, Szolnok, 24. noveber 7.