III.6. MAP REDUCE ELVŰ ELOSZTOTT FELDOLGOZÁSI ALGORITMUSOK ÉS TESZTKÖRNYEZET KIDOLGOZÁSA ADATBÁNYÁSZATI FELADATOK VÉGREHAJTÁSÁHOZ
|
|
- Győző Kozma
- 7 évvel ezelőtt
- Látták:
Átírás
1 infokommunikációs technológiák III.6. MAP REDUCE ELVŰ ELOSZTOTT FELDOLGOZÁSI ALGORITMUSOK ÉS TESZTKÖRNYEZET KIDOLGOZÁSA ADATBÁNYÁSZATI FELADATOK VÉGREHAJTÁSÁHOZ KECSKEMÉTI ANNA KUN JEROMOS KÜRT Zrt.
2 KUTATÁSI TERÜLET BEMUTATÁSA A kutatási projekt során adatbányászati algoritmusok elosztott megvalósításait vizsgáltuk. Felépítettünk egy általános célú klasztert, ahol vizsgálni lehet elosztott algoritmusokat. Többféle algoritmus osztályból vizsgáltunk algoritmusokat, melyek elosztott implementáció szempontjából különböző kihívásokat jelentenek. I/O intenzív algoritmusok skálázódása elosztott rendszereken Deep learning algoritmusok vizsgálata elosztott környezetben 2
3 KUTATÁSBAN RÉSZT VEVŐ SZEMÉLYEK, SZEREPKÖRÖK Név Pálvölgyi János Balogh György Balázs László Tilesch Ferenc Katona Tamás Darabos Edvárd Salamon Zsolt Mátyus Milán Kecskeméti Anna Pappné Takács Krisztina Botos Ádám Szerepkör Témavezető Kutató Fiatal kutató Szoftverfejlesztési felelős Műszaki dokumentátor, tesztelő 3
4 A TÉMA ELŐREHALADÁSA JÚNIUS - AUGUSZTUS 4
5 KLASZTER KIALAKÍTÁS Cél: Elosztott adatbányászati algoritmusok futtatása 5 gép (Teljes kapacitás: 40 CPU mag, 20x500GB disk, 160GB RAM, dedikált hálózat) Hadoop ökoszisztéma: HDFS, Map-Reduce, és Appache Spark Eredménytermékek: Fizikai klaszterek fejlődéstörténetének ismertetése, (irodalmi, és technológiai áttekintés) Klaszter specifikáció (dokumentum). A megvalósult klaszter pontos specifikációja. Szoftver, hardver komponensek, konfiguráció. Klaszter telepítési útmutató (dokumentum). A klaszter reprodukáláshoz szükséges információk rögzítése. Klaszter optimalizáció (dokumentum). Klaszter építés elemzése. Milyen szempontokat kell figyelembe venni, milyen optimalizációs lehetőségek vannak. Klaszter teszt (dokumentum). A klaszter fizikai paramétereinek mérési adatai (Lokális diszk sebesség, hálózati sebesség, HDFS sebesség teszt Replikációs szám változtatása, blokkméret változtatása). 5
6 I/O INTENZÍV ALGORITMUSOK I/O limitált algoritmus osztály skálázódásának vizsgálata elosztott környezetben Környezet: HDFS, Map-Reduce, Appache Spark-ot. Algoritmus: log normalizáló Egy domain specifikus nyelven megfogalmazott szabályhalmaz segítségével félig strukturált adatokat strukturált táblázatos formára hoz. Vizsgálatok: Log olvasás Log normalizálás egy gép - egy szál, egy gép - több szál, batch mód - elosztott feldolgozás 6
7 I/O INTENZÍV ALGORITMUSOK TAPASZTALATOK log file olvasása HW függvényében: Az SSD sebességbeli fölénye a normál HDD-vel szemben. Log normalizálás: A HW összes magját kihasználva jelentős sebesség javulás értünk el. A hardware-k közötti IO sebesség eltérés eltűnt, mivel a számítások több időt igényelnek, mint maga az IO művelet. Számítások párhuzamosítása addig releváns, amíg nem érjük el az IO sebességét. Ha a számítás sebessége azonos az IO művelettel,, akkor további sebességnövekedést már csak az együttes párhuzamosítással érhető el (IO és CPU) Batch módú feldolgozás 6,83 szoros gyorsulást hozott 7
8 DEEP LEARNING ALGORITMUS OSZTÁLY SKÁLÁZÓDÁSÁNAK VIZSGÁLATA ELOSZTOTT KÖRNYEZETBEN Nehézségek ezen hálózatok tanításával: Jobb kezdeti paraméter beállítási technikák jobb modelleket eredményeznek, hatékony és hatásos kezdeti paraméter beállítás szakértői és domén specifikus tudást igényel, a felügyelt gépi tanítási algoritmusok hajlamosak túlzottan "memorizálni" a betanításra használt adathalmazt (túltanulás). a hálózat tanítása rendkívül időigényes. A mély és széles neurális hálózatok nagy számítási kapacitást vesznek igénybe a tanítási folyamat során. Alapmodell: egy gép egy mag dropout eljárás alapján készített implementáció. Egy multilayer (feed-forward) perceptron hálózat, melynek tanítása során stochastic gradient descend (SGD) technikát alkalmaztak. A dropout eljárást alkalmazva a hálózat egyes véletlenszerűen választott részeit tanítjuk. A modellnek több adathalmazon is jelentősen sikerült javítania az eddigi modellek felismerési pontosságát. Eredmények: A teszthalmazon mért legkisebb hiba 95 volt. 8
9 DEEP LEARNING ALAPMODELL Alapmodell hibája az MNIST adathalmazon. A teszthalmazon mért minimum: 95. 9
10 DEEP LEARNING PÁRHUZAMOSÍTÁSI LEHETŐSÉGEK VIZSGÁLATA Az MLP-k tanítását tanítási szakaszokra bontjuk és ezen szakaszokat párhuzamosan hajtjuk végre, majd a legígéretesebbnek tűnőket megtartjuk (jóság) és tovább képezzük, a többit elhagyjuk. Keretrendszer célja: Központi" gondolkodással rendelkező tanítási meta-paraméter együttes megtalálása Ismeri az eddigi tanítási szakaszok eredményeit és a folyamatban lévő tanítási szakaszokat és ezek alapján dönt a következő megvizsgálandó meta-paraméter együttesről. A keretrendszer tulajdonságai: Több számítógép, illetve processzor párhuzamos kihasználása. Központi keresési állapot konzisztenciájának megőrzése. Egy-egy gép vagy számítási szál rendes leállíthatósága. A számítási kapacitás ad-hoc bővíthetősége. Felesleges munkák elkerülése. Azaz, több gép ne számolja véletlenül ugyanazt. Egy-egy gép váratlan kiesésnek kézi kezelhetősége. A lehetséges tanítási paraméterek közül a legoptimálisabbat megpróbáljuk megkeresni egy felettes logikával. 10
11 DEEP LEARNING REFERENCIA MODELL Referencia modell: hálózatok átlagolása A keretrendszer ismertetésénél említett felettes logikából több is lehet. Felettes logikák (amennyiben több van) hatékonyságának vizsgálata egy referencia alapján. Több tanított hálózat Több lehetséges válasz Eredmény átlagolás Az egyes hálózatok külön-külön tanulnak, majd a klasszifikációk átlagolása történik. 11
12 DEEP LEARNING REFERENCIA MODELL Az ilyen párhuzamosítás az alapmodellekhez viszonyított hibát képes csökkenteni. Hiba mértékének csökkenése jelentősen függ attól, hogy a rendszer mennyire van messze az optimális tanulástól Amennyiben viszonylag messze van (még sokkal több epoch kellene), akkor ezen javulás jelentős tud lenni. Ha azonban az egyes hálózatokat hagyjuk az optimálishoz közeli szintig tanulni, akkor az eltévesztett klasszifikációk számának javulásában nem érhető el jelentős csökkenés. 12
13 ELOSZTOTT METAPARAMÉTER OPTIMALIZÁCIÓ MONTE CARLO MÓDSZERREL Cél: Hálózat tanítási paraméterek optimumának megtalálása bolyongással A paramétertér véletlenül kiválasztott kezdőpontjából (párhuzamosan több ilyen keresést is indítunk) indulva tovább lépünk egy másik véletlenül választott nem túl távoli pont irányába, amennyiben ott jobb a tanítás eredménye (kevesebb a hiba). 13
14 PILLANATKÉP AZ ELOSZTOTTAN INDÍTOTT KERESÉSEKRŐL Az ilyen keresés nem hatékony, mert a kezdeti pont környezetéről semmit nem tudunk és az erről szerzett tudást (a későbbi lépésekben) nem is használjuk fel. Emiatt elképzelhetőek olyan szerencsés választások, melyek ugyannyi lépés alatt lényegesen többet tudnak javítani a metaparaméterekben, mint egy másik helyről indított keresések. Így a keresésbe fektett erőfeszítés nem azonos módon térül meg. 14
15 ELOSZTOTT METAPARAMÉTER OPTIMALIZÁCIÓ BAYES MÓDSZERREL A paramétertér néhány véletlen helyén kiszámítjuk a függvény értékét (lefuttatjuk a tanítási folyamatot és vesszük a teszt halmazon mért hibát), majd a későbbiek során ezen eredmények inputjai lesznek egy keresésnek. A módszerrel becslés adható a függvényérték javításának valószínűségére (expected improvement) a függvényérték kiszámításánál lényegesen olcsóbban A kiválasztás Monte Carlo módszerrel történik, ott végrehajtunk egy tanítást, és ennek eredményét hozzáadjuk a Bayes adataihoz. Tehát a cél a keresés során olyan helyeket "tippelni", melyeknél a kiinduló hibához képest "jobb hely" található. 15
16 A HIBA IDŐBELI FEJLŐDÉSE EGY BAYES KERESÉS SORÁN 16
17 TANÍTÁSI IDŐBEN TÖRTÉNŐ KÖLTSÉGCSÖKKENTÉS KÍSÉRLETE 17
18 infokommunikációs technológiák KÖSZÖNJÜK A FIGYELMET!
III. "JÖVŐ INTERNET" TECHNOLÓGIÁK: ELOSZTOTT ÉS FELHŐ SZOLGÁLTATÁSOK, TÁRGYAK INTERNETE DR. SIMON GYULA
infokommunikációs technológiák III. "JÖVŐ INTERNET" TECHNOLÓGIÁK: ELOSZTOTT ÉS FELHŐ SZOLGÁLTATÁSOK, TÁRGYAK INTERNETE DR. SIMON GYULA TÉMÁK 1. Szenzorhálózatra épülő elosztott felügyeleti rendszer kidolgozása
RészletesebbenMit látnak a robotok? Bányai Mihály Matemorfózis, 2017.
Mit látnak a robotok? Bányai Mihály Matemorfózis, 2017. Vizuális feldolgozórendszerek feladatai Mesterséges intelligencia és idegtudomány Mesterséges intelligencia és idegtudomány Párhuzamos problémák
RészletesebbenDr. habil. Maróti György
infokommunikációs technológiák III.8. MÓDSZER KIDOLGOZÁSA ALGORITMUSOK ÁTÜLTETÉSÉRE KIS SZÁMÍTÁSI TELJESÍTMÉNYŰ ESZKÖZÖKBŐL ÁLLÓ NÉPES HETEROGÉN INFRASTRUKTÚRA Dr. habil. Maróti György maroti@dcs.uni-pannon.hu
RészletesebbenGépi tanulás a gyakorlatban. Lineáris regresszió
Gépi tanulás a gyakorlatban Lineáris regresszió Lineáris Regresszió Legyen adott egy tanuló adatbázis: Rendelkezésünkre áll egy olyan előfeldolgozott adathalmaz, aminek sorai az egyes ingatlanokat írják
RészletesebbenGépi tanulás a gyakorlatban. Kiértékelés és Klaszterezés
Gépi tanulás a gyakorlatban Kiértékelés és Klaszterezés Hogyan alkalmazzuk sikeresen a gépi tanuló módszereket? Hogyan válasszuk az algoritmusokat? Hogyan hangoljuk a paramétereiket? Precízebben: Tegyük
RészletesebbenAdatbányászati szemelvények MapReduce környezetben
Adatbányászati szemelvények MapReduce környezetben Salánki Ágnes salanki@mit.bme.hu 2014.11.10. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Felügyelt
RészletesebbenKészítette: Trosztel Mátyás Konzulens: Hajós Gergely
Készítette: Trosztel Mátyás Konzulens: Hajós Gergely Monte Carlo Markov Chain MCMC során egy megfelelően konstruált Markov-lánc segítségével mintákat generálunk. Ezek eloszlása követi a céleloszlást. A
RészletesebbenOpenCL alapú eszközök verifikációja és validációja a gyakorlatban
OpenCL alapú eszközök verifikációja és validációja a gyakorlatban Fekete Tamás 2015. December 3. Szoftver verifikáció és validáció tantárgy Áttekintés Miért és mennyire fontos a megfelelő validáció és
RészletesebbenMély neuronhálók alkalmazása és optimalizálása
magyar nyelv beszédfelismerési feladatokhoz 2015. január 10. Konzulens: Dr. Mihajlik Péter A megvalósítandó feladatok Irodalomkutatás Nyílt kutatási eszközök keresése, beszédfelismer rendszerek tervezése
RészletesebbenIntelligens Rendszerek Elmélete. Versengéses és önszervező tanulás neurális hálózatokban
Intelligens Rendszerek Elmélete : dr. Kutor László Versengéses és önszervező tanulás neurális hálózatokban http://mobil.nik.bmf.hu/tantargyak/ire.html Login név: ire jelszó: IRE07 IRE 9/1 Processzor Versengéses
RészletesebbenTeljesen elosztott adatbányászat pletyka algoritmusokkal. Jelasity Márk Ormándi Róbert, Hegedűs István
Teljesen elosztott adatbányászat pletyka algoritmusokkal Jelasity Márk Ormándi Róbert, Hegedűs István Motiváció Nagyméretű hálózatos elosztott alkalmazások az Interneten egyre fontosabbak Fájlcserélő rendszerek
RészletesebbenNeurális hálózatok bemutató
Neurális hálózatok bemutató Füvesi Viktor Miskolci Egyetem Alkalmazott Földtudományi Kutatóintézet Miért? Vannak feladatok amelyeket az agy gyorsabban hajt végre mint a konvencionális számítógépek. Pl.:
RészletesebbenNGB_IN040_1 SZIMULÁCIÓS TECHNIKÁK dr. Pozna Claudio Radu, Horváth Ernő
SZÉCHENYI ISTVÁN EGYETEM Műszaki Tudományi Kar Informatika Tanszék BSC FOKOZATÚ MÉRNÖK INFORMATIKUS SZAK NGB_IN040_1 SZIMULÁCIÓS TECHNIKÁK dr. Pozna Claudio Radu, Horváth Ernő Fejlesztői dokumentáció GROUP#6
RészletesebbenGENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN
INFORMATIKAI PROJEKTELLENŐR 30 MB Szabó Csenger ÚJ GENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN 2016. 12. 31. MMK- Informatikai projektellenőr képzés Big Data definíció 2016. 12. 31. MMK-Informatikai
RészletesebbenMesterséges neurális hálózatok II. - A felügyelt tanítás paraméterei, gyorsító megoldásai - Versengéses tanulás
Mesterséges neurális hálózatok II. - A felügyelt tanítás paraméterei, gyorsító megoldásai - Versengéses tanulás http:/uni-obuda.hu/users/kutor/ IRE 7/50/1 A neurális hálózatok általános jellemzői 1. A
RészletesebbenTanulás tanuló gépek tanuló algoritmusok mesterséges neurális hálózatok
Zrínyi Miklós Gimnázium Művészet és tudomány napja Tanulás tanuló gépek tanuló algoritmusok mesterséges neurális hálózatok 10/9/2009 Dr. Viharos Zsolt János Elsősorban volt Zrínyis diák Tudományos főmunkatárs
RészletesebbenFuzzy rendszerek és neurális hálózatok alkalmazása a diagnosztikában
Budapesti Műszaki és Gazdaságtudományi Egyetem Fuzzy rendszerek és neurális hálózatok alkalmazása a diagnosztikában Cselkó Richárd 2009. október. 15. Az előadás fő témái Soft Computing technikák alakalmazásának
RészletesebbenOptimalizáció ESX-től View-ig. Pintér Kornél ügyfélszolgála3 mérnök pinter_kornel@mhm.hu
Optimalizáció ESX-től View-ig Pintér Kornél ügyfélszolgála3 mérnök pinter_kornel@mhm.hu MHM és referenciák MHM Computer Hungária Kft. 1996 óta Magyarországon Fókuszterületek: Adattárolás Adatmentés Archiválás
RészletesebbenIV.7 MÓDSZER KIDOLGOZÁSA FELHASZNÁLÓI ADATOK VÉDELMÉRE MOBIL ALKALMAZÁSOK ESETÉN
infokommunikációs technológiák IV.7 MÓDSZER KIDOLGOZÁSA FELHASZNÁLÓI ADATOK VÉDELMÉRE MOBIL ALKALMAZÁSOK ESETÉN ANTAL Margit, SZABÓ László Zsolt 2015, január 8. BEVEZETÉS A KUTATÁS CÉLJA A felhasználó
RészletesebbenSAT probléma kielégíthetőségének vizsgálata. masszív parallel. mesterséges neurális hálózat alkalmazásával
SAT probléma kielégíthetőségének vizsgálata masszív parallel mesterséges neurális hálózat alkalmazásával Tajti Tibor, Bíró Csaba, Kusper Gábor {gkusper, birocs, tajti}@aries.ektf.hu Eszterházy Károly Főiskola
RészletesebbenSzoftver újrafelhasználás
Szoftver újrafelhasználás Szoftver újrafelhasználás Szoftver fejlesztésekor korábbi fejlesztésekkor létrehozott kód felhasználása architektúra felhasználása tudás felhasználása Nem azonos a portolással
RészletesebbenWeblog elemzés Hadoopon 1/39
Weblog elemzés Hadoopon 1/39 Az előadás témái Egy Hadoop job életciklusa A Weblog-projekt 2/39 Mi a Hadoop? A Hadoop egy párhuzamos programozási séma egy implementációja. 3/39 A programozási séma: MapReduce
RészletesebbenBig Data tömeges adatelemzés gyorsan
MEDIANET 2015 Big Data tömeges adatelemzés gyorsan STADLER GELLÉRT Oracle Hungary Kft. gellert.stadler@oracle.com Kulcsszavak: big data, döntéstámogatás, hadoop, üzleti intelligencia Az utóbbi években
RészletesebbenSzimuláció RICHARD M. KARP és AVI WIGDERSON. (Készítette: Domoszlai László)
Szimuláció RICHARD M. KARP és AVI WIGDERSON A Fast Parallel Algorithm for the Maximal Independent Set Problem című cikke alapján (Készítette: Domoszlai László) 1. Bevezetés A következőkben megadott algoritmus
RészletesebbenDeep Learning a gyakorlatban Python és LUA alapon Tanítás: alap tippek és trükkök
Gyires-Tóth Bálint Deep Learning a gyakorlatban Python és LUA alapon Tanítás: alap tippek és trükkök http://smartlab.tmit.bme.hu Deep Learning Híradó Hírek az elmúlt 168 órából Deep Learning Híradó Google
Részletesebben30 MB INFORMATIKAI PROJEKTELLENŐR
INFORMATIKAI PROJEKTELLENŐR 30 MB DOMBORA SÁNDOR BEVEZETÉS (INFORMATIKA, INFORMATIAKI FÜGGŐSÉG, INFORMATIKAI PROJEKTEK, MÉRNÖKI ÉS INFORMATIKAI FELADATOK TALÁKOZÁSA, TECHNOLÓGIÁK) 2016. 09. 17. MMK- Informatikai
RészletesebbenKollektív tanulás milliós hálózatokban. Jelasity Márk
Kollektív tanulás milliós hálózatokban Jelasity Márk 2 3 Motiváció Okostelefon platform robbanásszerű terjedése és Szenzorok és gazdag kontextus jelenléte, ami Kollaboratív adatbányászati alkalmazások
Részletesebben2009.04.29. 2009. április 24. INFO Savaria 2009 2. 2009. április 24. INFO Savaria 2009 4. 2009. április 24. INFO Savaria 2009 3
Négy adatbázis-kezelı rendszer összehasonlítása webes környezetben Sterbinszky Nóra snorav@gmail.com Áttekintés Növekvı igény hatékony adatbázis- kezelıkre a világhálón Hogyan mérhetı ezek teljesítménye
RészletesebbenAliROOT szimulációk GPU alapokon
AliROOT szimulációk GPU alapokon Nagy Máté Ferenc & Barnaföldi Gergely Gábor Wigner FK ALICE Bp csoport OTKA: PD73596 és NK77816 TARTALOM 1. Az ALICE csoport és a GRID hálózat 2. Szimulációk és az AliROOT
RészletesebbenTeljesen elosztott adatbányászat alprojekt
Teljesen elosztott adatbányászat alprojekt Hegedűs István, Ormándi Róbert, Jelasity Márk Big Data jelenség Big Data jelenség Exponenciális növekedés a(z): okos eszközök használatában, és a szenzor- és
RészletesebbenStratégiák tanulása az agyban
Statisztikai tanulás az idegrendszerben, 2019. Stratégiák tanulása az agyban Bányai Mihály banyai.mihaly@wigner.mta.hu http://golab.wigner.mta.hu/people/mihaly-banyai/ Kortárs MI thispersondoesnotexist.com
RészletesebbenIntelligens Rendszerek Gyakorlata. Neurális hálózatok I.
: Intelligens Rendszerek Gyakorlata Neurális hálózatok I. dr. Kutor László http://mobil.nik.bmf.hu/tantargyak/ir2.html IRG 3/1 Trend osztályozás Pnndemo.exe IRG 3/2 Hangulat azonosítás Happy.exe IRG 3/3
RészletesebbenA dokumentum egy feladatgyűjtemény első fejezetének előzetes változata.
A dokumentum egy feladatgyűjtemény első fejezetének előzetes változata. Amennyiben a következő oldalakon bármilyen hibát talál, legyen az szakmai probléma, vagy helyesírási hiba, esetleg ötlete, vagy javaslata
RészletesebbenSzámítógép-rendszerek fontos jellemzői (Hardver és Szoftver):
B Motiváció B Motiváció Számítógép-rendszerek fontos jellemzői (Hardver és Szoftver): Helyesség Felhasználóbarátság Hatékonyság Modern számítógép-rendszerek: Egyértelmű hatékonyság (például hálózati hatékonyság)
RészletesebbenMegerősítéses tanulás
Megerősítéses tanulás elméleti kognitív neurális Introduction Knowledge representation Probabilistic models Bayesian behaviour Approximate inference I (computer lab) Vision I Approximate inference II:
RészletesebbenI.3 ELOSZTOTT FOLYAMATSZINTÉZIS BERTÓK BOTOND. Témavezetői beszámoló
infokommunikációs technológiák infokommunikációs technológiák I.3 ELOSZTOTT FOLYAMATSZINTÉZIS BERTÓK BOTOND Témavezetői beszámoló Pannon Egyetem 2015. január 7. A KUTATÁSI TERÜLET RÖVID MEGFOGALMAZÁSA
RészletesebbenGépi tanulás. Hány tanítómintára van szükség? VKH. Pataki Béla (Bolgár Bence)
Gépi tanulás Hány tanítómintára van szükség? VKH Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Induktív tanulás A tanítás folyamata: Kiinduló
RészletesebbenHogyan lesz adatbányából aranybánya?
Hogyan lesz adatbányából aranybánya? Szolgáltatások kapacitástervezése a Budapest Banknál Németh Balázs Budapest Bank Fehér Péter - Corvinno Visontai Balázs - KFKI Tartalom 1. Szolgáltatás életciklus 2.
RészletesebbenKUTATÁSI JELENTÉS. Multilaterációs radarrendszer kutatása. Szüllő Ádám
KUTATÁSI JELENTÉS Multilaterációs radarrendszer kutatása Szüllő Ádám 212 Bevezetés A Mikrohullámú Távérzékelés Laboratórium jelenlegi K+F tevékenységei közül ezen jelentés a multilaterációs radarrendszerek
RészletesebbenÜzletmenet folytonosság menedzsment [BCM]
Üzletmenet folytonosság menedzsment [BCM] Üzletmenet folytonosság menedzsment Megfelelőség, kényszer? Felügyeleti előírások Belső előírások Külföldi tulajdonos előírásai Szabványok, sztenderdek, stb Tudatos
RészletesebbenRegresszió. Csorba János. Nagyméretű adathalmazok kezelése március 31.
Regresszió Csorba János Nagyméretű adathalmazok kezelése 2010. március 31. A feladat X magyarázó attribútumok halmaza Y magyarázandó attribútumok) Kérdés: f : X -> Y a kapcsolat pár tanítópontban ismert
RészletesebbenGPU-k a gravitációs hullám kutatásban
GPU-k a gravitációs hullám kutatásban Debreczeni Gergely MTA KFKI RMKI (Gergely.Debreczeni@rmki.kfki.hu) e-science Cafè 2011. november 14. Óbudai Egyetem Neumann János Informatikai Kar Á.R.: Megfigyelhető
RészletesebbenSmart Strategic Planner
Smart Strategic Planner STRATÉGIAI FTTX HÁLÓZAT TERVEZŐ ÉS KÖLTSÉG ELEMZŐ ESZKÖZ távközlési hálózatok informatikai hálózatok kutatás és fejlesztés gazdaságos üzemeltetés Smart Strategic Planner Térinformatikai
RészletesebbenGépi tanulás és Mintafelismerés
Gépi tanulás és Mintafelismerés jegyzet Csató Lehel Matematika-Informatika Tanszék BabesBolyai Tudományegyetem, Kolozsvár 2007 Aug. 20 2 1. fejezet Bevezet A mesterséges intelligencia azon módszereit,
RészletesebbenCARE. Biztonságos. otthonok idős embereknek CARE. Biztonságos otthonok idős embereknek 2010-09-02. Dr. Vajda Ferenc Egyetemi docens
CARE Biztonságos CARE Biztonságos otthonok idős embereknek otthonok idős embereknek 2010-09-02 Dr. Vajda Ferenc Egyetemi docens 3D Érzékelés és Mobilrobotika kutatócsoport Budapesti Műszaki és Gazdaságtudományi
RészletesebbenVizuális adatelemzés - Gyakorlat. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék
Vizuális adatelemzés - Gyakorlat Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Adatelemzés szerepe a rendszermodellezésben Lényeges paraméterek meghatározása
RészletesebbenII. rész: a rendszer felülvizsgálati stratégia kidolgozását támogató funkciói. Tóth László, Lenkeyné Biró Gyöngyvér, Kuczogi László
A kockázat alapú felülvizsgálati és karbantartási stratégia alkalmazása a MOL Rt.-nél megvalósuló Statikus Készülékek Állapot-felügyeleti Rendszerének kialakításában II. rész: a rendszer felülvizsgálati
RészletesebbenSzámítógépes döntéstámogatás. Genetikus algoritmusok
BLSZM-10 p. 1/18 Számítógépes döntéstámogatás Genetikus algoritmusok Werner Ágnes Villamosmérnöki és Információs Rendszerek Tanszék e-mail: werner.agnes@virt.uni-pannon.hu BLSZM-10 p. 2/18 Bevezetés 1950-60-as
RészletesebbenTARTALOMJEGYZÉK. TARTALOMJEGYZÉK...vii ELŐSZÓ... xiii BEVEZETÉS A lágy számításról A könyv célkitűzése és felépítése...
TARTALOMJEGYZÉK TARTALOMJEGYZÉK...vii ELŐSZÓ... xiii BEVEZETÉS...1 1. A lágy számításról...2 2. A könyv célkitűzése és felépítése...6 AZ ÖSSZETEVŐ LÁGY RENDSZEREK...9 I. BEVEZETÉS...10 3. Az összetevő
RészletesebbenAz agyi jelek adaptív feldolgozása MENTÁ LIS FÁ R A DT S ÁG MÉRÉSE
Az agyi jelek adaptív feldolgozása MENTÁ LIS FÁ R A DT S ÁG MÉRÉSE Bevezetés I. A fáradtság lehet fizikai: a normál testi funkciók hiánya mentális: csökkent agyi aktivitás vagy kognitív funkciók. Megjelenhet
RészletesebbenGépi tanulás a gyakorlatban. Bevezetés
Gépi tanulás a gyakorlatban Bevezetés Motiváció Nagyon gyakran találkozunk gépi tanuló alkalmazásokkal Spam detekció Karakter felismerés Fotó címkézés Szociális háló elemzés Piaci szegmentáció analízis
RészletesebbenBár a szoftverleltárt elsősorban magamnak készítettem, de ha már itt van, miért is ne használhatná más is.
SZOFTVERLELTÁR FREE Amennyiben önnek vállalkozása van, akkor pontosan tudnia kell, hogy milyen programok és alkalmazások vannak telepítve cége, vállalkozása számítógépeire, és ezekhez milyen engedélyeik,
RészletesebbenHidraulikus hálózatok robusztusságának növelése
Dr. Dulovics Dezső Junior Szimpózium 2018. Hidraulikus hálózatok robusztusságának növelése Előadó: Huzsvár Tamás MSc. Képzés, II. évfolyam Témavezető: Wéber Richárd, Dr. Hős Csaba www.hds.bme.hu Az előadás
RészletesebbenMesterséges intelligencia alapú regressziós tesztelés
Mesterséges intelligencia alapú regressziós tesztelés Gujgiczer Anna, Elekes Márton* * AZ EMBERI ERŐFORRÁSOK MINISZTÉRIUMA ÚNKP-16-1-I. KÓDSZÁMÚ ÚJ NEMZETI KIVÁLÓSÁG PROGRAMJÁNAK TÁMOGATÁSÁVAL KÉSZÜLT
RészletesebbenÚjfajta, automatikus, döntési fa alapú adatbányászati módszer idősorok osztályozására
VÉGZŐS KONFERENCIA 2009 2009. május 20, Budapest Újfajta, automatikus, döntési fa alapú adatbányászati módszer idősorok osztályozására Hidasi Balázs hidasi@tmit.bme.hu Konzulens: Gáspár-Papanek Csaba Budapesti
RészletesebbenBiztonsági Felhő A KÜRT legújabb világszínvonalú technológiai fejlesztése
Biztonsági Felhő A KÜRT legújabb világszínvonalú technológiai fejlesztése Az innovatív szakemberekből álló alkotóműhelyünkben, a KÜRT-ben sikeresen létrehoztunk egy legújabb IT trendeknek megfelelő fejlesztést.
RészletesebbenA dokumentum egy feladatgyűjtemény harmadik fejezetének előzetes változata.
A dokumentum egy feladatgyűjtemény harmadik fejezetének előzetes változata. Amennyiben a következő oldalakon bármilyen hibát talál, legyen az szakmai probléma, vagy helyesírási hiba, esetleg ötlete, vagy
RészletesebbenRendszámfelismerő rendszerek
Problémamegoldó szeminárium Témavezető: Pataki Péter ARH Zrt. ELTE-TTK 2013 Tartalomjegyzék 1 Bevezetés 2 Út a megoldás felé 3 Felmerült problémák 4 Alkalmazott matematika 5 További lehetőségek Motiváció
RészletesebbenSzomszédság alapú ajánló rendszerek
Nagyméretű adathalmazok kezelése Szomszédság alapú ajánló rendszerek Készítette: Szabó Máté A rendelkezésre álló adatmennyiség növelésével egyre nehezebb kiválogatni a hasznos információkat Megoldás: ajánló
RészletesebbenCsank András ELMŰ Hálózati Kft. Dunay András Geometria Kft. 2010.
Csank András ELMŰ Hálózati Kft. Dunay András Geometria Kft. Fuzzy-alapú döntéstámogató rendszer bevezetése az ELMŰ-ÉMÁSZ ÉMÁSZ-nál 2010. Tartalom - Előzmények - Fuzzy logika - Modell bemutatása - Modell-hitelesítés
RészletesebbenA cloud szolgáltatási modell a közigazgatásban
A cloud szolgáltatási modell a közigazgatásban Gombás László Krasznay Csaba Copyright 2011 Hewlett-Packard Development Company HP Informatikai Kft. 2011. november 23. Témafelvetés 2 HP Confidential Cloud
RészletesebbenMapReduce paradigma a CAP-tétel kontextusában. Adatb haladóknak. Balassi Márton Adatbázisok haladóknak 2012.
MapReduce paradigma a CAP-tétel kontextusában Balassi Márton balassi.marton@gmail.com 2012. október 30. Adatbázisok haladóknak 2012. 2012. október 30. Miről lesz szó? Elosztott adatfeldolgozásról általában
RészletesebbenHadoop és használata az LPDS cloud-on
Hadoop és használata az LPDS cloud-on Bendig Loránd lbendig@ilab.sztaki.hu 2012.04.13 Miről lesz szó? Bevezetés Hadoop áttekintés OpenNebula Hadoop cluster az LPDS cloud-on Tapasztalatok, nyitott kérdések
RészletesebbenAlap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )
Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar Hidrodinamikai Rendszerek Tanszék, Budapest, Műegyetem rkp. 3. D ép. 334. Tel: 463-6-80 Fa: 463-30-9 http://www.vizgep.bme.hu Alap-ötlet:
RészletesebbenTeljesítmény Mérés. Tóth Zsolt. Miskolci Egyetem. Tóth Zsolt (Miskolci Egyetem) Teljesítmény Mérés / 20
Teljesítmény Mérés Tóth Zsolt Miskolci Egyetem 2013 Tóth Zsolt (Miskolci Egyetem) Teljesítmény Mérés 2013 1 / 20 Tartalomjegyzék 1 Bevezetés 2 Visual Studio Kód metrikák Performance Explorer Tóth Zsolt
RészletesebbenMegerősítéses tanulás 7. előadás
Megerősítéses tanulás 7. előadás 1 Ismétlés: TD becslés s t -ben stratégia szerint lépek! a t, r t, s t+1 TD becslés: tulajdonképpen ezt mintavételezzük: 2 Akcióértékelő függvény számolása TD-vel még mindig
RészletesebbenRelációs algebra lekérdezések optimalizációja. Adatbázisok használata
Relációs algebra lekérdezések optimalizációja Adatbázisok használata Mi a cél? Moore-törvénye: (Gordon Moore) szerint az integrált áramkörök sok jellemzőjének fejlődése exponenciális, ezek az értékek 18
RészletesebbenESZKÖZTÁMOGATÁS A TESZTELÉSBEN
ESZKÖZTÁMOGATÁS A TESZTELÉSBEN MUNKAERŐ-PIACI IGÉNYEKNEK MEGFELELŐ, GYAKORLATORIENTÁLT KÉPZÉSEK, SZOLGÁLTATÁSOK A DEBRECENI EGYETEMEN ÉLELMISZERIPAR, GÉPÉSZET, INFORMATIKA, TURISZTIKA ÉS VENDÉGLÁTÁS TERÜLETEN
RészletesebbenRTD-CORROCONT Az alacsonyfrekvenciás anyagvizsgálatok gyakorlati tapasztalatai
Az alacsonyfrekvenciás anyagvizsgálatok gyakorlati tapasztalatai Csizinszky Péter Anyagvizsgálat a Gyakorlatban Tengelic, 2006.06.2. 1 Célok Üzembiztonság Növelése Katasztrófák Elkerülése Társadalmi Környezeti
RészletesebbenMMK-Informatikai projekt ellenőr képzés 4
Miről lesz szó Big Data definíció Mi a Hadoop Hadoop működése, elemei Köré épülő technológiák Disztribúciók, Big Data a felhőben Miért, hol és hogyan használják Big Data definíció Miért Big a Data? 2017.
RészletesebbenNEURONHÁLÓK ÉS TANÍTÁSUK A BACKPROPAGATION ALGORITMUSSAL. A tananyag az EFOP pályázat támogatásával készült.
NEURONHÁLÓK ÉS TANÍTÁSUK A BACKPROPAGATION ALGORITMUSSAL A tananyag az EFOP-3.5.1-16-2017-00004 pályázat támogatásával készült. Neuron helyett neuronháló Neuron reprezentációs erejének növelése: építsünk
RészletesebbenMegoldás. Feladat 1. Statikus teszt Specifikáció felülvizsgálat
Megoldás Feladat 1. Statikus teszt Specifikáció felülvizsgálat A feladatban szereplő specifikáció eredeti, angol nyelvű változata egy létező eszköz leírása. Nem állítjuk, hogy az eredeti dokumentum jól
RészletesebbenMagas szintű optimalizálás
Magas szintű optimalizálás Soros kód párhuzamosítása Mennyi a várható teljesítmény növekedés? Erős skálázódás (Amdahl törvény) Mennyire lineáris a skálázódás a párhuzamosítás növelésével? S 1 P 1 P N GPGPU
Részletesebben2011. November 8. Boscolo New York Palace Budapest. Extrém teljesítmény Oracle Exadata és Oracle Exalogic rendszerekkel
2011. November 8. Boscolo New York Palace Budapest Extrém teljesítmény Oracle Exadata és Oracle Exalogic rendszerekkel Integrált rendszerek - Engineered Systems Együtt tervezett hardver és szoftver Egyedi
RészletesebbenInformatika Rendszerek Alapjai
Informatika Rendszerek Alapjai Dr. Kutor László Alapfogalmak Információ-feldolgozó paradigmák Analóg és digitális rendszerek jellemzői Jelek típusai Átalakítás rendszerek között http://uni-obuda.hu/users/kutor/
RészletesebbenIntelligens Rendszerek Elmélete. Párhuzamos keresés genetikus algoritmusokkal
Intelligens Rendszerek Elmélete Dr. Kutor László Párhuzamos keresés genetikus algoritmusokkal http://mobil.nik.bmf.hu/tantargyak/ire.html login: ire jelszó: IRE0 IRE / A természet általános kereső algoritmusa:
RészletesebbenNeurális hálózatok.... a gyakorlatban
Neurális hálózatok... a gyakorlatban Java NNS Az SNNS Javás változata SNNS: Stuttgart Neural Network Simulator A Tübingeni Egyetemen fejlesztik http://www.ra.cs.unituebingen.de/software/javanns/ 2012/13.
RészletesebbenPARADIGMAVÁLTÁS A KÖZOKTATÁSBAN MOST VAGY SOHA?!
PARADIGMAVÁLTÁS A KÖZOKTATÁSBAN MOST VAGY SOHA?! ÁDÁM PÉTER NEMZETI PEDAGÓGUS KAR TANÉVNYITÓ SZAKMAI NAP 2016. AUGUSZTUS 29. Előzmények 1868 Eötvös József kötelező népoktatás (66 %) 1928 Klebelsberg K.
RészletesebbenMérési hibák 2006.10.04. 1
Mérési hibák 2006.10.04. 1 Mérés jel- és rendszerelméleti modellje Mérési hibák_labor/2 Mérési hibák mérési hiba: a meghatározandó értékre a mérés során kapott eredmény és ideális értéke közötti különbség
RészletesebbenHibadetektáló rendszer légtechnikai berendezések számára
Hibadetektáló rendszer légtechnikai berendezések számára Tudományos Diákköri Konferencia A feladatunk Légtechnikai berendezések Monitorozás Hibadetektálás Újrataníthatóság A megvalósítás Mozgásérzékelő
RészletesebbenTELJESÍTÉNYMÉRÉS FELHŐ ALAPÚ KÖRNYEZETBEN AZURE CLOUD ANALÍZIS
TELJESÍTÉNYMÉRÉS FELHŐ ALAPÚ KÖRNYEZETBEN AZURE CLOUD ANALÍZIS Hartung István BME Irányítástechnika és Informatika Tanszék TEMATIKA Cloud definíció, típusok, megvalósítási modellek Rövid Azure cloud bemutatás
RészletesebbenT E R M É K T Á J É K O Z TAT Ó
T E R M É K T Á J É K O Z TAT Ó ÚJ!!! SeCorr 08 korrrelátor A legújabb DSP technikával ellátott számítógépes támogatással rendelkező korrelátor a hibahelyek megtalálásához. 1 MI A KORRELÁCIÓ? A korreláció
RészletesebbenAradi Bernadett. 2017/18 ősz. TensorFlow konvolúciós hálózatokhoz 2017/18 ősz 1 / 11
TensorFlow konvolúciós hálózatokhoz Aradi Bernadett 2017/18 ősz TensorFlow konvolúciós hálózatokhoz 2017/18 ősz 1 / 11 Tensorflow import tensorflow as tf szoftverkönyvtár neurális hálózatokhoz a Google
RészletesebbenÁtfogó megoldás a számlafolyamatok felgyorsításához ELO DocXtractor. Laczkó Kristóf ELO Digital Office Kft. Bálint András Prognax Kft.
Átfogó megoldás a számlafolyamatok felgyorsításához ELO DocXtractor Laczkó Kristóf ELO Digital Office Kft. Bálint András Prognax Kft. Áttekintés Struktúrált és egyéb Információk bármely forrásból dokumentumok
RészletesebbenNyomtatási rendszer szolgáltatás - SLA
Nyomtatási rendszer szolgáltatás - SLA 1. oldal Telefon: +36 (72) 501-500 Fax: +36 (72) 501-506 1. Dokumentum adatlap Azonosítás Dokumentum címe Állomány neve Dokumentum verzió 1.1 Kiadás idõpontja 2009.11.01.
RészletesebbenNyilvántartási Rendszer
Nyilvántartási Rendszer Veszprém Megyei Levéltár 2011.04.14. Készítette: Juszt Miklós Honnan indultunk? Rövid történeti áttekintés 2003 2007 2008-2011 Access alapú raktári topográfia Adatbázis optimalizálás,
Részletesebben2. Rugalmas állandók mérése jegyzőkönyv javított. Zsigmond Anna Fizika Bsc II. Mérés dátuma: Leadás dátuma:
2. Rugalmas állandók mérése jegyzőkönyv javított Zsigmond Anna Fizika Bsc II. Mérés dátuma: 2008. 09. 17. Leadás dátuma: 2008. 10. 08. 1 1. Mérések ismertetése Az első részben egy téglalap keresztmetszetű
RészletesebbenPeer-to-peer (P2P) gépi tanulás. Hegedűs István
Peer-to-peer (P2P) gépi tanulás Hegedűs István Motiváció Adatokban rejlő információk kinyerésének fontossága adatbányászat, gépi-tanulás, modell építés Különböző módszerekkel összegyűjtött adatok feldolgozása
RészletesebbenCloud Akkreditációs Szolgáltatás indítása CLAKK projekt. Kozlovszky Miklós, Németh Zsolt, Lovas Róbert 9. LPDS MTA SZTAKI Tudományos nap
Cloud Akkreditációs Szolgáltatás indítása CLAKK projekt Kozlovszky Miklós, Németh Zsolt, Lovas Róbert 9. LPDS MTA SZTAKI Tudományos nap Projekt alapadatok Projekt név: Cloud akkreditációs szolgáltatás
RészletesebbenMéréselmélet MI BSc 1
Mérés és s modellezés 2008.02.15. 1 Méréselmélet - bevezetés a mérnöki problémamegoldás menete 1. A probléma kitűzése 2. A hipotézis felállítása 3. Kísérlettervezés 4. Megfigyelések elvégzése 5. Adatok
RészletesebbenRHadoop. Kocsis Imre Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék
RHadoop Kocsis Imre ikocsis@mit.bme.hu Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Házi feladat Csapatépítés o 2 fő, tetszőleges kombinációkban http://goo.gl/m8yzwq
RészletesebbenMŰSZAKKIOSZTÁSI PROBLÉMÁK A KÖZÖSSÉGI KÖZLEKEDÉSBEN
infokommunikációs technológiák MŰSZAKKIOSZTÁSI PROBLÉMÁK A KÖZÖSSÉGI KÖZLEKEDÉSBEN Készítette: Árgilán Viktor, Dr. Balogh János, Dr. Békési József, Dávid Balázs, Hajdu László, Dr. Galambos Gábor, Dr. Krész
RészletesebbenSzoftver karbantartási lépések ellenőrzése
Szoftverellenőrzési technikák (vimim148) Szoftver karbantartási lépések ellenőrzése Majzik István Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék http://www.inf.mit.bme.hu/
RészletesebbenKépi információk hatékony feldolgozása széles társadalmi rétegeket érintő egészségügyi problémákban
Képi információk hatékony feldolgozása széles társadalmi rétegeket érintő egészségügyi problémákban Hajdu András Debreceni Egyetem, Informatikai Kar 2. Magyar Jövő Internet Konferencia Budapest, 2015.
Részletesebbenegy szisztolikus példa
Automatikus párhuzamosítás egy szisztolikus példa Áttekintés Bevezetés Példa konkrét szisztolikus algoritmus Automatikus párhuzamosítási módszer ötlet Áttekintés Bevezetés Példa konkrét szisztolikus algoritmus
Részletesebben[1000 ; 0] 7 [1000 ; 3000]
Gépi tanulás (vimim36) Gyakorló feladatok 04 tavaszi félév Ahol lehet, ott konkrét számértékeket várok nem puszta egyenleteket. (Azok egy részét amúgyis megadom.). Egy bináris osztályozási feladatra tanított
RészletesebbenELEMZŐ KAPACITÁS FEJLESZTÉSE, MÓDSZERTANI FEJLESZTÉS MEGVALÓSÍTÁSA
TÁMOP-2.4.8-12/1-2012-0001 A munkahelyi egészség és biztonság fejlesztése, a munkaügyi ellenőrzés fejlesztése ELEMZŐ KAPACITÁS FEJLESZTÉSE, MÓDSZERTANI FEJLESZTÉS MEGVALÓSÍTÁSA Előadó: Szentesi Fekete
RészletesebbenBig Data adattárházas szemmel. Arató Bence ügyvezető, BI Consulting
Big Data adattárházas szemmel Arató Bence ügyvezető, BI Consulting 1 Bemutatkozás 15 éves szakmai tapasztalat az üzleti intelligencia és adattárházak területén A BI Consulting szakmai igazgatója A BI.hu
Részletesebben2. Számítógépek működési elve. Bevezetés az informatikába. Vezérlés elve. Külső programvezérlés... Memória. Belső programvezérlés
. Számítógépek működési elve Bevezetés az informatikába. előadás Dudásné Nagy Marianna Az általánosan használt számítógépek a belső programvezérlés elvén működnek Külső programvezérlés... Vezérlés elve
RészletesebbenRendszermodernizációs lehetőségek a HANA-val Poszeidon. Groma István PhD SDA DMS Zrt.
Rendszermodernizációs lehetőségek a HANA-val Poszeidon Groma István PhD SDA DMS Zrt. Poszeidon EKEIDR Tanúsított ügyviteli rendszer (3/2018. (II. 21.) BM rendelet). Munkafolyamat támogatás. Papírmentes
Részletesebben