Hadoop és használata az LPDS cloud-on
|
|
- Csaba Vincze
- 8 évvel ezelőtt
- Látták:
Átírás
1 Hadoop és használata az LPDS cloud-on Bendig Loránd
2 Miről lesz szó? Bevezetés Hadoop áttekintés OpenNebula Hadoop cluster az LPDS cloud-on Tapasztalatok, nyitott kérdések
3 Bevezetés Adatmennyiség cat ip_addresses.txt sort uniq c ~ kétévente megduplázódik Google > 20PB napi adatmennyiség Facebook > 20TB napi adatmennyiség CERN LHC > 40TB napi adatmennyiség Baidu > 3000TB heti adatmennyiség Hardware Disk méret / transfer rate: 1TB disk, 100MB/s 2.5h High-end server vs olcsó számítógépek cluster-ben
4 Hadoop Java-ban írt open source framework (top level Apache project) a Google publikációi alapján: S. Ghemawat, H. Gobioff, and Shun-Tak Leung, "The Google File System" Oct J. Dean and S. Ghemawat, "MapReduce: Simplified Data Processing on Large Clusters" Dec 2004 A Mapreduce számítási modell egy implementációja Tervezési megfontolások: Hibatűrő és skálázható Számítás mozgatása az adathoz Moduláris, kiterjeszthető Fő építőelemei: Elosztott filerendszer (HDFS) Mapreduce programozási modell Master/slave architektúra Master: Namenode / JobTracker Slave: Datanode / TaskTracker
5 Hadoop HDFS Elosztott filerendszer a cluster node-jain Adatok tárolása blokkokban Koherencia-modell: egyszeri írás, többszöri olvasás Replikáció (JBOD: Just a Bunch of Disks) Namenode (master) Filerendszer namespace, metadata Single point of failure Datanode (slave) Blokkok tárolása
6 Hadoop HDFS (olvasás)
7 Hadoop HDFS (írás)
8 Hadoop HDFS (adatintegritás, tömörítés) Adatintegritás: CRC-32 checksum / 512 byte adat Ellenőrzés: Datanode-okon, kliensen Hiba esetén: namenode értesítése Tömörítés:
9 Hadoop Programozási modell Kiindulási állapot: Adatok HDFS-en a cluster gépein Egymástól független taskokon (immutable kulcs-érték párokon) dolgozunk 2 interfészt implementálunk: Mapper, Reducer Feldolgozás menete: Iteráció az input record-okon Minket érdeklő adatok kiválasztása (map) Köztes eredmények: shuffle és sort Aggregáció (reduce) Output kiírása cat input grep sort uniq -c cat > output Input Map Shuffle & Sort Reduce Output API Java (default) Streaming (standard input / standard output) Pipes (C++) socket-en keresztül
10 Hadoop Programozási modell Map(): Map(k1,v1) list(k2,v2) : Szűrés, transzformáció Reduce(k2, list (v2)) list(k3,v3) : Aggregáció
11 Hadoop Mapreduce job
12 Hadoop Tool-ok
13 Hadoop - Felhasználási területek ETL: Logtárolás HDFS-en, kimenet: RDBMS Átalános back-end processzálás: (NY Times: pdf konverzió) Marketing analytics, ads, perszonalizáció Machine learning / data mining WebMap, spamszűrés (Yahoo) Képfeldolgozás Text processzálás Indexelés Néhány adat: Ebay: 700 nodes cluster (700*12 core, 16PB) Facebook: 1100 nodes cluster, 8800 cores 12 PB raw storage Yahoo > gép, 300k core
14 SZTAKI cloud projekt - Célok A felhőkhöz, mint elosztott informatikai rendszerekhez kapcsolódó kutatások végzése: Skálázhatóság Meglévő szolgáltatások (pl. levelezés, szótár) kiterjesztése felhőre Adatintenzív feladatok vs SW/HW/Hálozat konfiguráció QoS, biztonsági kérdések Laborszintű felhők (ILAB): Nagymennyiségű adatfeldolgozás Teljesítőképesség / konfigurációs kérdések Az intézeti informatikai infrastruktúra korszerűsítése Gazdaságosabb üzemeltetés
15 OpenNebula - Bevezetés 2005 óta fejlesztett open-source toolkit, felhő alapú szolgáltatások létrehozására Többek között EU-s támogatással (FP7) Fizikai erőforrások összefogása, menedzselése IaaS (Infrastructure as a Service) Private/Public/Hybric cloud Virtualizációs menedzsment támogatás: KVM, VMware ESXi és XEN. Számos interface Felhasználó és csoport menedzsment
16 OpenNebula - Koncepció
17 Hadoop cloud - Áttekintés LPDS OpenNebula hozzáférés Ismerkedés az OpenNebulával, amíg nincs laborszintű felhő 4 gép, 64 CPU mag, 152GB RAM, 4.3TB osztott tárhely (RAID5)
18 Hadoop cloud - Elérés Gépek: Master c142.cloud Slave1 c144.cloud Slave2 c145.cloud Slave3 c146.cloud
19 Hadoop cloud Kapacitás
20 Hadoop cloud - Fejlesztés Job megírása lokálisan Maven: Cloudera repository install goal: jar feltöltése scp-vel a masterre Job futtatása a szokásos módon, a master-en HDFS I/O teszt: Map: file 10 1GB-os file írása/olvasása Reduce: statisztikák összegyűjtése
21 Tapasztalatok, nyitott kérdések Cloudera image vs. image készítés Node-ok ki/bekapcsolása igény szerint, skálázhatóság Disk elérés: virtuális disk felmountolva, RAID, OpenNebula köztesréteg vs. JBOD iscsi (SCSI over IP)? Amazon, Rackspace cloud, GoGrid: lokális diskek ElasticHosts, FlexiScale: iscsi Laborszintű felhő kialakítás
22 Köszönöm a figyelmet!
MMK-Informatikai projekt ellenőr képzés 4
Miről lesz szó Big Data definíció Mi a Hadoop Hadoop működése, elemei Köré épülő technológiák Disztribúciók, Big Data a felhőben Miért, hol és hogyan használják Big Data definíció Miért Big a Data? 2017.
RészletesebbenGENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN
INFORMATIKAI PROJEKTELLENŐR 30 MB Szabó Csenger ÚJ GENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN 2016. 12. 31. MMK- Informatikai projektellenőr képzés Big Data definíció 2016. 12. 31. MMK-Informatikai
RészletesebbenBig Data tömeges adatelemzés gyorsan
MEDIANET 2015 Big Data tömeges adatelemzés gyorsan STADLER GELLÉRT Oracle Hungary Kft. gellert.stadler@oracle.com Kulcsszavak: big data, döntéstámogatás, hadoop, üzleti intelligencia Az utóbbi években
RészletesebbenWeblog elemzés Hadoopon 1/39
Weblog elemzés Hadoopon 1/39 Az előadás témái Egy Hadoop job életciklusa A Weblog-projekt 2/39 Mi a Hadoop? A Hadoop egy párhuzamos programozási séma egy implementációja. 3/39 A programozási séma: MapReduce
RészletesebbenBIG DATA ÉS GÉPI TANULÁS KÖRNYEZET AZ MTA CLOUD-ON KACSUK PÉTER, NAGY ENIKŐ, PINTYE ISTVÁN, HAJNAL ÁKOS, LOVAS RÓBERT
BIG DATA ÉS GÉPI TANULÁS KÖRNYEZET AZ MTA CLOUD-ON KACSUK PÉTER, NAGY ENIKŐ, PINTYE ISTVÁN, HAJNAL ÁKOS, LOVAS RÓBERT TARTALOM MTA Cloud Big Data és gépi tanulást támogató szoftver eszközök Apache Spark
RészletesebbenA Facebook adattárháza. Trencséni Márton info99
A Facebook adattárháza Trencséni Márton mtrencseni@gmail.com info99 1 Néhány szót rólam 1. BME-n végeztem 2004-ben műszaki informatikusként 2. Adatbázisok tárgy már akkor is volt :) Utána: ELTE, fizikus
RészletesebbenPárhuzamos és Grid rendszerek
Párhuzamos és Grid rendszerek (12. ea) Cloud computing Szeberényi Imre BME IIT M Ű E G Y E T E M 1 7 8 2 2013.04.29. - 1 - Újabb buzzword? Metacomputing Utility computing Grid computing
RészletesebbenMapReduce paradigma a CAP-tétel kontextusában. Adatb haladóknak. Balassi Márton Adatbázisok haladóknak 2012.
MapReduce paradigma a CAP-tétel kontextusában Balassi Márton balassi.marton@gmail.com 2012. október 30. Adatbázisok haladóknak 2012. 2012. október 30. Miről lesz szó? Elosztott adatfeldolgozásról általában
RészletesebbenWebes alkalmazások fejlesztése 11. előadás. Alkalmazások felhőben. 2015 Giachetta Roberto groberto@inf.elte.hu http://people.inf.elte.
Eötvös Loránd Tudományegyetem Informatikai Kar Webes alkalmazások fejlesztése 11. előadás Alkalmazások felhőben 2015 Giachetta Roberto groberto@inf.elte.hu http://people.inf.elte.hu/groberto Számítástechnikai
RészletesebbenWebes alkalmazások fejlesztése 11. előadás. Alkalmazások felhőben. Alkalmazások felhőben Számítástechnikai felhő
Eötvös Loránd Tudományegyetem Informatikai Kar Webes alkalmazások fejlesztése 11. előadás Számítástechnikai felhő A számítástechnikai felhő (computational cloud) egy olyan szolgáltatás alapú rendszer,
RészletesebbenWorldwide LHC Computing Grid
Worldwide LHC Computing Grid Új modell a tudományos informatikában Hernáth Szabolcs hernath@mail.kfki.hu MTA KFKI RMKI www.eu-egee.org Tartalomjegyzék 1. Miért Grid? LHC adattárolás és -feldolgozás Computing
RészletesebbenSUSE Linux Enterprise High Availability. Kovács Lajos Vezető konzultáns
SUSE Linux Enterprise High Availability Kovács Lajos Vezető konzultáns lkovacs@npsh.hu SUSE Linux Enterprise 12 célok 100 0 % Állásidő csökkentése Hatékonyabb üzemeltetés Gyorsabb innováció 2 Állásidő
RészletesebbenRHadoop. Kocsis Imre Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék
RHadoop Kocsis Imre ikocsis@mit.bme.hu Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Házi feladat Csapatépítés o 2 fő, tetszőleges kombinációkban http://goo.gl/m8yzwq
RészletesebbenMTA Cloud Use cases MTA Cloud workshop. Hernáth Szabolcs MTA WIGNER FK
MTA Cloud Use cases MTA Cloud workshop Hernáth Szabolcs MTA WIGNER FK IT felhasználás dimenziói Felhasználók száma / jellege Kapacitás mérete / jellege Számítási feladat / szoftverkörnyezet Adatok mérete
RészletesebbenBig Data adattárházas szemmel. Arató Bence ügyvezető, BI Consulting
Big Data adattárházas szemmel Arató Bence ügyvezető, BI Consulting 1 Bemutatkozás 15 éves szakmai tapasztalat az üzleti intelligencia és adattárházak területén A BI Consulting szakmai igazgatója A BI.hu
RészletesebbenÉlet az SQL-en túl: Az adatfeldolgozás legújabb trendjei. Földi Tamás
Élet az SQL-en túl: Az adatfeldolgozás legújabb trendjei Földi Tamás tfoldi@starschema.net IBM Kutatóközpont San Jose, California, 1970 Negyven évvel később Gartner Report Elsősorban relációs adatbázisok
RészletesebbenSZTAKI Felhő projekt. Ormos Pál MTA SZTAKI ormos.pal@sztaki.mta.hu. HBONE Workshop 2012
SZTAKI Felhő projekt Ormos Pál MTA SZTAKI ormos.pal@sztaki.mta.hu HBONE Workshop 2012 Miről lesz szó? Előzmények Feladatok Összefoglalás 2 Előzmények Labor szintű felhő kísérletek az intézetben Élenjáró
RészletesebbenSegesdi Dániel. OpenNebula. Virtualizációs technológiák és alkalmazásaik BMEVIMIAV89. 2011 ősz
Segesdi Dániel OpenNebula Virtualizációs technológiák és alkalmazásaik BMEVIMIAV89 2011 ősz OpenNebula Előszó A feladatom az OpenNebula nyílt forráskódú cloud management eszköz megismerése, mely egységes
RészletesebbenA Középtávú Időjárási Előrejelzések Európai Központjában készülő időjárási modell előrejelzések informatikai háttere
A Középtávú Időjárási Előrejelzések Európai Központjában készülő időjárási modell előrejelzések informatikai háttere Ihász István Országos Meteorológiai Szolgálat Módszerfejlesztési Osztály 2015. március
Részletesebben2011. November 8. Boscolo New York Palace Budapest. Extrém teljesítmény Oracle Exadata és Oracle Exalogic rendszerekkel
2011. November 8. Boscolo New York Palace Budapest Extrém teljesítmény Oracle Exadata és Oracle Exalogic rendszerekkel Integrált rendszerek - Engineered Systems Együtt tervezett hardver és szoftver Egyedi
RészletesebbenMuppet: Gyors adatok MapReduce stílusú feldolgozása. Muppet: MapReduce-Style Processing of Fast Data
Muppet: Gyors adatok MapReduce stílusú feldolgozása Muppet: MapReduce-Style Processing of Fast Data Tartalom Bevezető MapReduce MapUpdate Muppet 1.0 Muppet 2.0 Eredmények Jelenlegi tendenciák Nagy mennyiségű
RészletesebbenFelhők teljesítményelemzése felhő alapokon
Felhők teljesítményelemzése felhő alapokon Kocsis Imre ikocsis@mit.bme.hu HTE Infokom 2014 Budapest University of Technology and Economics Department of Measurement and Information Systems 1 IT Szolgáltatásmenedzsment
RészletesebbenFelhő rendszerek és felhő föderációk. Kacsuk Péter MTA SZTAKI
Felhő rendszerek és felhő föderációk Kacsuk Péter MTA SZTAKI Számítási felhő Egy technológia, amely segíti a nagy számítási- és tárolási kapacitás menedzselését A felhasználóknak skálázhatóságot, magas
RészletesebbenTELJESÍTÉNYMÉRÉS FELHŐ ALAPÚ KÖRNYEZETBEN AZURE CLOUD ANALÍZIS
TELJESÍTÉNYMÉRÉS FELHŐ ALAPÚ KÖRNYEZETBEN AZURE CLOUD ANALÍZIS Hartung István BME Irányítástechnika és Informatika Tanszék TEMATIKA Cloud definíció, típusok, megvalósítási modellek Rövid Azure cloud bemutatás
RészletesebbenVIRTUALIZÁCIÓS TECHNOLÓGIÁK EUCALYPTUS CLOUD PLATFORM
Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar VIRTUALIZÁCIÓS TECHNOLÓGIÁK EUCALYPTUS CLOUD PLATFORM Sápi Dénes UWCRHX BUDAPEST, 2011 1. A Cloud Computingről általánosságban
RészletesebbenSUSE Enterprise Storage
SUSE Enterprise Storage Skálázható szoftveralapú tároló megoldás Kovács Lajos Vezető konzultáns lkovacs@npsh.hu Agenda Nagyvállalati adattárolási kihívások SUSE Enterprise Storage Use cases A SUSE Enterprise
RészletesebbenFelhő demonstráció. 2015.05.11 Gergely Márk MTA SZTAKI gergely.mark@sztaki.mta.hu
Felhő demonstráció 2015.05.11 Gergely Márk MTA SZTAKI gergely.mark@sztaki.mta.hu ÁGekintés A webes felhő interfész elérése Virtuális gép indítása Virtuális gép elérése Virtuális gépek kezelése (leállítás,
RészletesebbenAz MTA Cloud a tudományos alkalmazások támogatására. Kacsuk Péter MTA SZTAKI
Az MTA Cloud a tudományos alkalmazások támogatására Kacsuk Péter MTA SZTAKI Kacsuk.Peter@sztaki.mta.hu Tudományos alkalmazások és skálázhatóság Kétféle skálázhatóság: o Vertikális: dinamikusan változik
RészletesebbenBig Data: a több adatnál is több
Big Data: a több adatnál is több Sidló Csaba István MTA Számítástechnikai és Automatizálási Kutatóintézet Üzleti Intelligencia és Adattárházak Csoport sidlo@sztaki.mta.hu http://dms.sztaki.hu CIO Hungary
RészletesebbenPrivát felhő megoldások és tapasztalatok
Intelligens rendszerfelügyelet (VIMIA370) Privát felhő megoldások és tapasztalatok Tóth Áron toth.aron AT inf.mit.bme.hu Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek
RészletesebbenKorszerű technológiai és szolgáltatási modellek
Big Data Korszerű technológiai és szolgáltatási modellek BIG DATA Napjainkban rohamosan nő az informatikai rendszerekben tárolt adatok mennyisége. Nemcsak a klasszikus üzleti, vagy termelési adatok kerülnek
RészletesebbenEGI-InSPIRE. Café Grid március 24. Szeberényi Imre 3/25/ EGI-InSPIRE RI
EGI-InSPIRE Café Grid Szeberényi Imre szebi@iit.bme.hu 2011. március 24. 3/25/2011 1 Performance per Dollar Spent Aktualitás Technológiák gyors fejlődése e-infrastruktúra Doubling Time (months) 9 12 18
RészletesebbenIBM felhő menedzsment
IBM Váltsunk stratégiát! Budapest, 2012 november 14. IBM felhő menedzsment SmartCloud Provisioning és Service Delivery Manager Felhő alapú szolgáltatások Felhasználás alapú számlázás és dinamikus kapacitás
RészletesebbenKorszerű Adatbázisok. Gombos Gergő
Korszerű Adatbázisok Gombos Gergő Elérhetőségek Email: ggombos@inf.elte.hu Szoba: 2-503 Honlap: http://ggombos.web.elte.hu Tematika 1. Bevezetés: Virtualizáció, Cloud 2-3. XML XPath, XQuery 4. Szemantikus
RészletesebbenKorszerű Adatbázisok. Gombos Gergő
Korszerű Adatbázisok Gombos Gergő Elérhetőségek Email: ggombos@inf.elte.hu Szoba: 2-503 (2-519) Honlap: http://people.inf.elte.hu/ggombos Tematika 1. Bevezetés: Virtualizáció, Cloud 2-3. XML XPath, XQuery
RészletesebbenHiperkonvergens infrastruktúra. Brenner Zoltán rendszermérnök
Hiperkonvergens infrastruktúra Brenner Zoltán rendszermérnök Bevezetés Hyperconverged Infrastructure Software Defined Software Defined Datacenter HyperScale Enterprise Server SAN A hiperkonvergens inftrastruktúra,
RészletesebbenComponent Soft 1994-2013 és tovább
Component Soft 1994-2013 és tovább IT szakemberek oktatása, tanácsadás Fő témáink: UNIX/Linux rendszerek, virtualizációs, fürtözési, tároló menedzsment és mentési technológiák Adatbázisok és middleware
RészletesebbenAmazon Web Services. Géhberger Dániel Szolgáltatások és alkalmazások 2013. március 28.
Amazon Web Services Géhberger Dániel Szolgáltatások és alkalmazások 2013. március 28. Ez nem egy könyváruház? 1994-ben alapította Jeff Bezos Túlélte a dot-com korszakot Eredetileg könyváruház majd az elérhető
RészletesebbenOptimalizáció ESX-től View-ig. Pintér Kornél ügyfélszolgála3 mérnök pinter_kornel@mhm.hu
Optimalizáció ESX-től View-ig Pintér Kornél ügyfélszolgála3 mérnök pinter_kornel@mhm.hu MHM és referenciák MHM Computer Hungária Kft. 1996 óta Magyarországon Fókuszterületek: Adattárolás Adatmentés Archiválás
RészletesebbenEnterprise szintű szerver- virtualizáció bevezetése felsőoktatási környezetben.
Enterprise szintű szerver- virtualizáció bevezetése felsőoktatási környezetben. Kovács Csaba István cs.kovacs@mail.duf.hu Botka István boti@makacs.duf.hu Szabó József pici@makacs.duf.hu EURÓPAI CAMPUS
RészletesebbenNagy adathalmazok elosztott feldolgozása. Dr. Hajdu András, Debreceni Egyetem, Informatikai Kar
Nagy adathalmazok elosztott feldolgozása Dr. Hajdu András, Debreceni Egyetem, Informatikai Kar Mi a Big Data? Nem létezik egzakt Big Data definíció. A big data kifejezést a mai értelemben először Cox és
RészletesebbenOracle Big Data koncepció. Stadler Gellért Vezető tanácsadó Oracle ConsulKng HTE 2015 Konferencia
Oracle Big Data koncepció Stadler Gellért Vezető tanácsadó Oracle ConsulKng HTE 2015 Konferencia Copyright 2015, Oracle and/or its affiliates. All rights reserved. Oracle ConfidenKal Internal/Restricted/Highly
Részletesebben2. lépés: openssh szerver telepítés sudo apt-get install openssh-server
1. lépés: (master- és datanode esetén) Csoport készítés: sudo addgroup hadoop Felhasználók készítése: sudo adduser --ingroup hadoop yarn sudo adduser --ingroup hadoop hdfs sudo adduser --ingroup hadoop
RészletesebbenBemutató Adatközponti címarchitektúra Cisco módra
Bemutató Adatközponti címarchitektúra Cisco módra 2010.04.15 Gyenes István Storage Group Manager www.snt.hu Központosított IT Adatközponti evolúció állomásai Data Center 1.0 Mainframe Data Center 2.0 Kliens-szerver
RészletesebbenRiak. Pronounced REE-ahk. Elosztott adattároló eszköz. Molnár Péter molnarp@ilab.sztaki.hu
Riak Pronounced REE-ahk Elosztott adattároló eszköz Molnár Péter molnarp@ilab.sztaki.hu Mi a Riak? A Database A Data Store A key/value store A NoSQL database Schemaless and data-type agnostic Written (primarily)
RészletesebbenMTA Cloud a tudományos alkalmazások támogatására. Kacsuk Péter MTA SZTAKI
MTA Cloud a tudományos alkalmazások támogatására Kacsuk Péter MTA SZTAKI Kacsuk.Peter@sztaki.mta.hu Az előadásban felhasznált anyagok Guilherme Galante et al.: An Analysis of Public Clouds Elasticity in
RészletesebbenNIIF Központi Elosztott Szolgáltatói Platform
NIIF Központi Elosztott Szolgáltatói Platform Bajnok Kristóf kristof.bajnok@sztaki.hu MTA-SZTAKI ITAK 2004. április 7. MTA Sztaki / ITAK 1 A helyzet 2002-ben Az NIIF központi szolgáltatásait a helka.iif.hu
RészletesebbenBig Data, Distributed Storage & Computing. Gombos Gergő
Big Data, Distributed Storage & Computing Gombos Gergő 640K Big Data? 1981 Big Data Korszerű Adatbázisok 2 Big Data Big data is the term for a collection of data sets so large and complex that it becomes
RészletesebbenNetworkshop Kaposvár Balaskó Á., Kozlovszky M., Karóczkai K., Márton I., Kacsuk P. MTA SZTAKI
A SHIWA projekt Munkafolyamat gráfok és különböző grid köztesrétegek együttműködésének problémái és megoldásai Networkshop 2011. Kaposvár Balaskó Á., Kozlovszky M., Karóczkai K., Márton I., Kacsuk P. MTA
RészletesebbenHitachi Flash Újdonságok. Szokol Zsolt Senior Solution Consultant 2016 március
Hitachi Flash Újdonságok Szokol Zsolt Senior Solution Consultant 2016 március AFA vs HFA Per IDC: Historical For CY2014, the all-flash array market grew to $1.3B and hybrid-flash array market grew to $10.0B
RészletesebbenA cloud szolgáltatási modell a közigazgatásban
A cloud szolgáltatási modell a közigazgatásban Gombás László Krasznay Csaba Copyright 2011 Hewlett-Packard Development Company HP Informatikai Kft. 2011. november 23. Témafelvetés 2 HP Confidential Cloud
RészletesebbenAz MTA Cloud projekt MTA Cloud projektzáró június 28.
Projektzáró Az MTA Cloud projekt MTA Cloud projektzáró 2016. június 28. Pető Gábor peto.gabor@wigner.mta.hu MTA Cloud projektvezető MTA WIGNER FK Adatközpont vezető Kellett egy ötlet Az ötlet 2013 Előzmények:
RészletesebbenA tanulmány Klaus Berberich és Srikanta Bedathur Computing n-gram Statistics in MapReduce cikkét dolgozza fel.
A tanulmány Klaus Berberich és Srikanta Bedathur Computing n-gram Statistics in MapReduce cikkét dolgozza fel. A cikk elérhető itt: http://arxiv.org/pdf/1207.4371.pdf Győző Csóka (M7BVLS) (jelen tanulmány)
RészletesebbenExadata, a világ leggyorsabb adatbázisgépe
ORACLE PRODUCT LOGO 2011. november 8. Budapest Exadata, a világ leggyorsabb adatbázisgépe Fekete Zoltán, principal sales consultant http://blogs.oracle.com/zfekete/ 1 Copyright 2011, Oracle and/or its
RészletesebbenFelhőszolgáltatások megvalósítása PureSystems eszközökön
Budai Károly Szoftver architekt 2015. április 1. Felhőszolgáltatások megvalósítása PureSystems eszközökön 2015 IBM Corpora/on Tartalom è Az IBM PureSystems termékcsalád è PureFlex - IaaS è PureApplication
RészletesebbenFELHŐ és a MAINFRAME. Irmes Sándor
FELHŐ és a MAINFRAME Irmes Sándor Változik az üzleti környezet Zavaró tényezők viharában Gartner: nexus of forces (összehangolt erőterek) Social: Mindenhol elérhető kapcsolattartás, egyre gazdagabb tartalommal
RészletesebbenA hibrid DB cloud biztonsági eszköztára. Kóródi Ferenc Budapest,
A hibrid DB cloud biztonsági eszköztára Kóródi Ferenc Budapest, 2016-10-11 Az adatok védelme Minden szervezet számára kritikus fontosságú Vállalati adatvagyon Szenzitív adatok Külső támadások elsődleges
RészletesebbenFelhőszámítástechnika (Cloud Computing) helye és szerepe az on-line világ folyamataiban. Dr. Élő Gábor Széchenyi István Egyetem ITOK 2013
Felhőszámítástechnika (Cloud Computing) helye és szerepe az on-line világ folyamataiban Dr. Élő Gábor Széchenyi István Egyetem ITOK 2013 A felhő alapú számítástechnika A felhő alapú számítástechnika (angolul
RészletesebbenEverything Over Ethernet
Everything Over Ethernet Következő Generációs Adatközpontok felépítése Lenkei Árpád Arpad.Lenkei@snt.hu 2009. November 12. www.snt-world.com 0 0 Tartalom Adatközpont 3.0 Migráció fázisai, kihívások Építőelemek
RészletesebbenSlamovits Tibor Államigazgatásiüzletág-vezető EMC Magyarország
Slamovits Tibor Államigazgatásiüzletág-vezető EMC Magyarország Email: tibor.slamovits@emc.com T: +36-30-588-7040 Copyright 2010 EMC Corporation. All rights reserved. 1 Kormányzati célok: - Szolgáltató
RészletesebbenAdatbázis és alkalmazás konszolidáció Oracle SPARC T4/5 alapon
Adatbázis és alkalmazás konszolidáció Oracle SPARC T4/5 alapon Makár Zénó 2013. október 9. Invigor Informatika Kft 4 éve alakult Oracle Gold Partner HW és SW specializációk Oracle HW Support Provider Szolgáltatások
RészletesebbenMiért jó nekünk kutatóknak a felhő? Kacsuk Péter MTA SZTAKI
Miért jó nekünk kutatóknak a felhő? Kacsuk Péter MTA SZTAKI Szolgáltatások halmaza: o Erőforrások, alkalmazások, eszközök o Nagy méretű, heterogén, gazdaságos, mobil, zöld El van takarva, hogy o Hol van
RészletesebbenKöltséghatékony high-end adattároló megoldások Vitéz Gábor, Avaxio Kft.
Költséghatékony high-end adattároló megoldások Vitéz Gábor, Avaxio Kft. Az Avaxioról 2006 óta vagyunk a piacon Coraid Inc. kiemelt magyarországi partnere Fókusz: költséghatékony adattárolási megoldások
RészletesebbenOracle Enterprise Manager: Az első teljesértékű felhő üzemeltetési megoldás
2011 November 8. New York Palota Hotel Boscolo Budapest Oracle Enterprise Manager: Az első teljesértékű felhő üzemeltetési megoldás Sárecz Lajos, Vezető tanácsadó Oracle Hungary Átfogó felhő üzemeltetés
RészletesebbenTECHNOLÓGIAI JÖVİKÉP. Felhınézetben. Tázló József mőszaki igazgató Cisco Systems Magyarország Cisco Systems, Inc. All rights reserved.
TECHNOLÓGIAI JÖVİKÉP Tázló József mőszaki igazgató Cisco Systems Magyarország Felhınézetben 2010 Cisco Systems, Inc. All rights reserved. 1 Sloan digitális égbolt felmérés (SDSS) 2000-2014 Cél: az Univerzum
RészletesebbenA felhőről általában. Kacsuk Péter MTA SZTAKI
A felhőről általában Kacsuk Péter MTA SZTAKI Miért fontos a felhő? (I) Problémák, ha az infrastruktúra még nem létezik Az ötletek megvalósításához szükséges idő Kutatás a felhők előtt 1. Van egy jó ötlet
RészletesebbenSoftware Defined technológiák használata Oracle adatbázis konszolidációhoz
Software Defined technológiák használata Oracle adatbázis konszolidációhoz Popovics László 2014. Október 2. Technológiai evolúció 2000-es évek eleje A 2000-es években főképp monolit rendszereket használtak
RészletesebbenKönyvtári szervervirtualizáció Oracle Virtual Machine platformon
Könyvtári szervervirtualizáció Oracle Virtual Machine platformon avagy a virtualizáció licenszgazdálkodásra is használható? Marton József Ernő jmarton@omikk.bme.hu Nagy Elemér Károly eknagy@omikk.bme.hu
RészletesebbenBig Data elemzési módszerek
Big Data elemzési módszerek 2015.09.09. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Előadók, közreműködők o dr. Pataricza András o Dr. Horváth Gábor o
RészletesebbenAz MTA Cloud használatának alapismeretei (tutorial) Lovas Róbert MTA SZTAKI
Az MTA Cloud használatának alapismeretei (tutorial) Lovas Róbert MTA SZTAKI Kinek ajánljuk? Az MTA Felhőt azon kutatóknak ajánljuk, akik nagy mennyiségű adatot o számítógéppel dolgoznak fel vagy o szeretnének
RészletesebbenWebes alkalmazások fejlesztése Bevezetés. Célkitűzés, tematika, követelmények. A.NET Core keretrendszer
Eötvös Loránd Tudományegyetem Informatikai Kar Webes alkalmazások fejlesztése Bevezetés Célkitűzés, tematika, követelmények A.NET Core keretrendszer Cserép Máté mcserep@inf.elte.hu http://mcserep.web.elte.hu
RészletesebbenInternetes térkép publikálási technikák, szabványok, trendek, nyílt forráskódú megoldások
Internetes térkép publikálási technikák, szabványok, trendek, nyílt forráskódú megoldások dr. Siki Zoltán Áttekintés OGC, OSGeo szervezetek Szabványosítási irányok Nem szabványos megoldások (Google) OGC
RészletesebbenTávközlési Világnap 2016 Győr, május 12. Dr. Bartolits István főosztályvezető Technológia-elemző Főosztály
Az IoT hatása az adatközpontok fejlődésére Távközlési Világnap 2016 Győr, 2016. május 12. Dr. Bartolits István főosztályvezető Technológia-elemző Főosztály Tartalmi áttekintés Az adatok világa Az adatközpontok
RészletesebbenNIIF szolgáltatások a múzeumok számára
NIIF szolgáltatások a múzeumok számára Múzeumi Digitalizálási Konferencia 2013 jún. 10-11. Dr. Máray Tamás NIIF Intézet NIIF Program 5/2011 (II.3) Korm.rendelet: az NIIF Program végrehajtója az NIIF Intézet
RészletesebbenWebes alkalmazások fejlesztése Bevezetés. Célkitűzés, tematika, követelmények. A.NET Core keretrendszer
Eötvös Loránd Tudományegyetem Informatikai Kar Webes alkalmazások fejlesztése Célkitűzés, tematika, követelmények A.NET Core keretrendszer Cserép Máté mcserep@inf.elte.hu http://mcserep.web.elte.hu Célkitűzés
RészletesebbenHálózati szolgáltatások OpenStack környezetben
Hálózati szolgáltatások OpenStack környezetben Szabó Gábor mérnök-tanácsadó, Cisco Systems Magyarország Kft. gabszabo@cisco.com Networkshop, 2014. április 23-25. Napirend OpenStack áttekintés OpenStack
RészletesebbenElemzési adatok hatékony kezelésének infrastruktúrális vonzatai
Elemzési adatok hatékony kezelésének infrastruktúrális vonzatai Rab Gergely, Zsemlye Tamás HP Informatikai Kft. E-banking konferencia 2013 március 6. Igények az infrastruktúra felé - Hang és/vagy videó
RészletesebbenWindows Server 2012: a felhő OS
Windows Server 2012: a felhő OS Minden alapképesség gyökeresen átalakul: biztonság, fájlszerver, hálózat, storage, szerver és desktop virtualizáció, távelérés, felügyelet Az operációs rendszer több, korábban
RészletesebbenA virtualizáció a modern vállalati informatikai infrastruktúra alapja
A virtualizáció a modern vállalati informatikai infrastruktúra alapja Bodnár Ádám a-adbodn@microsoft.com Server Product Marketing Manager Microsoft Magyarország 0 Miről lesz ma szó? A virtualizáció Mire
RészletesebbenComposable Infrastruktúra
HPE Synergy az ötlet alapú gazdaság Infrastruktúrája Composable Infrastruktúra Zeisel Tamás Senior Solution Architect Tamas.zeisel@hpe.com 2016. Március 31. Kik azok a Cloud Óriások? Google, Microsoft,
RészletesebbenAdattárház és BigData Szimbiózisa. Baranyi Szabolcs IM Technical Sales
Adattárház és BigData Szimbiózisa Baranyi Szabolcs IM Technical Sales Szabolcs.baranyi@hu.ibm.com BigData adatforrásai Adattárház kiterjesztés igénye BigData és adattárház integrációja a hatékonyság növelésére
RészletesebbenWeb harvesztelés. Automatikus módszerekkel
Országos Széchényi Könyvtár Miről lesz szó? Mi is az a web harvesztelés? Mire és hol használjuk? Miért hasznos? Saját megvalósításaink Mi a web harvesztelés? Interneten található weboldalak begyűjtése,
RészletesebbenMikor és hogyan érdemes virtualizálni?
CNW Rendszerintegrációs Zrt. Tamási Leander» Rendszermérnök Mikor és hogyan érdemes virtualizálni? 2012. március 27.» IT üzemeltetés Főbb témák 30 percben 1) Virtualizáció célterületei, előnyei 2) Virtualizációs
RészletesebbenProofIT Informatikai Kft. 1115 Budapest, Petzvál J. 4/a www.proofit.hu
Verzióváltások az üzleti folytonosság fenntartásával a MOL kiskereskedelmi rendszerében Fehér Lajos ProofIT Kft. Hogyan keletkezett a HBO a MOL alapvetései miért egyedi fejlesztés? Sajátos igényeknek megfelelő
RészletesebbenARM Cortex magú mikrovezérlők. mbed
ARM Cortex magú mikrovezérlők mbed Scherer Balázs Budapest University of Technology and Economics Department of Measurement and Information Systems BME-MIT 2016 MBED webes fejlesztőkörnyezet 2009-ben megjelent
RészletesebbenStorage optimalizálás egyetemi hálózatokban
Storage optimalizálás egyetemi hálózatokban Bakonyi Gábor SCI-Network zrt. Tartalom Bevezetés Adattárolási módszerek Optimalizálás Esettanulmány Összefoglalás Optimalizálási igények Költségek csökkentése:
RészletesebbenSTANDARD DEVELOPMENT U.L. FACTORY SYSTEMS GROUP IT DEPARTMENT
Oracle Cloud Platform szolgáltatások bevezetése a Magyar Suzuki Zrt.-nél Farkas Bálint STANDARD DEVELOPMENT U.L. FACTORY SYSTEMS GROUP IT DEPARTMENT MAGYAR SUZUKI CORPORATION Oracle Cloud Platform szolgáltatások
RészletesebbenData Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő 2013. február 20.
Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő 2013. február 20. 1 2 3 4 5 6 7 8 Pentaho eszköztára Data Integrator Spoon felület Spoon
RészletesebbenSzerver-üzemeltetés - Tudásközpont, Pécs
Szerver-üzemeltetés - Tudásközpont, Pécs Hamburger György, informatikai osztályvezető hamburger.gyorgy@lib.pte.hu Az alapötlet Munkaállomások tömeges telepítése megoldott. Kamatoztassuk a tapasztalatokat
RészletesebbenSzalai Ferenc szferi@avaxio.hu. http://www.avaxio.hu
Virtualizáció Linuxon: XEN Szalai Ferenc szferi@avaxio.hu Bevezető Mit? Miért? intézményi vállalati szolgáltatásokat (web, állomány, levelező szerver, egyedi teszt rendszerek, virtuális oktatási hálózatok)
RészletesebbenAz Invitel adatközponti virtualizációja IBM alapokon
Az Invitel adatközponti virtualizációja IBM alapokon Németh Sándor Invitel Távközlési Zrt. 2040 Budaörs, Puskás T. u. 8-10. nemeths@invitel.co.hu Tel. : +36 1 801 15 00 Tartalom 2 A tipikus IT infrastruktúra
RészletesebbenIT infrastruktúra egy modern egyetemi könyvtárban
IT infrastruktúra egy modern egyetemi könyvtárban Debreceni Egyetem Egyetemi és Nemzeti Könyvtár Kaposvár, 2011. április 27. Szerverpark átalakítás és előtte Teljes kiszolgálópark cseréje Korábban szinte
RészletesebbenEgységes metamodell kialakítása privát IaaS cloud rendszerekhez
Egységes metamodell kialakítása privát IaaS cloud rendszerekhez Budai Péter István, Dr. Goldschmidt Balázs Budapesti Műszaki és Gazdaságtudományi Egyetem Irányítástechnika és Informatika Tanszék Email:
RészletesebbenKORSZERŰ BIG DATA FELDOLGOZÓ KERETRENDSZEREK. 2014.02.03. Hermann Gábor MTA-SZTAKI
KORSZERŰ BIG DATA FELDOLGOZÓ KERETRENDSZEREK 2014.02.03. Hermann Gábor MTA-SZTAKI MI AZ A BIG DATA? MI AZ A BIG DATA? Sok adat! ENNYI? BIG DATA 4V Volume Velocity Variety Veracity +3V (7V) Variability
RészletesebbenSikerünk kulcsa: az információ De honnan lesz adatunk? Palaczk Péter
Sikerünk kulcsa: az információ De honnan lesz adatunk? Palaczk Péter Bevezető az Oracle9i adattárházas újdonságaihoz Elemzési és vezetői információs igények 80:20 az adatgyűjtés javára! Adattárházak kínálta
RészletesebbenHardver összetevők ellenőrzése Linux alatt. Hardverguruk előnyben...
Hardver összetevők ellenőrzése Linux alatt Hardverguruk előnyben... A hardverek támogatottsága A telepítés előtt érdemes meggyőződni arról, hogy a jelenleg használt hardver elemek támogatottak-e a Linux
RészletesebbenNon-stop hozzáférés az üzleti információkhoz bárhol, bármikor és bármilyen eszközzel
Non-stop hozzáférés az üzleti információkhoz bárhol, bármikor és bármilyen eszközzel The Power to Change A NetWare 6 üzleti előnyeinek áttekintése NetWare 6: Az operációs rendszer szerepe a Hálózati szolgáltatásokban
RészletesebbenA 21. század adatközpontja Oracle Solaris alapon
Fejlődő adatközpontok: Innovációra tervezve... A 21. század adatközpontja Oracle Solaris alapon Farkas András Oracle Hungary Kft. 1 Copyright 2011, Oracle and/or its affiliates. All rights Újra fogalmaztuk
RészletesebbenAz információs rendszerek adatai
Az információs rendszerek adatai Nagy mennyiségű adat Tárolás Karbantartás Visszakeresés, feldolgozás Adatbázis 2 Az adatbázis fogalma Az adatbázis együtt tárolt, egymással kapcsolatban levő adatok rendszere.
RészletesebbenTIOP 1.1.2. Hatékony informatikai infrastruktúra a központi oktatási rendszerek szolgálatában
TIOP 1.1.2 Hatékony informatikai infrastruktúra a központi oktatási rendszerek szolgálatában Varjasy Gábor Educatio Társadalmi Szolgáltató Nonprofit Kft. IT Fejlesztési Osztály Miről lesz szó? cél főbb
Részletesebben