Weblog elemzés Hadoopon 1/39
|
|
- Réka Orbán
- 5 évvel ezelőtt
- Látták:
Átírás
1 Weblog elemzés Hadoopon 1/39
2 Az előadás témái Egy Hadoop job életciklusa A Weblog-projekt 2/39
3 Mi a Hadoop? A Hadoop egy párhuzamos programozási séma egy implementációja. 3/39
4 A programozási séma: MapReduce 4/39
5 MapReduce 5/39
6 Az elosztott háttértár: HDFS Forrás: developer.yahoo.com/hadoop/tutorial 6/39
7 Egy Hadoop job életciklusa Forrás: 7/39
8 Egy Hadoop job életciklusa 8/39
9 Egy Hadoop job életciklusa 9/39
10 Egy Hadoop job életciklusa 10/39
11 Megválasztható elemek Java interface-eket kell implementálni vagy ősosztályok alosztályát létrehozni A job konfigurációjában meg kell adni a kiválasztott implementációt pl.: conf.setmapperclass(map1.class); 11/39
12 Megválasztható elemek Mapper map(key_in, value_in, output_collector) Reducer reduce(key_in, list_of_values, output_collector) Combiner=Reducer azonos interface, más funkció hívások száma nem garantált 12/39
13 Megválasztható elemek key és value típusa: Writable readfields(input_stream) write(output_stream) key típusa: WritableComparable compareto(other) opcionális: WritableComparator szerializált formában hasonlít össze két elemet regisztrálni kell! (WritableComparator.define(...)) rendezés és csoportosítás 13/39
14 Megválasztható elemek InputFormat Inputot logikailag darabolja a map végrehajtók részére Rekordokat beolvassa OutputFormat Rekordokat kiírja 14/39
15 Megválasztható elemek Beépített formátumok: TextInputFormat/OutputFormat SequenceFileInputFormat/OutputFormat DBInputFormat/OutputFormat 15/39
16 Megválasztható elemek Partitioner Kulcsokat szétosztja a reduce végrehajtók között getpartition(key, value, numpartitions) Default: HashPartitioner 16/39
17 A Weblog Projekt 17/39
18 Az adatbázis jelenleg logfile előfeldolgozás puffer tábla csillagséma statisztikák riportozó webszerverek relációs adatbázis 18/39
19 Hasonló adatbázisok napi átlagok Weblog1 IT-log Weblog2 időszak : 2010 szeptember 2010 november 2008 október elemi események események száma 1.3 millió 3 millió ~ 60 millió tömörített file 0.04 GB gzip2 1.8 GB gzip2 17 GB bzip2 tömörítetlen file ~ 0.77 GB ~ 32 GB ~ 115 GB előfeldolgozott, szűrt események események száma 0.7 millió 3 millió ~ 30 millió tömörítetlen file 0.25 GB 1.8 GB ~ 11 GB tömörített file Oracle tábla ~ 17 GB feldolgozás előfeldolgozás - ~1:15 óra dimenzió-frissítés 30 perc ~1 óra ténytábla-frissítés 10 perc ~1:30 óra statisztikák száma 10 5 ~8 statisztika-frissítés 20 perc ~3 óra környezet arch. 0.4 GB compressed basic Intel Pentium 2.9Ghz dual core 1.8 GB compressed basic 2 x Intel Xeon 2.27Ghz quad core 4 proc. valamilyen Sun szerver, kb es memória 8 GB 18 GB ~ 4 GB disk raid ~2.6 TB raid ~2 TB scsi oprendszer Debian Linux CentOS Linux AIX adatbázis Oracle 10 Oracle 11.2 Oracle 9 19/39
20 Problémás elemek logfile előfeldolgozás puffer tábla csillagséma statisztikák riportozó webszerverek relációs adatbázis 20/39
21 A terv Hadoop logfile előfeldolgozás puffer tábla csillagséma statisztikák riportozó webszerverek relációs adatbázis 21/39
22 A terv Statisztikák: Hadoopon Egyetlen, nagy tábla SQL-ek helyett MapReduce jobok A Weblog1 adatoknál nagyobb adatmennyiségnél van jelentősége 22/39
23 A tesztfeladat select date, source_type, host, http_status_code, http_method, ip_type, sum(1), sum(decode(agent_type, 'ROBOT', 1, 0) ), sum(decode(agent_type, 'STANDARD_BROWSER', 1, 0) ), count(distinct user), count(distinct ip), count(distinct resource), count(distinct referrer_resource), count(distinct referrer_host) from <joins> group by date, source_type, cube(host, http_status_code, http_method, ip_type) 23/39
24 A tesztfeladat Tesztcélokra módosított SQL Nincs benne join Adatforrás Weblog 1, fő ténytábla, tömörítetlen előfeldolgozott adatok 600 nap 34 GB Hadoop konfiguráció: 33 node Futásidők Oracle adatbázison Eredeti SQL: 17h 50m Módosított SQL: 15h 10m 24/39
25 Egy megoldási kísérlet: Mi mindenre jó a MapReduce? 25/39
26 Sum('ROBOT') group by date Map date if agent_type='robot' agent_type date 1 select date, source_type, host, http_status_code, http_method, ip_type, sum(1), sum(decode(agent_type, 'ROBOT', 1, 0) ), sum(decode(agent_type, 'STANDARD_BROWSER', 1, 0) ), count(distinct user), count(distinct ip), count(distinct resource), count(distinct referrer_resource), count(distinct referrer_host) from <joins> group by date, source_type, cube(host, http_status_code, http_method, ip_type) Reduce date date date date /39
27 Count(distinct user) group by date Map1 date date user user 1 Reduce1 date date date date user user user user select date, source_type, host, http_status_code, http_method, ip_type, sum(1), sum(decode(agent_type, 'ROBOT', 1, 0) ), sum(decode(agent_type, 'STANDARD_BROWSER', 1, 0) ), count(distinct user), count(distinct ip), count(distinct resource), count(distinct referrer_resource), count(distinct referrer_host) from <joins> group by date, source_type, cube(host, http_status_code, http_method, ip_type) Map2 date date user 1 1 Reduce2 date date date date date /39
28 Sum('ROBOT'), Count(distinct user) Map1 group by date if agent_type='robot' date stat_id=1 stat_id=2 agent_type date date user null user 1 1 Reduce1 select date, source_type, host, http_status_code, http_method, ip_type, sum(1), sum(decode(agent_type, 'ROBOT', 1, 0) ), sum(decode(agent_type, 'STANDARD_BROWSER', 1, 0) ), count(distinct user), count(distinct ip), count(distinct resource), count(distinct referrer_resource), count(distinct referrer_host) from <joins> group by date, source_type, cube(host, http_status_code, http_method, ip_type) stat_id=1 stat_id=1 stat_id=1 stat_id=1 date date date date null null null null stat_id=2 stat_id=2 stat_id=2 stat_id=2 stat_id=2 date date date date date user user user user user /39
29 Sum('ROBOT'), Count(distinct user) Map2 stat_id=1 date date null group by date stat_id=1 stat_id=2 select date, source_type, host, http_status_code, http_method, ip_type, sum(1), sum(decode(agent_type, 'ROBOT', 1, 0) ), sum(decode(agent_type, 'STANDARD_BROWSER', 1, 0) ), count(distinct user), count(distinct ip), count(distinct resource), count(distinct referrer_resource), count(distinct referrer_host) from <joins> group by date, source_type, cube(host, http_status_code, http_method, ip_type) stat_id=2 date ip date stat_id=1 stat_id=2 Reduce2 date date date date /39
30 Count(distinct user) group by date, cube(host, http_status_code) select date, source_type, host, http_status_code, http_method, ip_type, sum(1), sum(decode(agent_type, 'ROBOT', 1, 0) ), sum(decode(agent_type, 'STANDARD_BROWSER', 1, 0) ), count(distinct user), count(distinct ip), count(distinct resource), count(distinct referrer_resource), count(distinct referrer_host) from <joins> group by date, source_type, cube(host, http_status_code, http_method, ip_type) Map1 date date date date date host host * host * http_sc http_sc http_sc * * user user user user user /39
31 A teljes MapReduce job Map1: 128 kimenet Minden statisztikára (8 db) cube-dimenziók minden részhalmazára (2 4 db) Reduce1: statisztikánként más Map2: összegezhető formátumba hoz Key: a group by dimenziók Egy kulcs = egy sor a kimenetben Value: táblázat Az adott statisztika értékén kívül 0-k Reduce2: összegez 31/39
32 Teszteredmények I. Map1 Reduce1 Map2 Reduce2 Total Number of Tasks Data read from disk 912 GB 595 GB 119 GB 113 GB 1740 GB Data written to disk 1260 GB 595 GB 227 GB 113 GB 2196 GB Input bytes 34 GB 365 GB 61.5 GB 111 GB 572 GB Output bytes 365 GB 61.5 GB 111 GB 129 MB 538 GB Input records 88.7 million million million million million Output records 9 877million million million 3.27 million million Time 1h 17m 42m 14m 12s 7m 19s 2h 21m 32/39
33 Egy második kísérlet: Mi mindenre nem kell MapReduce? 33/39
34 Map date date date date date source_type source_type source_type source_type source_type host host * host * http_status_code http_status_code http_status_code * * http_method http_method http_method http_method * ip_type ip_type ip_type ip_type * agent_type agent_type agent_type agent_type agent_type user user user user user ip ip ip ip ip resource resource resource resource resource referrer_resource referrer_resource referrer_resource referrer_resource referrer_resource referrer_host referrer_host referrer_host referrer_host referrer_host 34/39
35 Reduce date date date date date source_type source_type source_type source_type source_type host host host host host * * * * * * * * * * ip_type ip_type ip_type ip_type ip_type agent_type1 agent_type2 agent_type3 agent_type_n sum(1) user1 user2 user3 user_n sum('robot') ip1 ip2 ip3 ip_n sum('browser') resource1 resource2 resource3 resource_n count(distinct user) referrer_resource1 referrer_resource2 referrer_resource3 referrer_resource_n count(distinct ip) referrer_host1 referrer_host2 referrer_host3 referrer_host_n count(distinct resource) count(distinct referrer_resource) count(distinct referrer_host) 35/39
36 Az eredmények... 36/39
37 Teszteredmények II. Map Reduce Total Number of Tasks Data read from disk 162 GB 104 GB 266 GB Data written to disk 261 GB 104 GB 364 GB Input bytes 34 GB 101 GB 135 GB Output bytes 101 GB 129 MB 101 GB Input records 88.7 million million million Output records million 3.28 million million Time 11m23s 4m43s 16m06s 37/39
38 Összefogalás Több MapReduce Több Memória Data read from disk 1740 GB 266 GB Data written to disk 2196 GB 364 GB Time 2h 21m 16m06s A MapReduce sémát csak arra használjuk, amire muszáj! 38/39
39 Köszönöm a figyelmet! Gosztonyi Balázs gosztonyi@ilab.sztaki.hu 39/39
Hadoop és használata az LPDS cloud-on
Hadoop és használata az LPDS cloud-on Bendig Loránd lbendig@ilab.sztaki.hu 2012.04.13 Miről lesz szó? Bevezetés Hadoop áttekintés OpenNebula Hadoop cluster az LPDS cloud-on Tapasztalatok, nyitott kérdések
RészletesebbenMMK-Informatikai projekt ellenőr képzés 4
Miről lesz szó Big Data definíció Mi a Hadoop Hadoop működése, elemei Köré épülő technológiák Disztribúciók, Big Data a felhőben Miért, hol és hogyan használják Big Data definíció Miért Big a Data? 2017.
RészletesebbenGENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN
INFORMATIKAI PROJEKTELLENŐR 30 MB Szabó Csenger ÚJ GENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN 2016. 12. 31. MMK- Informatikai projektellenőr képzés Big Data definíció 2016. 12. 31. MMK-Informatikai
RészletesebbenGDi Esri Magyarország Felhasználói Konferencia Timár Gábor: Konkurens adatfeldolgozás ArcGIS rendszerben
1 Nagy adat: Mi 30? Konkurens Felhasználók száma Műveletek Gyakoriság Adatfeldolgozás: CRUD 2 Fájl alapú MePAR Országos állományból fájl alapú geoadatbázisok ( check out ) diszjunkt területek Gyors kliens
Részletesebbenihardware Szerverkatalógus - 2014. június Használt szerverek Kiemelt akciós ajánlatunk:
Kiemelt akciós ajánlatunk: összesen 8 processzor, 4*8 GB RAM 4 szervernode, node-onként: opcionális 8 GB reg. ECC DDR3 RAM (192 GB-ig bővíthető, memória hotspare és mirroring támogatás) (opcionálisan további
RészletesebbenAz indexelés újdonságai Oracle Database 12c R1 és 12c R2
Az indexelés újdonságai Oracle Database 12c R1 és 12c R2 Szabó Rozalinda Oracle adattárház szakértő, oktató szabo.rozalinda@gmail.com Index tömörítés fejlődése 8.1.3-as verziótól: Basic (Prefixes) index
RészletesebbenMuppet: Gyors adatok MapReduce stílusú feldolgozása. Muppet: MapReduce-Style Processing of Fast Data
Muppet: Gyors adatok MapReduce stílusú feldolgozása Muppet: MapReduce-Style Processing of Fast Data Tartalom Bevezető MapReduce MapUpdate Muppet 1.0 Muppet 2.0 Eredmények Jelenlegi tendenciák Nagy mennyiségű
RészletesebbenAdatbázisok. 9. gyakorlat SQL: SELECT október október 26. Adatbázisok 1 / 14
Adatbázisok 9. gyakorlat SQL: SELECT 2015. október 26. 2015. október 26. Adatbázisok 1 / 14 SQL SELECT Lekérdezésre a SELECT utasítás szolgál, mely egy vagy több adattáblából egy eredménytáblát állít el
RészletesebbenMapReduce paradigma a CAP-tétel kontextusában. Adatb haladóknak. Balassi Márton Adatbázisok haladóknak 2012.
MapReduce paradigma a CAP-tétel kontextusában Balassi Márton balassi.marton@gmail.com 2012. október 30. Adatbázisok haladóknak 2012. 2012. október 30. Miről lesz szó? Elosztott adatfeldolgozásról általában
RészletesebbenA TOSHIBA ÚJ SZILÁRDTEST-MEGHAJTÓJA A RUGALMAS VÁLLALATI TÁROLÁSI MEGOLDÁSOKAT SZOLGÁLJA
A TOSHIBA ÚJ SZILÁRDTEST-MEGHAJTÓJA A RUGALMAS VÁLLALATI TÁROLÁSI MEGOLDÁSOKAT SZOLGÁLJA Az új vállalati szilárdtest-meghajtó által biztosított kibővített tárolási lehetőségek segítségével a vállalatok
Részletesebben8. Gyakorlat SQL. DDL (Data Definition Language) adatdefiníciós nyelv utasításai:
8. Gyakorlat SQL SQL: Structured Query Language; a relációs adatbáziskezelők szabványos, strukturált lekérdező nyelve SQL szabványok: SQL86, SQL89, SQL92, SQL99, SQL3 Az SQL utasításokat mindig pontosvessző
RészletesebbenRiak. Pronounced REE-ahk. Elosztott adattároló eszköz. Molnár Péter molnarp@ilab.sztaki.hu
Riak Pronounced REE-ahk Elosztott adattároló eszköz Molnár Péter molnarp@ilab.sztaki.hu Mi a Riak? A Database A Data Store A key/value store A NoSQL database Schemaless and data-type agnostic Written (primarily)
RészletesebbenExadata hibrid oszlopos adattömörítés automatizálása; DB 12c partition merge
Exadata hibrid oszlopos adattömörítés automatizálása; DB 12c partition merge HOUG Konferencia 2017. március 28. Németh Márk Principal Programmer Analyst National Instruments Tömörítési módok OLTP Exadata
RészletesebbenBig Data adattárházas szemmel. Arató Bence ügyvezető, BI Consulting
Big Data adattárházas szemmel Arató Bence ügyvezető, BI Consulting 1 Bemutatkozás 15 éves szakmai tapasztalat az üzleti intelligencia és adattárházak területén A BI Consulting szakmai igazgatója A BI.hu
RészletesebbenAdatbázisok* tulajdonságai
Gazdasági folyamatok térbeli elemzése 4. előadás 2010. 10. 05. Adatbázisok* tulajdonságai Rendezett, logikailag összefüggő és meghatározott szempont szerint tárolt adatok és/vagy információk halmaza Az
RészletesebbenRHadoop. Kocsis Imre Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék
RHadoop Kocsis Imre ikocsis@mit.bme.hu Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Házi feladat Csapatépítés o 2 fő, tetszőleges kombinációkban http://goo.gl/m8yzwq
RészletesebbenAdatbázis-lekérdezés. Az SQL nyelv. Makány György
Adatbázis-lekérdezés Az SQL nyelv Makány György SQL (Structured Query Language=struktúrált lekérdező nyelv): relációs adatbázisok adatainak visszakeresésére, frissítésére, kezelésére szolgáló nyelv. Születési
RészletesebbenA tanulmány Klaus Berberich és Srikanta Bedathur Computing n-gram Statistics in MapReduce cikkét dolgozza fel.
A tanulmány Klaus Berberich és Srikanta Bedathur Computing n-gram Statistics in MapReduce cikkét dolgozza fel. A cikk elérhető itt: http://arxiv.org/pdf/1207.4371.pdf Győző Csóka (M7BVLS) (jelen tanulmány)
RészletesebbenAnalitikai megoldások IBM Power és FlashSystem alapokon. Mosolygó Ferenc - Avnet
Analitikai megoldások IBM Power és FlashSystem alapokon Mosolygó Ferenc - Avnet Bevezető Legfontosabb elvárásaink az adatbázisokkal szemben Teljesítmény Lekérdezések, riportok és válaszok gyors megjelenítése
RészletesebbenBig Data az adattárházban
Big Data az adattárházban A párbaj folytatódik? Néhány fontos Big Data projekt Cég Téma Adat Újfajta Mennyiség Saját adat? Típus Google Influenza Google I big I Előjelzés előjelzés Farecast Xoom Chicagoi
RészletesebbenAdatbáziskezelő-szerver. Relációs adatbázis-kezelők SQL. Házi feladat. Relációs adatszerkezet
1 2 Adatbáziskezelő-szerver Általában dedikált szerver Optimalizált háttértár konfiguráció Csak OS + adatbázis-kezelő szoftver Teljes memória az adatbázisoké Fő funkciók: Adatok rendezett tárolása a háttértárolón
RészletesebbenComponent Soft 1994-2013 és tovább
Component Soft 1994-2013 és tovább IT szakemberek oktatása, tanácsadás Fő témáink: UNIX/Linux rendszerek, virtualizációs, fürtözési, tároló menedzsment és mentési technológiák Adatbázisok és middleware
RészletesebbenSQL haladó. Külső összekapcsolások, Csoportosítás/Összesítés, Beszúrás/Törlés/Módosítás, Táblák létrehozása/kulcs megszorítások
SQL haladó Külső összekapcsolások, Csoportosítás/Összesítés, Beszúrás/Törlés/Módosítás, Táblák létrehozása/kulcs megszorítások 1 Külső összekapcsolás Összekapcsoljuk R és S relációkat: R C S. R azon sorait,
RészletesebbenLOGalyze Telepítési és Frissítési Dokumentáció Verzió 3.0
LOGalyze Telepítési és Frissítési Dokumentáció Verzió 3.0 Dokumentum verzió: 3.0/1 Utolsó módosítás: 2009. március 5. 2 LOGalyze Telepítési és Frissítési Dokumentáció LOGalyze 3.0 Telepítési és Frissítési
Részletesebben1. Gyakorlat: Telepítés: Windows Server 2008 R2 Enterprise, Core, Windows 7
1. Gyakorlat: Telepítés: Windows Server 2008 R2 Enterprise, Core, Windows 7 1.1. Új virtuális gép és Windows Server 2008 R2 Enterprise alap lemez létrehozása 1.2. A differenciális lemezek és a két új virtuális
RészletesebbenAdatbáziskezelı-szerver SQL. Relációs adatbázis-kezelık. Relációs adatszerkezet. Házi feladat 2012.03.05.
1 2 Adatbáziskezelı-szerver Általában dedikált szerver Optimalizált háttértár konfiguráció Csak OS + adatbázis-kezelő szoftver Teljes memória az adatbázisoké Fő funkciók: Adatok rendezett tárolása a háttértárolón
RészletesebbenIndexek és SQL hangolás
Indexek és SQL hangolás Ableda Péter abledapeter@gmail.com Adatbázisok haladóknak 2012. 2012. november 20. Miről lesz szó? Történelem Oracle B*-fa Index Felépítése, karbantartása, típusai Bitmap index
RészletesebbenSzemélyügyi nyilvántartás szoftver
Személyügyi nyilvántartás szoftver A nexonhr személyügyi nyilvántartás szoftver a személyügyi, továbbképzési és munkaköri adatok kezelését teszi lehetővé. A szoftver támogatja a HR adminisztrációs feladatokat,
RészletesebbenAz NIIF új szuperszámítógép infrastruktúrája Új lehetőségek a kutatói hálózatban 2012.02.23.
Az NIIF új szuperszámítógép infrastruktúrája Új lehetőségek a kutatói hálózatban 2012.02.23. Dr. Máray Tamás NIIF Intézet NIIF szuperszámítógép szolgáltatás a kezdetek 2001 Sun E10k 60 Gflops SMP architektúra
RészletesebbenÜzleti kritikus alkalmazások Novell Open Enterprise Serveren
Üzleti kritikus alkalmazások Novell Open Enterprise Serveren Miskey Sándor tanácsadó, Novell Agenda Rendelkezésre állás áttekintése Fürtözési technikák (HA) Stateless, Fail-over, Grid Hibatűrő topológiák
RészletesebbenAdatbázis rendszerek I
Normalizálás 1NF 2NF BCNF Adatbázis rendszerek I 20111201 1NF 2NF BCNF Ha BCNF 2NF A B B A 2NF BCNF 2NF részkulcsból indul ki FD létezik FD, amely nem jelölt kulcsból indul ki Jelölt kulcs olyan mezőcsoport
RészletesebbenAz Invitel adatközponti virtualizációja IBM alapokon
Az Invitel adatközponti virtualizációja IBM alapokon Németh Sándor Invitel Távközlési Zrt. 2040 Budaörs, Puskás T. u. 8-10. nemeths@invitel.co.hu Tel. : +36 1 801 15 00 Tartalom 2 A tipikus IT infrastruktúra
RészletesebbenINFORMATIKAI ALAPISMERETEK
Informatikai alapismeretek középszint 0621 ÉRETTSÉGI VIZSGA 2007. május 25. INFORMATIKAI ALAPISMERETEK KÖZÉPSZINTŰ ÍRÁSBELI ÉRETTSÉGI VIZSGA JAVÍTÁSI-ÉRTÉKELÉSI ÚTMUTATÓ OKTATÁSI ÉS KULTURÁLIS MINISZTÉRIUM
RészletesebbenAdatbázis és alkalmazás konszolidáció Oracle SPARC T4/5 alapon
Adatbázis és alkalmazás konszolidáció Oracle SPARC T4/5 alapon Makár Zénó 2013. október 9. Invigor Informatika Kft 4 éve alakult Oracle Gold Partner HW és SW specializációk Oracle HW Support Provider Szolgáltatások
RészletesebbenÜdvözlöm Önöket a Konferencián!
Üdvözlöm Önöket a Konferencián! Nyílt Forráskódú Szoftverek a Közigazgatásban 2009. június 2., Miniszterelnöki Hivatal Foglalkoztatási és Szociális Hivatal Készítette: Kuskó István Reverse proxy megoldás
RészletesebbenAdatbázis Rendszerek II. 2. Gyakorló környezet
Adatbázis Rendszerek II. 2. Gyakorló környezet 37/1 B IT v: 2017.02.11 MAN Gyakorló környezet Géptermek 37/2 Jelszó váltás 1 2 3 4 37/3 Gyakorló környezet II. apex.oracle.com/en/ 37/4 A regisztrációs folyamat
Részletesebben9. MPI
9. MPI kertesz.gabor@nik.uni-obuda.hu MPI Message Passing Interface Elosztott memóriájú párhuzamos programozási API Gyk. folyamatok közötti kommunikáció de facto ipari standard Több száz előre definiált
RészletesebbenSQLServer. Probléma megoldás
SQLServer 9. téma Teljesítmény elemzés Probléma megoldás Az adatbázis életében nem ritka kisérő a hibák, teljesítmény problémák jelenléte A probléma megoldáshoz használható útmutatók: - ismerni kell a
RészletesebbenTipikus időbeli internetezői profilok nagyméretű webes naplóállományok alapján
Tipikus időbeli internetezői profilok nagyméretű webes naplóállományok alapján Schrádi Tamás schraditamas@aut.bme.hu Automatizálási és Alkalmazott Informatikai Tanszék BME A feladat A webszerverek naplóállományainak
RészletesebbenData Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő 2013. február 20.
Data Integrátorok a gyakorlatban Oracle DI vs. Pentaho DI Fekszi Csaba Ügyvezető Vinnai Péter Adattárház fejlesztő 2013. február 20. 1 2 3 4 5 6 7 8 Pentaho eszköztára Data Integrator Spoon felület Spoon
RészletesebbenLOGISZTIKAI ADATBÁZIS RENDSZEREK JOIN, AGGREGÁCIÓ
LOGISZTIKAI ADATBÁZIS RENDSZEREK JOIN, AGGREGÁCIÓ Lénárt Balázs tanársegéd TANTERV Hét Dátum Előadó Előadások Időpont: szerda 8:30-10:00, helye: LFSZÁMG Dátum Gyakvezető 1. 9. 11. Tokodi Adatbázis kezelés
RészletesebbenÉlet az SQL-en túl: Az adatfeldolgozás legújabb trendjei. Földi Tamás
Élet az SQL-en túl: Az adatfeldolgozás legújabb trendjei Földi Tamás tfoldi@starschema.net IBM Kutatóközpont San Jose, California, 1970 Negyven évvel később Gartner Report Elsősorban relációs adatbázisok
RészletesebbenGyakorlás: Hozzunk létre egy Alkalmazottak táblát AZO szám, Részleg szöveg, Munkakör szöveg és BelépésDátuma dátum típussal.
Adatbázis létrehozása Adatleíró műveletek CREATE DATABASE "tan1" WITH ENCODING= LATIN2 ; vagy parancssorból a terminál alatt $ createdb tan1 E=latin2 Kapcsolódás az adatbázishoz $ psql tan1 Adattábla létrehozása
RészletesebbenSQL*Plus. Felhasználók: SYS: rendszergazda SCOTT: demonstrációs adatbázis, táblái: EMP (dolgozó), DEPT (osztály) "közönséges" felhasználók
SQL*Plus Felhasználók: SYS: rendszergazda SCOTT: demonstrációs adatbázis, táblái: EMP dolgozó), DEPT osztály) "közönséges" felhasználók Adatszótár: metaadatokat tartalmazó, csak olvasható táblák táblanév-prefixek:
RészletesebbenEnterprise extended Output Management. exom - Greendoc Systems Kft. 1
Enterprise extended Output Management exom - Greendoc Systems Kft. 1 exom - Greendoc Systems Kft. 2 Sokféle bementi adatformátum kezelése Adatok fogadása különböző csatornákon Előfeldolgozás: típus meghatározás,
RészletesebbenExcel ODBC-ADO API. Tevékenységpontok: - DBMS telepítés. - ODBC driver telepítése. - DSN létrehozatala. -Excel-ben ADO bevonása
DBMS spektrum Excel ODBC-ADO API Tevékenységpontok: - DBMS telepítés - ODBC driver telepítése - DSN létrehozatala -Excel-ben ADO bevonása - ADOConnection objektum létrehozatala - Open: kapcsolat felvétel
RészletesebbenA számítógép egységei
A számítógép egységei A számítógépes rendszer két alapvető részből áll: Hardver (a fizikai eszközök összessége) Szoftver (a fizikai eszközöket működtető programok összessége) 1.) Hardver a) Alaplap: Kommunikációt
RészletesebbenSQL PÉLDATÁR. készült a PTE TTK Iskolai informatika III. kurzus teljesítésére
SQL PÉLDATÁR készült a PTE TTK Iskolai informatika III. kurzus teljesítésére PTE TTK Czimmermann Gergely MA matematika informatika tanár szakos hallgató 2017 Tartalomjegyzék 1. Adatleíró műveletek... 3
RészletesebbenINFORMATIKAI ALAPISMERETEK
ÉRETTSÉGI VIZSGA 2005. május 20. INFORMATIKAI ALAPISMERETEK KÖZÉPSZINTŰ ÉRETTSÉGI VIZSGA Az írásbeli vizsga időtartama: 180 perc JAVÍTÁSI-ÉRTÉKELÉSI ÚTMUTATÓ OKTATÁSI MINISZTÉRIUM Megoldási útmutató I.
RészletesebbenOracle Big Data koncepció. Stadler Gellért Vezető tanácsadó Oracle ConsulKng HTE 2015 Konferencia
Oracle Big Data koncepció Stadler Gellért Vezető tanácsadó Oracle ConsulKng HTE 2015 Konferencia Copyright 2015, Oracle and/or its affiliates. All rights reserved. Oracle ConfidenKal Internal/Restricted/Highly
RészletesebbenAz SQL*Plus használata
Az SQL*Plus használata Célkitűzés Bejelentkezés az SQL*Plus-ba SQL utasítások szerkesztése Az eredmény formázása SQL*Plus utasításokkal Szkriptfájlok használata Az SQL és az SQL*Plus kapcsolata SQL*Plus
RészletesebbenAdatbázis Rendszerek I. 10. SQL alapok (DML esettanulmány)
Adatbázis Rendszerek I. 10. SQL alapok (DML esettanulmány) 23/1 B IT v: 2018.10.31 MAN DML adatokon műveletet végző utasítások DML Data Manipulation Language Rekordok (sorok) beszúrása (felvitele) Mezők
RészletesebbenCélkitűzések Az Oracle10 g felépítésének, használatának alapszíntű megismerése
BEVEZETÉS Célkitűzések Az Oracle10g felépítésének, használatának alapszíntű megismerése A relációs adatbázis-kezelés elméleti és gyakorlati vonatkozásainak áttekintése Az SQL, PL/SQL nyelvek használatának
RészletesebbenA processzor hajtja végre a műveleteket. összeadás, szorzás, logikai műveletek (és, vagy, nem)
65-67 A processzor hajtja végre a műveleteket. összeadás, szorzás, logikai műveletek (és, vagy, nem) Két fő része: a vezérlőegység, ami a memóriában tárolt program dekódolását és végrehajtását végzi, az
RészletesebbenAdatbázisok. 8. gyakorlat. SQL: CREATE TABLE, aktualizálás (INSERT, UPDATE, DELETE), SELECT október október 26. Adatbázisok 1 / 17
Adatbázisok 8. gyakorlat SQL: CREATE TABLE, aktualizálás (INSERT, UPDATE, DELETE), SELECT 2015. október 26. 2015. október 26. Adatbázisok 1 / 17 SQL nyelv Structured Query Language Struktúrált lekérdez
RészletesebbenAdatbázis-kezelés ODBC driverrel
ADATBÁZIS-KEZELÉS ODBC DRIVERREL... 1 ODBC: OPEN DATABASE CONNECTIVITY (NYÍLT ADATBÁZIS KAPCSOLÁS)... 1 AZ ODBC FELÉPÍTÉSE... 2 ADATBÁZIS REGISZTRÁCIÓ... 2 PROJEKT LÉTREHOZÁSA... 3 A GENERÁLT PROJEKT FELÉPÍTÉSE...
RészletesebbenVirtuális Obszervatórium. Gombos Gergő
Virtuális Obszervatórium Gombos Gergő Áttekintés Motiváció, probléma felvetés Megoldások Virtuális obszervatóriumok NMVO Twitter VO Gombos Gergő Virtuális Obszervatórium 2 Motiváció Tudományos módszer
RészletesebbenSoftware Defined technológiák használata Oracle adatbázis konszolidációhoz
Software Defined technológiák használata Oracle adatbázis konszolidációhoz Popovics László 2014. Október 2. Technológiai evolúció 2000-es évek eleje A 2000-es években főképp monolit rendszereket használtak
RészletesebbenORACLE. SYS: rendszergazda SCOTT: demonstrációs adatbázis, táblái: EMP (dolgozó), DEPT (osztály) "közönséges" felhasználók
Oracle SQL*Plus SQL ORACLE Felhasználók: SYS: rendszergazda SCOTT: demonstrációs adatbázis, táblái: EMP (dolgozó), DEPT (osztály) "közönséges" felhasználók Adatszótár: metaadatokat tartalmazó, csak olvasható
RészletesebbenPentaho 4: Mindennapi BI egyszerűen. Fekszi Csaba Ügyvezető 2011. október 6.
Pentaho 4: Mindennapi BI egyszerűen Fekszi Csaba Ügyvezető 2011. október 6. 1 2 3 4 5 Bevezetés Pentaho-ról röviden - áttekintő Mindennapi BI egyszerűen a Pentaho 4 újdonságai Pentaho összefoglaló Alkalmazás
RészletesebbenINFORMATIKAI ALAPISMERETEK
Informatikai alapismeretek középszint 0721 ÉRETTSÉGI VIZSGA 2007. október 24. INFORMATIKAI ALAPISMERETEK KÖZÉPSZINTŰ ÍRÁSBELI ÉRETTSÉGI VIZSGA JAVÍTÁSI-ÉRTÉKELÉSI ÚTMUTATÓ OKTATÁSI ÉS KULTURÁLIS MINISZTÉRIUM
RészletesebbenAdatbázis rendszerek SQL nyomkövetés
Adatbázis rendszerek 1. 12. SQL nyomkövetés 1/32 B ITv: MAN 2017.10.26 Nyomkövetési feladat 2/32 Gyakorló feladatok Termék-Vásárlás-Vásárló Oktató-Tantárgy-Hallgató 3/32 Gyakorló feladat: Termék-Vásárlás-Vásárló
RészletesebbenMySQL kontra MongoDB programozás. SQL és NoSQL megközelítés egy konkrét példán keresztül
MySQL kontra MongoDB programozás SQL és NoSQL megközelítés egy konkrét példán keresztül Kardos Sándor sandor@component.hu Miről lesz szó? Miért érdemes őket összehasonlítani? MySQL általános jellemzői
RészletesebbenProofIT Informatikai Kft. 1115 Budapest, Petzvál J. 4/a www.proofit.hu
Verzióváltások az üzleti folytonosság fenntartásával a MOL kiskereskedelmi rendszerében Fehér Lajos ProofIT Kft. Hogyan keletkezett a HBO a MOL alapvetései miért egyedi fejlesztés? Sajátos igényeknek megfelelő
RészletesebbenSzolgáltatási szint és performancia menedzsment a PerformanceVisor alkalmazással. HOUG konferencia, 2007 április 19.
Szolgáltatási szint és performancia menedzsment a PerformanceVisor alkalmazással Szabó Balázs HOUG konferencia, 2007 április 19. Mirıl lesz szó NETvisor Kft bemutatása Szolgáltatási szint alapjai Performancia
RészletesebbenAdatbázis rendszerek. dr. Siki Zoltán
Adatbázis rendszerek I. dr. Siki Zoltán Adatbázis fogalma adatok valamely célszerűen rendezett, szisztéma szerinti tárolása Az informatika elterjedése előtt is számos adatbázis létezett pl. Vállalati személyzeti
RészletesebbenVirtualizációs technológiák Linux alatt (teljesítményteszt)
Virtualizációs technológiák Linux alatt (teljesítményteszt) Ebben a dokumentációban a virtualizációs technológiák sebességét, teljesítményét hasonlítom össze RedHat-alapú Linux disztribúciókkal. A teszteléshez
RészletesebbenPHP-MySQL. Adatbázisok gyakorlat
PHP-MySQL Adatbázisok gyakorlat Weboldalak és adatbázisok Az eddigiek során megismertük, hogyan lehet a PHP segítségével dinamikus weblapokat készíteni. A dinamikus weboldalak az esetek többségében valamilyen
RészletesebbenTELJESÍTÉNYMÉRÉS FELHŐ ALAPÚ KÖRNYEZETBEN AZURE CLOUD ANALÍZIS
TELJESÍTÉNYMÉRÉS FELHŐ ALAPÚ KÖRNYEZETBEN AZURE CLOUD ANALÍZIS Hartung István BME Irányítástechnika és Informatika Tanszék TEMATIKA Cloud definíció, típusok, megvalósítási modellek Rövid Azure cloud bemutatás
Részletesebben1 Copyright 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 13
1 Copyright 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 13 Tippek és trükkök - Másfél év üzemeltetési tapasztalatai Exadata környezetben
Részletesebben6. számú melléklet KÖLTSÉGVETÉSI SPECIFIKÁCIÓ. a Társadalmi Megújulás Operatív Program. Új tanulási formák és rendszerek Digitális Középiskola program
6. számú melléklet KÖLTSÉGVETÉSI SPECIFIKÁCIÓ a Társadalmi Megújulás Operatív Program Új tanulási formák és rendszerek Digitális Középiskola program című pályázati felhívásához Kódszám: TÁMOP-3.2.1.B-09/2
RészletesebbenINFORMATIKAI ALAPISMERETEK
Informatikai alapismeretek középszint 1321 ÉRETTSÉGI VIZSGA 2014. október 13. INFORMATIKAI ALAPISMERETEK KÖZÉPSZINTŰ ÍRÁSBELI ÉRETTSÉGI VIZSGA JAVÍTÁSI-ÉRTÉKELÉSI ÚTMUTATÓ EMBERI ERŐFORRÁSOK MINISZTÉRIUMA
RészletesebbenDELL Inspiron 5749 (DLL Q1_42_L_178128) (DLL Q1_42_L_178128)
DELL Inspiron 5749 (DLL Q1_42_L_178128) (DLL Q1_42_L_178128) Bruttó ár: 0 Ft Ár: 100.000-125.000 Ft Termékvonal: Dell Notebook / Dell Laptop Termékvonal2: Notebook / Laptop Processzor: Intel Pentium Processzor
RészletesebbenOperációs rendszerek. UNIX fájlrendszer
Operációs rendszerek UNIX fájlrendszer UNIX fájlrendszer Alapegység: a file, amelyet byte-folyamként kezel. Soros (szekvenciális) elérés. Transzparens (átlátszó) file-szerkezet. Link-ek (kapcsolatok) létrehozásának
RészletesebbenEgészítsük ki a Drupal-t. Drupal modul fejlesztés
Egészítsük ki a Drupal-t Drupal modul fejlesztés Drupal 6.0 2008. február 13. Miért írjunk Drupal modult? Nincs az igényeinknek megfelelő modul Valamilyen közösségi igény kielégítése Valami nem úgy működik
RészletesebbenAz NIIF új szuperszámítógép infrastruktúrája Új lehet!ségek a kutatói hálózatban 2011.06.02 Debreceni Egyetem
Az NIIF új szuperszámítógép infrastruktúrája 2011.06.02 Debreceni Egyetem Dr. Máray Tamás NIIF Intézet NIIF szuperszámítógép szolgáltatás a kezdetek 2001 Sun E10k! 60 Gflops! SMP architektúra! 96 UltraSparc
RészletesebbenAB1 ZH mintafeladatok. 6. Minősítse az állításokat! I-igaz, H-hamis
AB1 ZH mintafeladatok 1. Töltse ki, és egészítse ki! Matematikai formalizmus arra, hogy hogyan építhetünk új relációkat a régi relációkból. Az adatoknak egy jól strukturált halmaza, amelyből információ
RészletesebbenAdatbázis Rendszerek II. 8. Gyakorló környezet
Adatbázis Rendszerek II. 8. Gyakorló környezet 1/24 B IT v: 2017.10.26 MAN Gyakorló környezet Géptermek 193.6.5.58:8080/apex H16_neptunkód ADMIN neptunkód 2/24 Jelszó váltás 1 2 3 4 3/24 Gyakorló környezet
RészletesebbenINFORMATIKAI ALAPISMERETEK
Informatikai alapismeretek emelt szint 0802 ÉRETTSÉGI VIZSGA 2008. október 20. INFORMATIKAI ALAPISMERETEK EMELT SZINTŰ ÍRÁSBELI ÉRETTSÉGI VIZSGA JAVÍTÁSI-ÉRTÉKELÉSI ÚTMUTATÓ OKTATÁSI ÉS KULTURÁLIS MINISZTÉRIUM
RészletesebbenTartalomjegyzék. Tartalomjegyzék 1. Az SQL nyelv 1 Az SQL DDL alapjai 2
Tartalomjegyzék Tartalomjegyzék 1 Az SQL nyelv 1 Az SQL DDL alapjai 2 Adatbázis parancsok 2 Táblaparancsok 2 A táblázat létrehozása 2 A táblázat módosítása 3 A tábla törlése 3 Indextábla létrehozása 3
RészletesebbenCsináld magad naplóelemzés syslog-ng-vel
Csináld magad naplóelemzés syslog-ng-vel Höltzl Péter, CISA holtzl.peter@balabit.com http:/// Miről lesz szó? Hogyan lesz az adatból információ? Hogyan elemez a syslog-ng futásidőben? Mire tudjuk használni
RészletesebbenDedikált szerverhoszting katalógus 2015. november
Dedikált szerverhoszting katalógus 2015. november Tartalom Dedikált szerverhoszting katalógus 2015. november... 1 Kiemelt dedikált szerverhoszting ajánlataink... 2 Akciós ajánlatunk:... 2 Dell PowerEdge
RészletesebbenCSEMPE GENERÁLÓ ALKALMAZÁS FÖLDHIVATALI ADATBÁZISHOZ Pálfi Antal PAGEOS
CSEMPE GENERÁLÓ ALKALMAZÁS FÖLDHIVATALI ADATBÁZISHOZ Pálfi Antal PAGEOS GIS&WEB fejlesztés Agenda Bemutatkozás Előző adatszolgáltatási rendszer TBFAR rövid ismertetése Új adatszolgáltató renszer kialakításának
RészletesebbenDunaújvárosi Főiskolán
Informatikai infrastruktúra fejlesztések a Dunaújvárosi Főiskolán Kovács Csaba István cs.kovacs@mail.duf.hu Botka István boti@makacs.duf.hu EURÓPAI CAMPUS AZ ORSZÁG KÖZEPÉN TIOP-1.3.1-07/1-2F-2009-0001
RészletesebbenTáblakezelés: Open SQL Internal table. Tarcsi Ádám: Az SAP programozása 1.
Táblakezelés: Open SQL Internal table Tarcsi Ádám: Az SAP programozása 1. OPEN SQL Tarcsi Ádám, ELTE SAP Excellence Center: SAP programozás oktatóanyag 2 Open SQL Az Open SQL kulcsszavai: SELECT INSERT
RészletesebbenAdatbázisok - 1. előadás
Óbudai Egyetem Alba Regia Műszaki Kar (AMK) Székesfehérvár 2015. október 15. Köszönet A tárgyat korábban Kottyán László tanította. Köszönöm neki, hogy az általa elkészített
RészletesebbenSAP Business One. Áttekintés, gyakorlati ismertetı. Mosaic Business System Kft.; Support: +36 1 253-0526
Mosaic Business System Kft.; Support: +36 1 253-0526 technológia Minimum hardver- és szoftverkövetelmények Technológia Technológia Az is kétszintő kliens/szerver architektúrán alapul. A szerver a Microsoft
RészletesebbenAnalitikus adatfeldolgozás. Adattárház Adatkocka Adatbányászat
Analitikus adatfeldolgozás Adattárház Adatkocka Adatbányászat 1 Áttekintés A hagyományos adatbázisokat sok, apró, egyszerű lekérdezésre hangolták A jelenlegi alkalmazások kevesebb, de idő igényesebb, bonyolultabb
RészletesebbenBig Data elemzési módszerek
Big Data elemzési módszerek házi feladat dokumentáció Készítette: Novák Gergely és Vuchetich Bálint Konzulens: Kocsis Imre Budapest, 2015. december 10. 1 Feladat A termékcsoportok forgalmának időbeli összehasonlítása.
RészletesebbenInformatikus informatikus 54 481 04 0010 54 07 Térinformatikus Informatikus É 1/6
A 10/2007 (II. 27.) SzMM rendelettel módosított 1/2006 (II. 17.) OM rendelet Országos Képzési Jegyzékről és az Országos Képzési Jegyzékbe történő felvétel és törlés eljárási rendjéről alapján. Szakképesítés,
RészletesebbenAz információs rendszerek adatai
Az információs rendszerek adatai Nagy mennyiségű adat Tárolás Karbantartás Visszakeresés, feldolgozás Adatbázis 2 Az adatbázis fogalma Az adatbázis együtt tárolt, egymással kapcsolatban levő adatok rendszere.
RészletesebbenStatisztikai szoftverek Molnár Gábor József
Statisztikai szoftverek Molnár Gábor József SAS-ban megírt programok megvalósítása SQL-lel Bevezetés A SAS, statisztikai szoftver, egy önálló adatkezelési nyelvvel rendelkezik; ez a SAS BASE amely segítségével
RészletesebbenBevezetés az SQL-be. Tankönyv: Ullman-Widom: Adatbázisrendszerek Alapvetés Második, átdolgozott kiadás, Panem, 2009
Bevezetés az SQL-be Tankönyv: Ullman-Widom: Adatbázisrendszerek Alapvetés Második, átdolgozott kiadás, Panem, 2009 2.3. Relációsémák definiálása SQL-ben Kulcsok megadása (folyt.köv.7.fej.) -- még: Relációs
RészletesebbenADATBÁZIS-KEZELÉS - BEVEZETŐ - Tarcsi Ádám, ade@inf.elte.hu
ADATBÁZIS-KEZELÉS - BEVEZETŐ - Tarcsi Ádám, ade@inf.elte.hu Számonkérés 2 Papíros (90 perces) zh az utolsó gyakorlaton. Segédanyag nem használható Tematika 1. félév 3 Óra Dátum Gyakorlat 1. 2010.09.28.
RészletesebbenOperációs Rendszerek II. Első verzió: 2009/2010. I. szemeszter Ez a verzió: 2009/2010. II. szemeszter
Operációs Rendszerek II. Első verzió: 2009/2010. I. szemeszter Ez a verzió: 2009/2010. II. szemeszter Mai témák Mentések (backup) Unix jogosultsági rendszer újra (ACL) NTFS Clusterek Mentések Az élő rendszerben
RészletesebbenAz információs rendszerek adatai
Az információs rendszerek adatai Nagy mennyiségű adat Tárolás Karbantartás Visszakeresés, feldolgozás Adatbázis 2 Az adatbázis fogalma Az adatbázis együtt tárolt, egymással kapcsolatban levő adatok rendszere.
RészletesebbenKonfigurációkezelés (2B)
Budapesti Műszaki és Gazdaságtudományi Egyetem Intelligens rendszerfelügyelet (VIMIA370) Konfigurációkezelés (2B) Házi feladat Horányi Gergő (IMJ7FZ) 2011. április 9. 1 Bevezető A házi feladat során egy
RészletesebbenPárhuzamos és Grid rendszerek. Hol tartunk? Klaszter. Megismerkedtünk az alapfogalmakkal,
Párhuzamos és Grid rendszerek (3. ea) cluster rendszerek, hosszútávú ütemezők Szeberényi Imre BME IIT M Ű E G Y E T E M 1 7 8 2 Párhuzamos és Grid rendszerek BME-IIT Sz.I. 2013.02.25.
RészletesebbenAjánlat kelte: 2008. november 18. Ajánlattevő: FTK Kft. Cím: 3531 Miskolc, Vászonfehérítő 32.
Ajánlat kelte: 2008. november 18. Ajánlattevő: FTK Kft. Cím: 3531 Miskolc, Vászonfehérítő 32. Ajánlat érvényessége: 2008. november 21. (275-ös EUR/HUF árfolyamig) Teljesíthetőség: akár 2008-as év Számítógépek:
RészletesebbenBIG DATA ÉS GÉPI TANULÁS KÖRNYEZET AZ MTA CLOUD-ON KACSUK PÉTER, NAGY ENIKŐ, PINTYE ISTVÁN, HAJNAL ÁKOS, LOVAS RÓBERT
BIG DATA ÉS GÉPI TANULÁS KÖRNYEZET AZ MTA CLOUD-ON KACSUK PÉTER, NAGY ENIKŐ, PINTYE ISTVÁN, HAJNAL ÁKOS, LOVAS RÓBERT TARTALOM MTA Cloud Big Data és gépi tanulást támogató szoftver eszközök Apache Spark
Részletesebben