Bevezetés a Grid rendszerekbe



Hasonló dokumentumok
Bevezetés az európai és magyar Grid rendszerekbe

alkalmazásfejlesztő környezete

Enabling Grids for E-sciencE. Grid bevezető INFSO-RI

Példa: LHC, CERN, Genf Enabling Grids for E-sciencE

Gyakorlati tudnivalók

Összegzés és hogyan tovább

Párhuzamos programozás Grid környezetben. Kacsuk Péter MTA SZTAKI

"A tízezer mérföldes utazás is egyetlen lépéssel kezdődik."

Worldwide LHC Computing Grid

HunGrid Grid technológiák hozzáférési lehetőségei az intézetben

MTA SZTAKI - A Grid fejlesztők és felhasználók szolgálatában

WEB2GRID: Desktop Grid a Web 2.0 szolgálatában

Az MTA Cloud a tudományos alkalmazások támogatására. Kacsuk Péter MTA SZTAKI

Miért jó nekünk kutatóknak a felhő? Kacsuk Péter MTA SZTAKI

A felhőről általában. Kacsuk Péter MTA SZTAKI

Az RMKI Grid-rendszere

Felhő rendszerek és felhő föderációk. Kacsuk Péter MTA SZTAKI

EGI-InSPIRE. Café Grid március 24. Szeberényi Imre 3/25/ EGI-InSPIRE RI

Hol tartunk? Párhuzamos és Grid rendszerek. Grid koncepció. Elosztott rendszerek reneszánsza. Grid hasonlat. Klaszter

Párhuzamos és Grid rendszerek

Bevezetés a párhuzamos programozási koncepciókba

Párhuzamos és Grid rendszerek. Hol tartunk? Elosztott rendszerek reneszánsza. Megismerkedtünk az alapfogalmakkal,

MTA Cloud a tudományos alkalmazások támogatására. Kacsuk Péter MTA SZTAKI

A HunGrid bemutatása és alkalmazása levegőszennyezés előrejelzésére 1

Networkshop Kaposvár Balaskó Á., Kozlovszky M., Karóczkai K., Márton I., Kacsuk P. MTA SZTAKI

Az LHC adatfeldolgozásának számítástechnikai háttere 10 percben. Hajdu Csaba KFKI RMKI

Bioinformatikai és orvosbiológiai Grid alkalmazások az Egyesült Királyságban

NIIF szolgáltatások a múzeumok számára

Szövetségi (föderatív) jogosultságkezelés

Rőczei Gábor Szeged, Networkshop

Ezeket a kiemelkedı sebességő számítógépeket nevezzük szuperszámítógépeknek.

Kivonat. 1. Bevezetés (Mi a Grid?)

CancerGrid - Grid alkalmazása rákellenes hatóanyagok keresésének felgyorsítására

Párhuzamos és Grid rendszerek

IBM felhő menedzsment

NIIF Központi Elosztott Szolgáltatói Platform

Európai Grid infrastruktúra

Az NIIF új szuperszámítógép infrastruktúrája Új lehetőségek a kutatói hálózatban

A JGrid rendszer biztonsági architektúrája. Magyaródi Márk Juhász Zoltán Veszprémi Egyetem

Új generációs közösségi WEB szolgáltatások és alkalmazások támogatása GRID platformmal

Szuperszámítógépes teljesítmény szuperszámítógép nélkül A BinSYS Projekt

CMDB architektúra megjelenítése SAMU-val Rugalmas megoldás. ITSMF Bekk Nándor Magyar Telekom / IT szolgáltatás menedzsment központ

Könyvtárak szövetségben! Magyar Zsuzsanna MTA SZTAKI ITAK

Visszatekintés a Jövő Internet NTP öt évére. Dr. Bakonyi Péter Jövő Internet NTP.

A cloud szolgáltatási modell a közigazgatásban

A kezdeményezés célkitűzése

Taszkok ütemezése desktop-griden

SZTAKI Desktop Grid. l számára. MTA SZTAKI

Közösségi erôforrás-megosztás alapú számítási modell alkalmazása a gyakorlatban. SZTAKI Desktop Grid KORNAFELD ÁDÁM

A HBONE+ projekt Július 2. Projekt nyitórendezvény, Budapest. Mohácsi János NIIF Intézet

A Webtől a. Gridig. A Gridről dióhéjban. Debreczeni Gergely (MTA KFKI RMKI) Debreczeni.Gergely@wigner.mta.hu

SEE-GRID: a dél-európai grid-infrastruktúra

hatékony felhasználókezelés felhasználói roaming Bajnok Kristóf/Mohácsi János NIIF Intézet Budapest, június 2.

TELJESÍTÉNYMÉRÉS FELHŐ ALAPÚ KÖRNYEZETBEN AZURE CLOUD ANALÍZIS

STANDARD DEVELOPMENT U.L. FACTORY SYSTEMS GROUP IT DEPARTMENT

Az NIIF új szuperszámítógép infrastruktúrája Új lehet!ségek a kutatói hálózatban Debreceni Egyetem

BIG DATA ÉS GÉPI TANULÁS KÖRNYEZET AZ MTA CLOUD-ON KACSUK PÉTER, NAGY ENIKŐ, PINTYE ISTVÁN, HAJNAL ÁKOS, LOVAS RÓBERT

Testreszabott alkalmazások fejlesztése Notes és Quickr környezetben

NIIF program és HBONE+ projekt mi nyújthat a kutatói és felsőoktatási hálózat

DSD DSD. Egy országos méretű orvosi adatbázissal kapcsolatos informatikai kihívások. Kovács László Pataki Balázs Pataki Máté MTA SZTAKI DSD

Elosztott könyvtári rendszerek megvalósítása a Z39.50 és az OAI protokoll használatával

Tudásalapú információ integráció

Konszolidáció és költségcsökkentés a gyakorlatban. Az Országos Tisztifőorvosi Hivatal Oracle adatbázis konszolidációja

Introduction to the Grid. Peter Kacsuk MTA SZTAKI

Agrid rendszerek fejlôdésében három hullámot különböztethetünk

A közgyűjtemények és az e-infrastruktúra szolgáltatók

FEM 2.5-D EGY GEOFIZIKAI RENDSZER MEGVALÓSÍTÁSA A GRID-

Enabling Grids for E-sciencE. EGEE köztesréteg. Adat szolgáltatások a glite-ban. INFSO-RI

IKT trendek és tapasztalatok a BME szemszögéből

Utolsó módosítás:

Félreértések elkerülése érdekében kérdezze meg rendszergazdáját, üzemeltetőjét!

Oracle Enterprise Manager: Az első teljesértékű felhő üzemeltetési megoldás

Hozzáférés a HPC-hez, kezdő lépések (előadás és demó)

Cloud computing. Cloud computing. Dr. Bakonyi Péter.

A ClusterGrid bróker rendszere. Stefán Péter Szalai Ferenc Vitéz Gábor

Biztonság a glite-ban

A GN2 PROJEKT ÉS KUTATÁSI EGYÜTTMŰKÖDÉS

Live free() or die() Az openmosix cluster szoftver

Segesdi Dániel. OpenNebula. Virtualizációs technológiák és alkalmazásaik BMEVIMIAV ősz

Alkalmazás és megjelenítés virtualizáció

Folyamatmodellezés és eszközei. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék

Szoftver labor III. Tematika. Gyakorlatok. Dr. Csébfalvi Balázs

Az AgroFE Nemzetközi Leonardo projekt

IT Szolgáltatás Menedzsment az oktatási szektorban - 90 nap alatt költséghatékonyan

modell alkalmazása a gyakorlatban Application of public resource computing model in practice

Elosztott rendszer architektúrák

Az MTA Cloud projekt MTA Cloud projektzáró június 28.

Szabálykezelés a gyakorlatban

"sulinet+" - Végponti kapcsolatok és központi szolgáltatás-fejlesztés a közoktatási hálózatban

Cloud computing Dr. Bakonyi Péter.

Web2Grid: Desktop Grid a Web 2.0 szolgálatában

Supporting scientific and Web 2.0 communities by desktop grids P. Kacsuk MTA SZTAKI (Univ. of Westminster)

Párhuzamos és Elosztott Rendszerek

Szolgáltatási szint és performancia menedzsment a PerformanceVisor alkalmazással. HOUG konferencia, 2007 április 19.

Szolgáltatási szint megállapodás

Szolgáltatás és Minőségfejlesztés a Corvinus Egyetemen Kiss György János Mogyorósi János

GRID AZ OKTATÁSBAN. Kápolnai Richárd, Németh Dénes, Dr. Szeberényi Imre,

OpenCL alapú eszközök verifikációja és validációja a gyakorlatban

IV.4. FELHŐ ALAPÚ BIZTONSÁGOS ADATTÁROLÁSI MÓDSZER ÉS TESZTKÖRNYEZET KIDOLGOZÁSA

11. Gyakorlat: Certificate Authority (CA), FTP site-ok

Átírás:

Bevezetés a Grid rendszerekbe Prof Kacsuk Péter MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium www.lpds.sztaki.hu kacsuk@sztaki.hu

Tartalom Mi a grid, miért és mire használják? Általános lá grid architektúra Szolgáltatás Gridek Hozzáférés szolgálatás gridhez Desktop Gridek Hozzáférés desktop gridhez A tanfolyam célja Konklúziók

Mi az a Grid? AGridszámítógépek számítógépek, tárolóegységek, speciális berendezések és szolgáltatások együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Ezek az erőforrások heterogének Földrajzilag elosztottak és tipikusan Internettel vannak összekötve Igény szerint (on- demand) érhetők el Internet

Miért használnak Gridet? A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, hogy Csökkentse a feldolgozási időt Elérjen nagy adatbázisokat és speciális készülékeket k Együttműködjön másokkal Internet t

Tipikus Grid alkalmazási területek Nagy számítási kapacitást igénylő alkalmazások Nagy teljesítményű számítás (High Performance Computing) Egyetlen párhuzamos program végrehajtásának idejét lerövidíteni Nagy áteresztőképességű számítások (High Throughtput Computing) Minél több hasonló méretű, egymástól független jobot lefuttatni egységnyi idő alatt Nagy adatmennyiségekel dolgozó alkalmazások l k Általában több adatbázis, tudásbázis együttes bevonásával Kollaboratív munka Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása

Példa: Large Hidron Collider, CERN, Genf ATLAS CMS ~10-15 PetaBytes /year ~10 8 events/year ~10 3 batch and interactive users LHCb

Példa: Rolls Royce repülőgép motorok 1Gb data per engine per flight Real-time adatletöltés tölté a bázis repülőtérre Historikus összehasonlítás Adatintegráció repterek között Elemzés, analizálás Számítás elosztott architektúrán Kiszolgáló személyzet felkészítése

Példa: Orvosi képfeldolgozás ~ 1 millió kép / paciens 1024 x 1024 felbontás / kép ~ 1 gbyte / paciens 5 paciens / nap... Push images in the workflow Image + metadata Metadata Server LFN Other medical metadata

További példák In silico gyógyszerkutatás molekula szimulációk, alkalmatlan vegyületek kiszűrése ű Földtudományok, űrkutatás szatellit és távcső képek megosztása, elemzése Archeologia digitális archivumok létrehozása és megosztása, szimulációk futtatása Időjárás előrejelzés adatbegyűjtés, modellválasztás, szimulációk, összegzés Mérnöki tudományok épületek, e közlekedési eszközök szimulációja

Miért célszerű erre Grid rendszert használni? Az ilyen tipusú problémákra 5-10 éve még szuperszámítógépeket használtak Ma nagy részükre Grid rendszert használnak Az okok: A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép kapacitását mindenféle extra beruházás nélkül Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását Elosztott erőforrásokat integrál Rugalmas hozzáférést tesz lehetővé

Grid vízió Mobile Access Workstation G R I D M I D D L E W A R E Supercomputer, PC-Cluster Data-storage, Sensors, Experiments Visualising Internet, networks

Megoldandó problémák Erőforrások standard elérése Számítógépek Tárolóeszközök ök Speciális eszközök Szoftverek Sotee Hozzáférés szabályozás (biztonságtechnika) Terheléselosztás Erőforrások állapotának monitorozása Alkalmazások monitorozása Hibakezelés Alkalmazási metodika, programozási koncepció...

Általános Grid modell Int1 Szabad kapacitás kiajánlása Int4 Int2 Internet Int3 Kapacitás igénylés

A Grid két szereplője Erőforrás felajánlók (donorok) = D Erőforrás felhasználók = H A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: Ha H ~ D Ha H >> D Ha H << D => általános Grid modell => szolgáltatói Grid modell => desktop Grid modell

Általános Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Szimmetrikus és egyenjogú kapcsolat az erőforrás donorok és használók között: ött H ~ D

Az általános grid modell bonyolult... Számtalan felhasználási lehetőség Bonyolult biztonsági megoldások Fejlett erőforrás információs rendszer Fejlett brókerezési rendszer Bonyolult installálni és karbantartani Nagyon megbízhatatlan Gyakorlatban két irányba egyszerűsödött: Szolgáltatás Gridek Dekstop Gridek

Szolgáltatás Gridek

Szolgáltatói Grid modell példa: Enabling Grids for E-sciencE (EGEE) Kutatóhely1 Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kutatóhely2 Donor és Felhasználó Felhasználó 1 Internet Donor és Felhasználó Felhasználó N Kapacitás igénylés Kapacitás igénylés dinamikusan

Szolgáltatói Grid modell jellemzői Csak professzionális szolgáltatók ajánlhatnak fel erőforrást Homogén erőforrások egyszerűbb karbantarthatóság, alkalmazás fejlesztés Bárki felhasználhatja a felajánlott l erőforrásokat SAJÁT alkalmazásának megoldására Asszimmetrikus ik és nem egyenjogú kapcsolat az erőforrás donorok és használók között: H>>D

Applications Application Environments Generic Grid Architecture Instrument Management Problem Analysis & Visualisation Collaboratories Solving Environments Application Support MPI CONDOR CORBA JAVA/JINI OLE DCOM Grid Portals Other... Grid Common Services: Middleware services Info ormation Se ervices Re esource Sce eduling Data a Access Ca aching Re esource Co-A Allocation Auth entication Auth horisation Mo onitoring Fault Man nagement Policy Acc counting Grid Fabric -local resources CPUs Resource Management Tertiary Storage Online Storage Scientific Instruments t Resource Management Communications

Szolgáltatói Grid példa: EGEE Country participating in EGEE > 200 sites in 40 countries ~ 36 000 CPUs ~ 5PBstorage 98k jobs/day > 200 Virtual Organizations The world s largest multi-disciplinary Grid glite middleware http://www.eu-egee.org/

Szolgáltatói Grid példa: Open Science Grid 30 Virtual Organizations 105 Resources 26 Support Agencies Middleware: Virtual Data Toolkit (VDT): collection of grid tools Condor Globus VO Management Service http://www.opensciencegrid.org/

Szolgáltatói Grid példa : NorduGrid Dynamic Grid ~ 33 sites, ~1400 1400 CPUS Production Grid Applications from f om various scientific disciplines Sites operate 24/7 Mostly unattended by administrators Middleware: http://www.nordugrid.org/ Advanced Resource Connector (ARC)

HunGrid EGEE magyar VO-ja Folyamatos működésű ű (napi 24 órában működik) dk) Cél: az akadémiai intézetek kutatóinak folyamatos támogatása Az EGEE Grid magyar adaptációja, virtuális szervezete 2005. januárban lett felállítva Résztvevő telephelyek: RMKI: 200 proc. ELTE: 64 proc. BME: 32 proc. NIIF: 12 proc. Összes proc. kapacitás: 308 proc. www.lcg.kfki.hu/index_eng.pl?hungrid&hungridgeneral

Limitált szolgálatás grid változat: Magyar KlaszterGrid Egyetem1 Szabad kapacitás kiajánlása éjszaka Egyetem4 Egyetem2 Internet Egyetem3 Kapacitás igénylés Kapacitás igénylés éjszaka http://www.clustergrid.iif.hu/

ClusterGrid Szakaszos működésű: A nappal oktatásban használt PC laborokat köti Gridbe éjszakánként hétvégeken ~1400 PC 26 egyetemen ill. főiskolán A grid teljesítmény ~0.5 Tflop 70 tudományos projekt 2003 július óta üzemel és folyamatosan nő a kapacitása

Szolgáltatás Grid hozzáférés

Szolgáltatás gridek és Virtuális organizációk VO: erőforrások és flh felhasználók csoportja Logikai egység Virtuális szervezet Hozzáférési határ Grid

Szolgáltatás grid hozzáférés Grid tanusítvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) Magyarországi CA: NIIF http://www.ca.niif.hu/ h / Regisztráció egy Virtuális Organizációba EGEE VO-k listája: Central Operations portal: http://cic.gridops.org/ HunGrid VO: www.lcg.kfki.hu/index_eng.pl?hungrid&hungridg eng eneral Grid használat parancssorból vagy P-GRADE portálból

P-GRADE Portál röviden Fájl tároló szolgáltatások Sámítási Számítási erőforrások Tanusítvány alapú azonosítás HTTP www.portal.p-grade.hu P-GRADE Portal Fájl replika és katalógus szolgáltatások Információs rendszer Erőforrás bróker

A P-GRADE Portal szolgáltatásai WORKFLOW CERTIFICATE PERFORMANCE EXECUTION DESIGN MANAGEMENT ANALYSIS ON GRID(S)

Egy P-GRADE Portál alkalmazás Irányított aciklikus gráf, amelyben Csomópontok: végrehajtható programok Portok: input/output fájlok melyeket a programok olvasnak vagy írnak Élek: programok közötti adatfüggőségek Workflow szemantikája: Egy csomópontban lévő program akkor indítható ha minden input fájlja rendelkezésre áll A portál szerverbe épített workflow menedzser felelőssége

Programok párhuzamosítása Egyidőben több példánya fut Párhuzamos futás egy szolgáltatás grid csomóponton belül (MPI) Párhuzamos futás a workflow gráfon belül A workflow futtatása több példányban paraméter vizsgálatként Egyidőben több programja fut Egyidőben több processze fut

Desktop Gridek

Desktop Grid modell Vállalati/ egyetemi szerver Megoldandó dó feladat Vállalati/ egyetemi PC Szabad kapacitás kiajánlása dinamikusan Internet Vállalati/ egyetemi PC Vállalati/ egyetemi PC Munkacsomagok kiosztása

Desktop Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Egy vagy néhány projekt használhatja fel a felajánlott erőforrásokat Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: ött H << D

Desktop Grid fajtái Globális Desktop Grid (DG) Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni Lokális DG Célja, hogy a DG koncepciót bármilyen közösség g( (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

SETI: egy globális DG SETI@home 1 grid 1 alkalmazáshoz 3.8M önkéntes 226 országból 1200 CPU év/nap 38 TF fenntartható teljesítmény ~ 28. a TOP500 listán (Japanese Earth Simulator 30. ugyanitt) Alapját adó BOINC infrastruktúra már külön is elérhető

SZTAKI Desktop Grid BOINC DG technológián alapuló rendszer Megkönnyíteni DG alkalmazások létrehozását és futtatását Megkönnyíteni DG infrastruktúra installálását és üzemeltetését Lokális és globális csomag is elérhető Globális minta installáció: 2005. júniusban lett felállítva a SZTAKI-ban: http://www.lpds.sztaki.hu/desktopgrid/ p// p / pg / Megoldandó feladat: általánosított bináris számrendszerek keresése (ELTE Matematikai Tanszék) Több mint 22000 beregisztrált résztvevő ~ 30000 számítógép 700-800 GFlop teljesítmény Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Bárki beszállhat mint erőforrás felajánló

SZTAKI Desktop Grid globális verzió

SZTAKI Desktop Grid globális mintarendszer SZTAKI DG mintainstalláció: 750 GFlops NIIF Supercomputer: p 300 GFlops NIIF ClusterGrid: 500 GFlops OMSZ Supercomputer: 900 GFlops TOP 500 entry performance: 5929 GFlops

SZTAKI DG használatának fokozatai 1. Bárki kipróbálhatja a DG koncepció működését PCjét beregisztrálva a mintarendszerbe 2. Bárki hozhat alkalmazást, amit szeretne az SZDGre feltelepíteni. Ekkor segítünk az alkalmazás SZDG adaptálásában és elvégezzük a telepítést 3. Bármely szervezet felállíthatja saját DG rendszerét az SZDG mintájára: Egyetlen PC szervert kell beruháznia Mi vállaljuk, hogy egyetlen nap alatt felállítjuk a DG-t Segítünk a szervezet alkalmazásait adaptálni és telepíteni a saját DG-re

Két alapvető Grid irányzat Grid Technológia Desktop Grid Utility Grid (EGEE, HunGrid) Alkalmazás fejlesztés DC API P-GRADE portal Tipikus alkalmazás Mester-szolga Ált.párhuzam. (Workflow)

Kihasználható párhuzamosság típusok a Gridben Szolgáltatás Grid Master-slave (paraméter vizsgálat) Telephelyen belüli párhuzamosság Telephelyek közötti párhuzamosság Workflow Ezek kompinációi, pl Telephelyen belüli paraméter vizsgálat Workflow paraméter vizsgálat Desktop Grid Master-slave (paraméter vizsgálat)

Paraméter vizsgálat v. Mester/szolga párhuzamosság Mester munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagn Internet

Telephelyen belüli párhuzamosság Internet t

Telephelyek közötti párhuzamosság Internet t

Workflow párhuzamosság Internet t

Kombinált párhuzamosság: Telephelyen belüli és paraméter vizsgálat Internet t

Kombinált párhuzamosság: Worlkflow parameter vizsgalat Internet t

A Grid Computing három hulláma A kutatási hullám Az ipari hullám A vásárlói hullám Technológia, Prototípus Griden futó termékek Comm Virtuális Organizációk Vállalati megoldások Standardok Együttműködési képesség GGF, IETF, OASIS GGF, EGA, IETF, OASIS Jogi, polit Grid lehetőségek tudatosítása Könnyű elérés Grid Service Provider Itt tartunk

A tanfolyam célja Bemutatni azokat a grid infrastruktúrákat, amiket a magyar kutatók elérhetnek Megmutatni, hogy ezeket hogyan kell használni: Grid tanusítványok beszerzése Alkalmazások fejlesztés a gridre Futtatás a gridben Mind elvi, mind gyakorlati képzés lesz

Mit tegyünk a tanfolyam után Ha tényleg akarjuk használni a gridet, akkor forduljunk a SZTAKI GASuC szolgáltatásához GASuC (Grid Application Support Centre): Segit az alkalmazás gridesítésében Segít a kezdeti nehézségeket áthídalni az új grid felhasználók számára á http://www.lpds.sztaki.hu/gasuc/

Konkluzió Általános Grid modell jó, de megvalósítani bonyolult Kutatási témák TDK, diplomamunka, PhD téma Témavezetést vállalunk minden szinten Gyakorlatban Szolgáltatás Gridek és Desktop Gridek Léteznek működő Grid infrastruktúrák hazánkban: ClusterGrid: PVM programok számára HunGrid: workflow és paraméter vizsgálat SZTAKI DG: Mester-szolga alkalmazásokra Elérhetők európai grid infrastruktúrák is: SEEGRID, VOCE, GILDA Mindezek a P-GRADE portál interfészen keresztül transzparensen használhatók Bárki regisztrálhat, mint erőforrás felajánló, vagy mint alkalmazó Bármely magyar kutató ingyenesen igénybe veheti a GASuC szolgáltatást

Köszönöm a figyelmet fgy? További információ: www.lpds.sztaki.hu sztaki