Elosztott rendszerek: Alapelvek és paradigmák Distributed Systems: Principles and Paradigms



Hasonló dokumentumok
UNIX: fájlrendszerek

Nyíregyházi Egyetem Matematika és Informatika Intézete. Fájl rendszer

6. Tárkezelés. Operációs rendszerek. Bevezetés A program címeinek kötése. A címleképzés. A címek kötésének lehetőségei

11. Elosztott állománykezelés. Operációs rendszerek. Elosztott állománykezelés. Teljesítmény növelése. Az állományokra hivatkozás. Az állományok nevei

Operációs rendszerek. UNIX/Linux fájlrendszerek

Operációs rendszerek. UNIX fájlrendszer

UNIX operációs rendszer bemutatása. A UNIX története, fejlesztésének céljai.

Házi feladatok megoldása. Veremautomaták. Házi feladatok megoldása. Házi feladatok megoldása. Formális nyelvek, 12. gyakorlat

Hálózati ismeretek. Az együttműködés szükségessége:

NIS + NFS+Automount. Összeállította: Sallai András

Kommunikáció. 3. előadás

UNIX fájlrendszerek alapismeretei

TITÁN keretrendszer bemutatása

OE-NIK 2010/11 ősz OE-NIK ősz

UNIX: folyamatok kommunikációja

1_Linux_bevezeto_bash

Az LR elemző felépítése. Léptetés. Redukálás. Kiegészített grammatika. Mit kell redukálni? Kiegészített grammatika. elemző. elemző.

Fájlrendszerek. A Windows operációs rendszerek fájlrendszere

JELENTÉS AZ INFORMÁCIÓS ÉS KOMMUNIKÁCIÓS ESZKÖZÖK, ILLETVE TECHNOLÓGIÁK ÁLLOMÁNYÁRÓL ÉS FELHASZNÁLÁSÁRÓL 2015

Elosztott rendszerek: Alapelvek és paradigmák Distributed Systems: Principles and Paradigms

Operációs Rendszerek II. Első verzió: 2009/2010. I. szemeszter Ez a verzió: 2009/2010. II. szemeszter

Verziókövetés és a Subversion. használata

Bevezetés a programozásba. 4. Előadás Sorozatok, fájlok

Tarantella Secure Global Desktop Enterprise Edition

MATEMATIKA FELADATLAP a 8. évfolyamosok számára

S04-2 Elosztott alkalmazások készítése

Kommunikáció. Távoli eljáráshívás. RPC kommunikáció menete DCE RPC (1) RPC - paraméterátadás. 3. előadás Protokollok. 2. rész

Elosztott rendszerek: Alapelvek és paradigmák Distributed Systems: Principles and Paradigms

Üzleti kritikus alkalmazások Novell Open Enterprise Serveren

Számítógépes Hálózatok Felhasználói réteg DNS, , http, P2P

Felhasználói réteg. Számítógépes Hálózatok Domain Name System (DNS) DNS. Domain Name System

Osztott alkalmazások fejlesztési technológiái Áttekintés

MŰSZAKI KÖVETELMÉNYEK, A KÖRKERESŐ SZOFTVER SPECIFIKÁCIÓJA, KÖLTSÉGVETÉS. A) Műszaki követelmények

Alap protokollok. NetBT: NetBIOS over TCP/IP: Name, Datagram és Session szolgáltatás.

Source control systems. Horváth Ernő, Dr. Pozna Claudiu Radu

Integrált nyílt forráskódú megoldások alkalmazási lehetőségei a kormányzati felhőben

Elosztott rendszerek: Alapelvek és paradigmák Distributed Systems: Principles and Paradigms. 1. rész: Bevezetés

MATEMATIKA FELADATLAP a 8. évfolyamosok számára

Állásidő minimalizálása: BTRFS, kgraft

Elosztott rendszerek: Alapelvek és paradigmák Distributed Systems: Principles and Paradigms. 7. rész: Konzisztencia & replikáció

1. Végezd el a kijelölt mûveleteket a betûk helyére írt számokkal! Húzd alá azokat a mûveleteket,

Országos Területrendezési Terv térképi mel ékleteinek WMS szolgáltatással történő elérése, MapInfo program alkalmazásával Útmutató 2010.

FIGYELEM! Ez a kérdőív az adatszolgáltatás teljesítésére nem alkalmas, csak tájékoztatóul szolgál!

MAGYAR NYELVI FELADATLAP a 4. évfolyamosok számára

LINUX LDAP címtár. Mi a címtár?

Szerverhez közvetlenül csatlakozó kliens. Távoli Telnet kliens. Local Login - Helyi bejelentkezés. Remote Login - Távoli bejelentkezés SZERVER LAN

Szerverhez közvetlenül csatlakozó kliens. Távoli Telnet kliens. Local Login - Helyi bejelentkezés. Remote Login - Távoli bejelentkezés SZERVER LAN

The Power To Develop. i Develop

Országos Területrendezési Terv térképi mellékleteinek WMS szolgáltatással történő elérése, MapInfo program alkalmazásával

KLIENS-SZERVER ALAPÚ ERLANG PROGRAMOK TRANSZFORMÁCIÓJA ERLANG OTP SÉMÁRA

Virtualizációs Technológiák SAN/NAS/DAS RAID szintek Storage virtualizáció Kovács Ákos

Fábián Zoltán Hálózatok elmélet

Párhuzamos és Grid rendszerek

Párhuzamos és Grid rendszerek. Elosztott fájlrendszerek. AFS (Andrew File System) Nagyméretű klaszterekhez. Elosztott fájlrendszerek

ER alpha 1D5 Protocol Updater Telepítési útmutató

ÖSZVÉRSZERKEZETEK. Tartószerkezet-rekonstrukciós Szakmérnöki Képzés a BME Szilárdságtani és Tartószerkezeti Tanszéken. Dr.

Fájlműveletek, könytárszerkezet Fájlkezelés a Total Commanderrel

Cégismerteto. Ez így kicsit tömören hangzik, nézzük meg részletesebben, mivel is foglalkozunk!

Hálózati operációs rendszerek II. OES biztonsági rendszere

Kommunikáció. Folyamatok közötti kommunikáció. Minden elosztott rendszer alapja

Formális nyelvek. Aszalós László, Mihálydeák Tamás. Számítógéptudományi Tanszék. December 6, 2017

Sosem volt még ennyire egyszerű a számlázás!

GENERÁCIÓS ADATBÁZISOK A BIG DATA KÜLÖNBÖZŐ TERÜLETEIN

II. Mérés SZÉCHENYI ISTVÁN EGYETEM GYŐR TÁVKÖZLÉSI TANSZÉK

FIGYELEM! Ez a kérdőív az adatszolgáltatás teljesítésére nem alkalmas, csak tájékoztatóul szolgál!

FIGYELEM! Ez a kérdőív az adatszolgáltatás teljesítésére nem alkalmas, csak tájékoztatóul szolgál!

Virtualizációs Technológiák Operációs rendszer szintű virtualizáció Konténerek Forrás, BME-VIK Virtualizációs technológiák

7. Laboratóriumi gyakorlat: Vezérlési szerkezetek II.

Elosztott rendszerek: Alapelvek és paradigmák Distributed Systems: Principles and Paradigms. 6. rész: Szinkronizáció

Operációs rendszerek 1.

10: Peer-To-Peer Hálózatok I. HálózatokII, 2007

Szoftver Tervezési Dokumentáció. Nguyen Thai Binh





























Átírás:

Elosztott rendszerek: Alpelvek és prdigmák Distriuted Systems: Priniples nd Prdigms Mrten vn Steen 1 Kitlei Róert 2 1 VU Amsterdm, Dept. Computer Siene 2 ELTE Informtiki Kr 11. rész: Elosztott fájlrendszerek 2015. május 24.

Trtlomjegyzék Fejezet 01: Bevezetés 02: Arhitektúrák 03: Folymtok 04: Kommunikáió 05: Elnevezési rendszerek 06: Szinkronizáió 07: Konziszteni & replikáió 08: Hitűrés 10: Ojektumlpú elosztott rendszerek 11: Elosztott fájlrendszerek 12: Elosztott welpú rendszerek Mrten vn Steen, Kitlei Róert Elosztott rendszerek 2 / 15

Elosztott fájlrendszerek Cél: fájlrendszer átlátszó elérését iztosítni távoli kliensek számár. 1. File moved to lient Old file New file Requests from lient to ess remote file File stys on server Távoli hozzáférési modell 2. Aesses re done on lient 3. When lient is done, file is returned to Feltöltés/letöltés modell Mrten vn Steen, Kitlei Róert Elosztott rendszerek 3 / 15

Péld: NFS rhitektúr Az NFS (Network File System) elosztott fájlok távoli elérését teszi lehetővé. Az lklmzások helyi VFS (Virtul File System) réteget érik el, ez iztosítj távoli elérés átlátszóságát. System ll lyer System ll lyer Virtul file system (VFS) lyer Virtul file system (VFS) lyer Lol file system interfe NFS lient NFS server Lol file system interfe RPC lient stu RPC server stu Network Mrten vn Steen, Kitlei Róert Elosztott rendszerek 4 / 15

NFS fájlműveletek Művelet Verzió Leírás Crete v3 Hgyományos fájl létrehozás Crete v4 Nem-hgyományos fájl létrehozás (hgyományos: Open) Link v3 és v4 Vlódi stolás (hrd link) létrehozás fájlr Symlink v3 Szimolikus stolás (soft link, symlink) létrehozás fájlr Mkdir v3 Alkönyvtár létrehozás Mknod v3 Különleges fájl létrehozás Renme v3 és v4 Fájl átnevezése Remove v3 és v4 Fájl eltávolítás fájlrendszeről Rmdir v3 Üres könyvtár eltávolítás Open v4 Fájl megnyitás Close v4 Fájl ezárás Lookup v3 és v4 Fájl megkeresése név szerint Reddir v3 és v4 Könyvtár trtlmánk lekérése Redlink v3 és v4 Szimolikus stolás elérési útvonlánk olvsás Getttr v3 és v4 Fájl tuljdonságink lekérdezése Setttr v3 és v4 Egy vgy tö tuljdonság írás Red v3 és v4 Fájl trtlmánk olvsás Write v3 és v4 Fájl dtink írás Mrten vn Steen, Kitlei Róert Elosztott rendszerek 5 / 15

Fürt (luster) lpú fájlrendszerek Ngy fájlrendszerek esetén kliens-szerver lpú megközelítés nem elég jó fájlokt síkokr ontjuk (striping), így részeiket párhuzmosn érjük el. Ennek élj rendszer gyorsítás és iztonságosá tétele. File lok of file File lok of file e d e d e d e Whole-file distriution e d d d e e File-striped system Mrten vn Steen, Kitlei Róert Elosztott rendszerek 6 / 15

Péld: Google File System GFS lient file nme, hunk index ontt ddress Mster Instrutions Chunk-server stte Chunk ID, rnge Chunk dt Chunk server Linux file system Chunk server Linux file system Chunk server Linux file system A fájlt 64 MB méretű részekre (hunk) ontjuk, és tö szerveren elosztv, replikálv tároljuk. A központ (mster) sk zt tárolj, melyik szerver melyik részek felelőse I/O terhelése lsony A szerverek elsődleges másolton lpuló replikáiós protokollt hsználnk; központot ez nem terheli Mrten vn Steen, Kitlei Róert Elosztott rendszerek 7 / 15

RPC fájlrendszereken Egy lehetőség távoli fájlrendszerek megvlósításár, h távoli eljáráshívások segítségével végezzük fájlműveleteket. H távoli gép elérése költséges, lterntív megoldásokr vn szükség, pl. z NFSv4 támogtj tö művelet összekominálását egy hívás. LOOKUP LOOKUP OPEN READ Lookup nme Lookup nme Time READ Red file dt Time Open file Red file dt () () Mrten vn Steen, Kitlei Róert Elosztott rendszerek 8 / 15

Péld: RPC Cod fájlrendszeren H replikált fájlokkl dolgozunk (pl. Cod kliensei he-elhetik fájlokt), kkor kérések sorrendjének kikényszerítése (() ár) túlságosn költséges lehet, mert h összeomlik egy kliens, kkor sk hosszú timeout után jöhet következő. Invlidte Reply Invlidte Reply Invlidte Reply Invlidte Reply Time Time () () Mrten vn Steen, Kitlei Róert Elosztott rendszerek 9 / 15

A fájlmegosztás szemntikáj H egyszerre tö kliens is hozzáférhet egy fájlhoz, konkurens írási és olvsási műveletek lehetséges végrehjtási sorrendjeit és kijöhető eredményeket (összefogllv: rendszer szemntikáját) rögzíteni kell. Single mhine Originl file mhine #1 Proess A 2. Write "" File server 1. Red "" Proess A 3. Red gets "" mhine #2 Proess B Proess B 1. Write "" 2. Red gets "" () Mrten vn Steen, Kitlei Róert Elosztott rendszerek 10 / 15 ()

A fájlmegosztás szemntikáj Sokfjt szemntik jöhet szó. Megváltoztthttln fájlok: fájlok trtlmát nem lehet módosítni létrehozás után; ez modell sk ritkán hsználhtó UNIX szemntik: z olvsási műveletek mindig legutolsó írási művelet eredményét dják fájlól sk egy példányunk lehet z elosztott rendszeren (z előző () ár) Trnzkiós szemntik: rendszer minden fájlr külön iztosít trnzkiókt Munkmenet szemntik: onnntól, hogy kliens megnyitj fájlt, odáig, míg vissz nem írj, z írási és olvsási műveletei sk sját mg számár látsznk (gykori válsztás rendszereken; z előző () ár) Mrten vn Steen, Kitlei Róert Elosztott rendszerek 11 / 15

Péld: fájlmegosztás Cod rendszeren A Cod fájlrendszer munkmenetei trnzkiós szemntikát vlósítnk meg. A megnyitott fájl trtlm átmásolódik kliensre; h más módosítj fájlt, rról kliens értesítést kp. H kliens sk olvs (pl. z árán S A ), kkor folytthtj működését úgy tekintjük, hogy trnzkió, melyet végez, már korán lezárult. Session S A Open(RD) File f Invlidte Close Open(WR) File f Close Session S B Time Mrten vn Steen, Kitlei Róert Elosztott rendszerek 12 / 15

Konziszteni és replikáió A modern elosztott fájlrendszereken kliensoldli gyorsítótárzás szerepe főleg teljesítmény növelése, szerveroldli replikáió élj hitűrés iztosítás. A kliensek tárolhtják fájlokt (vgy részeket előlük), és szerver kiértesíti őket, h ezt jogot visszvonj tőlük szerverek áltlán állpotteljesek. 1. sks for file 2. delegtes file Old file Lol opy 3. rells delegtion 4. sends returns file Updted file Mrten vn Steen, Kitlei Róert Elosztott rendszerek 13 / 15

Péld: kliensoldli gyorsítótárzás Cod rendszeren A Session S A Session SA Open(RD) File f Invlidte (llk rek) Close Open(RD) File f Close File f OK (no file trnsfer) Open(WR) Open(WR) Close Close B Session S B Session S B Time A trnzkiós szemntik segítségével teljesítmény tová növelhető. Mrten vn Steen, Kitlei Róert Elosztott rendszerek 14 / 15

Rendelkezésre állás növelése P2P rendszereken Sok P2P lpú, deentrlizált fájlrendszer létezik. Ezeken prolém lehet, h túl gyorsn változik tgság (hurn), mert kiléphet kár egy fájlt trtlmzó összes sús. Ennek kivédéséhez replikálhtjuk fájljinkt (rányát jelölje r rep ). Másik megközelítés: ersure oding: z F fájlt ontsuk m részre, és minden szerverre tegyünk n részt, hol n > m. A replikáiós rány ekkor r e = n/m. Ez z rány áltlán sokkl kise, mint r rep, h rendszerünk változékony. r rep r e 2.2 2.0 1.8 1.6 1.4 0.2 0.4 0.6 0.8 1 Node vilility Mrten vn Steen, Kitlei Róert Elosztott rendszerek 15 / 15