P2P hálózatok. Párhuzamos és Elosztott Rendszerek II. Készítette: Dr. Mileff Péter Miskolci Egyetem Általános Informatikai Tanszék

Átírás

1 P2P hálózatok Párhuzamos és Elosztott Rendszerek II Készítette: Dr. Mileff Péter Miskolci Egyetem Általános Informatikai Tanszék 1. Bevezetés Napjainkban megkérdıjelezhetetlen az elosztott rendszerek jelentıssége. Az elosztott rendszereken, mint általános csoporton belül is a közismert többrétegő architektúrák mellett egyre inkább tért nyernek az egyenrangú résztvevık együttmőködésén alapuló, úgynevezett Peer-to-Peer (P2P) rendszerek. A peer-to-peer vagy P2P paradigma lényege, hogy az informatikai hálózat végpontjai közvetlenül egymással kommunikálnak, központi kitüntetett csomópont nélkül. A peer-topeer fogalom két hasonló, de célját tekintve mégis eltérı fogalomkört is takar: a számítógépek egyenrangú technológiai szintő kapcsolódási módját egy helyi hálózaton, valamint valamilyen célból közvetlenül kapcsolódó szoftver megoldások mőködési elvét. A közvetlen kapcsolat hibatőrıbb felépítést, skálázhatóságot jelent. Hátrányai: a nehezebb adminisztráció, az erıforrások pazarló használata, a nehezebb megvalósíthatóság. A P2P hálózatok az ügyfél-kiszolgáló kapcsolathoz képest jelentısen eltérı módon mőködnek: a szerepek nincsenek elıre meghatározva; többnyire követelmény is, hogy az összes résztvevı képes legyen valamilyen erıforrást a rendszer egésze számára elérhetıvé tenni viszonzásképp az általa igénybevett szolgáltatásokért. Az így megosztható erıforrások általában a következı három kategóriába sorolhatók: fájlok, számítási kapacitás, felhasználói jelenlét (legegyszerőbb esetben csevegés). 2. Peer-to-Peer rendszerek felépítése A P2P rendszerek az aktuális feladattól függetlenül egy úgynevezett overlay ( fölöttes ) network létrehozásával mőködnek. Erre azért van szükség, mert ezek a rendszerek alapvetıen szomszédossági alapon mőködnek: hogy ne legyen szükség kitőntetett szerepő résztvevıkre, ugyanakkor elegendı legyen, hogy minden node csak korlátos számú másikkal tartson kapcsolatot, az üzenetek továbbítása logikai pont-pont kapcsolatokon keresztül történik. Ez a mőködési mód igazából nem újdonság: az ıs-internet pontosan ugyanígy mőködött, minden csomópont útvonalválasztóként is funkcionált és az ügyfél-kiszolgáló szerepek sem különültek el. A mai Internet már erısen specializált, ez a három szerep tipikusan szeparáltan valósul meg. Emiatt, és azon tény miatt, hogy az Internet közösségének jelentıs hányada nem képezi részét egy adott P2P rendszernek, szükséges a saját logikai hálózat kialakítása saját üzenettovábbítási mechanizmusokkal. 1

2 A saját útvonalválasztó és üzenettovábbító alrendszer szükségessége természetesen munka, viszont egyben szabadságot is jelent: az adott applikáció számára protokollszinten biztosíthatunk támogatást (ez például a tartalom szerinti route-olás lehetıségét jelenti), illetve a megcélzott hardver eszközök és átviteli közeg ismeretében dönthetünk, hogy milyen routing algoritmust alkalmazunk (egy adott algoritmus számításigénye és az általa generált forgalom a gyakorlati tapasztalatok alapján fordítottan arányosnak tekinthetı). A P2P rendszerekben az útvonalválasztás ill. a protokoll nem választható el az alkalmazástól, hiszen egy file-sharing alkalmazás esetében elegendı, ha legalább egy példányt megtalálunk egy adott állományból, míg egy csevegés-jellegő (chat, whiteboard, vagy bármilyen applikáció-megosztás) együttmőködés esetében értelemszerően szükséges, hogy az összes résztvevıhöz eljussanak az események. Ezen okok miatt általános protokollszintő optimalizációról nem beszélhetünk. A P2P már az Internet születésénél is jelen volt. Gazdaságossági és technikai okokból a lapos hierarchia folyamatosan kezdett központosodni, míg az Internet széleskörő elterjedésének idejére már túlnyomórészt a szerver-kliens architektúra volt jellemzı. A peer-to-peer rendszerek reneszánszát a sávszélesség növekedésével és a tömörítési algoritmusok (és az ehhez szükséges processzorok) javulásával berobbanó fájlcserélı alkalmazások hozták el. 1. ábra. Peer-to-Peer alapú hálózat (bal) és szerver alapú hálózat (jobb) felépítése 2.1 A Napster és a szerzıi jogi problémák Elsı fájlcserélı klasszikusként a Napster jelent meg, és hihetetlen sebességgel tett szert több millió felhasználóra. Architektúráját tekinteve még hibrid, központi szerverfarm kapcsolja össze a felhasználóktól jött file-kéréseket a file felajánlásokkal, de maga az adatcsere a felhasználók között már a szervertıl függetlenül zajlik. A nagy népszerőség mellett sok per is indult a rendszer ellen a szerzıi jogok tulajdonosai, ez végül a Napster bezárását eredményezte. A fájlcserélık és ezzel a peer-to-peer szoftverek terjedésének ezzel azonban már nem lehetett gátat vetni. 2.2 A P2P hálózatok csoportosítása A peer-to-peer hálózatokat több szempont alapján lehet csoportosítani. Elsıként beszélhetünk arról, hogy a P2P hálózatok csoportosíthatók a felhasználási célok alapján: Fájlmegosztás. 2

3 Telefon. Videó és audio média sztrimelése (streaming). Fórumok. Egy másik csoportosítás lehet a P2P hálózat centralizáltságának foka is. Beszélhetünk tiszta én nem tiszta P2P hálózatokról egyaránt. A tiszta P2P hálózatok jellemzıi: A Peer-ek egyenlıként tevékenykednek a kliens és szerver szerepkörök egybeolvasztásával. Nincs központi szerver, amely menedzselné a hálózatot. Nincs központi router. Példa: fájlmegosztás. Létezik számtalan hibrid P2P rendszer is, amelyek a nem tiszta P2P hálózatokat képviselik. Legfontosabb jellemzıik: Létezik egy központi szerver, amely információkat tárol az egyes peer-ekrıl. Az egyes peer-ek felelısek a rendelkezésre álló erıforrások hostolásáért (amennyiben a központi szerver nem rendelkezik vele). A szerver ismeri a peer-ek által megosztásra szánt erıforrásokat. Valamint a peer-ek felelısek azért is, hogy mely erıforrásokat teszik osztottá a többi peer felé. 2. ábra. Decentralizált P2P architektúra 3. ábra. Egy félig centralizált P2P hálózat felépítése 3

4 Példák: Centralizált P2P hálózat: Napster. Decentralizált P2P hálózat: KaZaA Strukturált P2P hálózat: CAN Nem strukturált P2P hálózat: Gnutella Indypeer a p2p hálózatokat az alábbi generációkba sorolja: Elsı generációs hálózatok: közös jellemzıjük, hogy a kereséshez központi szervert használnak. Ez azt jelenti, hogy a kliensnek csatlakoznia kell egy megadott szerverhez (a szerverek egyikéhez). Az ilyen p2p hálózatok elınye, hogy a szerver egy globális listát tarthat fent egy adott idıben rendelkezésre álló fájlokról. Jogi okokból megszőnt hálózatok a Napster és az Audiogalaxy, ma is mőködı hálózatok a Direct Connect, a Bittorrent (bt) és a Soulseek. (A Napster eredeti formája szőnt meg, ma azonos néven egy fizetıs szolgáltatás érhetı el.) Bár Indypeer a Bittorrentet a harmadik generációsok közé sorolja, a letöltést vezérlı tracker szerverfunkciója miatt mi az elsı generációsak között említjük. A Bittorrent fı hátrányai, hogy nem lehet keresni. Második generációs hálózatok (hibrid p2p): a második generációs hálózatok a legismertebb típusba tartoznak, annak ellenére, hogy a harmadik generációs hálózatok gyorsan fejlıdnek. Közös jellemzıjük, hogy a hálózati infrastuktúrát (pl. keresés) a szerverfunkciót is ellátó szupercsomópontok tartják fent. Mivel ezek száma magas, és a hálózat globális, nem lehet jogi vagy technikai eszközökkel ellehetetleníteni ıket. Hátrányuk, hogy a keresés nem mindig kimerítı. Ilyen például a régi edonkey (ed2k) és a Fasttrack. Harmadik generációs hálózatok (tiszta p2p): mőködésük teljesen elosztott, minden csomópont egyenrangú, tehát a kliens és szerver szerepek keverednek. A hálózati sávszélesség és a CPU-sebesség általános növekedésével vált lehetıvé ilyen hálózatok kialakítása. Ezzel vált lehetıvé, hogy a kliensek fokozatosan szerver szerepeket (Pl. a rendelkezésre álló fájlok listájának fenntartása, és terjesztése) is átvegyenek. Ilyen például a Freenet, az Overnet, a WinMX, a Shareaza, és az XOR Kademlia (kadmule). Régi példa a Gnutella, ennek 7 mélységben elárasztó keresési algoritmusa nagy sávszélességet igényel. 3. Fájl megosztás megvalósított Peer-to-Peer rendszerekben Napjaink legelterjedtebb P2P rendszerei azon rendszerek, amelyek célja alapvetıen a fájl megosztás. Több fejlıdési irány, megoldás alakult ki a felhasználók közötti dokumentumok megosztására. 3.1 Centralizált, hibrid Egy hibrid P2P rendszer valójában nem teljesen felel meg a P2P rendszer definíciójának. Bár minden csomópont egyenrangú, a felhasználók dokumentumainak attribútumai (fájlnév, milyen IP-vel rendelkezı gépen található, minıség, szerzı, cím, stb.) egy központi szerveren vagy szerver csoporton vannak tárolva. Az egyik elsı P2P rendszer, a Napster is ilyen architektúrájú, az ilyen rendszerek a P2P rendszerek legelsı generációjához tartozik. 4

5 Ezen architektúra elınyének mondható, hogy a szerver kiszolgáló-képességének határáig gyors, a keresés az összes dokumentumban történik, viszonylag kis hálózati forgalmat igényel. E sok elınybıl azt gondolhatnánk, hogy mindenki ezt az architektúrát választja. De egy ilyen, félig centralizált rendszer hátránya, hogy a dokumentumok adatait tároló szerver miatt rendelkezik a centralizált rendszerek minden hátrányával, vagyis az egész rendszer mőködése megszőnik a szerver hibája, vagy megszőntetése miatt (mint például a Napster esetében, jogi okok miatt). 3.2 Teljesen elosztott, homogén A P2P rendszerek következı generációja a teljesen elosztott, homogén, igazi peer-to-peer rendszer. Leggyakoribb példája a Gnutella hálózat. Az ilyen rendszerben valóban minden résztvevı (csomópont) egyforma: a csomópontok teljesen azonos szerepőek, ugyanazt a feladatot látják el. Egy ilyen rendszerben a dokumentumok adatai nem egy központi szerveren találhatók, hanem ténylegesen egy adott résztvevı tudja csak, hogy milyen attribútumokkal rendelkeznek az általa tárolt dokumentumok. A keresés tehát megnehezedik: egy adott fájl keresése a hálózatban már nem csupán egy központi szerverhez való adatküldésre korlátozódik. Az egyik csomópont megkap egy kérést (keresést), megvizsgálja, hogy nála megtalálható-e az adott dokumentum, majd ha nem, tovább küldi az általa ismert résztvevıknek, akik szintén ezeket a mőveleteket hajtják végre a kérésen. Az elınyök és hátrányok már láthatók: ebben a rendszerben egy résztvevı hibából, vagy más okokból történı leállása, leállítása nem okoz problémát. Azonban a keresés lassabb lesz, és ami a legfontosabb, nagy hálózati forgalmat generál egy keresés. Ha egy adott kérés bizonyos mélységő továbbküldözgetésével szeretnénk elérni egy adott dokumentum megtalálásának valószínőségét, akkor figyelembe kell vennünk, hogy az általunk használt résztvevı megengedheti-e magának azt a hálózati forgalmat, ami ehhez szükséges. Sok rendszer született, ami ezt az architektúrát választja, és még több, ami alapvetıen nem ezen az architektúrán alapul, de támogatja az ilyen protokollt. A legtipikusabb példák: LimeWire, Shareaza, Morpheus. 3.3 Félig elosztott, hierarchikus Manapság a gyakorlatban (fájlmegosztásra) használt rendszerek jelentıs része hierarchikus szerkezető. Ilyen rendszereknél bár nem minden csomópont azonos, de azonos viselkedési típusok, szerepek közül választhatnak. Egy nagyobb hálózati forgalmat, vagy nagyobb számítási kapacitást kiszolgálni képes csomópont kiválaszthatja a neki megfelelı szerepet, amivel a többlet erıforrásai kihasználhatóvá válnak, míg a kisebb teljesítményő résztvevık sem kényszerülnek olyan feladatok ellátására, amire nem képesek. Az ilyen rendszerek jelentıs része mindössze kétszintő: a kisebb képességő résztvevık közvetlenül nem vesznek részt a keresésben, hanem dokumentumaik információit odaadják egy nagyobb képességő résztvevınek, akivel közvetlen kapcsolatban állnak. Egy adott attribútumokkal rendelkezı dokumentum iránti kérést szintén ehhez a nagyobb képességő 5

6 csomóponthoz intézi. A nagyobb képességő résztvevı (super-node) a többi társához továbbítja a kérést, akik mind információval rendelkeznek a hozzájuk kapcsolódó kisebb képességő résztvevık dokumentumairól is. Ez az architektúra tehát az elızı két típusú rendszerek elınyeit próbálja ötvözni. Talán ennek köszönhetı, hogy a legtöbb mai rendszer kétszintő: a talán legtöbbek által ismert Kazaa, és Grokster társa, illetve korábban a Morpheus rendszer is (mindannyian a FastTrack nevő rendszert használják), valamint a szintén közkedvelt WinMX is, de a Gnutella 0.6 vagy 2 protokollt használó számos rendszer (Shareaza, LimeWire) is ebbe a kategóriába tartozik. 3.4 Elosztott indexelés A legelsı, centralizált változat azért volt gyorsabb (és kisebb erıforrás-igényő) a második, decentralizált változatnál, mert nem kellett az összes résztvevıt végigkérdezni, rendelkezik-e az adott dokumentummal, hanem egy központi szerver tudott erre a kérdésre válaszolni. A központi szerver ilyen szerepét azonban rábízhatjuk a többi résztvevıre is. Egy megfelelıen szervezett struktúra majdnem hasonlóan gyors lehet, míg hibákra és egyéb tényezıkre érzéketlen marad az elosztott tárolás következményeként. Az indexek legtöbbször bináris formába alakítás után egy fa, vagy egy győrő struktúrában tárolhatók, ahol az index utáni keresés logaritmikus mértékő a résztvevık számához képest, ami hatékonynak mondható. Az ilyen rendszerek azonban többnyire egyszerre csak egy kritérium (például fájlév) indexelését támogatják, ami nem elég flexibilis. Ezen a problémán például az elızı architektúrákkal való kombinálással lehet segíteni (például Gridella). Szintén ezen a problémán próbálnak megoldást javasolni olyan struktúrák, ahol több, hierarchikus felépítéső index-szerkezet létezik (például Content-based aggregation network ). Szintén jellemzı ezen kívül a keresések gyorsítása olyan módon, hogy a P2P struktúra figyelembe veszi az egyes résztvevık földrajzi elhelyezkedését, vagy a hálózati késleltetést (például Grapes). Ezeknek a rendszereknek tehát rendkívüli elınyük a teljes elosztott mőködés melletti gyors, kis hálózati forgalmat generáló keresés a dokumentumok között, míg hátrányul sorolhatjuk fel a csökkent mértékő flexibilitáson kívül a meglehetısen bonyolult felépítést is. Egy index fa, vagy győrő, esetleg egyéb, elhelyezkedésen alapuló struktúra felépítése és karbantartása legtöbbször nem egyszerő algoritmusokat igényel. Külön probléma lehet a résztvevık folyamatos változása (kilépés, belépés) miatt a rendszer nem stabil állapotban lévı teljesítményére vonatkozó állítások megfogalmazása is. Az ilyen rendszerek sok elınye, ám sok problémája miatt többféle megoldás is született, ami elosztott indexelést alkalmaz. Példaként sorolható fel: Gridella (P-Grid fa), Chord, CAN, Pastry, Tapestry, Freenet, Grapes, stb. 3.5 Homogén Peer-to-Peer architektúra felépítése Vizsgálataink alanyául az egyik legelterjedtebb kevéssé számításigényes protokollt, a Gnutella-t választottuk. File-sharing protokollról van szó, de ez a gyakorlatban csak kérések és válaszok továbbítását jelenti, a tényleges átvitel az overlay network-ön kívül történik A Gnutella protokoll 6

7 A Gnutella a kevéssé számításigényes protokollok közé tartozik, a P2P hálózaton belül broadcast-ot valósít meg. Az egyes kérések által generált forgalmat az úgynevezett TTL (time to live, hátralevı élettartam) paraméterrel korlátozza, ami általában 7-rıl indul, és minden továbbításkor csökken eggyel (mikor eléri a 0-t, a csomag nem kerül továbbításra). Az egyszer már feldolgozott csomagok újraprocesszálásának (és ami még lényegesebb: újratovábbításának) elkerülése érdekében általános módszer az utoljára látott n csomag azonosítójának megırzése. A Gnutella ezt az információt a forrás összeköttetéssel együtt tárolja, és a válaszok back-route-olására is felhasználja. A Gnutella kérések ugyanis nem tartalmaznak IP címeket, csak a válaszokat. Ez egyfajta bár megkérdıjelezhetı hasznosságú névtelenséget biztosít a résztvevık számára. A mai Internet közönsége érthetı okokból bizalmatlan. Ennek az egyik leggyakoribb megnyilvánulása a tőzfalak használata, amelyek igen erıteljesen elhatárolják a kiszolgálókat és az ügyfeleket. Ez egy olyan alapvetı probléma, amellyel valamilyen módon minden P2P rendszernek számolnia kell: kapcsolatlétrehozás szempontjából a tőzfalak egyirányúak. Az overlay network szempontjából tehát szükséges olyan node-ok jelenléte, amelyek képesek kapcsolatokat fogadni, nincsenek tőzfal mögött. A nagyobb problémát a fájlátvitel támogatása jelenti; ezt a Gnutella akkor bírja megoldani, ha a két node közül legfeljebb az egyiket védi firewall. Ugyanis ha a szerver szerepet betöltı csomópont van tőzfal mögött lehetıség van az overlay network-ön belül egy úgynevezett Push Request továbbítására, melynek hatására a fájlátvitelt a szerver fogja megindítani, így a tőzfal rendszeradminisztrátorok által tipikusan nem támogatott átkonfigurálására sincs szükség, és mégis létrejöhet az áttöltés. Topológiák A Gnutella specifikáció a legteljesebb mértékben nyitva hagyja a hálózatépítés és egyáltalán, a logikai hálózatban megvalósítandó célszerő topológia kérdését, vizsgálatainkat elsısorban ebben a témakörben végeztük. Négy alap topológiát hasonlítunk össze az általunk definiált kritériumok alapján. Random Mesh: teljesen véletlenszerő gráf, tehát megengedjük izolált node-ok jelenlétét is Connected Mesh: található a gráfban olyan részfa, amely minden csomópontot tartalmaz Semi-Random Mesh: véletlenszerő gráf, de minden csomópont rendelkezik legalább egy kapcsolattal Connected Stars: szoftver szempontból továbbra is él a homogenitás, de az erıteljesebb hardverrel rendelkezı résztvevık felismerése segítségével létrehozható egy alhálózat, amelyen a többi csomópont csupán 1-1 kapcsolaton át, levélként függ 4. További alkalmazási területei A peer-to-peer hálózatok másik jelentıs alkalmazási területe a telefonprogramok, például a Skype. Ezek a peer-to-peer hálózatok által olcsón biztosított infrastruktúrát használják ki, hogy olcsón szolgáltassanak telefonos kapcsolatot. A peer-to-peer hálózat miatt jelentısebb 7

8 befektett tıke nélkül tudnak olyan szolgáltatást nyújtani, amelyek a korábban óriási pénzekbıl létrehozott infrastruktúra megtérülése miatt maradtak drágák. A Skype készítıi a telefonprogram fejlesztése során felismerték a peer-to-peer hálózatokban rejlı lehetıségeket, és 2006 decemberében kísérleti jelleggel beindították Joost néven az egyik internetes televíziós szolgáltatást. P2P TV A P2P TV elnevezés a peer-to-peer szoftver alkalmazásra utal, amely lehetıvé teszi a videós tartalmak újraelosztását valós idıben a P2P hálózaton. Ezek a videós tartalmak legtöbbször TV csatornák a világ minden tájáról, de egyéb forrásokból is eredhetnek. Különösen annak köszöneti népszerőségét, hogy a P2P TV modell a segítségével további költségmegtakarításokat lehet véghezvinni a TV szolgáltató részérıl. Ez lehetıvé teszi, hogy a világ bármely csatornája globális szinten elérhetı legyen. A P2P TV alapelvét a broadcatching technológia határozza meg. Ennek a technológiának a segítségével a digitális tartalmak letöltése az interneten keresztül az RSS-en keresztül véghezvihetı. Az általános alapelv, a technikai megoldás mögött egy automatizált mechanizmus, ahogy a különbözı web feed-ek összegyőjtésre kerülnek, majd letölthetı tartalommá válnak a felhasználó részére. Minden felhasználó, amikor letölt egy videót, egyidejőleg fel is tölti azt más felhasználók számára, így hozzájárulván a teljes sávszélességhez. A videó letöltésének állapota általában mindig néhány perccel késleltetett a forrásvideóhoz képest. A csatornák videóminısége attól függ, hogy hány ember nézi éppen. Minél több felhasználó nézi egyidejőleg, annál jobb minıségben lehet a videót lejátszani. Forrásmunkák: 1. P2P: Andy Oram (edited by): Peer-to-Peer Harnessing the Power of Disruptive Technologies. O Reilly, P2PTV: