Biztonsági célú átfedő hálózat

Átírás

1 Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar Biztonsági célú átfedő hálózat Doktori értekezés Szerző: Témavezető: Czirkos Zoltán okleveles villamosmérnök Dr. Hosszú Gábor egyetemi docens műszaki tudomány kandidátusa Elektronikus Eszközök Tanszéke Budapest, 2.

2 Nyilatkozat önálló munkáról, hivatkozások átvételéről Alulírott Czirkos Zoltán kijelentem, hogy ezt a doktori értekezést magam készítettem és abban csak a megadott forrásokat használtam fel. Minden olyan részt, amelyet szó szerint, vagy azonos tartalomban, de átfogalmazva más forrásból átvettem, egyértelműen, a forrás megadásával megjelöltem. Budapest, 2. október 2.

3 Nyilatkozat nyilvánosságra hozatalról Alulírott Czirkos Zoltán hozzájárulok a doktori értekezésem Interneten történő nyilvánosságra hozatalához az alábbi formában: korlátozás nélkül elérhetőség csak magyarországi címről elérhetőség a fokozat odaítélését követően 2 év múlva, korlátozás nélkül elérhetőség a fokozat odaítélését követően 2 év múlva, csak magyarországi címről Budapest, 2. október 2.

4 Tartalomjegyzék. Bevezetés 3 2. Irodalmi összefoglaló A P2P hálózatok A P2P hálózatok felépítése Elosztott hash táblázatok A Kademlia átfedő felépítése A Kademlia átfedő üzenetei A Kademlia átfedő megbízhatatlansága Replikáció a Kademlia átfedőben Üzenetszórás P2P átfedőkben P2P átfedők szimulációja Betörésérzékelő rendszerek A betörésérzékelés célja A betörések jellemzői A betörésérzékelés lehetőségei A betörésérzékelés helye Az érzékelt események közötti kapcsolat felismerése A betörésérzékelők közötti kommunikáció Betörésérzékelés strukturált P2P átfedőn Az elosztott érzékelés jellegzetes problémái A Komondor elosztott betörésérzékelő eljárás Strukturált átfedő használata az események eltárolásához A Kademlia átfedő használata a Komondor eljárásban Az eljárás hatékonyságának igazolása A Komondor eljárás alkalmazási lehetőségei Kulcsok választása a Komondor eljárásban A Komondor rendszer mérési összeállítása A Komondor rendszerrel érzékelt támadások A Kademlia átfedő megbízhatóságának növelése A megbízhatóság növelése a replikáció alkalmazásával Modellezési eljárások a Kademlia átfedőben Az adattárolás szimulációja

5 TARTALOMJEGYZÉK A hálózati hibák eloszlása A replikáció szükséges szintjének meghatározása Az adattárolás helyességének modellezése A modell és a szimuláció összevetése A modell alkalmazási lehetőségei A szükséges replikáció jellemző értékei Az egyedek hibái és a kapcsolati mátrix összefüggése A populációváltozás okozta hibák hatásának kiküszöbölése a replikáció növelésével A modell használata az Azureus és a Mainline BitTorrent hálózatok megbízhatóságának javítására A szimulációs eljárás használata az elosztott betörésérzékelés megbízhatóságának javítására Üzenetszórás a Kademliában A Kademlia átfedő transzformációja Üzenetszórás megvalósítása a Kademlia átfedőben Üzenetszórás elárasztással Üzenetszórás a topológia felhasználásával Üzenetszórás a topológia felhasználásával és replikációval Az üzenetszórások szimulációban mért eredményei Az üzenetek száma egyedenként Az üzenetszórás helyessége Az üzenetszóráshoz szükséges idő Összefoglalás 84

6 . fejezet Bevezetés A számítástechnika kezdeti időszakában, de még a kilencvenes évek elején is, a hálózatba kötött számítógépek forgalma általában épületen belül maradt. Legtöbbször fel sem merült, hogy valaha gazdagépeket, vagy egy egész hálózatot az Internetre kötnek, amely egykor csak katonai, de egészen a közelmúltig is csak akadémiai célokat szolgált. Az Internet növekedésével és elterjedésével azonban a számítógépes biztonsági kérdések egyre inkább előtérbe kerültek. A megjelenő hálózati vírusok, férgek és szakképzett támadók ellen különböző védekező eljárásokat, például tűzfalakat fejlesztettek ki. A nagy földrajzi területeket érintő, akár világméretű számítógépes járványok észlelésének, előrejelzésének igénye elosztott érzékelőrendszerek létrehozását eredményezte. Ezen érzékelő rendszerek képességei és szolgáltatásai eltérőek. Egyes rendszerek a forgalom dinamikáját vizsgálva próbálják meg a világméretű járványok megindulását időben jelezni. Mások intézményi hálózatokat hivatottak védeni a külvilágból érkező, hálózati méretű támadások ellen. Az értekezésemben bemutatott eredmények a Komondor nevű elosztott, hálózati betörésérzékelő és -védelmi rendszerrel kapcsolatos kutatásaim köré csoportosulnak. Ez a rendszer éppen a fő veszélyt jelentő hálózatot próbálja meg arra használni, hogy a gazdagépek védekezőképességét növelje. A működés során a védendő gazdagépek az Interneten létrehoznak egy alkalmazási szintű hálózatot. Az ebbe kapcsolt egyedek az észlelt betörési kísérletekről naplókat vezetnek, amelyekből elosztott adatbázist építenek. Az így szerzett tapasztalatokat megosztják egymás között. Ezzel növelik az összes résztvevő biztonságát, amelyek ezután egyedileg megtehetik a szükséges védelmi lépéseket, például a támadó IP címről érkező forgalmat letilthatják a tűzfalaikon keresztül. Az elosztott érzékelő rendszerrel kapcsolatos céljaim a következők voltak. A betörések érzékelésének általános problémája, hogy a nagy mennyiségű feldolgozandó adat nagy terhelést jelent az érzékelő rendszernek is. A feldolgozott adatok nagy része az érzékelés szempontjából nem tartalmaz hasznos információt. Ezen felül, egyes hálózati szintű támadások csak több ponton érzékelt események adatai alapján ismerhetők fel. Az érzékelők által generált adatok összegyűjtése, összevetése tovább növeli a szükséges számítási és hálózati kapacitást. Kutatásaim célja volt létrehozni egy olyan rendszert, amely az érzékelők által gyűjtött adatot hatékonyan és biztonságosan tudja feldolgozni. Értekezésemben megmutatom, hogy a feldolgozás egy Kademlia alapú, alkalmazási szintű hálózaton hatékonyan elvégezhető. A Kademlia hálózatra, főként az abban tárolt adatok visszanyerhetőségére azonban jelentős hatással vannak a hálózati szintű hibák. Ilyenek például 3

7 . FEJEZET. BEVEZETÉS 4 a tűzfalak hatása és a hálózati csomagvesztés. Mégis, a Kademlia megbízhatósága növelhető az adatok több helyen történő tárolása, vagyis a replikáció segítségével. A replikáció viszont nem választható tetszőlegesen nagyra, különösen ilyen mennyiségű eltárolandó adat esetén nem, amelyet az elosztott érzékelő rendszer érzékelői hoznak létre. Kutatásai céljaim között szerepelt a Kademlia átfedő megbízhatóságának hatékony, lehetőleg minél alacsonyabb többlet hálózati forgalmat keltő növelése. A felismert támadás ténye és a védekezés lehetséges módja minden védendő gazdagép számára hasznos információk. A Komondor rendszerben a felismert támadásról minden résztvevőt értesítenek. Ennek eléréséhez kidolgoztam egy algoritmust, amellyel az üzenetszórás az alkalmazási szintű hálózaton elvégezhető. A Kademlia hálózat strukturált felépítése lehetővé teszi, hogy ezt gyorsan és megbízhatóan lehessen elvégezni. A kidolgozott módszerrel elértem azt, hogy az esetleges hálózati hibák esetén az üzenetszórásnál is biztosítani lehessen egy előírt megbízhatóságot. A kutatás Kademlia hálózattal kapcsolatos célkitűzései elsősorban a Komondor céljait szolgálták, azonban a kidolgozott eljárások a Kademlia eljárást használó alkalmazásokban általánosan is alkalmazhatóak. Az általam kifejlesztett, a Kademlián történő üzenetszórás kiterjeszti annak adatlekérdezésekkel kapcsolatos lehetőségeit, segítségével tetszőleges keresések megvalósíthatóak a hálózaton. A tűzfalak és a csomagvesztés okozta megbízhatatlanság megszüntetése is minden Kademlia hálózatra épülő alkalmazásban használhatóak.

8 2. fejezet Irodalmi összefoglaló A hétköznapok részévé vált Interneten egyre nő a számítógépes bűnözés. Automatikusan működő és terjedő férgek, szakképzett támadók és betörők nehezítik meg, teszik hatékonytalanná a hálózat működését. Az adatok védelme érdekében, valamint a támadások nagy száma miatt önműködő betörésérzékelő és -védelmi rendszerek használatára van szükség. Az Interneten az utóbbi másfél évtizedben elterjedté váltak a peer-to-peer (P2P) átfedő hálózatokat használó alkalmazások. Közülük legismertebbek a fájlcserélő programok, de a P2P átfedők más célokra is alkalmasak, többek között elosztott adatbázisok megvalósítására. A következőkben bemutatásra kerülnek a fenti két témakörrel kapcsolatos legfontosabb eredmények. 2.. A P2P hálózatok Az utóbbi időben az Internet forgalmának egyre növekvő részét az egyenrangú egyedekből felépülő, P2P alapon működő fájlcserélők adják []. Ezek abban térnek el a kliens-szerver architektúrától, hogy míg a központosított esetben egy központi kiszolgáló (server) végzi az adattárolást és válaszol a kliensek keresési és adatlekérési kéréseire, a P2P hálózatoknál az adattárolási és keresési funkcióért minden résztvevő felelős. Ideális esetben nincsen központi szerepet betöltő tagjuk. A P2P hálózatokbban minden egyed egyszerre kliens és szerver. Mindegyik megoszt adatokat, erőforrásokat, illetve használja is a többiek által nyújtottakat. Ezért nevezik ezeket egyenrangú egyedeknek (peer). A P2P alkalmazási szintű hálózatok átfedő hálózatok (application level network, ALN, overlay network), mivel a résztvevők a hálózati szintű topológia felett létrehoznak egy logikai topológiát [2], amely az előbbinél az adott alkalmazásban előnyösebb számukra. A központosítatlan átfedő hálózatok több szempontból is előnyösek, amelyek közül legfontosabb a megnövelt megbízhatóság. Ideális esetben ezek nem rendelkeznek olyan egyetlen hibaponttal (single point of failure, SPOF), mint a központosított megfelelőik. A P2P hálózatok fájlcserélésen kívül egyéb célokra is alkalmasak, különösen elosztott adatbázisok létrehozására, továbbá nagy mennyiségű adat megbízható tárolására, biztonsági mentések létrehozására, internetes televízióadások közvetítésére, telefonhálózatok kialakítására [3] stb. A P2P kommunikációs modellt számítógépes férgek és vírusok hatékonyságának növelésére is felhasználják. Ezekben a fertőzött számítógépekből P2P alkalmazási szintű hálózatot építenek, 5

9 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 6 amelyet arra használnak, hogy a hálózat irányítójának utasításait hajtsák végre, aki általában egy természetes személy [4] A P2P hálózatok felépítése Az egyenrangú felépítés két fontos, egymással szorosan összefüggő kérdést vet fel. Első az átfedő topológiája, vagyis az, hogy az egyedek hogyan kapcsolódjanak egymáshoz. Második az erőforrások megkereshetőségének problémája (resource discovery), vagyis az, ahogyan megtalál egy egyed a hálózatban egy másik által megosztott erőforrást vagy adatot. Ezek alapján soroljuk a P2P hálózatokat két nagy csoporthoz, a strukturált és a nem strukturált átfedőkhöz. A nem strukturált átfedők esetén az egyedek közötti kapcsolatokban nincs előre meghatározott rendszer. Az átfedőbe belépő új egyedek találomra bármely meglévőkhöz csatlakozhatnak. Ilyen például a Gnutella [5]. Egy adott fájl vagy erőforrás megtalálása a nem strukturált átfedőkön nehéz feladat; az ilyen céllal indított keresési kéréseket általában az egyedek korlátozott elárasztással továbbítják egymásnak. Ez a megoldás nem optimális, hiszen nem skálázható és nem megbízható [6]. A nem strukturált átfedőkkel foglalkozó kutatások célja az ilyen átfedőkön működő keresési és replikációs algoritmusok kidolgozása. A strukturált átfedőknél ezzel szemben az átfedő hálózat topológiája topológiája meghatározott; az abban alkalmazott útválasztási eljárástól függ. A fizikai hálózatokhoz hasonlóan ezekben minden egyed rendelkezik egy hálózati címmel (NodeID), amely meghatározza a helyét és a szomszédait az átfedőben. A létrejött virtuális topológiában előre rögzített útválasztási algoritmus szerint továbbítják az egyedek az üzeneteket. Mivel az egyes NodeID-k alapján egy egyed pontos helye kötött az átfedőben, az útválasztás a hálózat egészének ismerete nélkül is működőképes. Az átfedő egyedei olyan topológiát alakítanak ki, amelyben az átfedő hálózatnak az egyedek közötti ugrások számában értett átmérője nagyságrendben korlátozott, vagyis az egyedek n számával az egyenes aránynál kisebb mértékben nő. Két tetszőleges egyed közötti üzenetküldés legfeljebb O (logn), vagy esetleg O ( n ) lépésben végrehajtható. A strukturált átfedők egymástól a topológiájukban, és a topológiából következő útválasztási algoritmusaikban térnek el. A nem strukturált átfedőkhöz képest megvalósításuk bonyolultabb; az egyes egyedek feladatai is összetettebbek, főleg az átfedő karbantartási műveletei terén Elosztott hash táblázatok A strukturált átfedők általában elosztott hasító táblákat (distributed hash tables, DHT) valósítanak meg. A hasító táblák kulcs-érték párokat, adattételeket tárolnak. Minden eltárolandó adatcsomaghoz, értékhez egy azonosítót, kulcsot rendelnek, amellyel arra hivatkozni lehet. Fájlcserélő alkalmazásokban az érték a fájl tartalma, a kulcs pedig a fájl neve. Az elosztott hasító táblázatban történő tárolást úgy oldják meg, hogy a kulcsot egy hasító függvény (hash function), például az SHA- [7] segítségével leképezik egy általában 28 vagy 6 bites értékkészletre. Az átfedőben az alkalmazási szintű címeket (NodeID) is ekkora tartományból választják. Minden egyed azokat a kulcs-érték párokat tárolja, amelyek kulcsának hasított (hash-elt) értéke legközelebb esik a saját azonosítójához. Így minden adatról tudni lehet, hogy Az angol hash table kifejezést elterjedten fordítják hasító táblának és tördelő táblának is.

10 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 7 2 n- 2.. ábra. A Chord átfedő hol kell keresni az átfedőben. Egy fájl kereséséhez szükséges műveletek megegyeznek egy egyszerű üzenetküldéshez szükséges lépésekkel, ugyanis mind a kettő ugyanazt a címteret használja. A hasító függvény kimenete a címteret egyenletes eloszlással használja. Ez lehetővé teszi azt, hogy az eltárolt adatokat az átfedőben egyenletesen osszák el az egyedek között [8]. Így az egyedek terhelése egyenletessé válik, amennyiben azok is egyenletesen használják ki a címteret. Természetesen a gyakorlatban a tárolt adatok eloszlása csak határértékben egyenletes [9]. A címteret a címek nagy száma miatt matematikai modellekben gyakran folytonos változóval közelítik []. Ilyenkor a hasító függvény kimenete is folytonos, egyenletes valószínűségi változónak vehető. A kikereséseknél (lookup), vagyis az adattételek lekérdezésénél gyakoribb az egyenetlen terhelés. Lehetséges, hogy egy adott kulcsot sokkal gyakrabban keresnek a hálózat résztvevői, mint a többit, és ezzel a kulcsot tároló egyednél, illetve annak szomszédságában megnövekszik az átfedő hálózati forgalma. Ezek az ún. forró pontok (hot spot). Ezek elkerülésére a hálózat topológiájának függvényében eltérő megoldásokat alkalmaznak []. Strukturált P2P átfedők topológiája A strukturált átfedők működését meghatározza a topológiájuk, és az azzal összefüggő útválasztási algoritmusuk. A tervezésük legfontosabb szempontja a skálázhatóság biztosítása; ennek mérőszáma pedig a hálózat átmérője az egyedszám függvényében (lásd a 2.. táblázatot). Minél kisebb az átmérő, annál kevesebb protokollüzenettel lehetséges adatot továbbítani egyik egyedtől a másikig. A Chord átfedő egyedei a 2.. ábrán látható módon egy kör alakú topológiát alakítanak ki [2]. A hálózati címek a kör mentén helyezkednek el; az utolsó, 2 n című egyed után megint a című következik. Minden egyed azokat az adattételeket tárolja, amelyek az ő, és a rákövetkező egyed címe között helyezkednek el. Az egyedek kapcsolatban vannak a szomszédjaikkal, vagyis a közvetlenül előttük és utánuk lévő egyedekkel. Ezen felül, mindegyikük kapcsolatban van a körben vele szemben, vagyis egy fél körrel arrébb lévő, és egyed negyed,

11 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ ábra. A CAN átfedő Átfedő Topológia Távolság Útválasztás Átmérő Chord kör kivonás rekurzív O(log 2 n) CAN d-tórusz ortogonális rekurzív O(d n /d ) Kademlia bináris fa XOR iteratív O(log 2 n) 2.. táblázat. DHT hálózatok összehasonlító táblázata nyolcad körrel arrébb lévő egyeddel is, és így tovább. Ezen egyedek adatait tartalmazó ún. mutató táblák biztosítják a skálázhatóságot. Az üzenetküldés során az egyedek az üzenetet egymásnak továbbítják; az üzenet távolsága a céltól a mutató táblák segítségével minden lépésben megfelezhető. Az üzenet így az átfedőn belül legfeljebb O(log 2 n) továbbítás után célba ér. A CAN (Content Addressable Network) átfedő egyedei egy n-dimenziós tórusz alakú topológiát hoznak létre [3]. A kulcsok címterét erre a tóruszra képezik le; az üzeneteket pedig úgy továbbítják egymásnak, hogy az a tórusz felületén a legrövidebb úton jusson célba. A dimenziók számának növelésével az átfedő átmérője csökken. Így az üzenetküldés gyorsul, viszont a karbantartási műveletek egyre több erőforrást igényelnek. A 2.2. ábra egy kétdimenziós CAN átfedőt mutat síkba kiterítve. A távolság két pont között Pitagorasz tételével számítható ki. A nyilak egy üzenetküldésre mutatnak példát. A hálózat átmérője, vagyis egy üzenet célba juttatásához szükséges lépések száma O(d d n), ahol n az egyedek, d pedig a dimenziók száma. Komplex keresések strukturált P2P átfedőkben A strukturált átfedők hátránya, hogy a gyors kikeresést csak a kulcsok pontos ismeretében képesek elvégezni. Ha egy adattétel pontos kulcsa ismeretlen, akkor lehetetlen meghatározni az ahhoz tartozó hasított értéket, és így az egyedet, amelyik azt az adatot tárolja. Részben

12 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ ábra. A Kademlia átfedő vagy pontatlanul ismert kulcs, és más keresési szempontok esetén a kikeresési eljárás nem használható [4]. Ebben az esetben két lehetséges eljárás alkalmazható a keresések megvalósítására. Az egyik az, hogy az átfedő felett egy üzenetszórás (broadcast) segítségével minden egyedhez eljuttatjuk a keresési kérést [5], amelyet aztán saját maguk dolgoznak fel. Az átfedő strukturája hatékonyabb üzenetszórást tesz lehetővé, mint ami a nem strukturált átfedők esetében elérhető. A másik lehetőség keresési indexek építése az átfedőben [6]. Az előbbieknél jelentős lehet az egyes keresések által keltett hálózati forgalom, míg az utóbbi hátránya az, hogy a keresési indexek karbantartási költsége magas lehet A Kademlia átfedő felépítése A Kademlia egy fájlcserélő alkalmazásokhoz kifejlesztett, bináris fa topológiájú DHT, vagyis elosztott hasító táblázat alapú átfedő []. A Kademlia DHT-ben az egyedek átfedőbeli címeik szerint egy bináris fába rendeződnek. Az útválasztás ezen részfák alapján történik (2.3 ábra). Az egyes egyedek minden távoli részfából kapcsolati lehetőségeket (IP hálózati címet és port számot) tartanak nyilván az útválasztási táblázataikban. Ezeket a részfákhoz rendelt listákat k-vödröknek nevezzük (k-bucket). Méretük a k szám, amely egy rendszerszintű konfigurációs paraméter. Ezt az átfedő stabilitási fokának is nevezzük, hiszen ha a k elemű listából (k-vödörből) csak egyetlen egyed is elérhető, akkor az adott részfának lehet üzenetet küldeni. Nagy átfedőkben többszintű részfák is előfordulnak. A magasabb részfákban jóval több egyed van, mint k, vagyis a fának a távoli részeiről egy adott egyednek arányaiban kevesebb tudása van, míg a hozzá legközelebbi egyedek közül mindegyiket ismeri. A Kademlia ezen tulajdonsága biztosítja a skálázhatóságot. A Kademlia átfedő egyedei között az üzenetek továbbításához szükséges útválasztás a 2.4. ábrán látható módon történik. Ha egy egyed üzenni szeretne egy másiknak (pl. az ábrán a című egyed az címűnek), nem kell mást tennie, mint küldeni egy lekérdezést bármelyiknek az -essel kezdődő részfában, mivel az jobban ismeri az -gyel kezdődőek részfáját. Ez az egyed visszaküld egy k-vödröt azon egyedek IP címével, amelyek NodeID azonosítói a címzett egyed saját helyzetéhez képest egy helyiértékkel közelebb vannak a célhoz.

13 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ ábra. Útválasztás a Kademlia átfedőben 3 A 2.4. ábrán látható példa esetében a kezdeményező, című, feketével jelölt egyed először az című egyednek üzen, amely az -gyel kezdődő című egyedek részfájának k-vödrét küldi vissza a kezdeményezőnek. Ezután ebből választja ki az címűt, amelyiknek másodikként küld üzenetet stb. Az üzenetküldések sorozata O ( log 2 N ) lépésben eléri a célt, ahol N az egyedek száma. Az egyedek két azonosító távolságát a kizáró vagy (exclusive OR, XOR, ) függvénnyel számítják ki. d(a,b)-t, vagyis az A-val és B-vel jelölt egyed közötti távolságot a d(a,b) = A B képlettel tudjuk kiszámítani. Minél nagyobb helyiértéken találunk a távolságban -est, annál távolabbi részfában van a keresett egyed. Például a 2.4. ábrán a és a egyed távolsága =, amelyben felülről számítva a harmadik bit az első -es. Ebből az is látszik, hogy az egyedek közös negyed (/2 3 ) részfában vannak. A bináris fával az átfedő hálózat XOR metrikával értelmezett topológiáját ábrázoljuk, nem pedig az egyedek közötti konkrét kapcsolatokat. Ezt az alakzatot XOR topológiának is nevezik. Megjegyzendő, hogy az egyedek az átfedő topológiáján mért távolságának semmi köze az egyedek által képviselt számítógépek földrajzi elhelyezkedéséhez. A XOR topológián értelmezett lekérdezések a fenti definíció alapján szimmetrikus műveletek. Minden egyed, amelytől üzenetet kap egy adott egyed, bekerül az útválasztási táblázatának megfelelő k-vödrébe. Ha az megtelik, akkor arról a távoli egyedről szóló információ törlődik, amelyről a legrégebben hallott a vizsgált egyed. Egy csomópont útválasztási táblázata, vagyis a részfákhoz tartozó egyes k-vödrök kétféleképpen frissülhetnek:. az egyed által kezdeményezett lekérdezésekre kapott válaszokban található új elérhetőségek rögzítésével, 2. az egyedet elérő, más csomópontok által küldött üzenetek IP címeinek rögzítésével. Mivel a XOR függvény szimmetrikus, a bejövő és a kimenő üzenetek eloszlása azonos: egy adott egyedet hívó másik résztvevők eloszlása éppen megegyezik az útválasztási táblázat

14 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ eloszlásával. (Formálisan, annak valószínűsége, hogy egy [2 i,2 i+ ] tartománybeli egyedtől kapunk üzenetet, i-től független konstans [].) Ez a szimmetria hasznos, mert így egy egyed útválasztási táblázata ugyanúgy frissül, akár lekérdezéseket hajt végre az egyed, akár azt kérdezik le más csomópontok. A frissülés egy egyednél mindig létrejön, függetlenül attól, hogy indítanak-e tőle lekérdezést vagy nem. A táblázatok működés közbeni frissülése egy olyan mellékhatás, amelynek következtében a hálózat önmegerősítő A Kademlia átfedő üzenetei A Kademlia átfedőben a következő típusú üzeneteket küldik egymásnak az egyedek: FIND_NODE. Egy adott címmel rendelkező egyed keresése. A válasz erre egy k-vödör, átfedőbeli cím (NodeID), IP cím, port szám összerendelésekkel. FIND. Adott kulccsal rendelkező adat keresése. A válasz lehet az adattétel, ha fogadó egyed tárolja azt; vagy lehet egy k-vödör a címhez közelebbi egyedek listájával, ha nem. STORE. Adattétel eltárolása. Ezt az üzenetet közvetlenül annak az egyednek kell küldeni, amelyiknek a tárolást el kell végeznie. PING. Egyed meglétének ellenőrzése. A Kademliától eltérően a többi DHT átfedőben az egyedek az üzeneteket útjukra indítják az átfedőn, valamelyik szomszédjuknak elküldve. A többi egyed pedig lépésről lépésre küldi tovább a cél felé. Ezt a 2.5. ábrán látható megoldást rekurzív útválasztásnak nevezzük [7]. A Kademliában viszont ez másképpen működik. Adott kulcs tárolásához például a tárolást kérő egyed az üzenetet nem útjára indítja, hogy az átfedő többi egyede lépésről lépésre továbbítsa azt a cél felé, hanem maga keresi fel a kulcshoz legközelebbi egyedet. Ezt az eljárást iteratív útválasztásnak 2 nevezzük, ahogyan azt a 2.5. ábra is szemlélteti. Az útválasztás során az egyed maga kérdez a célhoz egyre közelebbi és közelebbi egyedeket a cél egyed IP címéről, amíg ténylegesen el nem jut ahhoz. A célhoz pedig aztán maga a kérdező egyed juttatja el az üzenetet. Ez érvényes a kulcs eltárolásokra (STORE üzenet) és a kikeresésekre, lekérdezésekre (FIND és FIND_NODE üzenetek) is A Kademlia átfedő megbízhatatlansága Az iteratív útválasztással az egyedeknek az üzenetküldés szempontjából rengeteg választási lehetőségük van. Egy Kademlia egyed akár több száz ismert másik társának a címét tarthatja nyilván a k-vödrökben. Ebből az következik, hogy nem tarthatnak fenn egymással vonalkapcsolt közlési viszonyt, mivel ennyi nyitott, felépült közlési viszonyuk nem lehet (lásd a 2.2. táblázatot). A több ezer nyitott TCP kapcsolat helyett a Kademlia UDP-t, vagyis csomagkapcsolt üzenetküldést használ [], ahogyan a legtöbb másik DHT átfedő is. 2 A Kademliát bemutató első közlemény éppen fordítva használja ezt a két fogalmat []. Egy adott egyed szempontjából nézve a folyamatot, pontosabban leírja azt az iteratív jelző, mivel ő maga felelős az egymás utáni lekérdezésekért, amíg a cél címét meg nem kapja.

15 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 2 (a) rekurzív (b) iteratív 2.5. ábra. Útválasztási metódusok DHT hálózatokban üzenetküldés típusa vonalkapcsolt csomagkapcsolt definíció Az összeköttetés a kommunikáció időtartama alatt folyamatos. Ilyen az Interneten használt TCP adatátvitel. Az üzenetküldés során a küldő és a címzett között folyamatos kapcsolat nincsen; az üzenetek egymástól független csomagokként kerülnek továbbításra táblázat. Csomagkapcsolt és vonalkapcsolt üzenetküldés A tűzfalak és a címfordítás hatása Az alkalmazott iteratív útválasztás azt is feltételezi, hogy bármelyik egyednek képesnek kell lennie csatlakoznia bármelyik egyedhez. Emiatt a hálózati szintű hibák így közvetlenebb hatást gyakorolnak a Kademliára, mint más, rekurzív útválasztást használó átfedők esetében [7], a hálózati hiba ugyanis nem csak egy megszakadó kapcsolatot vagy csomagvesztést, hanem a kapcsolatteremtés képességének teljes hiányát is jelentheti. Ez UDP használata esetén gyakrabban előfordul, mint TCP kapcsolatoknál [8], a címfordítás (network address translation) és csomagszűrés (packet filtering) miatt [9]. Ezekben az esetekben a kapcsolódások lehetősége gyakran aszimmetrikus: egy címfordítás mögött lévő egyed tud csatlakozni egy nyilvános (publikus) IP címmel rendelkezőhöz, míg fordítva ez nem igaz [2]. A fenti hatások miatt az internetes alkalmazások tervezésekor általában használt, a 2.3. táblázatban bemutatott három alapvető feltételezés, melyek szerint a kapcsolatok reciprok, tranzitív és perzisztens tulajdonságokkal rendelkeznek, nem teljesül. A reciprocitás azt a feltevést jelenti, mely szerint ha A egyed képes üzenetet küldeni B egyednek, akkor ez fordítva is igaz, vagyis B is képes üzenni A-nak. Tűzfalak, és egyes címfordítási eljárások esetén ez nem mindig van így. Az utóbbiak esetén általában ez az idő függvénye is. Ha B néhány percen belül válaszol A-nak, az üzenetküldés sikeres, később pedig sikertelen, vagyis a kapcsolat nem perzisztens. Az ilyen jellegű működés miatt lehetséges az is, hogy bár A és B kölcsönösen képes egymással kommunikálni, de egy harmadik egyed, C már nem képes kapcsolatot teremteni A-val, hiába kapja meg B-től A IP címét; vagyis a kapcsolat nem tranzitív. A tapasztalatok alapján egyedek

16 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 3 feltételezés reciprocitás tranzitivitás perzisztencia magyarázat Ha A csomópont képes üzenni B-nek, akkor B is A-nak. Ha A csomópont képes üzenni B-nek, és B képes C-nek, akkor A csomópont C-nek is tud üzenetet küldeni. Ha A üzenetet küld B-nek, és B képes válaszolni, akkor ez később is így lesz táblázat. Feltételezések két csomópont közötti üzenetküldésre az Interneten akár 6-7%-a tűzfal mögött lehet [2]. A MainLine BitTorrent hálózaton végzett mérések alapján a csomópontok csak 8%-a rendelkezik a reciprok kapcsolatteremtés lehetőségével, míg 4%-uk tranzitívval [9]. A rendszer elméleti tervezésekor a Kademlia hálózati hibákra való különös érzékenységére nem adtak megoldást, áthárítva a feladatot a konkrét implementációra. A kikeresések helyességét a nagyra választott k-vödrök biztosítják. A tűzfalakon, illetve címfordításon keresztül történő kapcsolat felépítésére viszont nincsen egyszerű és jó megoldás az azokat megvalósító eszközök és szoftverek lényegesen eltérő működése miatt [2]. Két tűzfal vagy hálózati címfordítás mögötti gép kapcsolódásához általában szükség van egy harmadik, nyilvános IP címmel rendelkező félre, amely a kapcsolatban közvetítő szereppel rendelkezik. Az ilyen jellegű megoldás hátránya, hogy leginkább csak központosított vagy részben központosított átfedőkben alkalmazható. Nincsen olyan megoldása sem ennek a problémának, amely az esetek %-ában biztosan működne, ugyanis gyakori az olyan helyzet is, amikor egy egyed többszörös címfordítás mögött van [22]. A leírtak alapján a Kademlia hálózatban az összekötöttség csak látszólagos. Az egyedek ugyan minden részfához tárolnak legfeljebb k IP címet, de ez nem jelenti azt, hogy az egyes részfákhoz ténylegesen ennyi kapcsolattal rendelkeznek. Igen gyakori az az eset, amikor egy egyed rendelkezik egy másik IP címével, de a tűzfal vagy a címfordítás miatt nem tud üzenetet küldeni annak. Egyes források szerint valós átfedőkben ez akár a kapcsolatok 5%-át is érintheti [7]. A kapcsolatok hiánya miatt két szempontból is kisebb az átfedő megbízhatósága. Egyrészt előfordulhat az is, hogy egy adat (tétel) eltárolás esetén nem a címéhez legközelebbi egyedhez kerül, ahol a többi egyed keresni fogja. Másrészt gyakori az is, hogy egy tétel ugyan a megfelelő helyen van, de a lekérdező egyed nem tudja elérni azt. Az útválasztási táblázatok hibái A hálózati hibák miatt az útválasztási táblázatok pontossága is romolhat a Kademlia átfedőben. Statikus esetben ez azért van így, mert előfordulhat, hogy egy lekérdezésnél olyan egyedet nem ér el a lekérdezés indítója, amelyikhez csatlakoznia kellene az adott k-vödör letöltéséhez. Ilyenkor egy távolabbi egyedtől kényszerül lekérdezni az adatokat, amelyik azonban a célponttól távolabb lévén, kevésbé pontos információkkal rendelkezik a cél környezetéről. Dinamikus esetben, amikor az átfedő változik, leggyakrabban az egyedek folyamatos, gyors ki- és belépése miatt keletkezhet a táblázatokban pontatlanság. Ezen fluktuáció angol neve az

17 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 4 irodalomban high churn [23], amit felpörgésnek fordíthatunk. Ha egy adott egyed távozik a hálózatból, vagy egy új egyed jelenik meg valamelyik célponthoz közelebb minden addiginál, akkor időbe telik, mire a környezete erről tudomást szerez Replikáció a Kademlia átfedőben A Kademliában a hálózatból kilépő egyedek nem adják át tárolt tételeiket a szomszédos egyedeknek, hanem azok egyszerűen elvesznek a hálózatból []. Ennek a problémának a kezelésére a Kademlia protokoll a tételek több helyen történő tárolását írja elő. Ezt replikációnak vagy másodlatolásnak nevezzük (replication). Erre egyszerű megoldást adnak maguk az egyedek által szervezett kulcs-eltárolások és -lekérdezések. A replikáció a következőképpen működik. Egy adott tételt eltárolni szándékozó egyed nem a kulcshoz legközelebbi egyednek, hanem annak környezetében, ahhoz legközelebbi k darab egyednek küldi el a STORE üzenetet. Így ha a k egyed közül valamelyik kilép a hálózatból, az adott tétel továbbra is elérhető marad k helyen. A Kademlia protokoll előírásai szerint egy adott tételt óránként újra publikálni kell, vagyis a tárolást óránként újra el kell végezni []. (Az ezzel járó hálózati forgalom korlátozására az eljárás tartalmaz itt nem részletezett megoldásokat.) A k értékét a fentieknek megfelelően úgy kell megválasztani, hogy kellően valószínűtlen legyen az, hogy egy órán belül mind a k egyed elhagyja a hálózatot. Maymounkov, a Kademlia tervezője k = 2-szoros replikációt javasol, némileg önkényesen a Gnutella átfedőben mért felhasználói viselkedések, szokások alapján. Fontos kiemelni, hogy az idézett cikk nem különbözteti meg a k-vödrök méretét a replikációtól; a replikáció szintjének a k-vödrök méretét választja, és ezért mindkettőt k-val jelöli. A belépő egyedeknél elvileg nincsen ilyen probléma. Amikor egy új egyed belép a hálózatba, akkor a saját azonosítója felé indít el kikeresést. Ezáltal megismeri a szomszédait; utána pedig frissíti minden távolabbi részfához tartozó k-vödrét. A szomszédai, tudomást szerezve az új egyedről, eltárolják nála azokat a kulcsokat, amelyek hozzá közelebb vannak, mint saját magukhoz. Erre azért van szükség, mivel a későbbi kikeresések is az új egyednél próbálják majd meg először kikeresni a kulcsot, amelyhez az új egyed címe van legközelebb a címtérben Üzenetszórás P2P átfedőkben Az üzenetszórást (egytől mindenkinek, broadcast) a P2P átfedőkön legtöbbször nem igénylik az azokra épülő alkalmazások. Az egyedek nagy száma miatt az üzenetszórás egyébként is sok erőforrást igényel. A strukturált átfedőket pedig éppen azzal a céllal hozták létre, hogy a Gnutellához hasonló nem strukturált átfedőkben használatos elárasztást hatékonyabb keresési eljárásokkal váltsák ki (lásd a 2... szakaszt). Egyes alkalmazásokban szükséges az üzenetszórás. Segítségével ugyanis megvalósítható a kulcsrészlet töredékekre, vagy csak pontatlanul ismert kulcsra történő keresés [5]. A strukturált átfedőkben alkalmazott hasító függvények tulajdonságai ezt eredendően nem teszik lehetővé; a strukturált átfedő útválasztásával a hatékony keresés csak a kulcs pontos ismeretében lehetséges. Az irodalomban bemutatott üzenetszórási algoritmusok jelentős hányada a Chord átfedőn működik [2].

18 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 5 Egy részük felelősök kijelölésére épül. Ezek az átfedőn továbbított kikeresési kéréseket tekintik mintának az üzenetszórás továbbításához [24]. Erre tekintsünk példának egy [,8) tartományú címekkel rendelkező Chord átfedőt. A című egyed által indított kikeresés gondolatmenete az, hogy a keresett adat a [,4) vagy a [4,8) tartományokban található. Ha az előbbiben, akkor a tartományt a keresőnek tovább kell finomítania, [,2) és [2,4) részekre osztva azt. Ha az utóbbiban, akkor pedig annak a tartománynak az elején elhelyezkedő egyedre hagyatkoznia, mert az rendelkezik több információval az átfedő azon tartományáról. Az üzenetszórás ehhez hasonlóan végezhető: a tartományt két részre osztva, és ezekből egy-egy felelős egyedet kijelölve arra a célra, hogy azok elvégezzék az üzenetek küldését [5]. Az üzenetszórás hatékony, elvileg pontosan N hálózati üzenetet igényel csak, ahol N az átfedő egyedeinek a száma. Ez az üzenetszórási algoritmus azonban nem áll ellen a csomagvesztéseknek, illetve a ki-belépések miatt időlegesen hibás útválasztási táblázatoknak. Az algoritmus megbízhatósága javítható azáltal, ha az üzenetszórásról az egyes felelős egyedek visszajelzést adnak az őket kijelölőknek. Ez egy rekurzív eljárás; egy egyed akkor ad visszajelzést, ha az összes általa megbízottaktól megkapta azt. Időtúllépés esetén a kijelölő egyed más felelőst választ az adott tartományból [25]. Ez a megoldás hibás útválasztási táblázatok esetén ugyan helyesen működik, de rosszindulatú egyedek esetében nem. Egy rosszakaratú egyed ugyanis félrevezetheti a megbízóját azzal, hogy nem továbbítja az üzenetet, de mégis nyugtázza, mintha továbbküldte volna. Más algoritmusok nem csak felelősök kijelölésével, hanem az üzenetek járványszerű továbbításával fedik le az átfedők. Ilyen az Efficient Broadcast in P2P Grids nevű algoritmus [26]. Ez az előbb említettet azzal egészíti ki, hogy a felelősök időnként véletlenszerűen továbbítják az üzenetet szomszédaiknak is. Így előbb-utóbb azok eljutnak azokhoz az egyedekhez is, amelyekhez tartozó felelős meghibásodott vagy kilépett az átfedőből. A felelősök kijelölése gyorsabb üzenetszórást tesz lehetővé, mint a véletlenszerű továbbítás; az utóbbi viszont kilépő egyedek esetén is megbízhatóbb. A két megoldás ötvözése esetén az elpazarolt, vagyis az N darab feletti üzenetszám nem növekszik meg túlzottan. Ezek az algoritmusok bármilyen tartalmú üzenet továbbítására használhatóak. Speciálisabbak azok az eljárások, amelyeket kifejezetten a globális keresés megvalósítására hoztak létre. Ezekben az üzenetszórás megszakad, ha egy adott egyed a keresési kérésre tud válaszolni [27], vagy esetleg az üzenetszórás átmérőjét korlátozzák a csomagokhoz rendelt TTL (time to live) mezőkkel, amelyeket minden továbbításkor csökkentenek [28]. Látható, hogy az üzenetszórás az átfedők címterének megfelelő partícionálásával és felelősök kijelölésével N üzenettel elvégezhető. A partícionálás módja az üzenettovábbítás idejét módosítja. A gyors üzenetszórás szempontjából előnyös az a partícionálás, amelyben minden egyed legfeljebb O(logN) továbbítás után megkapja az üzenetet. Egyéb esetekben az üzenetszórás az egész átfedőre nézve lassabb lesz. Az egyes algoritmusok leginkább különböznek, hogy a kilépő, kieső, esetleg az üzenetszórás közben újonnan belépő egyedeket milyen megbízhatósággal képesek kezelni, illetve ezek kezelése mekkora többlet költséggel jár P2P átfedők szimulációja A P2P átfedők útválasztását, algoritmusait háromféle eszközzel lehet igazolni és jellemezni: matematikai bizonyítással, szimulációval és kísérletekkel [29].

19 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 6 Szimulátor Architektúra, P2P átfedők, fizikai hálózat modellje megjegyzések NS-2 csomag alapú Gnutella TCP/IP hálózat, hálózati és fizikai a célhoz képest alacsony szintű réteg OverSim P2PSim GnutellaSim Overlay Weaver átfedő alapú (strukturált és nem strukturált is) két modell, egy lassú, pontosan konfigurálható, és egy egyszerűsített átfedő alapú, diszkrét idejű, eseményvezérelt adatbázis, GT-ITM, véletlenszerű, Euklideszi alapú késleltetés csomag alapú, protokollcentrikus GT-ITM csak strukturált átfedők valós TCP/IP kapcsolatokkal, vagy szimulált Chord, Pastry, Kademlia stb. gyakran használt, részletes dokumentációval Chord, Accordion, Kademlia stb. kevés dokumentáció, általában a forráskódot kell módosítani Gnutella Kimenet NS-2 által használt formátumban programozható 2.4. táblázat. P2P szimulátor alkalmazások fő célja algoritmusok tesztelése Az algoritmusok bonyolultsága miatt, és az átfedők működés közbeni peremfeltételeinek nehéz modellezése miatt a matematikai megközelítés ritkán, általában csak túlzott egyszerűsítések mellett alkalmazható [3]. A valós rendszerek komplexitását ezekben az esetekben gyakran el kell hanyagolni. Ha a matematikai megközelítés túl bonyolult, kísérletek is végezhetők a valós rendszereken. Azonban a valós P2P hálózatok gyakran 5 6 egyedszámmal rendelkeznek, ilyenkor a kísérlet legtöbbször kivitelezhetetlen. A kísérlet paramétereinek módosítása, pl. a protokoll változtatása pedig bonyolult és időigényes. A megvalósult, valós átfedőn folyó kísérletek nagy része a Planetlab hálózaton történt [3]. A szimulátorok ezeket a hátrányokat próbálják meg kiküszöbölni. Az átfedők szimulációja ugyanakkor nem független a matematikai és a kísérleti megközelítéstől. Amennyiben lehetséges, a matematikai modelleket szimulációval kell igazolni, a szimulációs eredményeket pedig valós hálózatokon ellenőrizni [29]. A P2P átfedők szimulációja többféle absztrakciós szinten történhet. Ennek megfelelően az átfedő alapjául szolgáló fizikai hálózat egyes részeit, esetleg magának az átfedőnek vagy az algoritmusnak egyes részeit a szimuláció teljesítménye érdekében el kell hanyagolni. Az irodalomban ismertetett szimulátorok különféle absztrakciós szinteken dolgoznak, illetve

20 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 7 9 King data set Mainline BT 8 7 egyedek aránya [%] ,, késleltetés [s] 2.6. ábra. Egyedek közötti késleltetési idők P2P átfedőkben különféle átfedő hálózatokat tudnak szimulálni. Ezeket a 2.4. táblázat áttekinti. Nem ritka, hogy a létező szimulátorok egyike sem felel meg egy adott feladathoz; a kutatók ilyenkor saját szimulátor motorok írásával igyekeznek igazolni az általuk kidolgozott eljárásokat. Egy kimutatás szerint a P2P hálózatokkal foglalkozó közlemények szerzőinek kétharmada saját fejlesztésű szimulátorral dolgozik [32]. A P2P átfedők saját szimulációs motorral történő vizsgálatához az irodalomban rendelkezésre állnak valós hálózatokon mért adatok, például késleltetési idő adatbázisok. Ezek az Interneten elérhetőek. A legismertebb ilyen adatbázis a King data set [33], amely 74 csomópont között páronként mért késleltetési időket tartalmazza. További adatok érhetőek el a Crosby-Wallach szerzőpáros cikkében [7, 34], amelyet a Mainline BitTorrent átfedőkön végzek kísérletekből nyertek. A két eloszlás jelentősen eltérő adatokat tartalmaz, ahogyan az a 2.6. ábrán is látható. A King nevű mérési eljárásnál az s-nál hosszabb időket nem vették figyelembe, vagyis a eloszlás összes késleltetési ideje s-nál rövidebb. A Mainline BitTorrent átfedőből származó adatok esetén pedig még 8 s-os késleltetést is tartalmaz az eloszlás; a szerzők szerint azért mérhető ilyen hosszú válaszidő, mivel a BitTorrent egyedek az elsődleges céljukat, a fájlok továbbítását, és az ahhoz kapcsolódó hálózati üzeneteket előnyben részesítik az átfedő karbantartási üzeneteihez képest [7].

21 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ Betörésérzékelő rendszerek Az eredetileg a tudományos munkát segítő Internet ma már a kereskedelem, a szórakoztató ipar, a sajtó, a kormányzatok, és nem utolsó sorban magánemberek mindennaposan használt eszközévé vált. Az információ értéke, az elektronikus kereskedelemben történő hatalmas pénzmozgások és a hálózatra kötött számítógépek hatalmas együttes erőforrása miatt mindennapossá vált az Interneten a bűnözés is. A hálózatba kötött adattárolókat nem csak fizikailag kell védeni az adatlopások és egyéb károkozások ellen, hanem a hálózatról érkező támadásoktól is védenünk kell azokat. Az értekezés ezen része az irodalomban ismertetett betörésérzékelő eljárásokat ismerteti röviden A betörésérzékelés célja A hálózatra kötött számítógépeket többféle céllal támadhatják meg: anyagi vagy egyéb előnyök megszerzése vagy elismerés kivívása céljából [35]. A támadók eltérő céljai és a védendő célpontok jellegzetességei miatt miatt a hálózatra kötött gazdagépeket (host) több oldalról kell védenünk. Ennek megfelelően a betörésérzékelésnek is többféle célja lehet. Adatszivárgás elleni védelem. Adatszivárgásnak nevezzük, amikor a számítógépen tárolt információ illetéktelen kézbe, egy külső támadóhoz kerül. Az adatkiszivárgásnak három fő módja lehet:. a támadó hozzáférést szerez a számítógéphez, 2. a hálózati forgalom megfigyelésével, lehallgatásával, illetve 3. a számítógép saját, feljogosított felhasználója általi visszaélés [36]. Erőforrások védelme. Az adatok védelmén kívül az erőforrások védelméről is gondoskodni kell. Az erőforrások alatt nem csak a hardvert értjük: jellegzetes támadási forma például, amikor a támadó a nyomozás megnehezítése végett egy adott gazdagép felett megszerzi az irányítást, hogy arról indítson további támadásokat más célpontok felé. Így a láncban következő megtámadott gazdagép a támadás forrásaként már tulajdonképpen egy áldozat gazdagépét látja. Adatintegritás, rendszerintegritás védelme. A tárolt adatot nem csak ellopni, hanem megváltoztatni is lehet. Egy gazdagép az információ módosítása igen alkalmas gazdasági károkozásra. A rendszerintegritás fogalma ezzel szemben a gazdagép viselkedésére vonatkozik: a kiszolgáló a rendszergazda szándékai szerint működik-e. A támadó megváltoztathatja, akadályozhatja annak működését, szintén károkozás céljából. Újabban már nem csak kiszolgálókat és asztali, személyi számítógépeket kötnek az Internetre, hanem modernebb mobiltelefonok is rendelkeznek csatlakozási lehetőséggel. Ezekre is megjelentek már a kártevő programok [37].

22 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 9 típus vírus féreg kémprogram trójai program definíció Olyan program, amely saját másolatát valamely másik programban vagy dokumentumban helyezi el. Ezek önálló programként nem működnek. Önmagát sokszorosító program, amely legtöbbször hálózaton keresztül terjed. A megtámadott gazdagép biztonsági réseit használja ki, és automatikusan terjed. Másik programmal együtt telepített rosszindulatú program. Ennek telepítéséhez tulajdonképpen a felhasználó beavatkozására van szükség, még ha tudta nélkül történik is ez. A program a felhasználói tevékenységét monitorozza, pl. jelszavakat gyűjt. Egy program kinézetét, esetleg szolgáltatásait imitáló program, amely rosszindulatú tevékenységet is végez táblázat. Rosszindulatú programok (malware) típusai típus backdoor botnet definíció Hátsó kapu. A fertőzött gépen futó rosszindulatú program kiszolgálóként üzemel, amelyhez csatlakozva egy irányító program vagy személy parancsokat küldhet annak. Rosszindulatú programok a megfertőzött számítógépekből akár több millió egyedből álló hálózatot építenek. A fertőzött gépek együttes ereje (pl. sávszélessége) általában egy irányító személy kezében van táblázat. Rosszindulatú programok kapcsolattartása készítőikkel A betörések jellemzői A támadók céljai alapján a támadások módja eltérő lehet. Az elérendő cél a módszereket meghatározhatja. A módszertől pedig függenek a támadás észlelhető jelei, amelyeket a támadás manifesztációjának is szoktunk nevezni [38]. Az adatkiszivárgás esetében maga az adat általában a támadó számára ismert helyen, ismert alhálózaton található. Ilyen esetben a támadó általában biztonsági rést keres az alhálózaton. Ha oda be tud törni, onnan már könnyebben eljut arra a gazdagépre, amelyen az adat ténylegesen található. Alhálózatokon belül ugyanis általában a munka megkönnyítése érdekében gyengébb védelmi megoldásokat alkalmaznak, mint az alhálózat és a világ többi része között [39]. Ebben az esetben a kívülről kivitelezett támadás jellegzetessége, hogy gyakran a támadó egy élő személy (nem automatizált program), és a támadás közvetlen célja az alhálózat biztonsági résének, réseinek módszeres felderítése [4]. Léteznek automatikusan működő támadó szoftverek is. A hálózaton terjedő rosszindulató

23 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 2 programokat viselkedésük, a fertőzés és a működés módja alapján több csoportba sorolják. Ezek közül az értekezés témájához kapcsolódóakat mutatja a 2.5. és a 2.6. táblázat. Gyakoriak az Interneten a különféle módon terjedő férgek (computer worm). Ezek kisebb része céltalan: a készítőik csak azért írták őket, hogy programozási tudásukat bemutassák. Nagyobb részük viszont kifejezetten olyan szándékkal fertőzi meg az általában otthoni felhasználók számítógépeit, hogy azokra hátsó kapukat (backdoor) helyezzen el. Ez lehetővé teszi azt, hogy később a fertőzött számítógépre be lehessen távolról jelentkezni, irányítani lehessen azt (compromised host), még akkor is, ha az eredeti biztonsági rést, amelyen keresztül a kártevő fertőzött, már kijavították [4]. A terjedés irányát a férgek többféleképpen választják ki. Vannak, amelyek egyszerűen hálózati címek véletlenszerű generálásával oldják ezt meg, de egyesek előnyben részesítik az alhálózaton belüli terjedést [39, 42]. A férgek egy csoportja hálózatot hoz létre, amelyet botnetnek neveznek [43]. Egy botnet akár több millió eltérített számítógépből is állhat. Ezek összesített erőforrásával, főként a hálózati kapacitásukkal egy központi irányító személy rendelkezik (botmaster), aki bérbeadja azt másoknak. Leggyakrabban levélszemét (spam) küldésére kap megrendelést. A milliós egyedszámú hálózat levélszemétküldő kapacitása akár naponta 6-7 milliárd levél is lehet [44]. Az eltérített gépek irányítását ritkán végzik központi szerveren keresztül. Ennél gyakoribb, amikor azok internetes csevegő hálózatra kapcsolódva (IRC, Internet Relay Chat) kapják a parancsokat [45, 46]. Ez számukra előnyös, mivel a protokoll egyszerű, könnyen implementálható, az IRC hálózatok pedig általában regisztráció nélkül igénybe vehetőek. Újabban azonban ehelyett a botnetet létrehozó szoftverbe egy alkalmazási szintű hálózatot létrehozó modul is kerül, amely P2P hálózatot épít [4, 47]. Ezek a szoftverek is általában Windows operációs rendszeren futnak, mert az a legelterjedtebb az otthoni felhasználók körében. Léteznek Unix alapú férgek is. Elterjedtek azok az SSH férgek [45], amelyek szokásos, esetekben adott Unix rendszerekben alapértelmezés szerint meglévő felhasználói neveken próbálnak belépni (root, mysql, info, admin, guest, paul, testing stb.) Ezek az adminisztrátori és felhasználói figyelmetlenséget használják ki, a túl egyszerűnek megválasztott vagy esetleg teljesen hiányzó jelszavakat. A terjedésük jellemző vonása, hogy egy kiválasztott gazdagépen több száz, ezer felhasználói név jelszó párt próbálnak ki. Ezek a próbálkozások nem csak egy konkrét gazdagépet érintenek, hanem egy alhálózat szomszédos kiszolgálóit is. Ebbe a csoportba tartozik az első iphone féreg is, az ikee [37] A betörésérzékelés lehetőségei A betörésérzékelés (intrusion detection, ID) legkorábbi módja a felhasználói tevékenység megfigyelése volt [48]. Ekkor a szokatlan viselkedésekre tudtak felfigyelni. Ilyen pl. ha egy felhasználó szabadságon van, mégis be van jelentkezve. Az ilyen betörésérzékelés hátránya, hogy alkalmi jellegű és nem skálázható. A betörési kísérletek gyakorisága és változatos formája miatt szükségessé vált azok automatikus érzékelése. Ennek legfőbb akadálya az, hogy nem minden betörés jár együtt önműködően észlelhető, arra utaló jelekkel. Egy rendszer feljogosított felhasználója általi visszaélés például nagyon nehezen észlelhető. Manapság a betörésérzékelésnek három fő formáját használják:

24 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 2 Forgalmi adatminták vizsgálata. Ennek lényege, hogy a gazdagépek hálózati forgalmában bizonyos mintákat, adatcsomagokat keres az érzékelő rendszer. Ismert betörési módok esetén ez hatékony és pontos lehet. Hátránya viszont, hogy csak előzetesen ismert támadási formákra alkalmazható. Alkalmazási szintű hálózati protokollok vizsgálata. Ennél a módszernél az IP forgalomban nem csak mintaillesztést végeznek, hanem az alkalmazások által használt protokollokat megértve elemzik azokat. Az érzékelő az alkalmazáshoz hasonlóan megérti a protokollt, de a feladata csak annyi, hogy a nem megengedhető bejövő és kimenő adatokat vizsgálja. Rendellenességek felismerése (anomáliák érzékelése). Lényege, hogy a normális, üzemi körülményektől eltérő működést érzékelik. Előnye az előzőekkel szemben az, hogy nem kell előre ismerni a támadás kivitelezésének módját. Így akár egy újfajta, az érzékelő rendszer konfigurálásakor még ismeretlen támadás is detektálható. Azonban ennél gyakoribbak a hamis riasztások, mint az előbbieknél A betörésérzékelés helye A betörésérzékelő rendszereket működésük helye szerint két alapvető csoportra osztjuk: önállóan működő rendszerek (HIDS, Host-based Intrusion Detection System) és a hálózati betörésérzékelő rendszerek (NIDS, Network-based Intrusion Detection System) [49]. A legkorábbi automatikus érzékelők (sensor) egyedileg működtek, nem hálózatba kötve [5]. A betörésekre utaló gyanús jeleket önmaguk érzékelték és dolgozták fel; ha esetleg egy automatikus védelmi rendszer is kapcsolódott hozzájuk, az is csak az adott gazdagépet védte. Ennek a kialakításnak a hátránya, hogy a tapasztalatok, amelyeket az egyes érzékelők gyűjtenek, mindig helyben maradnak. A tapasztalatokat a különálló, nem osztják meg egymással, és így csak olyan betörések érzékelésére van mód, amelyeknél a támadás manifesztációja már helyben észlelhető. A hálózatba kötött érzékelés ezzel szemben lehetőséget ad arra, hogy a kiterjedt, hálózati szintű támadásokat is érzékelni lehessen. Ennek nehézsége abban áll, hogy az érzékelő hálózat növekedtével a feldolgozandó adatmennyiség is rohamosan növekszik [5] Az érzékelt események közötti kapcsolat felismerése Az önállóan működő betörésérzékelő rendszerek az egyes gyanús eseményekről szóló figyelmeztetéseket, bár logikai kapcsolat van közöttük, egymástól függetlenül küldik. Ha egyszerre sok esemény történik, nem csak a valós és a hamis jelentések keverednek, de a feldolgozandó adat is kezelhetetlen mennyiségű lehet [5]. Az ember számára már nem feldolgozható mennyiség az elosztott esetben az adatok gépi, automatikus kezelését teszi szükségessé. A tapasztalatok hálózaton történő megosztása két fő kérdést vet fel. Az első, hogy az eltérő helyen keletkező tapasztalatok közötti összefüggéseket (attack correlation) hogyan ismerjük fel. A második pedig az, hogy hogyan szervezzük meg ezeknek a hálózaton történő

25 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 22 megosztását: milyen felépítésű legyen az a hálózat, amelyen megbízhatóan elvégezhető ennek a nagy mennyiségű adatnak a továbbítása akkor is, ha az azt alkotó egyedek esetleg éppen támadás alatt állnak. Az elemi események közötti kapcsolat felismerésére három módszert tárgyalnak az irodalomban [52]. Az első csoportba tartozó módszerek az elemi eseményeket megegyező tulajdonságaik alapján csoportosítják; például azonos forrás cím vagy cél port. Ezek sokféle támadás esetén hatékonyak lehetnek, de az egyes események közötti ok-okozat összefüggést nem tudják felismerni. Ezen alapszik a SPICE rendszer [53] és így működik a CIDS is [54]. A második lehetőség az egyes események előre definiált forgatókönyvbe történő illesztése. Ennek megvalósítására fejlesztették ki a LAMBDA nyelvet [55], illetve használnak az adatbányászatból átvett módszereket [56]. Ezek a módszerek csak ismert betörésfajták esetén működnek, vagyis akkor, ha a forgatókönyveket előzőleg szakértők megalkották. A harmadik lehetőség a támadások előkészületeinek és következményeinek feltérképezése. Az előkészület egy olyan feltétel, ami a támadás sikerességéhez szükséges; a következmény a támadás eredménye, ha az sikeres volt. Ha egy adott esemény előfeltétele létrejött egy előzőleg érzékelt esemény következményeként, akkor összefüggőnek tekinti az ilyen módon működő rendszer az eseményeket. A legkorábbi ilyen elven működő rendszer a JIGSAW volt [57]. Hátránya, hogy egy adott esemény érzékelésének elmulasztása esetén nem veszi észre az azt megelőző és az azutáni esemény közötti kapcsolatot. További hátránya lehet, hogy nem veszi figyelembe azokat a támadásokat, amelyek nem további, lehetséges eseményeket készítenek elő, és a sikertelen támadásokat sem. Az egyes érzékelt események egyszerű összekapcsolását az a gyakorlati probléma is akadályozza, hogy heterogén kimenetekkel rendelkeznek. Eltérő védendő rendszereknek eltérő sebezhetősége lehet; amelyik támadás az egyik helyen a rendszert teljesen megbéníthatja, az egy másik rendszerre nézve esetleg ártalmatlan [58]. Az eltérő érzékelő szoftverek kimenei között adatformátumbeli eltérések lehetnek, ami az összesített feldolgozást nehezíti. Az érzékelt események módszeres leírására fejlesztették ki az objektumorientált, XML alapú IDMEF üzenetformátumot [59], amelyet a széles körben elterjedt Snort [6] és Prelude [6] rendszerekben is használnak A betörésérzékelők közötti kommunikáció Az eltérő érzékelési pontokon keletkező adatok feldolgozásához kézenfekvő módszer lehet az adatok összegyűjtése és központi feldolgozása. A központi feldolgozó helyen így elméletben minden összegyűjthető információ rendelkezésre áll ahhoz, hogy ha a betörés elvben érzékelhető, akkor az érzékelést gyakorlatilag is elvégezzük vagyis hogy a rendelkezésre álló adatok alapján a támadás tényét felismerhessük. Ennek a megoldásnak azonban két akadálya van:. A feldolgozandó adatmennyiség egy nagy forgalmú hálózat esetén már az önálló betörésérzékelő rendszernél is jelentős. Egy kiterjedt érzékelőhálózat által generált adatok mennyisége a hálózati forgalom, és a feldolgozáshoz szükséges számítási kapacitást tekintve hatalmas.

26 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ A központosított adatgyűjtés és feldolgozás továbbá egyetlen hibapontot (SPOF, single point of failure) jelent az elosztott érzékelő rendszernél. Előfordulhat, hogy egy támadó kifejezetten az érzékelő rendszert próbálja megbénítani [62]. A tapasztalatok megosztására ezért érdemes nem központosított, hanem elosztott hálózati architektúrát használni [4]. Az érzékelt eseményeket ezért érdemes elosztott rendszerben feldolgozni. Erre a feladatra az irodalomból a következő szakaszokban bemutatott eljárások ismertek. Nem strukturált P2P átfedő alapú érzékelők A DOMINO rendszer célja, hogy különböző típusú támadásokat, főleg vírusok és férgek aktivitásának érzékelését lehetővé tegye [63]. A hatalmas feldolgozandó adatmennyiséget három szintű hierarchikus, de nem strukturált P2P hálózattal kezelik. Ez részleges megoldást ad az érzékelő egyedek megbízhatatlanságára is. A legalsó szintű, kevésbé megbízható egyedektől csak óránkénti, vagy napi támadási statisztikákat fogadnak, például eseményszámokról, gyakoriságokról és típusokról szóló jelentéseket; ennél pontosabban specifikáltakat nem. A DOMINO rendszerben a méréseket, vagyis a támadások érzékelését nem csak valós hálózati címeken végzik, amely címekhez működő, kifelé szolgáltatásokat nyújtó kiszolgálók tartoznak; hanem olyan címeken is, amelyekhez nem. A szerzők tapasztalata szerint a nem létező címekre érkező bejövő támadások sokkal nagyobb valószínűséggel jelentenek támadást. Ennek oka a vírusok és férgek fertőzési mechanizmusában van; azok ugyanis véletlenszerűen választják meg a támadás célpontját, gyakran olyan hálózati címet generálva, amelyhez nem is tartozik gép. A nem létező címekre irányított csomagok érzékelésével a hamis pozitív riasztások száma csökkenthető. A PROMIS védelmi rendszer (és elődje, a Netbiotic) a részben centralizált átfedő hálózatot építő JXTA keretrendszert használja az érzékelt támadások adatainak megosztására [64]. A PROMIS rendszerbe beépülő egyedek a többitől információt kapnak az érzékelt gyanús események számáról és az alapján automatikusan állítják át az operációs rendszer és a rendszerben telepített webböngésző biztonsági szintjét. Ez az eljárás általános védelmet ad a károkozó programok ellen, de egyben csökkentheti is a használhatóságot. A megközelítés hasonló a hétköznapi életből ismert járványok megelőzéséhez. Az Indra rendszer arra a feltevésre épül, hogy a támadók egy adott biztonsági rést kihasználva több számítógépet is megtámadhatnak [4]. Ha a kísérletet érzékelve az Indra rendszer résztvevői értesítik egymást, azzal a saját védelmüket erősíteni tudják. Az Indra rendszerben így a résztvevők konkrét, ismert támadók ellen tudnak védekezni. Struktúrált P2P hálózatra épülő betörésérzékelő rendszerek A CIDS rendszer a Chord DHT-t használja a betörések elosztott érzékelésére [54]. Az adatok kezelése az ún. publish-subscribe elven működik. Ez azt jelenti, hogy az egyes egyedek egy listában tárolják az általuk gyanúsnak vélt IP címeket, és az ezekről szóló jelentésekre feliratkoznak (subscribe) a hálózaton. Ha elegendő számú egyed iratkozott fel egy adott IP címmel kapcsolatos eseményekre, akkor támadónak tekintik azt, és értesítik a feliratkozott egyedeket. A DHT felhasználásával elvben a betörésérzékeléshez kapcsolódó feldolgozási műveletek okozta terhelés egyenletesen oszlik el a résztvevők között, de adott, konkrét támadótól

27 2. FEJEZET. IRODALMI ÖSSZEFOGLALÓ 24 származó többszörös betörések esetén a feldolgozó egyed könnyedén leterhelhető. Mivel a Chord rekurzív útválasztást használ, ez a hálózat többi részét is ugyanannyira terheli. A BotSpot nevű rendszer az eddigiektől egészen eltérő, nem konkrét támadó ellen próbál meg védekezni, hanem botnetek érzékelését tűzte ki célul [65]. A szerzői egy új sémát dolgoztak ki, amelynek segítségével a rendszer a NetFlow formátumban gyűjtött adatoknak egy kis részéből is képes felismerni egy botnet működését a hálózaton [66]. Az adatokat egy DHT-ben tárolja el, így az érzékelés nem kelt nagy hálózati forgalmat. A BotSpot további előnye, hogy a használói számára névtelenséget nyújt; az átfedőbe küldendő adatoknak nem kell tartalmaznia információt a felhasználók (pl. egy intézmény) alhálózatáról vagy annak felépítéséről. A Spamwatch nevű rendszer nem betörések, hanem levélszemét (spam) szűrésére alkalmas, és a Tapestry hálózatra épül [67]. A program egy levelező alkalmazásba épülő bővítmény. Az egyes, felhasználók által levélszemétként megjelölt levelek adatait a rendszer egy DHTben tárolja; más felhasználóknál így ugyanaz az üzenet automatikusan törölhető. A DHT alkalmazása miatt a lekérdezés gyors és csak kis hálózati forgalmat generál. Sajnos a levélszemetet küldő programok gyakran alkalmazzák azt a módszert, hogy minden küldött levélben egy-két karaktert megváltoztatnak; ez a DHT-kban alkalmazott hasító függvények miatt a levelek összehasonlítását lehetetlenné teheti, és nagyban lecsökkenti a Spamwatch rendszer a hatékonyságát.

28 3. fejezet Betörésérzékelés strukturált P2P átfedőn. tézis. Kidolgoztam egy hálózati biztonsági eljárást (Komondor), amellyel a hálózat eltérő pontjain történő betörésérzékelések összesített tapasztalatait felhasználva javítható a gazdagépek védelme. [S, S4, S7, S6, S8, S3, S4, S5].. altézis. Kifejlesztettem egy módszert, amellyel a különböző helyeken érzékelt betörési kísérletekből nyert tapasztalatok összegezhetők, és azokból egy értékelési eljárással elosztott adatbázis építhető. Bebizonyítottam, hogy a kidolgozott eljárás hatékony működésének feltétele, hogy az egyes csomópontokban működő példányok közötti kommunikáció egy DHT típusú átfedő hálózatra épüljön. [S, S2, S4, S, S, S8, S9, S2, S2, S23].2. altézis. Igazoltam, hogy a DHT átfedőre épülő betörésérzékelés során létrejövő hálózati forgalmat a Kademlia hálózat hatékonyabban kezeli, mint az egyéb ismert DHT átfedők. [S8, S, S5, S2, S22] A és szakaszban bemutatott hálózati betörésérzékelő rendszerek működése azon alapul, hogy a hálózat több pontján érzékelt események között összefüggések lehetnek, és ezek felderítése a hálózatot érő támadások felismerésére ad lehetőséget. Az érzékelők hálózatba kötése azonban terheléselosztási és megbízhatósági problémákat vet fel. Gyakran még az egy érzékelőtől érkező adatok feldolgozásához szükséges számítási kapacitás is jelentős. Az elosztott betörésérzékelés hatékonyan ezért nem működhet központosított feldolgozással. Ez a fejezet egy olyan eljárást mutat be, amellyel a betörésérzékelés során keletkező nagy mennyiségű adat hatékonyan feldolgozható. Az eljárás lényege, hogy az érzékelő egyedek egy strukturált P2P alapú átfedő hálózatot hoznak létre, amely a betörések adatait tárolja. Ezzel az érzékelés és feldolgozás okozta terhelés hatékony elosztása valósítható meg. A P2P hálózatok nagyfokú stabilitása biztosítja, hogy a rendszer működőképes maradjon akkor is, ha az egyes résztvevői távoznak vagy kiesnek az átfedőből. A nagyfokú összekötöttség és az elosztott feldolgozás miatt a rendszer az egyetlen hibapont problémáját is megkerüli. Az érzékelés és az adatok megosztása okozta hálózati terhelés tovább csökkenthető a bemutatott eljárás szerint azzal, hogy az érzékelő rendszert egy Kademlia alapú átfedőre 25

29 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 26 Fogalom gyanús esemény támadás Meghatározás Elemi, észlelhető események, amelyek egy támadás részeként érzékelhetőek. Önmagukban nem feltétlenül jelentik azt, hogy egy hálózat vagy gazdagép ténylegesen támadás alatt áll. Tényleges betörések; azok az esetek, amikor bizonyosak vagyunk afelől, hogy egy külső személy hozzáférést kísérelt meg megszerezni a hálózat valamelyik gazdagépéhez, vagy akadályozni próbálta azok működését. 3.. táblázat. Az elosztott betörésérzékelés fogalmai építjük. Ennek iteratív útválasztási eljárása ugyanis jobban illeszkedik az érzékelt események, és így az átfedőben keletkező adatforgalom dinamikájához. 3.. Az elosztott érzékelés jellegzetes problémái Az elosztott betörésérzékelés tárgyalásához a 3.. táblázatban szereplő gyanús esemény és támadás fogalmakat használom. Általában több gyanús esemény közösen utal egy támadásra. Támadás például az, amikor egy féreg jelszavak próbálgatásával próbál meg egy számítógépre betörni. A gyanús események ebben az esetben a helytelen felhasználói név-jelszó párosok, amelyeket a program generál. Egy helytelen jelszó önmagában még nem jelent támadást, hiszen az származhat a rendszer egy feljogosított felhasználójától is, aki tévesen gépelte azt be. Jelen esetben a gyanús események ismétlődése utal a támadásra. Az érzékelt események közötti kapcsolat felderítése A gyanús eseményeket egy konkrét érzékelő észleli. Egyetlen gyanús esemény nem feltétlenül utal támadásra; gyakran több esemény együttese jelenti a támadás manifesztációját. A különféle, de egymással összefüggő események a hálózat különböző pontjain is történhetnek, vagyis más-más érzékelő észlelheti őket. Az egymással összefüggő eseményeket valamilyen módon kapcsolatba kell hozni. Ez ismert támadási forgatókönyvek esetén könnyen mehet: ha ismert ugyanis a forgatókönyv, akkor annak egyes elemeit, lépéseit felismerve összeállhat a támadás képe, még akkor is, ha azokat különböző helyeken érzékeltük. Ismeretlen forgatókönyv esetén is adódhat erre lehetőség, például az azonos IP forráscímhez köthető, de akár eltérő helyeken észlelt gyanús események esetén. Az elosztott érzékelés, vagyis a hálózat különböző pontjain gyűjtött adatok együttes feldolgozása lehetőséget ad a hálózati szintű támadások felismerésére. A több helyen történő érzékelés és feldolgozás a következő problémákkal szembesít minket:. nagy mennyiségű, sokszor felesleges adat, 2. a döntéshozatalhoz elégtelen adatok,

30 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN heterogén érzékelők eltérő formátumú kimenete, 4. az érzékelők és a feldolgozók közötti kommunikációs problémák, 5. megbízhatósági problémák, 6. gyakran változó támadás típusok, forgatókönyvek. A feldolgozandó adatok mennyisége A betörésérzékelés önállóan működő érzékelők is kompromisszumokat igényel, főleg a feldolgozandó adatmennyiség terén. Minél több adatot gyűjtünk, és próbálunk meg elemezni, annál nagyobb számítási kapacitásra lesz szükség és természetesen annál nagyobb lesz a feleslegesen gyűjtött adat mennyisége. A kevés adat pedig azt eredményezheti, hogy bizonyos támadásokat a rendszer nem érzékel. Ez elosztott esetben többszörösen is igaz: a feleslegesen gyűjtött adat nem csak a feldolgozást lassítja, hanem a hálózatot is terheli. A gyűjthető adatokat ezért a következők alapján érdemes csoportosítani:. Olyan események adatai, amelyek önmagukban, a hálózat egy pontján érzékelve már betörésre utalnak. Ezek feldolgozását felesleges egy elosztott rendszerre bízni, ha az helyben is elvégezhető. A veszélyről ettől függetlenül az elosztott rendszer összes résztvevőjét érdemes értesíteni. 2. Olyan események adatai, amelyek önmagukban nem utalnak támadásra; de több, különféle helyről gyűjtve, és globálisan értelmezve az adatokat, egy hálózati szintű támadásról kaphatunk képet. Az elosztott érzékelő rendszerek mindkét esetben hasznosak lehetnek. Az első esetben a támadás felismerése után a riasztást az elosztott rendszeren hamar el lehet juttatni a többi résztvevőhöz; a második eset pedig olyan támadásokat jelent, amelyeket csak az adatok globális értelmezésével deríthetők fel. Ez azt jelenti, hogy ha érzékelni szeretnénk ezeket a támadásokat, akkor az azokkal esetleg kapcsolatba hozható gyanús eseményeket is globálisan kell feldolgoznunk. Az események értelmezése A betörésekre utaló jeleket sokszor csak a megtámadott rendszerben lehet érzékelni. Például egy bejelentkezési kísérletnél csak az adott rendszer tudja meghatározni, hogy az adott felhasználói név jelszó páros helyes, vagy helytelen. Az érzékelést ezért leghatékonyabb a végpontokon elvégezni. Az egyes végpontokon érzékelt események értelmezése azonban függ a végpont típusától is. Egy hiányzó fájl hibaüzenet eltérő rendszerek, alkalmazások, szolgáltatások esetén más-más fontosságú lehet. Ha egy webkiszolgáló nem talál egy fájlt, esetleg csak annyi történt, hogy egy felhasználó tévesen gépelte be annak nevét. Viszont ha egy tűzfal konfigurációs fájlja hiányzik, az nagyon fontos esemény lehet.

31 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 28 KOMONDOR P2P P2P DHT DHT modul jelentésfeldolgozó modul védekező modul - Snort - Prelude - - tűzfal - alkalmazási szintű védelem - - hosts.deny - szolgáltatás leállítása - érzékelés lehetőségei védekezés lehetőségei 3.. ábra. A Komondor eljárás működése 3.2. A Komondor elosztott betörésérzékelő eljárás A kidolgozott betörésérzékelő eljárás elnevezése Komondor, az ismert kutyafajtáról, amelyről azt mondják, először harap, csak azután ugat (vagyis értesíti a többi kutyát). A kifejlesztett eljárás működésének lényege, hogy a betörésérzékelésben résztvevő egyedek egy strukturált P2P átfedőt hoznak létre. Ez az átfedő szolgál arra, hogy az érzékelt gyanús eseményekről szóló adatokat megoszthassák egymás között, ahogyan az a 3.. ábrán is látható. Az átfedő fenntartásához kapcsolódó teendők mellett minden egyednek feladata a gyanús események érzékelése. Az érzékelésnek ki kell terjednie az olyan eseményekre is, amelyek önmagukban nem utalnak támadásra, de a velük kapcsolatba hozható egyéb eseményekkel együtt igen. Ezeket a gyanús eseményeket, tapasztalatokat az érzékelő egyedek az átfedőben eltárolják. Ha az összegyűlt adatok alapján arra a következtetésre jutnak, hogy a gyanús események együtt egy támadást jelentenek, akkor egy riasztást indítanak el az átfedőn; értesítve az összes résztvevőt a támadás tényéről. Az átfedő létrehozásának célja a támadások hatékony érzékelése és a riasztások továbbítása, ugyanakkor a védekezés az egyedek saját feladata. A gyanús események előfeldolgozása A gyanús eseményeket, mint tapasztalatokat az átfedőben történő tárolás előtt az egyedek saját maguk feldolgozzák. A hálózati forgalom csökkentése megkívánja, hogy a legtöbb, elosztott

32 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 29 érzékelés szempontjából lényegtelen információt eldobjuk. Egy eseménynek van azonban két olyan tulajdonsága, amelyet meg kell tartani:. Az események közötti kapcsolatot megteremtő információ. Ennek neve a kulcs. Ez az esemény egy olyan saját, vagy az eljárásban hozzárendelt tulajdonsága, amely segítségével egy később felismert támadással kapcsolatba hozható. 2. A védekezés alapjául szolgáló információ. Ennek segítségével támadás felismerése esetén az egyedek a felismert támadó ellen védekezni tudnak. A kapcsolatot megteremtő információ többféle is lehet. Egy gyanús esemény különféle támadási forgatókönyvekben szerepelhet; ebben az esetben több kulcs rendelhető hozzá. A védekezés alapjául szolgáló tulajdonság ismerete adja meg a lehetőséget az átfedő egyedei számára, hogy automatikusan védekezni tudjanak a felismert támadó ellen. Ha nincsen ilyen, az adott támadó elleni védekezés nem lehet automatikus; esetleg a rendszergazda értesítése, statisztikák készítése vagy ehhez hasonló tevékenységek elképzelhetőek. A kulcsra és a védekezés alapjául szolgáló információra közös példa a támadó IP címe, ha az ismert. Ez megteremti a kapcsolatot a különböző helyeken ismert, de összefüggő események között (ugyanattól a támadótól származnak). Továbbá, a védekezés alapjául is szolgál: a felismert támadó ellen az egyedek a tűzfalaik segítségével védekezni tudnak. Az eljárásban az IP cím alapján választott kulcs mellé egy büntető pontszámot is kell rendelni az átfedőben eltárolt eseményekhez. Ezzel a pontszámmal az érzékelő egyed osztályozza az eseményeket, azok fontosságátől és jelentőségétől függően az esetleges támadás szempontjából. A fontos események magas, a jelentéktelen események pedig alacsony pontszámmal rendelkeznek. A gyűjtő egyed ezen pontszámok összegézésvel értelmezi a tapasztalatokat, figyelve, hogy az összegük elért-e egy küszöbértéket. A pontszámokat az események típusától függően kell meghatározni. Kifinomultabb támadások esetén az IP cím vizsgálatánál bonyolultabb kulcshozzárendelésre van szükség. Fontos, hogy az egymással esetleg összefüggő eseményekhez ugyanazt a kulcsot rendeljék az egyedek, ugyanakkor a kulcs hozzárendelése önmagában még nem jelenti a kapcsolat felismerését, csak egy feltételezett lehetőséget. A kulcs lehet egy másik, események közötti kapcsolatot felismerni hivatott eljárás, pl. a JIGSAW [57] által hozzárendelt azonosító is. Így mód van arra, hogy a Komondor jelentésfeldolgozó moduljába egy másik eljárást építsünk, lehetővé téve azt, hogy annak bemenő adatait egy Komondor rendszer több érzékelővel gyűjtse. A kulcsok hozzárendelésére a szakasz mutat példákat. A hálózati forgalom csökkenthető, ha a rövid időn, egy időablakon belül érzékelt eseményeket egyetlen üzenetbe gyűjtik az egyedek. Ez is az események előfeldolgozásának részét képezi. Az időablak mérete kompromisszum függvénye. Túl rövid időablak esetén nem csökken a hálózati forgalom, túl hosszú esetén pedig az egyedeket értesítő riasztás késhet. A támadás típusától, forgatókönyvétől függ, hogy milyen események csoportosíthatóak így, és mekkora időablakban Strukturált átfedő használata az események eltárolásához Az érzékelt és előfeldolgozott tapasztalatokat az egyedek eltárolják az átfedőben. A strukturált P2P átfedők a szakaszban tárgyaltak alapján kulcs-érték párokat tárolnak. A Komondor

33 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 3. támadó 2. támadó. gyűjtő 2. gyűjtő 3.2. ábra. A strukturált átfedő használata a Komondor eljárásban eljárás lényege, hogy a gyanús eseményekhez generált kulcsokat, amelyek a lehetséges kapcsolatokat jelzik a különféle helyeken érzékelt eseményeknél, egyben a strukturált átfedőben történő eltárolás kulcsaként is kell használni. Az érték a gyanús eseményhez tartozó összes többi információ lesz. Az egymással esetlegesen összefüggő eseményekhez az egyedek azonos kulcsot rendelnek. A strukturált átfedőkben az eltárolás kulcsának hasító függvény szerinti értéke határozza meg azt, hogy a tárolás során melyik egyedhez kerül. Mivel az egyedek ugyanazt a hasító függvényt használják, az egymással összefüggő gyanús események adatai ugyanazon kulcs választása miatt az átfedőben egy egyedhez fognak kerülni, ahogyan az a 3.2. ábrán is látható. Így az eljárás biztosítja azt, hogy a kulcs által meghatározott egyed a lehető legnagyobb tudással rendelkezzen az átfedő egyedeit érintő eseményekről, és ezért képes lehet felismerni a támadást. Ezt az egyedet a továbbiakban gyűjtő egyednek nevezem. A strukturált átfedő választását indokolja, hogy a gyűjtő egyed jelenléte miatt a központosított hálózatok előnyei az elosztott esetben is érvényesülnek. Az érzékelt adatokat az átfedőben a kulcs által meghatározott gyűjtő egyednek kell csak elküldeni. Nem strukturált átfedővel ez nem lenne megvalósítható, hiszen azokban nincsen olyan globális szabály, amellyel az egyes érzékelések feldolgozása megadott egyedekhez lenne rendelhető. Továbbá, a rendszert ért többszörös támadások esetén a hálózat terhelése jobban megoszlik a hasító függvények tulajdonságai miatt, a szakasz mérési eredményei alapján is láthatóan. A strukturált átfedő megoldja az egyszeres hibapont problémáját is. Ha a gyűjtő egyed kiesik, az átfedő topológiája átszerveződik, és más helyre fognak kerülni az ugyanazzal a támadóval kapcsolatba hozható események. Az érzékelt támadás esetén a riasztás gyorsabb és hatékonyabb lehet a strukturált esetben, mint egy nem strukturált átfedő használata esetén. Az átfedő kis átmérője miatt ugyanis az üzenetszórás rövid idő alatt elvégezhető. A strukturált átfedőtől igényelt szolgáltatások Az egyedek az átfedőt nem a megszokott módon, eltárolás és kikeresés műveletekkel használják. A Komondor eljárás megvalósításához szükség van a strukturált átfedőben az eltárolás műveletének megvalósítására; ez kell ahhoz, hogy ugyanazon egyednél tárolódjanak a külön-

34 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 3 böző helyeken érzékelt adatok. Nincsen szükség viszont a kikeresés műveletének megvalósítására. A gyanús események adatait ugyanis az egyedeknek nem kell tudniuk visszakeresni. Emiatt az átfedők összehasonlításakor az eltárolással kapcsolatos műveleteket, illetve azokkal kapcsolatos optimalizálási lehetőségeket kell figyelembe venni. A beérkező adatokat a gyűjtő egyed dolgozza fel. Ennek felelőssége a feldolgozáson kívül az is, hogy érzékelt támadás esetén riasztást kezdeményezzen az átfedőn. A támadásról így minden egyedet értesíteni tud, amelyek ezután a konkrét védelmi lépéseket maguk teszik meg. A gyűjtő egyednek nem feladata minden egyes egyedet külön értesítenie, vagyis nem maga kell küldje az összes többi egyednek a riasztást. Erre a feladatra egy üzenetszórás alkalmas az átfedőben, amelyre elosztott és skálázható algoritmust lehet használni. Egy ilyen az 5. fejezetben kerül bemutatásra A Kademlia átfedő használata a Komondor eljárásban A Komondor eljárásban az egyedeknek a Kademlia átfedőre épülő hálózatot kell létrehozniuk, ugyanis ez igazodik legjobban a támadások esetén generált hálózati forgalomhoz. Ennek oka a következőkben keresendő. Azoknál a hálózati szintű támadásoknál, amelyek csak több érzékelő által gyűjtött adatok összesítésével ismerhetőek fel, a gyanús események adatait is el kell tárolnunk az átfedőben. Ez az átfedőben jelentős forgalmat generál, amely nem csak az érzékelő és a gyűjtő egyedet, hanem a közöttük lévő útvonalon a többit is terheli. Ha a gyanús események ugyanazon támadáshoz, támadóhoz köthetőek, vagy egyéb módon kapcsolódnak egymáshoz, akkor a Komondor eljárásban ugyanazt kulcsot kell generálni hozzájuk. Az átfedőbe küldött eltárolás üzenetek eloszlása emiatt egy konkrét támadásnál nem lesz egyenletes; több, egymás utáni üzenet ugyanazt a kulcsot tartalmazza, és az érzékelők ugyanahhoz a gyűjtő egyedhez küldik azokat. A P2P átfedők összehasonlításakor felismertem azt, hogy ebben az esetben a Kademlia használatával az üzenetek száma, vagyis a fizikai hálózat forgalma igen erősen csökkenthető. Ennek legfőbb oka az, hogy az egyedek útválasztási táblázataiban a Kademlia esetén bármely más egyed szabadon elhelyezhető, a protokoll előírásait betartva. Erre a Tapestrynél és a Kademliánál van lehetőség. Más átfedők, pl. a CAN és a Chord szabályai ennél merevebbek, így azoknál az útválasztás nem tudja figyelembe venni, ha több egymás utáni üzenetet kell elküldeni, amelyek forrás és cél egyede ugyanaz. (Egyéb alkalmazásoknál, pl. fájlcserélőknél az ilyen jellegű forgalom ritka, hiszen az egyedek nem tárolják el, és nem is keresik ki többször rövid időn belül ugyanazt a kulcsot.) Az esemény eltárolásának hatására keletkező üzenetek számát összehasonlítottam. Ezt mutatja be a 3.2. táblázat a Chord és a Kademlia esetén. A Kademliánál protokollüzenetnek nevezek minden átfedőn belül küldött üzenetet. A hasznos tartalommal rendelkező üzenetek pedig ezek azon részhalmaza, amelyek egy gyanús esemény adatát is tartalmazzák. A Chord esetén nem tehetünk ilyen megkülönböztetést; ott minden üzenet tartalmazza a gyanús esemény adatait is, mivel az üzenet célba juttatásában több egyed is szerepet vállal. A Chordban egy gyanús esemény elküldése esetén az átfedőben O(log 2 N) számú üzenet keletkezik, ahol N az átfedő mérete. A küldő egyednek ebben a célról nincsen tudomása, csak a szomszédairól. A Kademlia esetén viszont a küldőnek először meg kell keresnie a cél IP címét, ehhez elvileg O(log 2 N) számú lekérdezés, vagyis ugyanennyi protokollüzenet szükséges;

35 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 32 Átfedő Chord Kademlia Útválasztási eljárás rekurzív iteratív Egyed megkeresése O(log 2 N) Első tartalom küldése O(log 2 N) O( + log 2 N) n tartalom küldése ugyanannak az egyednek Üzenetenkénti átlag, ha az üzenet célja ugyanaz az egyed Protokollüzenetek számának határértéke, ha n O(n log 2 N) O(n + log 2 N) O(n log 2 N)/n O(log 2 N) O(N + log 2 N)/n O() 3.2. táblázat. A protokollüzenetek számának alakulása strukturált átfedőkben utána pedig még + üzenet ahhoz, hogy a tényleges tartalmat eljuttassa a célhoz. Ha egynél több gyanús esemény adatait, azaz több hasznos tartalommal rendelkező üzenetet is kíván küldeni ugyanannak az egyednek, akkor többször már nincsen szükség annak kikeresésére. Így n darab tartalommal rendelkező üzenet küldése esetén az összes protokollüzenetek száma n+o(log 2 N ) lesz, szemben a Chorddal, amelynél mind az n tartalommal rendelkező üzenetnek végig kell haladnia az O(log 2 N) hosszúságú láncon. Emiatt a Kademlia esetén, ha ugyanaz az üzenet feladója és célja, akkor az üzenetküldéshez gyanús eseményenként határértékben O() számú protokollüzenet szükséges. Mindez amiatt is lehetséges, mivel a Kademlia átfedőben bármelyik egyed szabályosan, a protokoll előírásainak megfelelően elhelyezhető bármely másik útválasztási táblázataiban. Az útválasztási táblázatok a távoli egyedeket távolságuk nagyságrendje szerint rendezik a k- vödrökbe. Az egyes k-vödrökbe azonban az adott részfákból bármely egyedeket kiválaszthatjuk, az útválasztás mindig működőképes és helyes lesz. Vagyis egy tetszőleges A egyed esetén bármely B egyedet tartalmazhatja A útválasztási táblázata, a d(a,b) = A B távolság alapján; így ez igaz lesz bármelyik érzékelő és gyűjtő párosra is. Hasonló a helyzet a Tapestry átfedőnél is. A megismert, kulcs alapján kijelölt egyed a címének első számjegyei (prefixe) alapján elhelyezhető a küldő útválasztási táblázataiban, így a későbbi kommunikáció közvetlenül az egyedek között is történhet az átfedő protokollüzenetei formájában. Az útválasztási táblázatok ilyen szervezéséhez mind a Tapestry, mind a Kademlia átfedők protokolljai útmutatást adnak arra, hogy a táblázatokba azonos helyre kerülő egyedek közül melyeket kell elhelyezni. A Kademlia átfedőben a régebb óta ismert egyedeknek van elsőbbségük [], abból a tapasztalatból kiindulva, hogy azok megbízhatóbbak. A Tapestry átfedőben pedig a jelölt új egyed felé mért hálózati késleltetési időt (round trip time, RTT) hasonlítják össze [68]. Gyorsabb kapcsolatot választva ugyanis az átfedő egészének működése gyorsul. A Komondor szempontjából az az előnyös, ha az útválasztási táblázatokban olyan egyedek vannak, amelyeknek gyakran kell adatot küldeni. Ezeket a támadások eseményeihez hozzárendelt kulcsok határozzák meg. A fenti legrégebbi egyed (Kademlia), és leggyorsabb egyed (Tapestry) kiválasztási mechanizmust ezzel helyettesíthetjük a Komondor esetében. Látszólag ez biz-

36 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 33 k 7 átlagos eseményszám érzékelőnként [db] k k érzékelők száma időtartam [s] 3.3. ábra. Helytelen jelszavak gyakorisága egyes támadások esetén a támadás időtartamának függvényében tonsági kockázatot jelent az átfedő működésére nézve, de fontos az, hogy az így kiválasztott egyedek az eltárolt adatok kulcsaitól függenek. Ezeket pedig maguk a Komondor egyedek rendelik hozzá, még ha az események alapján is. A biztonság növelése úgy valósítható meg, ha az adatok küldéséhez (kulcs-érték párok tárolása) egy gyorsítótárhoz hasonló kiegészítő útválasztási táblázatot használunk, amelyet az egyed kikeresésekhez nem. Ez a módosítás csak az üzenetküldéseket érinti, az üzenetek fogadását nem. A Kademlia a fentiek miatt ebben a betörésérzékelő alkalmazásban kevesebb üzenetet generál a fizikai hálózaton, mint más átfedők. A Kademlia esetében az útválasztási táblázatok mérete kisebb mint a Tapestry táblázatai, és azok fenntartása kevésbé költséges művelet [69, 7]. A működés közben, események miatt keletkező forgalom O() költséggel kezelhető. A gyanús eseményenkénti pontosan egy üzenet az érzékelő és a gyűjtő egyed közötti közvelten kommunikáció miatt az átfedő méretétől független, így nagytérségi alkalmazás, vagyis nagyméretű átfedők esetén a Kademlia használata különösen indokolt Az eljárás hatékonyságának igazolása A Komondor eljárás hatékonysága valódi átfedők segítségével érzékelt betörési kísérletek vizsgálata alapján igazolható. Ilyen mérési eredményt mutat be a 3.3. ábra, további eredményeket pedig a szakasz. A 3.3. ábra SSH kiszolgálókon érzékelt, hibásan megadott jelszavakat mutat [45]. Minden

37 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 34 pont egy támadást, azaz egy vagy több gyanús eseményt jelent, amelyek egy támadó IP címtől származnak. Az y tengelyről az események, vagyis a hibásan megadott jelszavak száma olvasható le. Egy támadáson belül a legelső és a legutolsó esemény között eltelt idő, azaz a támadás időtartama pedig az x tengelyen látható. Az egyes támadók tevékenységét több Komondor érzékelő egyed is rögzítette. A támadókat érzékelő egyedek számát a pontok színe mutatja. Feketék azok, amelyeket csak egy egyed rögzített, a többi pedig színes. Több érzékelő egyed esetén az események száma egy érzékelőre vonatkozik, azaz el van osztva az érzékelők számával. Ebben az esetben így adódik az y tengelyen látható átlagos eseményszám. Az egy érzékelőt érintő (feketével jelölt), és a több helyen érzékelt (színekkel jelölt) támadások jól láthatóan elkülönülnek egymástól. Az egy helyen érzékeltek jelentős hányadának eseményszáma alacsony. Az ábrázolt támadásból 45 darab az (;) pontban jelenik meg. Ezek valószínűleg emberi kéztől származnak, tévesen beírt jelszó miatt. A több érzékelő által rögzített támadások pedig programtól származnak. Az ilyenek szótár alapú támadásra utalnak, ahogyan az a részletes naplófájlokból ellenőrizhető is. Ezen mérési adatok alapján a Komondor eljárásban az elosztott betörésérzékelés, és annak egy Kademlia alapú DHT hálózatra történő megvalósítása az alábbiak szerint indokolt. Az érzékelt támadások jelentős részét nem csak egy, hanem több szomszédos Komondor egyed is rögzítette, vagyis ugyanazon támadók több gazdagépre is megpróbáltak betörni. Emiatt a tapasztalatok megosztásával az elosztott betörésvédelmi rendszer hatékonyan képes erősíteni a támadások elleni védelmet. Az érzékelések a hálózat különböző pontjairól származnak. Egy támadáshoz akár érzékelt esemény is tartozhat, amelyeket az elosztott hálózatnak tárolnia kell, és azok feldolgozását is biztosítania kell. Az eseményekhez rendelt kulcsokkal a tárolás hatékonyan egy DHT alapú átfedőben végezhető el. Így az összetartozó események egy egyedhez kerülnek, a többinek pedig nem jelent ez terhelést. Jelen esetben a kulcsok a támadók IP címei voltak. Az érzékelő egyedeknek a Kademlia útválasztási eljárása esetén elegendő csak egyszer lekérdezniük az átfedőtől tároló egyed helyét. Az első esemény után minden egyes további tapasztalatmegosztásnál már elkerülhető az újabb lekérdezés A Komondor eljárás alkalmazási lehetőségei A Komondor eljárás valós környezetbeli hatékonysága a kulcsok helyes megválasztásától függ. Ha két eltérő helyen keletkező eseményhez nem sikerül az egyedeknek azonos kulcsot hozzárendelni, akkor azok nem fognak ugyanazon gyűjtő egyedhez kerülni, és így a közöttük lévő kapcsolat felismerése is meghiúsul. A kulcs hozzárendelése történhet az esemény valamely saját tulajdonsága, pl. a forrásának IP címe alapján. Az általam megvalósított, szakaszban bemutatott Komondor rendszerben így történik az adatgyűjtés. Ezzel a módszerrel különféle féregprogramok aktivitása, pásztázások és adatbázis-kiszolgálók elleni támadások is észlelhetőek. Egyes esetekben a mért adatok alapján meghatározható az is, hogy az események emberi kéz, vagy valamilyen program működése nyomán keletkeztek. Az IP cím alapú érzékelés előnye, hogy egyben a védekezéshez

38 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 35 típus horizontális vertikális vegyes cél Több gazdagépet, de csak egy kaput érint. Valószínűleg a támadó hibásan konfigurált szolgáltatást keres az alhálózaton, amelyen keresztül betörhet a rendszerbe. Több kaput, de egy gazdagépet érint. A támadó egy konkrét gazdagép szolgáltatásait térképezi fel. Elosztott pásztázás több forrásból. Előfordulhat, hogy távolról a rendszert igyekeznek leterhelni, hogy működésképtelennél váljon táblázat. Kapupásztázások típusai [63] alapján szükséges információt is tartalmazza. Hátránya, hogy könnyen kijátszható a támadók által, és ezért a kulcsok hozzárendeléséhez más megoldásokat is szükséges lehet használni Kulcsok választása a Komondor eljárásban Kifinomultabb támadások esetén a kulcsok hozzárendelése nem végezhető el olyan egyértelműen, mint az egy IP címről érkező támadások esetében. Az események közötti kapcsolat felismerésére az irodalomban többféle módszert is bemutatnak. A Komondor eljárás előnye az, hogy az említett módszerek számára az adatgyűjtést elosztott módon tudja elvégezni; vagyis hogy ezen módszerek elosztottan is alkalmazhatóvá válnak. A valószínűsíthetően összetartozó eseményekhez rendelt közös kulcs célja, hogy a gyűjtő egyedek megkapják az egyes érzékelő egyedeknél keletkezett események adatait. A Komondor eljárásba beépíthetjük az irodalomban tárgyalt összetettebb kapcsolatfelismerési módszereket is. Ez azt jelenti, hogy a beérkező események alapján a gyűjtő egyed a beépített módszert, pl. a JIGSAW eljárást [57] megvalósítva végzi el a kapcsolatfelismerést. Az érzékelő egyedek jelentésfeldolgozó moduljai pedig az egyes eseményekhez hozzárendelik azon JIGSAW eljárásbeli forgatókönyvek neveit kulcsként, amelyekben az adott esemény szerepelhet. Ilyen esetben a gyűjtő egyedek úgy viselkednek, mintha központi kiszolgálók lennének, amelyek a JIGSAW eljárást valósítják meg. Előny viszont, hogy a DHT átfedő terheléselosztást valósít meg, és a gyűjtő egyed kiesése esetén automatikusan átkerül a gyűjtés felelőssége egy másik egyedhez. A Komondor hasznossága az egyes támadástípusok esetén eltérő. Ha a támadó IP címe azonosítható, akkor a védelem könnyedén kialakítható egy tűzfal segítségével. Más esetekben előfordulhat, hogy csak a támadás ténye ismerhető fel. A 3.3. táblázatban összefoglalt, DO- MINO rendszerben dokumentált pásztázások [63] esetén a kulcshozzárendelés és az eljárás hasznossága a következőképpen alakul: Horizontális pásztázás esetén a támadásokat különböző gazdagépek érzékelik, de a pásztázott kapu (port) mindegyiküknél ugyanaz. Ebben az esetben a kapu száma lehet a kulcs. Ha a gyűjtő egyed megkapja a jelentéseket, össze tud állítani egy feketelistát azokról a támadókról, akik a megadott típusú támadást indították. A többi Komondor egyed kifejezetten ezek ellen tudja védeni a megtámadott szolgáltatást.

39 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 36 rockford nemere hunor turul jutas buda horka fajsz fermi monolit kende 3.4. ábra. A méréseket végző Komondor P2P hálózat Vegyes pásztázás esetén a támadás alatt álló alhálózat címe lehet a kulcs. A különböző helyekről érzékelt támadások adatait összegyűjtve a gyűjtő egyed képes felismerni, hogy az alhálózat különböző részeit elosztott támadások érték. Az egyedek így értesülnek arról, hogy nem csak maguk, hanem az egész alhálózatuk támadás alatt áll. Vertikális pásztázás esetén egy gazdagép áll támadás alatt, és ez érzékeli a támadást. A támadás forrása is ugyanaz, vagyis a támadó konkrétan azonosítható. A kulcs ilyenkor a támadó IP címe lehet, bár valószínűsíthető, hogy eseményeket csak egy érzékelő fog rögzíteni. A DHT ilyen esetben a riasztások továbbítására használható A Komondor rendszer mérési összeállítása Az elosztott, DHT alapú betörésérzékelés valós körülmények között történő teszteléséhez megvalósítottam a Komondor rendszert. Ez a betörésérzékelő alkalmazás a 3.2. alfejezetben bemutatott eljárások implementációit tartalmazza. A teszt változat C++ nyelven íródott. Elsőként Linux operációs rendszeren futott, később átültettem Windows rendszerre is. Az elemi események érzékelését a Snort program végezte [6]. Az alkalmazás implementálásával és egy saját átfedő létrehozásával lehetőség nyílt arra, hogy az eljárás valós környezetben történő működését értékelni lehessen. A telepített változatához készítettem egy PHP-ban írt monitorozó felületet is, amelynek segítségével Web böngészőben lehetett nyomon követni az átfedő állapotát (3.4. ábra) és az átfedőben eltárolt adatokat. Ez képes statisztikákat készíteni az érzékelt betörési kísérletek-

40 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 37 ről. A szakaszban bemutatott statisztikák is azokat a betörési kísérleteket mutatják, amelyeket a Komondor alkalmazás rögzített. A Komondor teszt hálózat három éven keresztül végzett adatgyűjtést. Ezalatt a hálózat mérete a rendelkezésre álló gépek számának függvényében változott, általában 5 gép méretű volt (3.4. ábra). Az átfedő nem csak egy alhálózatra korlátozódott; az egyedek egy része a Budapesti Műszaki és Gazdaságtudományi Egyetem Elektronikus Eszközök Tanszékének számítógépei voltak, másik része pedig otthoni, ADSL és kábeles hálózati kapcsolattal rendelkezett. Ezek közül egy OpenBSD-t, kettő Ubuntu Linuxot, a többi pedig Debian Linuxot futtatott. Az elemi, gyanús események érzékelését a Snort program végezte [6], illetve a Komondor rendszer a beállított szolgáltatások naplófájljait külön is figyelte. Mindegyik gépen működött SSH szolgáltatás, öt gépen Apache vagy lighttpd web kiszolgáló. Két gépen működött egy hamis POP3 levelező szolgáltatás, kifejezetten arra a célra, hogy a támadókat megtévessze. Az utóbbira érkező minden csatlakozási kísérletet támadásnak tekintettem, hiszen feljogosított felhasználója a rendszereknek ilyen szolgáltatást nem kereshetett. Az implementált rendszerben az események IP cím alapú összekapcsolását valósítottam meg. A 3.2. alfejezetben tárgyaltak alapján ez sok támadástípusnál alkalmas a kapcsolat felismerésére, és védekezés kialakítására is. A méréshez használt, főleg Linux alapú operációs rendszerekben a tűzfalat úgy állítottam be, hogy a Komondor rendszer által támadónak érzékelt IP címekről érkező forgalmat naplózza; az érzékeléshez így ezeket a napló bejegyzéseket is tudtam használni, nem csak az egyes kiszolgáló programok naplóit. Természetesen az IP cím alapú kapcsolatfelismerés és védekezés csak az egyik lehetőség. Ez a mérés elvégzéséhez és a referencia implementációban történő megvalósításhoz a többinél praktikusabbnak bizonyult. A vizsgálatok során alkalmazott Komondor átfedő hálózat egyik elemét speciális feladatkörrel láttam el. A P2P hálózatba kapcsolódást segítő horgonypont szerepe mellett ez rögzített, x értékű NodeID-t kapott. A rögzített adatokat a Kademlia protokoll szerinti helyen kívül az egyedek itt is eltárolták. Ez lehetővé tette azt, hogy a hálózatban történő minden eseményt naplózni lehessen, hiszen ez nem csak a riasztásokról értesült, hanem minden elemi eseményről. Ezen futott a monitorozó rendszer is, amellyel az átfedő aktuális állapotát és a tárolt adatokat lehetett vizsgálni. Az itt telepített programok az érzékelt betörési kísérletek típusairól, forrásairól és az érzékenység hatékonyságáról folyamatosan frissülő statisztikákat mutattak A Komondor rendszerrel érzékelt támadások A támadások a világtérképen A 3.5. ábra az érzékelt támadásokat mutatja, a támadások forrása szerint. Az egyes pöttyök a rajzon támadó IP címeket jelentenek, amelyekhez több támadás is tartozhat. A pöttyök mérete és az érzékelt támadások száma között logaritmikus összefüggés van. A legkisebbek egyetlen érzékelt támadást jelentenek, a legnagyobbak pedig kb. nyolcszázat. A térképet összesen 788 rögzített támadás adatai alapján készítettem. Az egy IP címről érzékelt legtöbb különálló támadás 8 darab volt. Az implementált Komondor rendszer által végzett mérések eredményei hasonlóak a más, elosztott adatgyűjtő rendszerek által létrehozott statisztikákhoz [7]. A tapasztalatom az, hogy

41 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 38 e3 e2 e e 3.5. ábra. Az érzékelt támadások forrásai a világ térképén. A pöttyök mérete és színe az érzékelt támadásokat mutatja logaritmikus skálán a támadások leggyakrabban az ázsiai országokból érkeznek. Ennek oka főként az lehet, hogy az IP címek egyenetlenül kerültek kiosztásra. Némely amerikai nagyvállalat akkora tartománnyal rendelkezik, mint egy egész ázsiai ország. Másik valószínű oka, hogy ott gyakoribbak a frissítetlen, elavult operációs rendszerrel és programokkal működő gépek, amelyeknek így nagyobb aránya fertőzött valamilyen féregprogrammal. Alátámasztja ezt az is, hogy az onnan érkező támadások nagyobb része ezek aktivitása. A támadások IP cím szerinti megoszlása A 3.6 ábrán az események eloszlása láthato az IP címek és a kulcsok terében. EZ az ábra csak az SSH féregprogramok tevékenységét mutatja. Az IP címeket a négyzet alakú területre egy Hilbert térkitöltő görbe mentén képeztem le. Ezen a 32 bites IP címtartomány egymáshoz közeli területei egymás mellett vannak, például a /24-től a 63/24-ig terjedő tartomány (/3) a bal felső negyedben; a /24-től a 5/24- ig terjedő tartomány (/28) a bal felső tizenhatodban. A cím első oktetje határozza meg a számozott négyzet választását, a második oktet pedig az azon belüli helyet. Ennek célja az is, hogy ne fedjék el egymást a pöttyök. Minden pötty egy konkrét támadást jelez, A pöttyök mérete és színe az ahhoz az érzékeléshez tartozó gyanús események számát mutatja. A színek logaritmikus skála szerintiek. Az egyes támadásokhoz nagyságrendekkel eltérő számú elemi események tartoznak. A rendszer érzékelt olyan támadásokat, amelyekhez csak néhány gyanús esemény tartozott, amelyet az átfedőben el kellett tárolni. Sok olyan is volt, amelyekhez események ezrei tartoztak. A kettő között négy nagyságrend különbség van. Az egy támadáshoz tartozó legnagyobb mért eseményszám kb. 7 darab.

42 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN e e e e e e (a) Érzékelt események száma IP címtartomány szerint e3 e2 e (b) Tárolt adatok eloszlása az átfedőben e 3.6. ábra. Az érzékelés okozta terhelés elosztása a strukturált átfedőben

43 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 4 Ha a támadások forrásainak IP címét használjuk az események közötti kapcsolat felismerésére, akkor az érzékelő rendszer strukturált átfedőre történő építésével javíthatjuk a feldolgozást végző egyedek között a terhelés elosztását. Ezt mutatja a 3.6(b) ábra. Ezen a támadások forrás IP címét a hasító függvény segítségével leképeztem a Komondor egyedek alkalmazási szintű hálózati címterére. Az így keletkező, a referencia implementációban használt 32 bites azonosító első nyolc bitjét x, második nyolc bitjét pedig y koordinátának használva ábrázoltam a hasított kulcsok eloszlását. A támadások természetéből fakadóan az érzékelt események száma a támadások típusától erősen függ, akár négy nagyságrend különbség is lehet közöttük. A terhelés elosztása nem lehet teljesen egyenletes, hiszen egy adott támadótól származó adatokat meghatározott gyűjtő egyednek kell küldeni; a strukturált átfedő alkalmazásával mégis több, mint egy nagyságrendnyi javulást sikerült elérni. Az SSH férgek esetén a javulás,85 nagyságrend volt. Mivel egy támadás alatt gyakran generálják az átfedő egyedei ugyanazt a kulcsot, gyakran küldenek eltárolási és feldolgozási kéréseket ugyanannak a gyűjtő egyednek. A mérések alapján nyilvánvaló, hogy ebben a betörésérzékelési alkalmazásában eltérő dinamikájú forgalom keletkezik az átfedőben, mint egyéb alkalmazásoknál. Ehhez a dinamikához képes a Kademlia jobban alkalmazkodni, mint más strukturált átfedők. A szakaszban bemutatottak szerint a Kademliánál csak az első ilyen üzenetnél van szükség a gyűjtő egyed címének kikeresésére, a másodiktól kezdve már minden gyanús esemény tárolásának költsége csak egyetlen egy üzenet. A támadások típus szerinti megoszlása A 3.7. ábra néhány kiválasztott támadástípust mutat. Az egyes típusok jelentősen eltérő gyakoriságban jelennek meg, ezért a gyakoriságot mutató x tengely logaritmikus skálázású. Zöld szín jelöli azokat a támadásokat, amelyeket a Komondor több érzékelő egyednél is rögzíteni tudott, a piros pedig azokat, amelyeket csak egynél. Az érzékelés alapja a mérésben a támadók IP címe, vagyis a rosszindulatú tevékenységre utaló adatcsomag forrás IP címe volt. Az elemi, gyanús események érzékelését a rendszer naplófájljainak vizsgálatával és a Snort programmal végeztem [6]. Az egyes gyanús eseményekhez tartozó naplófájl bejegyzés részlete, illetve a naplófájl neve a 3.4. táblázatban látható. Az érzékelés küszöbértéke a mérésben pont volt; az események rögzített pontszámai tíz másodpercenként csökkentek -gyel. (Ennek célja az volt, hogy egy jelszavát véletlenül tévesen begépelő felhasználót ne zárjak ki véglegesen a rendszerből.) Az elosztott érzékelés hatékonysága erősen függ a támadás típusától. Egyes betöréstípusok, például a férgek aktivitásából adódó snort-sql-overflow esemény nem ismétlődnek rövid időn belül ugyanattól a forrástól. Ez a Slammer (Sapphire) féreg aktivitását jelzi, amely az Interneten máig igen elterjedt. Ez a féreg nem célzottan próbál meg terjedni, hanem csak véletlenszerűen választott célpontok felé. Ezt nem érdemes az elosztott érzékelő rendszerrel figyelembe venni, ha a támadók ellen célzottan szeretnénk védekezni. Az IP cím alapú érzékelés többlet biztonságot ennél nem tud nyújtani. Erre azért volt szükség, mert a Kademlia átfedő bináris fa topológiájához igazítva nem lenne lehetőség a kulcsok eloszlását szemléletesen ábrázolni. Ha a Komondor kétdimenziós CAN átfedőt alkalmazna, akkor ez az ábra pontosan megfelelne az átfedő egyedeinek is.

44 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 4 név jelenség (naplófájl neve, reguláris kifejezés) pont vsftpd-fail-login /var/log/vsftpd.log: FAIL LOGIN Client 6 sshd-invalid-user /var/log/messages; /var/log/auth.log; /var/log/sshd/- 6 current; /var/log/authlog: (Failed password for (invalid illegal) Invalid) user from sshd-failed-password /var/log/messages; /var/log/auth.log; /var/log/sshd/current; 3 /var/log/authlog: Failed password for [ˆ ]* from sshd-conn-lost /var/log/messages; /var/log/auth.log; /var/log/sshd/current; 6 /var/log/authlog: Did not receive identification string from sshd-auth-failed /var/log/messages; /var/log/auth.log; /var/log/sshd/current; 3 /var/log/authlog: Authentication failure for [ˆ ]* from snort-sql-overflow /var/log/snort/alert; /var/snort/log/alert: MS-SQL version 2 overflow attempt snort-cyberkitping /var/log/snort/alert; /var/snort/log/alert: ICMP PING CyberKit Windows pop3-honeypot bármilyen csatlakozási kísérlet phpmyadmin /var/log/apache2/error_log; /var/log/apache/error_log; 6 /var/www/logs/error_log: File does not exist:.*(include main server_collations xmlrpc adxmlrpc).php$ 3.4. táblázat. Az elemi események típusai vsftpd-fail-login érzékelt több helyen érzékelt sshd-invalid-user sshd-failed-password sshd-conn-lost sshd-auth-failed snort-sql-overflow snort-misc-attack snort-cyberkitping pop3-honeypot phpmyadmin 3.7. ábra. Támadások típus szerint

45 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 42 phpmyadmin féregprogram (MySQL ellen) Slammer féregprogram (MSSQL ellen) e4 eseményszám időtartam k e4 eseményszám időtartam e3 k e3 támadás hossza [s] e2 k események száma [db] támadás hossza [s] e2 események száma [db] e e e % 2% 4% 6% 8% % e % 2% 4% 6% 8% % 3.8. ábra. A Komondor által érzékelt támadások hosszai és eseményszámai a phpmyadmin féreg és a Slammer esetén A szisztematikus támadások esetén az elosztott és az összes támadások aránya sokkal nagyobb. Ilyen például az sshd-invalid-user típusú esemény, amelynél érvénytelen felhasználói nevet kap az SSH kiszolgáló. Mivel a felhasználók látják a képernyőn, hogy milyen nevet írnak be bejelentkezés közben (csak a jelszót nem), ezért abban ritkán hibáznak. Ez a típusú esemény szisztematikus betörési kísérletre utal, amit az is mutat, hogy az ilyen jellegű támadásokat több egyed is érzékelt ugyanarról a forrás IP címről. A saját készítésű hamis POP3 kiszolgáló programom egy postafiók kiszolgálót imitált (honeypot). Ennek segítségével nem sikerült olyan támadót érzékelni, amelyik több, a hálózat által védett számítógépet is támadni próbált volna. A támadások időbeli eloszlása és az érzékelt események száma A mérést végző Komondor hálózatban a naplózás feladatát külön ellátó, x NodeIDvel rendelkező egyed rögzítette az egyes támadóktól származó események számát, és a vélhetően egy támadáshoz tartozó legelső és legutolsó gyanús esemény között eltelt időt. Ezeket mutatja a 3.8. és a 3.9. ábra. Az y tengely mindegyik ábrán két skálával rendelkezik. A bal oldali skálák a támadás időtartamot mutatják (piros görbék), a jobb oldaliak pedig az érzékelt események számát (kék görbék). A támadások az időtartam szerint rendezve vannak. Az x tengelyen az egyes támadások kaptak helyet. Az összetartozó adatok, vagyis az egyes támadások időtartama és eseményszáma így egy x értéken található. A 3.8. ábra két különféle féreg aktivitását mutatja az összehasonlítás céljára. Az első (bal oldalt) a HTTP kiszolgálókon keres biztonsági réssel rendelkező MySQL adminisztrációs felületet (phpmyadmin). A második (jobb oldalt) pedig az irodalomban sokat tárgyalt Slammer féreg, amely elavult verziójú MSSQL szerverek hibáját kihasználva terjed [7]. A grafikon-

46 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 43 SSH hibás felhasználói név SSH hibás jelszó e5 eseményszám időtartam k e5 eseményszám időtartam k e4 k e4 k támadás hossza [s] e3 e2 k események száma [db] támadás hossza [s] e3 e2 k események száma [db] e e e % 2% 4% 6% 8% % e % 2% 4% 6% 8% % 3.9. ábra. A Komondor által érzékelt, SSH kiszolgálót érő támadások támadások hosszai és eseményszámai. A hibás felhasználói név szinte biztosan támadásra utal. A hibás jelszó a vakon gépelés miatt származhat feljogosított felhasználótól is. ról leolvasható, hogy az előbbi kitartóan, akár több ezer lekérdezést indítva próbált meg a Komondor hálózat különböző gazdagépeire betörni; az utóbbi pedig általában csak egy-egy alkalommal próbálta meg megfertőzni azokat. A phpmyadmin felületet támadó féreg ellen a Komondor védelmet tud adni az azt futtató gépek számára, mivel egy érzékelés után a támadó az IP címe alapján beazonosítható, és ez a tény a védekezésre felhasználható. A mérések alapján látszik, hogy ez a féreg szomszédos gépeket is támad, vagyis azok képesek egymás védekezését segíteni is. A Slammer féreg ezzel szemben véletlenszerűen választja ki a megtámadott célpontokat, így egy konkrét támadóhoz csak egy esemény köthető. A véletlenszerű célpont és az IP címek nagy száma miatt (2 32 ) valószínűtlen az, hogy egy támadó szomszédos, Komondor által védett gépeket támadna rövid időn belül. Mivel az egyes érzékelt események között a támadás módján kívül más kapcsolat nem fedezhető fel, és olyan információ sem következtethető ki belőlük, amely a védekezésre használható lenne, emiatt célzott védelem nem építhető ki. A fertőzött gép IP címe a tűzfalon keresztül blokkolható, de ez a védekezés általában későbbi esemény híján haszontalan. A Slammerhez hasonló férgek, és általában a vírusok elleni védekezésre a szakaszban bemutatott PROMIS és Indra eljárások használhatóak [64, 4]. A 3.9. ábra az SSH kiszolgálókat érintő különféle eseményeket mutatja. Ez a típusú támadás a Komondor által érzékeltek közül a legszemléletesebben ábrázolható, hiszen ez a Komondor egyedek által védett számítógépek mindegyikén egy gyakran használt szolgáltatás volt. Az ábra vegyesen tartalmaz szándékos támadásokat és tévesen begépelt jelszavakat is. A bal oldali grafikon a hibásan megadott felhasználói neveket mutatja, a jobb oldali a hibás jelszavakat. Itt is látszik, hogy bejelentkezéskor a felhasználók látják a begépelt nevüket, a viszont jelszavukat vakon kell beírniuk. A helytelen felhasználónév ritkán származik emberi kéztől; ezek az

47 3. FEJEZET. BETÖRÉSÉRZÉKELÉS STRUKTURÁLT P2P ÁTFEDŐN 44 események, amelyekből nem ritkán tízezres darabszámmal is érzékelt a rendszer, szinte minden esetben kitartó, férgek által kivitelezett támadások részei voltak. A valóban csak tévesen begépelt jelszavak az esetek 4%-ában csak egyetlen egyszer fordulnak elő, mert másodjára a helyesen írták be azokat. Az események számából és a mérés idejéből becsülve átlagosan 2,5 naponta gépelte be valaki tévesen a jelszavát, ami a mérést végző gazdagépekre regisztrált felhasználók számát tekintve reálisnak mondható.

48 4. fejezet A Kademlia átfedő megbízhatóságának növelése 2. tézis. Új eljárást dolgoztam ki a Kademlia DHT átfedő rendszerszintű működési jellemzőinek beállítására. [S, S2, S, S6] 2.. altézis. Kidolgoztam egy modellt, amely alapján a Kademlia átfedőben analitikusan és numerikus módszerrel is meghatározható a replikáció szintje úgy, hogy az adott hálózati viszonyok, mint peremfeltételek mellett az átfedő biztosítsa az egyedeinél tárolt adatok elvárt rendelkezésre állási szintjét. [S, S, S6, S7] 2.2. altézis. Megmutattam, hogy a Kademlia átfedőben az azonosítók gyakorlatilag véletlenszerűen történő megválasztása miatt a tárolt adatok elérhetősége a hibák globális eloszlásától függ. Bebizonyítottam, hogy egy adott rendelkezésre állás eléréséhez szükséges replikációs szint változatlan hálózati peremfeltételek mellett független az átfedő egyedszámától. [S, S] 2.3. altézis. Megmutattam, hogy a replikáció növelésével a Kademlia átfedő megbízhatatlan egyedek jelenléte esetén is megbízhatóvá tehető. [S, S, S6, S7] A szakaszban tárgyalt okok miatt a Kademlia nem teljesen megbízható. Ez azt jelenti, hogy egyes esetekben az eltárolt adatok visszakereshetősége nem minden egyed felől biztosított, annak ellenére, hogy vannak az átfedőben egyedek, amelyeknél elvileg elérhetőek azok. Ha egy eltárolandó adattételt a kulcsa alapján olyan egyedhez rendel az átfedő, amelyhez a többi egyed nem tud csatlakozni, a tétel nem minden esetben lekérdezhető. A csatlakozás meghiúsulását okozhatja valós vagy látszólagos hálózati hiba; az utóbbiak közé tartoznak a tűzfalak és a címfordítás szakaszban említett hatásai. A visszakereshetőség meghiúsulhat amiatt is, hogy az adatot tároló egyed időközben elhagyja az átfedőt. Ez gyakori jelenség akkor, ha a hálózaton a gyakori az egyedek ki- és belépése (high churn). Az adatok több helyen történő tárolásával, vagyis replikációval a megbízhatóság jelentősen javítható. A replikáció növelése viszont azt is jelenti, hogy a hálózat forgalmát növeljük, és az 45

49 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 46 egyes egyedektől is nagyobb háttértár kapacitás biztosítását várjuk el. A kidolgozott eljárás célja az, hogy a replikáció szükséges szintjére egy becslést adjon; hogy meg lehessen határozni egy olyan minimális értéket, amely segítségével az átfedő megbízhatósága egy megadott szintet már elér. Az éppen elégséges replikációs szint biztosítja az adatok visszakereshetőségét, miközben a hálózat és az egyedek terhelése nem növekszik meg indokolatlan mértékben. A szimulációs eljárás segítségével a hálózati hibák okozta megbízhatatlan működés feltérképezhető. Az eljárás segítségével bizonyítható az, hogy a replikáció szükséges mértékű növelésével az átfedő kellő mértékben megbízhatóvá is tehető. A bemutatásra kerülő matematikai modell segítségével pedig előre megbecsülhető egy olyan minimális replikációs szint, amellyel az átfedő megbízhatósága egy elvárt szintre növelhető. 4.. A megbízhatóság növelése a replikáció alkalmazásával A Kademliában, ahogy a DHT-kben általánosságban is ez így működik, az eltárolt adattételek (kulcs-érték párok) azokhoz az egyedekhez kerülnek, amelyeknek azonosítója legközelebb van a kulcs hasított értékéhez. (Ezek neve a továbbiakban: a kulcshoz közeli egyedek.) A szakaszban említett okok miatt azonban az így kiválasztott egyedek több más egyed számára elérhetetlenek lehetnek, így az adatok lekérdezése nem biztosított. Az adatokat a topológia és az útválasztási algoritmus által meghatározott helyen kell tárolni. A hasító tábla működésének lényege éppen az, hogy annál az egyednél kell eltárolni a tételt, amelynél a többi egyed keresni fogja azt. Az átfedőben a tételek egyedekhez történő rendelése globálisan ismert algoritmus és információ alapján kell történjen, ez pedig a kulcstól való távolság. Ha az adatokat nem a kulcs alapján meghatározott helyen tárolnánk, a többi egyed nem tudná, hol keresse azt. Replikáció esetén ezért a mozgásterünk a kulcs környezetére korlátozódik. Az egyedek a tételek tárolását kérvényező üzeneteket, illetve a kikeresést indító üzeneteket is olyan távoli egyedekhez próbálják elküldeni, amelyek közel vannak a kulcshoz. Minél több helyen van eltárolva a tétel a cél környezetében, annál valószínűbb, hogy lesz azok közül olyan, amelyhez a lekérdező egyed tud kapcsolódni. Egy adott címmel rendelkező egyed elérhetősége, a vele való kapcsolatteremtés lehetősége egyben azt is jelenti, hogy az ott tárolt tételeket le lehet kérdezni tőle. A lekérdező egyednek egyformán megfelel az is, ha a kulcshoz legközelebbi egyedtől kapja meg az adatot, de az is, ha egy távolabbi. Emiatt javítható a Kademlia hálózatban a replikáció szintjének növelésével az adattárolás megbízhatósága. Ezt az állítást a 4.3. alfejezetben leírtakkal igazalom. Az adatreplikáció szintjét a Kademlia irodalmában nem különböztetik meg a k-vödrök méretétől. Ez utóbbiak méretét k-val jelöljük, és ez a hálózat stabilitására van hatással. Az egyes kulcs-érték párokat azonban nem feltétlenül szükséges k helyen eltárolni, lehet kevesebb egyednél is. Ezért a replikáció szintjét k r -rel jelölöm, k-tól a replikációra utaló r indexszel megkülönböztetve. A k konfigurációs paraméter értéke az útválasztás stabilitásával, a k r pedig az adattárolás megbízhatóságával van közvetlen kapcsolatban.

50 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE Modellezési eljárások a Kademlia átfedőben A DHT rendszerekben az egyedek azonosítói (NodeID) és a kulcsok hasított értékei (FileID) között nincsen eredendő logikai vagy tartalmi összefüggés. Az összefüggést, hogy minden tétel értékét a kulcsukhoz legközelebbi azonosítóknál tárolnak el, az átfedők hozzák létre. Ennek célja az egyszerű eltárolás és gyors visszakeresés megvalósítása. Az átfedők működésére emiatt egy látszólagos véletlenszerűség jellemző. Egy átfedőbe belépő egyedhez egy bizonyos tétel azért kerül, mert a hálózatba lépéskor véletlenül egy ahhoz közeli NodeID-t választott magának. Egy másik egyed választhat még közelebbi azonosítót, és akkor a tétel nála tárolódik. A Kademlia átfedő esetén ugyanez az átfedőbe beépülés első lépése: az egyed választ magának NodeID-t, a 6 bites azonosítót. A nagy bitszám előnye, hogy kicsi, kb. P = 2 8 az esélye annak, hogy két egyed ugyanazt a számot sorsolja [72]. A sorsolás a címtartományból egyenletes eloszlással történik. Az átfedő egyedei emiatt közel egyenletesen fedik le azt. Az adatok eltárolásánál a kulcsokat az SHA- függvény segítségével képezik le erre a címtartományra. Ennek a függvénynek a kimenete is egyenletes eloszlással fedi le a 6 bites tartományt. Ez látszólag és jó közelítéssel véletlenszám. A bemenetén akár egy bit megváltoztatása is teljesen megváltoztatja a kimenetet. A véletlenszerű azonosítók és a hasító függvények egyenletes eloszlású értéke adja együttesen az átfedőben a terhelés elosztását is (load balancing). Mivel az egyedek egyenletesen elszórva helyezkednek el a tartományban, és az adattételek is egyenletesen fedik azt le, minden egyedhez nagyjából ugyanannyi adattétel kerül. Ez azt jelenti, hogy az egyedek egyforma mértékben felelősek az adatokért. Az átfedő szimulációjára és a modellezésére nézve a fentiek a következőket jelentik. Szimuláció esetén nincsen szükség túl nagy címtartomány használatára. Elég, ha az a szimulált egyedszámhoz képest kellően nagy. Matematikai modellezés esetén pedig a címtartományt vehetjük folytonosnak, helyettesítve azt a [,] tartománnyal []. Az egyenletes eloszlás miatt a szimulációkban és a modellezésben az egyed-adat összerendelést egy egyenletes eloszlású valószínűségi változónak tekinthetjük Az adattárolás szimulációja A replikáció segítségével elérhető megbízhatóságnövekedés az újonnan kidolgozott, és a következőkben ismertetésre kerülő szimulációs eljárással igazolható. Az eljárásban egy adott egyedszámú átfedő működését szimuláljuk. Minden egyedhez hozzárendelünk egy véletlenszerű azonosítót, ahogyan az egy valós átfedőben is történik. A szimulációban az egyedek címtere elegendő, ha 32 bites; vagyis az egyedek alkalmazási szintű hálózati címei, és a kulcsok hasított értékei is 32 bitesek. Ez a végeredményre nincsen hatással, hiszen a valós egyedszámok is jóval kisebbek, mint A nagy címtér a valódi hálózatoknál az adat ütközés valószínűségének csökkentése miatt fontos, nem az egyedszám miatt, mert az általában elhanyagolható az előbbihez képest. A megadott számú egyedekhez a szakaszban részletezett módon létrehozunk egy véletlenszerűen választott kapcsolati mátrixot, amely tulajdonképpen a kapcsolódási lehetőségek, vagyis a két egyed közötti üzenetküldési képességek gráfjának szomszédsági mátrixa.

51 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 48 (a) Tűzfal mögül indítva (b) Kívülről indítva 4.. ábra. Az egyedek kapcsolódási képessége tűzfal vagy címfordítás esetén A négyzetes mátrixban egy adott helyen HAMIS érték jelöli azt, ha az egyik egyed nem tud üzenetet küldeni a másiknak, IGAZ pedig azt, ha igen. Ez a mátrix nem szükségképpen szimmetrikus a főátlójára; egy címfordítás mögött lévő egyed képes lehet üzenni a publikus IP címmel rendelkező társának, míg fordítva ez nem igaz, ahogyan az a 4.. ábrán is látható. Az egyedeknek ezek után a távolságaik szerint útválasztási táblázatokat generálunk. Ezek az útválasztási táblázatokat, amelyek a k-vödrök, az egyedek a valós átfedőkben is létrehozzák. Az egyes egyedek útválasztási táblázatai természetesen eltérőek, azok az egyedek távolságának függvényei. Ezek részfánként legfeljebb k bejegyzésből állnak, ahogyan a valós átfedőkben is. A szimuláció következő lépése egy véletlenszerűen sorsolt azonosító létrehozása. Ez jelképezi annak a tételnek a kulcsát, amelyet az egyedek tárolnának vagy lekérdeznének. Mindkettőhöz az egyedeknek az adott azonosítóhoz legközelebbi egyedet kell tudniuk elérni. Ha pontosan az az egyed nem elérhető, akkor a kérést az egyedek az átfedő topológiáján második legközelebbihez próbálják továbbítani; ha az sem, akkor a harmadik legközelebbihez és így tovább. Az üzenetküldés szimulációjához minden egyedhez ki kell számítanunk a kapcsolati mátrix alapján, hogy melyik az adott kulcshoz legközelebbi olyan egyed, amely számára is elérhető. Ez az egyed lesz replikáció nélküli esetben az, amelyikhez a tárolt adatot küldi, vagy amelyiknél az adott kulcshoz tartozó értéket keresni tudja. Replikáció esetén nem a legközelebbi, hanem k r darab legközelebbi egyedet próbál elérni az üzenetküldő. Az így érkező üzenetek száma adja a szimuláció kimenetét. Ez látható a 4.2. ábrán egy száz egyed méretű átfedő esetén. Adattárolásnál esetleg a kulcshoz valójában legközelebbi egyedek nem minden másiktól érhetők el, az eltárolt kulcsok kissé szétszóródnak attól függően, hogy mely egyedek tárolják el azokat. Ilyenkor a szimuláció kimenete éppen a kulcsok szétszóródását mutatja. A szimuláció végeztével a kiértékelés megkönnyítése érdekében a kulcstól való távolság szerint növekvő sorba rendezzük az egyedeket, és grafikonon ábrázoljuk, hogy melyikük hány üzenetet kapott. Ideális esetben, ha minden kapcsolat működik, a grafikon egy ugrásfüggvényt mutat: a kulcshoz legközelebbi (vagy a kulcshoz legközelebbi k r darab) egyed az összes üzenetet megkapja, a többieknek pedig nem küldenek semmit, ahogyan ez a 4.2. ábrán is

52 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 49 hibák nélkül hibákkal Beérkező üzenetek száma Üzenet céljahoz közeli egyedek 4.2. ábra. A fogadott üzenetek eloszlása a kulcs környezetében látható. Hálózati hibák esetén a görbe ellaposodik és kiszélesedik; az egyedek a kulcstól kicsit távolabbi egyedeknek küldik el az üzeneteket. Például ha a replikáció szintje k r = 4, és az egyik egyed nem éri el a legközelebbi egyedet, akkor üzenetet fog küldeni akár az 5. legközelebbinek is. Bár a kulcshoz legközelebbi egyed, ahogyan az a 4.2. ábrán is látható, nem érhető el minden más egyedtől, mégis van olyan egyed a hálózatban, amelyikhez a többiek zöme kapcsolódni tud; pl. a 2. és 3. legközelebbi A hálózati hibák eloszlása A hibák pontos eloszlása meghatározza a tárolt kulcsok eloszlását a hálózatban. Ha a hálózati hibák eloszlása egyenletes lenne (vagyis például egy száz egyedet számláló átfedőben minden egyed kilencven másik egyedet érne csak el), akkor nem lenne a hálózatnak olyan pontja, amelyik minden egyed által elérhető. Vagyis nem találnánk olyan egyedet, amely az elérhetőség szempontjából megbízható, bármilyen magasra választjuk is a replikáció szintjét. A valós hálózatokban a helyzet ennél jobb. A szakaszban tárgyalt megállapítások alapján vannak egyedek az átfedőben, amelyekhez szinte minden másik tud csatlakozni, és vannak olyanok, amelyekhez általában a többi egyedek nem. Egy egyed elérhetősége azonban nem globális körülmény, hanem attól is függ, hogy mely másik egyed próbál meg csatlakozni hozzá. Ez jelenti az egyik veszélyt az átfedő megbízhatóságára nézve. Tegyük fel ugyanis, hogy egy tételt eltárolni kívánó egyed éppen azonos tűzfal mögött (vagy címfordított alhálózaton) van a kulcs által tárolásra kijelölt egyeddel. Ilyenkor az adat eltárolása sikeresnek tűnik a küldő számára, miközben az átfedő többi egyedeinek elérhetetlen a tétel, hiszen az azt tároló egyedhez nem tudnak csatlakozni.

53 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 5 külső belső külső külső belső belső belső külső (a) egy alhálózat esetén (b) véletlenszerű elosztásban. alhálózat 2. alhálózat (c) két alhálózat esetén (d) véletlenszerű elosztásban 4.3. ábra. A kapcsolati mátrix jellege és valós alakja sok azonos alhálózatból érkező egyed esetén Általában ez akkor történik, amikor az adatot tároló egyed van tűzfal vagy címfordítás mögött van [9]. Ilyenkor a beérkező lekérdezés valószínűleg nem fog elérni hozzá (4.. ábra). Fordított esetben, amikor a tűzfal mögötti egyed próbál meg a külsőhöz csatlakozni, nagyobb valószínűséggel fog létrejönni a kapcsolat. A tűzfal és címfordítás eljárások a kimenő csomag keletkezésétől számítva egy ideig nyitva tarthatja az adott portot [2]. Vagyis ha egy kapcsolat létrejött, akkor az meg is marad, ha folyik rajta adat. Így ha egy tűzfalon kívüli egyed tárolja az adott tételt, az a tűzfal mögötti egyed számára is elérhető, mivel a válasz megkérkezésének idejére még a tűzfal nyitva lesz, és a kommunikáció sikeres. Ez tükröződik a 4.3. ábra kapcsolati mátrixain is. (Más típusú hibák által létrehozott hibamátrixokról a szakaszban lesz szó.)

54 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 5 A kapcsolati mátrixok jellegét a 4.3. ábra mutatja. A grafikon színnel jelölt részei mutatják a mátrix HAMIS elemeit. A 4.3(a). ábra egy olyan átfedő mátrixát mutatja, amely egyedeinek %-a egy bizonyos, nyilvános IP címekkel nem rendelkező alhálózaton található. Ezek egymás között gond nélkül tudnak üzenetet küldeni (belső belső), és a külvilág felé küldött üzeneteiket (belső külső) is megkapják a címzettek. A külvilág egyedei azonban nem tudnak kapcsolatot létesíteni velük (külső belső). A külvilág egyedei között elszórt, egymással nem korrelált hibákat találunk csak. A 4.3(b). ábra mutatja a szimulációban használt mátrixot, amely a véletlenszerű azonosítók miatt van megkeverve. A 4.3(c). és 4.3(d). ábra ugyanezt mutatja két, eltérő méretű alhálózat esetére. Amellett, hogy a külső egyedek nem tudnak kapcsolatot kezdeményezni a belső egyedek felé, a két alhálózat egyedei egymással sem tudnak kommunikálni. A fentiek alapján felismertem, hogy a hibák nem egyenletes eloszlása ad lehetőséget arra, hogy az adatreplikáció növelni tudja az átfedő megbízhatóságát. Az átfedő alapjául szolgáló fizikai, IP szintű hálózat permanens hibái, vagyis a tűzfalak és a címfordítás hatásai függetlenek a kulcsoktól. Az egyedek az alkalmazási szintű azonosítóikat szabadon megválaszthatják, általában véletlenszerűen generálják azt, a 4.2. alfejezetben leírtak szerint. Egy egyed bármilyen azonosítót sorsolhat magának, viszont ez nem változtat azon a tényen, hogy a többi egyed által elérhető-e, mert az a fizikai hálózat adottságainak függvénye. Az eltárolt tételekhez tartozó kulcs hasított értéke is véletlenszámmal közelíthető, emiatt pedig egy eltárolt tétel kulcsa és az azáltal végeredményben meghatározott fizikai helye között nincsen összefüggés. Ha több egyednél tárolunk egy adott tételt, akkor nagyobb az esély arra, hogy a véletlenszerűen választott célpontok között lesz olyan is, amellyel minden többi egyed, vagy legalábbis a legnagyobb részük tud kommunikálni. Ha vannak egyedek a hálózatban, amelyek szinte minden másik egyedtől elérhetőek, akkor a replikáció növelésével egyre valószínűbb az, hogy az adott kulcs tárolásáért felelős egyedek halmazába valamelyikük bele fog esni. Minél több alkalmas egyed van, annál kisebb k r érték szükséges ehhez. A hálózati hibák pontos eloszlása a szükséges k r értéket, vagyis a kvantitatív eredményt módosítja; a kvalitatív eredmény azonban, hogy egy adott szintű replikáció felett a hálózat kellően megbízhatóvá tehető, nem módosul A replikáció szükséges szintjének meghatározása A 4.3. alfejezetben tárgyalt szimulációs módszer alapján meghatározható az, hogy egy adott hálózati hibaarány és -eloszlás mellett milyen k r érték szükséges ahhoz, ahogy az átfedő megbízható működését, vagyis a tárolt tételek elérhetőségét biztosítani lehessen. A megbízhatóság a hálózati hibák miatt nem lehet %-os. Egy olyan egyed, amelyik tűzfal vagy címfordítás mögött van, és így a legtöbb másik egyedek által elérhetetlen, az adatok tárolása szempontjából nem hasznos tagja az átfedőnek. Ha egy adott kulcs környezetében lévő összes egyed ilyen, akkor a kulcs eltárolása nehézségekbe ütközik. Viszont a replikáció szintjének növelésével lecsökkenthetjük ennek a valószínűségét. Ha nem írjuk elő a tételek %-os elérhetőséget, hanem annál akár csak néhány százalékkal alacsonyabbat, akkor a szükséges k r értéket is csökkenthetjük a megbízhatóság rovására ezzel csökkenthető a hálózati forgalom és az egyedeknél használt tárkapacitás. A szükséges megbízhatóságot természetesen a konkrét alkalmazás határozza meg. Például előírhatjuk azt, hogy az átfedőben a tárolások és kikeresések 99%-a sikeres kell legyen. Ez azt jelenti, hogy az

55 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 52 eltárolt adatot az átfedő egyedeinek 99%-a képes legyen lekérdezni. Egy átfedőben minden egyed véletlenszerűen választott azonosítóval rendelkezik. Az, hogy egy konkrét egyedcsoport képes-e olyan átfedőt építeni, amely biztosítani tudja az előírt rendelkezésre állást, függ az átfedőbeli elhelyezkedésüktől. Ez pedig az azonosítók véletlenszerű megválasztásának függvénye, hiszen végeredményben azok határozzák meg, hogy mely egyedeknek melyekhez kell majd csatlakozniuk. Ezért egy adott k r szám mellett több szimulációt kell végeznünk; minden esetben meghatározva azt, hogy a kiválasztott kulcs eltárolását el tudja-e végezni egy kulcshoz közeli egyed. vagy lekérdezését az egyedek mekkora hányada tudta megvalósítani. Ha igen, akkor a szimulációt sikeresnek tekintjük, egyébként pedig sikertelennek. A sikeres szimulációk aránya adja meg azt, hogy egy adott, k r szintű replikáció mekkora valószínűséggel elegendő az előírt rendelkezési arány biztosításához. Mivel az adott kulcsot eltároló egyedek véletlenszerűen kerülnek kiválasztásra (a véletlenszerűség az azonosítójukból adódik), ugyanaz a k r replikációs szint használható kicsi és nagy átfedők esetén is. Ez a feltételezés akkor igaz, ha egy nagy átfedőkben ugyanolyan hálózati kapcsolattal rendelkező egyedek vesznek részt általában, mint egy kicsiben, hiszen a véletlenszerűen kiválasztott egyed egy véletlenszerűen kiválasztott kapcsolat minőséget jelent. A szükséges replikációs szint így független az átfedő méretétől Az adattárolás helyességének modellezése A 4.2. alfejezet megfontolásai alapján a hálózati hibák kiküszöböléséhez szükséges k r replikációt számítással is meg lehet határozni. Ennek menete a következő. Az átfedő címtartományában az egyedek eloszlása egyenletesnek vehető. A véletlenszerű azonosító választás miatt két szomszédos, vagyis az átfedő címterén belül értelmezve egymáshoz legközelebbi egyed egymástól földrajzilag igen távol lehet. Eltérő hálózati kapcsolattal rendelkezhetnek, azaz egymástól függetlenek. Ezen függetlenség miatt a hálózati hibák konkrét eloszlása az egyedek között, vagyis hogy melyik egyed pontosan milyen fizikai hálózati kapcsolattal rendelkezik, nem számít az átfedő egészének működése szempontjából, hanem csak a hibák globális eloszlása lényeges. Az átfedőn belüli összefüggés például két egyed közelsége van az alkalmazási szintű címtérben semmi további kapcsolatot nem jelent közöttük. Emiatt az egyedekhez tartozó hibaarányok konkrét egyedekhez rendelése nem lényeges, így azok a modellben növekvő sorrendbe rendezhetők. Ezt illusztrálja a 4.4. ábra. Ezzel egy monoton növekvő függvény adódik. Nagy számú egyed esetén a címtartományban diszkréten elhelyezkedő egyedek (x tengelyen) helyett egy folytonos eloszlás tekinthető. A hálózati hibák aránya (y tengelyen) is folytonos változóval közelíthető []. Az így kapott függvényt, amelyet a 4.5. ábra mutat, jelöljük h(m)-mel. Egy adott m [,] című egyedre h(m) azt adja meg, hogy milyen arányú kapcsolattal rendelkezik vagyis hogy a többi egyedek mekkora része nem tud csatlakozni hozzá. Éppen ez a megbízhatóság sérül egy tűzfal mögötti egyednél történő tárolásnál: ha az ottani egyedek teszik ki pl. az átfedő 2%-át, akkor csak annak a 2%-nak elérhető az adat. Vagyis az egész átfedőben szinte semelyik egyednek sem.

56 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 53 2% 2% 5% 5% hálózati hibák aránya % hálózati hibák aránya % 5% 5% % x x x2 x3 x4 x5 x6 x7 x8 egyedek azonosító szerint % egyedek hálózati hibák szerint 4.4. ábra. A hibák eloszlása egyedek szerint és növekvő sorrendben Mivel a hibák miatt az átfedő nem működhet tökéletesen, a szimulációs vizsgálathoz hasonlóan itt is meg kell határoznunk, mekkora rendelkezésre állást várunk el attól. Például az eltárolt adatokra nézve azt várhatjuk, hogy az átfedő egyedeinek 99%-a képes legyen lekérdezni azt, vagyis az átfedő az esetek legfeljebb %-ában hibázhat. Jelöljük a még elfogadható hibaarányt általánosan a β számmal. A 4.5. ábrán ezt a megengedhető hibák vízszintes sávja mutatja. Ha egy adott, m azonosítójú egyed hibaaránya ennél kisebb, az azt jelenti, hogy az képes tárolni az adatot a többi egyed számára elérhető módon: h(m) β (4.) Eltároláskor egy tétel látszólag véletlenszerű helyre kerül az egyedek véletlenszerű azonosítói és a hasító függvény tulajdonságai miatt. Ez azt jelenti, hogy egy adott tételhez véletlenszerűen sorsolhatunk egy m [,] számot. Ha a 4.. egyenlőtlenség teljesül, akkor a tétel tárolása és lekérdezése biztosított. A 4.5. ábra három véletlenszerűen választott egyedre mutatja ezt; m esetében a tárolás és visszakereshetőség biztosított, m 2 és m 3 esetében pedig nem érjük el az előírt rendelkezésre állást. Az egyedek és a hozzájuk kerülő adatok egyenletes eloszlása azt is jelenti, hogy az ábráról leolvashatjuk a tárolást és visszakereshetőséget biztosítani tudó egyedek számát. β és h(m) metszéspontjától balra azok az egyedek vannak, amelyek képesek lekérdezhetően tárolni az adatot, jobbra pedig azok, amelyeknél túl magas a hálózati hibák aránya. Megoldva a 4.. egyenletet, kapjuk: m e h (β) (4.2) Vagyis a [,m e ] címmel rendelkező egyedek megfelelőek: m e az utolsó egyed címe, amelyik még megbízhatónak minősül.

57 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 54 3% 25% megengedhető hibák hibák m m2 m3 2% hálózati hibák 5% % 5% % % 2% 4% 6% 8% % egyedek 4.5. ábra. A hálózati hibák eloszlása. A grafikonról leolvasható azon egyedek aránya, amelyek a megadott rendelkezésre állást biztosítani tudják. A tárolt adatok helyét azonban nem ez, hanem a kulcsok hasított értékei határozzák meg (m, m 2 és m 3 ). A 4.2. egyenletnek a [,] tartományon belülre kell essen a megoldása. Ha β kisebb, mint az összes h(m) érték, az azt jelenti, hogy olyan rendelkezésre állást szeretnénk elérni, amelyiket semelyik egyed sem tud biztosítani, vagyis, hogy a replikációt hiába növelnénk. Ha β nagyobb, mint az összes h(m) érték, az azt, hogy az előírt rendelkezésre állást bármelyik egyed biztosítani tudja ilyenkor nincsen szükség replikációra. Az eltárolt adat helye egyenletes eloszlású valószínűségi változó. Emiatt az m e szám azt is mutatja, hogy mekkora a valószínűsége annak, hogy egy adattétel alkalmas egyedhez kerül, hiszen az adatokat egyenletesen osztja el a hasító függvény a címtérre. Jelöljük ezt a valószínűséget P -vel: P = m e = h (β) (4.3) Ez a helyes egyedválasztás valószínűségét adja meg a megengedett hibaarány függvényében. A 4.2. egyenlet miatt ez a megadott rendelkezésre állást biztosítani képes egyedek arányával is megegyezik. Mivel a tételek eltárolását nem szervezhetjük úgy, hogy azokat kifejezetten a megbízható egyedeknél helyezzük el (azzal sérülne az átfedőben a kulcs-egyed hozzárendelés szabálya), a replikáció növelésével kell biztosítanunk azt, hogy a tároló egyedek között legyen megbízható is. Ha az átfedő replikációt is megvalósít, az adatok k r különböző helyen tárolódnak. Ez azt jelenti, hogy k r -szor választhatunk m [,] közötti véletlenszámot. Ha a k r alkalomból legalább egyszer teljesül a 4.2. egyenlőtlenség, a tétel megbízható helyre kerül, és a kikeresések sikeresek lehetnek. Kiszámítva az összes sikertelenségek valószínűségét, és azt -ből kivonva

58 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 55 2% % α=2, c=% α=2, c=5% α=4, c=5% hibás kapcsolatok aránya 8% 6% 4% 2% %,2,4,6,8 egyedek az átfedőben 4.6. ábra. A hálózati hibák az egyedekhez, folytonos közelítéssel, növekvő sorrendben kapjuk: Ebbe behelyettesítve az egy kikeresés sikerességét megadó P -t: P = ( P ) k r (4.4) P = ( h (β) ) k r (4.5) P annak a valószínűségét adja meg, hogy egy adott k r replikáció elegendőnek bizonyul-e egy adott β hibaarány kiküszöböléséhez, a h(m) függvény által adott hálózati peremfeltételek mellett. A 4.5. egyenletet k r -re megoldva a szükséges replikáció nagysága meghatározható: k r = ln( P ) ln( h (β)) Mivel a replikáció szintje csak egész szám lehet, a tört értéke felfelé kerekítendő. Az így meghatározott k r használata esetén az átfedő biztosítja a szükséges rendelkezésre állást. Ahogyan az az egyenletből is látható, a replikáció szükséges szintje nem függ az átfedőben résztvevő egyedek számától, vagyis nagyobb egyedszámnál nincs szükség annak növelésére. Ez a kulcsok látszólagos véletlenszerű elhelyezésének a hatása: a hasító függvények egyenletesen fedik le az értékkészletüket, ezért az adatok is az átfedőt A modell és a szimuláció összevetése A szimulációs eljárás és a matematikai modell által adott eredményeket összevetve igazoltam azok helyességét. Az eredmények összehasonlításához szükséges volt az, hogy egy olyan hibael- (4.6)

59 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 56 oszlással végezzem azt el, amely kezelhető analitikusan is. Ehhez az eloszlást egy polinommal közelítettem. Ennek inverz függvénye meghatározható, ami a 4.2. egyenletbe történő behelyettesítéshez szükséges. Határozatlan integrálja is, amely a különböző vizsgált eloszlásoknál az egyforma összesített hibaarány megadásához használható. A 4.6. ábra ilyen másodfokú és negyedfokú polinommal közelített hibaeloszlásokat mutat (α = 2, illetve α = 4), amelyben az egy egyedhez tartozó legnagyobb hibaarányt a c konstans határozza meg. Az x tengelyen az egyedek helyezkednek el, az y tengelyen pedig a hibás kapcsolataik aránya. A 4.7(a) ábra egy egyedből álló átfedő szimulációját és modelljét mutatja. A hálózati hibák eloszlását ezen egy négyzetes függvénnyel közelítettem: h(m) = c m 2. A grafikon a sikeres átfedőépítések arányát mutatja be; sikeresnek tekintettem azokat az esetek, ahol a kulcsok kikeresése az esetek legfeljebb β = %-ban nem sikerült. Az ábrán láthatóan a hibák arányának növekedtével a megbízhatóság csökken, a replikáció növelésével pedig nő. k r = 8 esetén az átfedő 9% feletti megbízhatósággal képes üzemelni még az igen magasnak számító, c = 8%-os hibaarány esetén is. A hibaeloszlás-függvénynek inverzét a a 4.5. egyenletbe behelyettesítve az alábbi valószínűséget kapjuk a modellezett átfedő helyes működésére: r β P = k α (4.7) c A 4.7(b) ábra a 4.4. részben bemutatott matematikai modell által adott eredményt is mutatja az egyenlet alapján. Ez megfelel a szimulációval kapott eredménynek. A megbízhatóság változása a nem egyenletes hibaeloszlással A 4.8. ábra az átfedő megbízhatóságát mutatja változó hibaeloszlás függvényében. A szimulációt itt is egyedre végeztem el, összesen 5 eset vizsgálatával. Az α értéket, amely a hálózati hibák eloszlását határozza meg a h(m) = c m α függvényben, [,4] között változtattam. Az α = egyenletes hibaeloszlást jelent. A c együtthatót úgy állítottam be, hogy az összes hiba az α értékétől független legyen; vagyis α változásával csak az eloszlásuk változzon meg, az összes hibák száma azonban nem. Az együttható értéke az összesített hibaarány kiszámításával határozható meg, amely a h(m) függvény integrálásával számítható ki: h(m) = c m α = c α + (4.8) Ez alapján változtatva c értékét α-val együtt az összes hibák száma nem változik, csak az eloszlásuk. Látható, hogy egyenletes hibaeloszlás esetén a replikáció nem növeli a megbízhatóságot. A hálózatban ilyenkor nincs is olyan egyed, amelyik az előírt β = 99%-os rendelkezésre állást biztosítani tudná. Ha a hibák eloszlása nem egyenletes, vagyis vannak olyan egyedek, amelyek biztosítani tudják az előírt rendelkezésre állást, akkor a replikáció növelésével megnő annak a valószínűsége, hogy a kulcsok azokhoz kerülnek. Ezzel nő a hálózat megbízhatósága minél inkább heterogén a hibák eloszlása, annál nagyobb a replikáció megbízhatóságot növelő hatása.

60 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 57 Kadsim egyedek=, α=2, β=% replikáció (kr) % (a) szimuláció 4% % 6% hálózati hibák (c) 2% Kadsim egyedek=, α=2, β=% replikáció (kr) % (b) modell 4% % 6% hálózati hibák (c) 2% 4.7. ábra. A sikeres kikeresések valószínűsége a Kademliában

61 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE 58 Kadsim egyedek=, Σc=., β=% hálózati hibaeloszlás (α) replikáció (kr) 4.8. ábra. Sikeres kikeresések a hibaeloszlás egyenetlenségének függvényében 4.5. A modell alkalmazási lehetőségei A bemutatott szimulációs eljárás és modell a Kademlia átfedőkben általánosan alkalmazható, vagyis a Kademliára épülő bármely alkalmazásban felhasználható. A szimuláció és a modell ellenőrzéséhez megvalósítottam a 4.3. alfejezetben leírt szimulációs eljárást. Az elkészített Kadsim nevű alkalmazás (4.9. ábra) C++ nyelven íródott, az ábrázoláshoz pedig a Gnuplot programot használja. A szimulátorom elsődleges célja a hálózati hibák által terhelt átfedőben az eltárolt adattételek helyének meghatározása. Ezzel válik mérhetővé ugyanis az, hogy az átfedő milyen megbízhatósággal képes biztosítani az eltárolt tételek visszakereshetőségét a többi egyed számára. A szimulátor meghatározza, hogy adott k r replikáció mellett az egyes egyedeknél eltárolt tételek hány másik egyed által visszakereshetőek. Ha van olyan egyed az átfedőben, amely kellően nagy számú másik egyedtől elérhető, akkor az adat visszakereshetősége biztosított, ahogyan az a 4.2. ábrán is megfigyelhető. A szimulátor minden futtatáskor új kulcsokat és hálózati hibaeloszlást generál. A kimenet alapján a következőkben tárgyalt hibaeloszlásokhoz meghatároztam, hogy van-e olyan egyed a hálózatban, amely megbízhatóan tudja tárolni az adatokat, továbbá hogy milyen k r szükséges a megbízható működéshez A szükséges replikáció jellemző értékei Ha a hálózati hibák eloszlása ismert, akkor a szükséges replikáció a 4.4. alfejezetben tárgyalt matematikai modell, vagyis a 4.6. egyenlet használatával felülről becsülhető. Ezt mutatja a 4.. ábra. Az ábrán a modellezett átfedőben a hibák eloszlását harmadfokú függvénnyel közelítettem. A hálózati hibák aránya, mint a 4.8. ábrán is, a hibás és az összes kapcsolatok arányát jelentik; egyes egyedeknél a hibaarány a megadott értéknél jóval nagyobb is lehet. A

62 4. FEJEZET. A KADEMLIA ÁTFEDŐ MEGBÍZHATÓSÁGÁNAK NÖVELÉSE ábra. A Kadsim program képernyőképe Hiba típusa Címfordítás mögött Rosszindulatú egyed Kilépő egyed Érzékelt jelenség Csak a vele azonos alhálózat egyedetől elérhető Senkitől nem elérhető az adat (nem tárolja) Időben változó elérhetőség 4.. táblázat. Egyed hálózati vagy saját hibája grafikonon mutatott replikációs szintek a modell és a szimulációk szerint az esetek 95%-ában elegendőek az x tengelyen ábrázolt arányú hibák hatásainak kiküszöböléséhez Az egyedek hibái és a kapcsolati mátrix összefüggése A különböző típusú hibák, amelyek az átfedőben az adattárolást és visszakeresést akadályozzák, különféle módon jelennek meg a kapcsolati mátrixban. Ezeket a 4.. táblázat foglalja össze. Ha sok egyed azonos alhálózatról érkezik, akkor egymás között tudnak kommunikálni, ahogyan az a 4.3. alfejezetben is szerepelt. Ilyenkor a kapcsolati mátrixban az alhálózatnak megfelelő méretű sávban jelennek meg a megbízhatatlan egyedek. Minél kisebb az alhálózat relatív mérete az átfedőéhez képest, annál inkább jelentenek azok az egyedek egy egyszerű %-os megbízhatatlanságot. Ha az átfedő rosszindulatú egyedeket tartalmaz, amelyek nyugtázzák az adatok eltárolását, de azután nem adják azt vissza egy kikeresés hatására, akkor ezt úgy vehetjük figyelembe, hogy azok %-osan vesznek részt az adattárolásban. Ha az átfedő populációja nem állandó, akkor a kapcsolati mátrix időben változik. A popu-