Crawler.NET: Komponensalapú elosztott keretrendszer a web bejárására

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Crawler.NET: Komponensalapú elosztott keretrendszer a web bejárására"

Erzsébet Szabóné
8 évvel ezelőtt
Látták:

1 : Komponensalapú elosztott keretrendszer a web bejárására Hunyadi Levente és Pallos Péter november 17.

2 Motiváció Motiváció Célok Architektúra az internet mérete rohamosan nő a web: szórt formában jelen lévő információ keresőrendszerek felértékelődése indexadatbázisok építéséhez webet bejáró alkalmazások

lévő információ keresőrendszerek felértékelődése

3 Motiváció Motiváció Célok Architektúra friss indexadatbázis hatékony bejárás párhuzamosítás elosztott rendszer lényegesen nagyobb komplexitás

4 Tervezési célok Motiváció Célok Architektúra skálázhatóság könnyű konfigurálhatóság átlátszó kommunikáció robusztusság, hibatűrés

5 A rendszer architektúrája Motiváció Célok Architektúra A célok megvalósítását két elkülönülő réteg biztosítja. Általános feladatok kommunikáció életciklus-kezelés konfigurálás Ráépülő alkalmazás Konkrét feladatok dokumentumok letöltése hivatkozások kinyerése köztük lévő kapcsolatok nyilvántartása

Általános feladatok kommunikáció életciklus-kezelés konfigurálás Ráépülő

6 Az architektúra tulajdonságai Motiváció Célok Architektúra a keretrendszer szabványos elemeket tartalmaz, amelyek megvalósítják az általános viselkedést a feladat-specifikus elemeket származtatással képezzük az elemek között a keretrendszer laza csatolást biztosít Előnyök: + egyszerűbb és gyorsabb fejlesztés + új funkcionalitással való bővíthetőség

elemeket származtatással képezzük az elemek között a keretrendszer laza csatolást

7 Rendszerelem-típusok Rendszerelemek Illesztők Komponensek Szolgáltatók Komponensek a rendszer műveletvégző egységei, egy osztályt és hozzá kapcsolódó egy vagy több szálat jelentenek Illesztők aszinkron, üzenetalapú kommunikációt tesznek lehetővé komponensek között a folyamaton belül vagy két távoli folyamat között Szolgáltatók az erőforrásokhoz történő szinkronizált hozzáférést szabályozzák

aszinkron, üzenetalapú kommunikációt tesznek lehetővé komponensek között a folyamaton belül vagy

8 Illesztők Rendszerelemek Illesztők Komponensek Szolgáltatók típusos sorok absztrakciói, üzenetsort reprezentálnak bemeneti és kimeneti illesztők bemeneti illesztő fogyasztó komponens termelő komponens kimeneti illesztő több-több kapcsolat a komponensek és az illesztők között; azonosítás szerepek segítségével

bemeneti illesztő fogyasztó komponens termelő komponens kimeneti illesztő

9 Illesztők megvalósítása Rendszerelemek Illesztők Komponensek Szolgáltatók A komponensek számára átlátszó az illesztők típusa: Helyi illesztő típusos FIFO sor; az adatáramlás referencia szerinti átadással Távoli illesztő két külön folyamatban lévő sornak és az azokat összekapcsoló hálózati kommunikációs komponenseknek felel meg; az adatáramlás sorosítással (TCP protokollon keresztül)

szerinti átadással Távoli illesztő két külön folyamatban lévő sornak és az azokat összekapcsoló

10 Komponensek Rendszerelemek Illesztők A sorok kezelését a komponensek ősosztálya takarja el. GenericComponent Komponensek Szolgáltatók Generic- Producer Generic- Consumer Simple- Filter Complex- Filter Synchronous- OutputFilter Asynchronous- ComplexFilter Synchronous- CompexFilter SemiSynchronous- ComplexFilter

GenericComponent Komponensek Szolgáltatók Generic- Producer Generic- Consumer

11 Szolgáltatók Rendszerelemek Illesztők Komponensek Szolgáltatók komponensek által közösen használt erőforrásokhoz való hozzáférés becsomagolása szinkronizált hozzáférés az adatforrásokhoz többszintű gyorsítótárazási mechanizmus átlátszó beépítése

erőforrásokhoz való hozzáférés becsomagolása szinkronizált

12 Felépítés Kliens szerver architektúra: Felépítés Vezénylés Kliens szerkezete a szerver particionálja a webet és az egyes részleteinek bejárását egy-egy kliensnek utalja ki a kliens bejárja a web rábízott szeletét, a kifelé mutató hivatkozásokat visszaküldi a szervernek Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens Megvalósítás a keretrendszer alaposztályainak segítségével

bejárja a web rábízott szeletét, a kifelé mutató hivatkozásokat visszaküldi a szervernek Bejárás

13 Vezénylő szerver komponens Felépítés Vezénylés Kliens szerkezete Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens a beérkező URL-eket tartomány, illetve hoszt alapján a felelős kliensek felé továbbítja amennyiben nincs felelős kliens, kijelöl egyet tárolja a nemrég továbbított URL-eket, kiszűrve a gyakori ismétlődéseket

tartomány, illetve hoszt alapján a felelős kliensek felé továbbítja amennyiben nincs

14 Vezénylő szerver komponens A vezénylés során a kicserélt adatmennyiség korlátozott: Felépítés Vezénylés Kliens szerkezete lokalitási elv: a hivatkozások kb. 10%-a mutat csak hoszton kívülre kötegelt átvitel: az ismeretlen hoszthoz tartozó URL-eket a kliens csoportosan küldi át a szervernek Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens nemrég látott URL-ek automatikus eldobása Terheléselosztás vezénylőpéldányok között: URL-ek szétosztása az URL hoszt név hash értéke alapján

10%-a mutat csak hoszton kívülre kötegelt átvitel: az ismeretlen hoszthoz tartozó URL-eket a kliens csoportosan küldi át a

15 Egy kliens alapkiépítése Felépítés Vezénylés Kliens szerkezete external url Server URL distributor url belonging to Client 1 internal url local url queue Client 1 host, #new items next url Traversal component Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens base url, links Parser url, HTTP header, document content url, length, start/stop time, HTTP status code Downloader document url, referrer url finished

Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens base url, links Parser url, HTTP header,

16 Bejáró komponens Felépítés Vezénylés Kliens szerkezete external url Server URL distributor url belonging to Client 1 internal url local url queue Client 1 host, #new items next url Traversal component Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens base url, links Parser url, HTTP header, document content url, length, start/stop time, HTTP status code Downloader document url, referrer url finished

Terheléselosztás Dokumentumelemzés URL elosztó komponens base url, links Parser url, HTTP header,

17 Bejáró komponens Felépítés Vezénylés Kliens szerkezete Bejárás letöltésre váró URL-ek tárolása perzisztens tárban értesítés új URL-ek érkezéséről vagy egy kiszolgáló felszabadulásáról szélességi vagy relevancia alapú bejárás alapján a következő dokumentum kiválasztása Terheléselosztás Dokumentumelemzés URL elosztó komponens Url distributor host, #new items Traversal component url, referrer url url queue Downloader finished

alapú bejárás alapján a következő dokumentum kiválasztása Terheléselosztás Dokumentumelemzés URL elosztó

18 Terheléselosztó komponens Felépítés Vezénylés Kliens szerkezete Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens megakadályozza a webkiszolgálók túlterhelését szoros együttműködés a bejáró komponenssel kézzel konfigurálható a kérések gyakorisága globálisan és hosztonként is dinamikusan változtatható a kérések időköze a visszajelzésként kapott válaszidő és sebesség alapján

együttműködés a bejáró komponenssel kézzel konfigurálható a kérések gyakorisága globálisan és

19 Terheléselosztó komponens Load balancer Felépítés Url distributor host, #new items available host Traversal component Vezénylés url, referrer url Kliens szerkezete Bejárás url queue Downloader statistics Terheléselosztás Dokumentumelemzés URL elosztó komponens

Vezénylés url, referrer url Kliens szerkezete Bejárás url queue

20 Dokumentumelemző komponens Felépítés Vezénylés Kliens szerkezete external url Server URL distributor url belonging to Client 1 internal url local url queue Client 1 host, #new items next url Traversal component Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens base url, links Parser url, HTTP header, document content url, length, start/stop time, HTTP status code Downloader document url, referrer url finished

21 Dokumentumelemző komponens Felépítés Vezénylés Kliens szerkezete Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens Elsődleges feladata: hivatkozások kinyerése a dokumentumokból. nem szabványos HTML állományok hivatkozások sok különféle formában teljesítménybeli megfontolások (pl. szkriptek értelmezése) sokféle dokumentumtípus és -kódolás kezelése egyedi elemzők (saját fejlesztés vagy open-source) vagy IFilter szűrők segítségével

22 URL elosztó komponens Felépítés Vezénylés Kliens szerkezete external url Server URL distributor url belonging to Client 1 internal url local url queue Client 1 host, #new items next url Traversal component Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens base url, links Parser url, HTTP header, document content url, length, start/stop time, HTTP status code Downloader document url, referrer url finished

23 URL elosztó komponens Felépítés Vezénylés Kliens szerkezete Bejárás Terheléselosztás Dokumentumelemzés URL elosztó komponens konfigurációs állományban megadhatók a letöltendő és kihagyandó URL-minták robotokra vonatkozó korlátozások (ÖÓÓØ ºØÜØ, ÑØcímkék,ÖÐattribútum) keresőcsapdák észlelése és elhárítása: URL tartomány kézi tiltása menet közben szűrés relevancia alapján mennyiségi korlátozás

24 Továbbfejlesztési lehetőségek Továbbfejlesztési lehetőségek Összefoglalás konfiguráció és folyamatvezérlés grafikus felületről dinamikus, futási idejű átkonfigurálhatóság nagyméretű adathalmazok tárolása általános célú adatbázisok helyett struktúrált állományokban szimuláció és mérés nagyméretű dokumentumhalmazokon

25 Összefoglalás Továbbfejlesztési lehetőségek Összefoglalás keretrendszer az általános feladatokra laza csatolású, feladatspecifikus komponensek nyitott, kiterjeszthető, skálázható architektúra átlátszó gyorsítótárazási mechanizmusok támogatása deklaratív konfigurálhatóság, testreszabhatóság A megvalósított rendszer forráskódja elérhető a SourceForge.net-en. ØØÔ»» ÓÙÖÓÖºÒØ»ÔÖÓØ»ÛÖÛÐÖ

26 Továbbfejlesztési lehetőségek Összefoglalás Köszönjük a figyelmet!

Hasonló dokumentumok

Crawler.NET: Elosztott webrobotok koordinálása és vezérlése

Crawler.NET: Elosztott webrobotok koordinálása és vezérlése : Elosztott webrobotok koordinálása és vezérlése Hunyadi Levente 2007. június 19. Motiváció Célok Motiváció Motiváció Célok a web: szórt formában jelenlévő információ gyorsan változó tartalom friss indexadatbázishoz