Web harvesztelés. Automatikus módszerekkel

Átírás

1 Országos Széchényi Könyvtár

2 Miről lesz szó? Mi is az a web harvesztelés? Mire és hol használjuk? Miért hasznos? Saját megvalósításaink

3 Mi a web harvesztelés? Interneten található weboldalak begyűjtése, majd az adatok feldolgozása (Pl.: kereshetővé tétele) Lépések Adatok begyűjtése (crawl) Feldolgozás (index) Közzététel (search) (web aratás)

4 Nem egy új keletű dolog

5 Mire és hol használjuk a szolgáltatást, miért hasznos? Főként keresésre használjuk Otthon, munkahelyen, iskolákban mindenhol, ahol internet van Hasznos Gyors, egyszerű keresés Szűrési lehetőségek (, site: stb.) Tárolt változat

6 Hasznosak, ingyenesek, DE Nem a sajátunk, ezért Nem azt aratjuk, amit mi szeretnénk Nem akkor aratunk, amikor mi szeretnénk Forráskód nincs a birtokukban, ez fejlesztési szempontból hátrány Harvesztelt adatok sincsenek a birtokunkban Kulturális értékeket meg kell őrizni, ennek a legjobb módja, ha eltároljuk őket

7 Saját megoldások Szerettünk volna olyan megoldást, ahol MI irányítjuk a harvesztelést + adott esetben fejleszteni is tudjuk a szolgáltatást 3 dolog hiányzott: Szerver, tárhely, ember Open Source programokat kerestünk Ingyenesek Forráskód, beállítások elérhetők Segítség (Forum, wiki, howto)

8 Teszteléshez használt konfiguráció (Hp Proliant ML350) Szerver 2 magos Intel Xeon Processzor (32 bit) 2 GB RAM SCSI merevlemez Javasolt szerver konfiguráció (Ideális esetben 3 szerver) 2*2 vagy 1*4 magos processzor (64 bit) 8 GB RAM SAS vagy SSD merevlemez

9 Operációs rendszer Debian linux 5.0 (Lenny) Linux disztribúciók közül az egyik legjobb Vannak tapasztalataink Gyors, stabil, biztonságos Ingyenes

10 Felhasznált programok Crawler adatok begyűjtését végzi Indexer -fulltext kereséshez Indexer URL kereséshez Java alap kereső felületekhez használjuk

11 Folyamat 1 Központi adattároló (Storage) 3 Adat gyűjtés (Crawl) 4 Adatok indexelése (Fulltext és URL kereséshez) 2 Kereső felületek

12 Aktuális stabil verzió: Weboldalak begyűjtését végzi (crawl) Warc.gz fájlokban tárolja az adatokat WARC (Web ARChive) fájl képeket, dokumentumokat stb. is a fájlban tárolunk Tömörített fájl helymegtakarítás fontos a nagyobb harveszteléseknél Szabványnak köszönhetően más programok gond nélkül kezelik

13 WARC fájl timestamp (időbélyeg) Fájl névben van egy időbélyeg mikor készült a fájl Minden egyes url mellé a Heritrix szintén hozzáad egy időbélyeget Pl.: Egyedi Fontos szerepe van

14 Heritrix - GUI -Meghibásodás esetén hasznos -Automatikus vagy kézi létrehozás -Kis méret (~500 KB)

15 Jelenlegi stabil verzió 0.13 Begyűjtött adatokat indexeljük vele I/O műveletek miatt magas memória és gyors merevlemez igény Index adatbázisban keresünk Fulltext keresés Mindent leindexel ami a warc fájlban van Szöveges dokumentumokban (PDF, DOC, RTF stb.) is kereshetek Képek, videók, flash fájlok stb nevére kereshetek

16 Nutchwax - Search Java alapú kereső, Apache Tomcat alatt fut Java miatt lassú, nem könnyű szerkeszteni

17 Nutchwax - Opensearch Nem kell hozzá Java, HTML alapú Gyors, könnyű beágyazni weblapokba

18 Nucthwax search vs. opensearch

19 Opensearch - all versions

20 Jelenlegi stabil verzió Szintén a begyűjtött adatokat indexeljük vele Index adatbázisában keresünk (kisebb méret) URL-ek keresésére használjuk Kezeli az időbélyegeket Azonos URL címek között különbséget tesz Verziókövetésre kiváló

21 Timestamp példa aratva lett: = :31: = :25:22 Bár az URL cím ugyanaz, az időbélyeg, mint egy egyedi azonosító megkülönbözteti a 2 harvesztelést

22 Wayback kereső

23

24

25 Heritrix vs. Google

26 Tesztelési fázis Hol tartunk, tervek Kell még tesztelni Új szerver 6.0-ás Debián tesztje Tervek Teljes magyar domain (.hu) fél évenkénti, illetve különböző oldalak - események időszakos harvesztelése Két további szerverre lenne szükség, ezzel kapcsolatban már fordultunk a fenntartókhoz

27 Forrásanyagok

28 Köszönöm a figyelmet! kovacs.peter@oszk.hu