Hogy keres a Google?

Átírás

1 Hogy keres a Google? Kevei Péter SZTE Bolyai Intézet Kutatók Éjszakája 208. szeptember 28.

2 WWW Könyvtár 25 milliárd ( ) dokumentummal, és nincs könyvtáros (a Somogyi Könyvtárban , a Bolyai könyvtárában kb könyv van). Bárki bármikor feltölthet dokumentumokat. A dokumentumok nagy része hosszú (több szó). Somogyi Könyvtár 2. emelet (

3 Keresőprogramok feladata Feltérképezi a nyilvános elérésű weboldalakat. Olyan formába rendszerezi ezeket, hogy kereshető legyen (kulcsszó). Mi a fontos, mi nem? Rangsorolja a találatokat. Hogyan rangsorol?

4 Keresőprogramok 994: WebCrawler, go.com, Lycos, Infoseek 995: Yahoo, AltaVista, Excite, SAPO A 997 novemberében a 4 legnépszerűbb keresőprogram közül csak egy találja meg saját magát. - Brin, Page: The Anatomy of a Large-Scalce Hypertextual Web Search Engine (998) 998: Google

5 Google 998-ban alapította Sergey Brin és Larry Page (PhD hallgatók a Stanfordon) By Joi Ito, via Wikimedia Commons By Marcin Mycielski, from Wikimedia Commons keresőprogram, lényegében a PageRank algoritmus googol 0 00 (hatalmas adathalmazban keres)

6 Google 998

7 Google 208

8 Rangsorolás Fontosság definiálása Objektív rangsor: a világháló szerkezetéből adódjon a rangsor

9 WWW modell A Hivatkozó hiperlinkek száma? Nem jó, mert számít, hogy honnan jön a hivatkozás. B C D E Pr(A) = Pr(B) mert A-ra van hiperlink B-ből? Nem jó, mert B fontossága többször szerepel. Osszuk el a fontosságot azok közt az oldalak közt, ahova van hiperlink!

10 Rangsor A Pr(A) = 2 Pr(B) B C E Pr(B) = 2 Pr(A) + 3 Pr(C) Pr(C) = 2 Pr(A) + 2 Pr(D) Pr(D) = Pr(C) + Pr(E) 3 D Pr(E) = 2 Pr(B) + 3 Pr(C) + 2 Pr(D)

11 Egyenletrendszer - sajátérték, sajátvektor Pr(A) Pr(A) Pr(B) Pr(C) Pr(D) = Pr(B) Pr(C) Pr(D) Pr(E) Pr(E) Egy megoldás (ha mindet megszorzom 3-mal, akkor is megoldást kapok): Pr(A) = 0, 045, Pr(B) = 0, 09; Pr(C) = 0, 205; Pr(D) = 0, 364; Pr(E) = 0, 295.

12 Rangsor 0,045 A 0,09 B 0,205 C E 0,295 0,364 D

13 Bevezetés A PageRank algoritmus A PageRank manipulálása?? Na akkor most oldjunk meg egy 25 milliárd ismeretlenes egyenletrendszert?

14 Véletlen szörfös - A B C E D

15 Véletlen szörfös - 2 A B C E D

16 Véletlen szörfös - 3 A B C E D

17 Véletlen szörfös - 4 A B C E D

18 Véletlen szörfös - 5 A B C E 2 D

19 Véletlen szörfös - 6 A B C E 2 2 D

20 Véletlen szörfös - 7 A B C E 2 2 D

21 Véletlen szörfös , A 0, B 2032 C 0,205 E , D 0,364

22 Markov-láncok A véletlen szörfös modell egy Markov-lánc, azaz a következő lépés véletlen, de csak attól függ, hogy éppen hol van a szörfös. Ha sokáig követjük a folyamatot (a szörföst), akkor beáll egy stacionárius eloszlás, ami azt mutatja, hogy az idő milyen részében volt az egyes állapotokban (weboldalakon). Pontosan ez az egyes weboldalak fontossága. A stacionárius eloszlás független attól, hogy honnan indult az első lépésben. Azaz a folyamat ergodikus. A PageRank iteratív módon is kiszámolható. Valójában csak így számolható ki. 50 iteráció elég (Brin & Page, 998).

23 Iteráció - Kezdeti érték: a 0 =, b 0 = c 0 = d 0 = e 0 = 0. a = 2 b 0 = 0 b = 2 a c 0 = 0.5 c = 2 a d 0 = 0.5 d = 3 c 0 + e 0 = 0 e = 2 b c d 0 = 0 A megoldás: (0, 045, 0, 09, 0, 205, 0, 364, 0, 295).

24 Iteráció - 2 Kezdeti érték: a = 0, b = 0.5, c = 0.5, d = e = 0. a 2 = 2 b = 0, 25 b 2 = 2 a + 3 c = 0, 67 c 2 = 2 a + 2 d = 0 d 2 = 3 c + e = 0, 67 e 2 = 2 b + 3 c + 2 d = 0, 47 A megoldás: (0, 045, 0, 09, 0, 205, 0, 364, 0, 295).

25 Iteráció - 3 a 3 = 2 b 2 = 0, 083 b 3 = 2 a c 2 = 0, 25 c 3 = 2 a d 2 = 0, 208 d 3 = 3 c 2 + e 2 = 0, 47 e 3 = 2 b c d 2 = 0, 67 A megoldás: (0, 045, 0, 09, 0, 205, 0, 364, 0, 295).

26 Iteráció - 0 a 0 = 2 b 9 = 0, 005 b 0 = 2 a c 9 = 0, 084 c 0 = 2 a d 9 = 0, 24 d 0 = 3 c 9 + e 9 = 0, 344 e 0 = 2 b c d 9 = 0, 308 A megoldás: (0, 045, 0, 09, 0, 205, 0, 364, 0, 295).

27 Iteráció - 20 a 20 = 2 b 9 = 0, 045 b 20 = 2 a c 9 = 0, 09 c 20 = 2 a d 9 = 0, 205 d 20 = 3 c 9 + e 9 = 0, 363 e 20 = 2 b c d 9 = 0, 296 A megoldás: (0, 045, 0, 09, 0, 205, 0, 364, 0, 295).

28 Csak a PageRank! Minél fontosabb egy oldal, annál nagyobb a PageRank értéke. Minél nagyobb a PageRank, annál fontosabb az oldal. Google Toolbar.0 (2000. december) az oldalak PageRank értéke (valamiféle közelítése) nyilvános. Hogy lehet becsapni az algoritmust?

29 Google Toolbar - PageRank december (Google Toolbar.0) - 0 (logaritmikus) skálán mutatja a PageRank értéket??

30 Rangsor 0,045 A 0,09 B 0,205 C E 0,295 0,364 D

31 Rangsor2 - E újragondolja 0,045 A 0,09 B 0 F 0 G 0 H 0,205 C E 0,295 0,364 D

32 Rangsor3 - E jobban újragondolja 0,029 A 0,057 B F 0,86 0,29 C E 0,37 0,229 D

33 Manipulálás vs. objektív rangsor Linkfarmok (egymásra mutató oldalak, melyeken nincs információ). Spam linkek (megjegyzésekben szereplő linkek). Ezeket szűri (nofollow), bünteti az algoritmus. Google Toolbarban 206. áprilisától nincs PageRank mérő. A PageRank algoritmust továbbra is használják.

34 PageRank általános algoritmus gráfokon, sok alkalmazással Twitter neuronhálózatok (orvostudomány) proteinhálózatok úthálózatok nyelvészet (szavak közötti kapcsolatok) tudománymetria (újságok fontossági sorrendje): SCImago Journal Ranking.

35 Irodalomjegyzék Sergey Brin, Lawrence Page: The Anatomy of a Large-Scale Hypertextual Web Search Engine. Seventh International World-Wide Web Conference (WWW 998) Kurt Bryan, Tanya Leise: The $25,000,000,000 eigenvector. The linear algebra behind Google. David Austin: How Google Finds Your Needle in the Web s Haystack? AMS Feature Column, 2006.