Engedy Balázs. Nagy adathalmazok kezelése

Átírás

1 Ajánlórendszerek Engedy Balázs Budapesti Műszaki és Gazdaságtudományi Egyetem Számítástudomány szakirány Nagy adathalmazok kezelése című tárgy előadása április 21. Engedy Balázs Ajánlórendszerek 1/ 37

2 Tartalom Bevezetés 1 Bevezetés Történelem Gazdasági előnyök Formális leírás Csoportosítás 2 Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés 3 Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása 4 Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! Engedy Balázs Ajánlórendszerek 2/ 37

3 Dehomogenizálódó piacok Történelem Gazdasági előnyök Formális leírás Csoportosítás Joseph Pine: Mass Customization (1993) A 90-es években végbemenő piaci változásokat tárgyalja, miszerint: a szabványos, egyenvásárlóra tervezett tömegtermékek ideje lejárt, többféle vásárló többféle igényét kielégítő heterogén (sokféle) termékek gyártásának irányába kell elmozdulni. Engedy Balázs Ajánlórendszerek 3/ 37

4 Ajánlórendszerek Bevezetés Történelem Gazdasági előnyök Formális leírás Csoportosítás Jeff Bezos (CEO, Amazon) Ha 2 millió vásárlóm van a Weben, akkor 2 millió boltom kell hogy legyen a Weben! A heterogenitás dilemmája Megvan a sokféle termék, változatos kínálat De így a vásárlónak rengeteg lehetőségből kell választani Információs túlterhelés A kínálatot meg kell szűrni! Egy lehetséges megoldás: ajánlórendszerek A vásárlónak csak releváns termékeket mutatunk Egyénre- avagy testreszabott vásárlás Engedy Balázs Ajánlórendszerek 4/ 37

5 Ajánlórendszerek Bevezetés Történelem Gazdasági előnyök Formális leírás Csoportosítás Jeff Bezos (CEO, Amazon) Ha 2 millió vásárlóm van a Weben, akkor 2 millió boltom kell hogy legyen a Weben! A heterogenitás dilemmája Megvan a sokféle termék, változatos kínálat De így a vásárlónak rengeteg lehetőségből kell választani Információs túlterhelés A kínálatot meg kell szűrni! Egy lehetséges megoldás: ajánlórendszerek A vásárlónak csak releváns termékeket mutatunk Egyénre- avagy testreszabott vásárlás Engedy Balázs Ajánlórendszerek 4/ 37

6 Történelem Gazdasági előnyök Formális leírás Csoportosítás Gazdasági előnyök az eladók számára 1 Böngészőkből vásárlók Vásárlói kosár létrejön Ha a webshop böngészése közben érdekes termékekkel találkozik a vásárló, talán vásárolni is fog! 2 Járulékos eladások Kosár-átlagméret növekszik Ha vásárlás közben további érdekes termékekkel találkozik a vásárló, talán azokból is vásárolni fog! 3 Hűséges vásárlók Vásárlások száma növekszik Ha a konkurenciához képest nálunk érdekesebb termékekkel találkozik a vásárló mert a régebbi ténykedéseiből épített vásárlói profil szerint ajánlunk kedvére valót, talán emiatt már legközelebb is inkább hozzánk tér be vásárolni! Engedy Balázs Ajánlórendszerek 5/ 37

10 Az ajánlási feladat formális leírása Történelem Gazdasági előnyök Formális leírás Csoportosítás Input Output C vásárlóhalmaz, C = m S termékhalmaz, S = n u : C S R hasznosságfüggvény (pl. rating 1 10-ig) Kevés függvényérték ismert (pl. amely filmeket értékelte) Az m és n pedig nagyon nagy (milliók) c C vásárló számára a legérdekesebb/leghasznosabb új termék(ek) megadása, azaz: s c S, hogy u (c, s c ) maximális Engedy Balázs Ajánlórendszerek 6/ 37

11 Ajánlórendszerek csoportosítsa Történelem Gazdasági előnyök Formális leírás Csoportosítás Az ajánlandó termékekhez eljuthatunk a kérdéses felhasználó által kedvelt termékeken keresztül, azokhoz hasonlót keresve; vagy a kérdéses felhasználóhoz hasonló ízlésű felhasználókon keresztül, azok által közösen kedvelt terméket keresve. Így tehát: Tartalomalapú ajánlás A felhasználónak olyan termékeket ajánlunk, melyek tartalmukban hasonlók azokhoz, amelyeket a múltban magasra értékelt. Kollaboratív ajánlás A felhasználónak olyan termékeket ajánlunk, melyeket más, hasonló ízlésű felhasználók magasra értékeltek. Hibrid módszerek A fenti két módszert együttesen alkalmazzuk, vagy nem is különítjük el kategorikusan a két irányt. Engedy Balázs Ajánlórendszerek 7/ 37

12 Tartalomalapú ajánlórendszerek Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Engedy Balázs Ajánlórendszerek 8/ 37

13 Tartalomalapú ajánlórendszerek Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Egy adott felhasználó számára egy termék hasznosságát a hasonló termékek ugyanazon felhasználó által megadott hasznosságaiból becsüljük 1 : û (c, s) u (c, s i ) alapján, ahol: s s i Klasszikusan szöveges dokumentumokra alkalmazzuk A dokumentumokat tartalmilag pl. kulcsszavak gyakoriságával, fontosságával jellemezhetjük, a továbbiakban e skalárjellemzőkből álló ennes képviseli a dokumentumot Két dokumentum hasonló, ha tartalmuk, így jellemző kulcsszavaik hasonlóak Feltételezzük, hogy tartalmában a már olvasott (és kedvelt) dokumentumokhoz hasonlóra vágyik a felhasználó 1és a legnagyobb becsültet ajánljuk Engedy Balázs Ajánlórendszerek 9/ 37

14 Az ajánlás menete Bevezetés Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés 1 Az egyes dokumentumokhoz tartalmi profilt készítünk: s S : s Content (s) 2 Az értékelt dokumentumok alapján felhasználói profil készül: c C : {(Content (s), u (c, s)) s S c } ContentBasedProf (c) 3 Ezek alapján az ismeretlen hasznosságokat becsüljük: û (c, s) = score (Content (s), ContentBasedProfile (c)) Engedy Balázs Ajánlórendszerek 10/ 37

15 Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Dokumentumprofil készítése (egy lehetséges heurisztika) Legyenek a rendszerben nyilvántartott kulcsszavak: σ 1, σ 2,... σ k Az s i dokumentumban σ j kulcsszó gyakorisága: f i,j Egy dokumentum profilja legyen az a vektor, mely az összes kulcsszavak w i,j fontosságait tartalmazza erre a dokumentumra: Content (s i ) = w si = ( w i,1, w i,2,... w i,k ) Engedy Balázs Ajánlórendszerek 11/ 37

16 Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Dokumentumprofil készítése (egy lehetséges heurisztika) Egy kulcsszó fontossága sokféleképp definiálható, de pl. mondhatjuk, hogy arányos a normalizált előfordulási gyakoriságával: f i,j TF i,j = max z f i,z A túl sok dokumentumban szereplő kulcsszavak viszont nem túl informatívak, ezek súlyát hivatott csökkenteni az inverse document-frequency tényező: IDF j = log n, ahol n j = { i fi,j > 0 } n j Így a fontosság: w i,j = TF i,j IDF j Engedy Balázs Ajánlórendszerek 12/ 37

17 Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Felhasználói profil készítése (egy lehetséges heurisztika) A felhasználó profilja lehet pl. szintén egy vektor, mely a múltban elolvasott dokumentumok alapján az adott felhasználó egyes kulcsszavakra vonatkozó v i,j preferenciáit tartalmazza: ContentBasedProfile (c i ) = v ci = ( v i,1, v i,2,... v i,k ) A preferenciák meghatározására történhet a már értékelt dokumentumok w si vektorainak valamilyen átlagolásával. Így a v preferenciavektor szintén tekinthető egy TF-IDF vektornak Engedy Balázs Ajánlórendszerek 13/ 37

18 Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Hasznosságbecslés (egy lehetséges heurisztika) A hasznosságot pedig definiálhatjuk pl. a v és w vektorok által bezárt szög koszinuszaként: û (c i, s l ) = score (Content (s l ), ContBasedProfile (c i )) = = cos ( ) v ci w sl v ci, w sl = wsl = v ci kj =1 v i,j w l,j kj =1 vi,j 2 kj =1 w 2 l,j Engedy Balázs Ajánlórendszerek 14/ 37

19 Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Hasznosságbecslés (modellalapú módszerek) Az imént bemutatott vektoros becslés a heurisztikus módszerek családjába tartozik, és természetesen csak egy a sok lehetséges algoritmus közül Vannak még ún. modell-alapú módszerek Content (s) itt is valamilyen statisztika a dokumentumokról ContentBasedProfile (c) viszont valamilyen bonyolultabb modell A hasznosságbecslés a modell kimenetén jelenik meg, az adott dokumentum profilját a bemenetére adva: û (c i, s l ) = Model ci (Content (s l )) Pl. Naiv bayesi osztályozó felépítése a kulcsszógyakoriságokból Pl. Rosta (winnow) algoritmus, neurális hálózatok Engedy Balázs Ajánlórendszerek 15/ 37

20 Előnyök Bevezetés Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Függetlenség a többi felhasználótól Egyáltalán nem használjuk a becsléshez a többi felhasználóról tárolt információkat, csak a kérdéses felhasználó preferenciáit Így akár egyetlen felhasználó esetén is életképes a rendszer A hasznosságfüggvény opcionális A felhasználói profil akár egy u hasznosságfüggvény nélkül létrehozható A rendszer ekkor is életképes, olyan értelemben, hogy a már megtekintett termékekhez hasonlókat akkor is tud ajánlani Engedy Balázs Ajánlórendszerek 16/ 37

21 Hátrányok Bevezetés Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Termékjellemzők előálĺıtásának problémája Szöveges dokumentumok esetén jól automatizálható Más termékek (pl. filmek, képek) esetén viszont manuálisan kéne megadni (műfaj, szereplők... ) sok munka Megint más termékeknél esetleg egyáltalán nem tudunk olyan (skalár) jellemzőket megadni, melyen keresztül értelmesen összehasonĺıthatnánk őket Megkülönböztethetetlenség problémája Ha két termék jellemzői azonosak (a két ennes megegyezik), a rendszer számára megkülönböztethetetlenek Pl. Egy jól és egy rosszul megírt cikk ugyanabban a témában Pl. Egy jó és egy rossz 22 collos, TN-paneles, felbontású LCD-monitor Engedy Balázs Ajánlórendszerek 17/ 37

22 Hátrányok Bevezetés Dokumentumprofil készítése Felhasználói profil készítése Hasznosságbecslés Túlspecializáció Elképzelhető, hogy nem mindig a már (magasan) értékeltekhez leginkább hasonló termékek ajánlása lenne az ideális Megoldás: mesterségesen zajt kell az eredményhez keverni Pl. Étteremajánló-rendszer: amennyiben a felhasználó még csak kínai és magyar ízeket kóstolt, soha nem fogunk neki görög éttermet ajánlani (még ha az is a legjobb a városban), hiszen túlságosan különböző az eddig értékelt termékektől Új felhasználó problémája Egy új felhasználónak egy darabig nem tudunk értelmesen ajánlani, hiszen túlságosan kevés értékelt termékből kéne a profilját felépítenünk Engedy Balázs Ajánlórendszerek 18/ 37

23 Kollaboratív ajánlórendszerek Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Engedy Balázs Ajánlórendszerek 19/ 37

24 Kollaboratív ajánlórendszerek Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása A továbbiakban egy termék (pl. film) hasznosságán mindig egy adott skálán mozgó értékelést (rating) értünk, azaz, hogy egy felhasználó milyen magasra pontozta, értékelte (volna) az adott terméket. Ennek megfelelően a következő jelölést vezetjük be: r c,s u (c, s) Egy adott felhasználó számára egy adott (még nem értékelt) termék értékelését most a hasonló ízlésű felhasználók által a termékre adott értékelések összesítéséből becsüljük 2 : ˆr c,s r ci,s alapján, ahol: c c i 2és itt is a legnagyobb becsültet ajánljuk Engedy Balázs Ajánlórendszerek 20/ 37

25 Az ajánlás menete Bevezetés Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása 1 Felhasználópárok hasonlósági faktorának megállapítása: x, y C : sim (x, y) meghatározása 2 Adott felhasználóhoz hasonló ízlésű felhasználók megkeresése: c C : c Ĉ = {c c C, sim(c, c ) nagy} 3 A hasonló ízlésű felhasználók által adott értékek aggregálásával az ismeretlen értékelés becslése: ˆr c,s = aggr c Ĉ ( rc,s) Engedy Balázs Ajánlórendszerek 21/ 37

26 Felhasználópárok hasonlósága Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Általában a felhasználók által közösen értékelt S xy termékhalmaz alapján dolgozunk: S xy = { s S r x,s, r y,s } A mindkettejük által értékelt termékek pontszámait egy-egy x és y vektorként tekintve itt is definiálhatjuk a hasonlóságot az ezek által bezárt szög koszinuszaként: x y sim(x, y) = cos ( x, y) = x y = s S xy r x,s r y,s r 2 s Sxy x,s r 2 s Sxy y,s Engedy Balázs Ajánlórendszerek 22/ 37

27 Felhasználópárok hasonlósága Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Egyes felhasználók szigorúbban pontozhatnak, mint mások, ezt hivatott orvosolni a Pearson-féle korrelációs együttható: sim(x, y) = cos ( x n, y n ) = s Sxy (r x,s r x ) (r y,s r y ) s Sxy (r x,s r x ) 2 s Sxy (r y,s r y ) 2 ahol x n, y n az x, y vektorok nulla-átlagúra normálva, azaz: x n = x (r x,... r x ) y n = y ( r y,... r y ) ahol r x, r y az x, y felhasználók értékeléseinek átlagai Engedy Balázs Ajánlórendszerek 23/ 37

28 Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Hasonló ízlésű felhasználók megkeresése Adott egy c felhasználó, a hozzá leginkább hasonló ízlésű néhány másikat szeretnénk megtalálni Kiszámíthatjuk minden x, y felhasználópárra sim (x, y)-t, majd rendezzük lassú lehet nagy adathalmazok esetén, mivel az adatok nem férnek el a operatív memóriában Gráfot építhetünk a felhasználókból, ahol a hasonló ízlésűek valamilyen szempontból közel helyezkednek el egymáshoz A következő fejezetben látni fogunk egy módszert, mellyel a sim (x, y) értékeket csak közeĺıtjük, de így legalább elférünk a memóriában Engedy Balázs Ajánlórendszerek 24/ 37

29 Értékelések aggregálása Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Valamilyen átlag, például: (a) Egyszerű átlag ˆr c,s = 1 N c Ĉ r c,s, ahol N = Ĉ (b) Felhasználók hasonlóságával súlyozott átlag ˆr c,s = k c Ĉ sim(c, c 1 ) r c,s, ahol k = c Ĉ sim(c, c ) (c) Súlyozott átlag, normalizált értékelésekkel ˆr c,s = r c + k sim(c, c ) (r ) c,s r c c Ĉ Engedy Balázs Ajánlórendszerek 25/ 37

30 Modellalapú módszerek Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Az imént bemutatott becslés szintén a heurisztikus módszerek családjába tartozik Kollaboratív esetben is vannak modell-alapú módszerek Az értékelésekből egy bonyolultabb modellt építünk A modell kimenetén becsli r c,s nem ismert értékeit Pl. Klaszterezésen alapuló módszerek: a hasonló ízlésű felhasználókat egy-egy osztályba soroljuk, ezen belül naiv bayesi osztályozót használunk a becslésre Pl. Bayes-hálók: a csomópontok a termékek, lehetséges állapotaik az egyes értékelések (pl ig) Pl. Egyéb gépi tanulási módszerek Engedy Balázs Ajánlórendszerek 26/ 37

31 Előnyök Bevezetés Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Tetszőleges típusú termékek A felhasználóink értékrendjük szerint lényegében bármilyen típusú terméket képesek pontozni, így mindenféle termékhez rendelhető egy skalár (a hasznosság) A termékeknek klasszikus értelemben nem is kell összehasonĺıthatónak lenniük Minden megkülönböztethető A felhasználók értékeléskor a teljes tartalmat nézik, így nem lehet olyan probléma, mint a tartalomalapú esetben, hogy a kivont jellemzők megegyeznek, így egy jó és egy rossz filmet ne tudnánk megkülönböztetni Engedy Balázs Ajánlórendszerek 27/ 37

32 Hátrányok Bevezetés Felhasználók hasonlósága Hasonló ízlésű felhasználók Értékelések aggregálása Új felhasználó problémája (mint előbb) Új termék problémája Amíg egy termékre nem érkezik elég sok értékelés, nem fogjuk tudni ajánlani (sokáig nem lesz olyan felhasználó lesz, aki hasonló ízlésű a kérdéses felhasználóhoz és értékelte) Megoldás: hibrid módszerek Ritkaság Általában csak kevés r c,s érték ismert, ezek alapján kell jól ajánlanunk A megfelelő működéshez még így is kell egy kritikus tömeg (felhasználókból), hogy: (1) minden felhasználóhoz legyen elég sok hasonló ízlésű, (2) akik ráadásul értékelték is a kérdéses terméket Engedy Balázs Ajánlórendszerek 28/ 37

33 Hibrid ajánlórendszerek Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! Engedy Balázs Ajánlórendszerek 29/ 37

34 Hibrid ajánlórendszerek Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! A becslés javítható, ha az egyes megközeĺıtéseket kombináljuk: 1 A külön alkalmazott tartalomalapú, illetve kollaboratív ajánlók eredményeit kombináljuk 2 Tartalomalapú ajánlót kollaboratív elemekkel egészítjük ki 3 Kollaboratív ajánlót tartalomalapú elemekkel egészítjük ki 4 Egységes modellt dolgozunk ki, mely egyszerre dolgozik a két megközeĺıtés szerint, nem választja szét a két irányt Engedy Balázs Ajánlórendszerek 30/ 37

35 Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! Hasonlóságbecslés gradiensmódszerrel Alapötlet: Az előző fejezetben a felhasználók hasonlóságának kiszámítására manuálisan adtunk képletet (koszinusz, Pearson) Bízzuk ezt is az ajánlórendszerre: tanuljon alkalmas hasonlóságértékeket úgy, hogy a végeredmény jó legyen Az egyes felhasználók hasonlóságát leíró sim (i, j ) függvényt rendezzük egy H mátrixba: H = [ h i,j = sim (i, j ) ] Ekkor az alábbi módon becsült hasznosságok összes (négyzetes) hibáját akarjuk minimalizálni: c ˆr c,s = C s h c,c r c,s, ahol C s = { c c C, r c,s } c C s hc,c Engedy Balázs Ajánlórendszerek 31/ 37

36 Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! Hasonlóságbecslés gradiensmódszerrel A minimalizálandó hibafüggvény tehát : E (H, L) = 1 2 r c,s L ) (ˆrc,s (H) r 2 c,s + γ h i,j, ahol L a tanítóhalmaz, γ a regularizációs konstans Az ún. sztochasztikus gradiensmódszert használva az egyes tanítópontokkal egyenként javítjuk egy adott r c,s példában érintett h c,i paramétereket: ( ) húj c,i = ) ˆr c,s hrégi c,i η sign (ˆrc,s r c,s ηγh régi h c,i, c,i ahol η a bátorsági tényező i<j Engedy Balázs Ajánlórendszerek 32/ 37

37 Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! Faktormátrixok (a gradiensmódszerhez) A gradiensmódszer problémája, hogy kis számú tanítópontból akarunk rengeteg h i,j hasonlóságértéket meghatározni, így hajlamos a túltanulásra (és a memóriában sem fér el!) Csökkentsük a szabadsági fokot, a paraméterek számát! Erre egy lehetséges megoldás, hogy a H mátrixot két ún. faktormátrix szorzataként írjuk fel: n n H = n k P k n Q Így az eredeti mátrix egy k-rangú approximációját kaptuk A becsült ˆr c,s értékek az így kapott p i,j, q i,j paraméterek szerint továbbra is deriválhatók, így ezek betanulására a gradiensmódszer hasonlóan alkalmazható Engedy Balázs Ajánlórendszerek 33/ 37

38 Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! A faktormátrixok szemléletes jelentése A P Q mátrixszorzásra úgy is tekinthetünk, hogy a H i-edik sorát Q egyes sorainak p i,1,... p i,k -együtthatós lineáris kombinációjával közeĺıtjük: h i = k p i,j q j j =1 Engedy Balázs Ajánlórendszerek 34/ 37

39 Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! A faktormátrixok szemléletes jelentése Ez szemléletesen azt jelenti, hogy Q soraiban az egyes felhasználó-sztereotípiákat leíró vektorok jelennek meg, P soraiban pedig az, hogy az adott felhasználó mennyire tartozik bele az adott sztereotípiába Engedy Balázs Ajánlórendszerek 35/ 37

40 Források Bevezetés Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! Gediminas Adomavicius and Alexander Tuzhilin. Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions. IEEE Trans. on Knowl. and Data Eng., 17(6): , J. Ben Schafer, Joseph Konstan, and John Riedi. Recommender systems in e-commerce. In EC 99: Proceedings of the 1st ACM conference on E. commerce, pages , New York, USA, ACM. Andreas Töscher, Michael Jahrer, and Robert Legenstein. Improved neighborhood-based algorithms for large-scale recommender systems. In NETFLIX 08: Proceedings of the 2nd KDD Workshop, pages 1 6, New York, NY, USA, ACM. Engedy Balázs Ajánlórendszerek 36/ 37

41 Vége! Bevezetés Hibrid rendszerek Gradiensmódszer Faktormátrixok Források, vége! Engedy Balázs Ajánlórendszerek 37/ 37