Gyakori elemhalmazok kinyerése

Átírás

1 Gyakori elemhalmazok kinyerése Balambér Dávid Budapesti M szaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar Számítástudomány szakirány 2011 március 11. Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

2 Tartalom 1 Gyakori elemhalmazok A probléma A gyakori elemhalmaz fogalma Tárolás és ábrázolás 2 Gyakori elemhalmaz kinyerési algoritmusok Egyszer algoritmusok Apriori algoritmus Az Eclat és az FP-Growth algoritmus Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

3 A probléma Vásárlói szokások Gyakran vásárolt termékek Nagy prot Gyakran együtt vásárolt termékek Nagy prot Egyik árát (AKCIÓ), másik árát érdemes vizsgálni ket Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

4 Tartalom 1 Gyakori elemhalmazok A probléma A gyakori elemhalmaz fogalma Tárolás és ábrázolás 2 Gyakori elemhalmaz kinyerési algoritmusok Egyszer algoritmusok Apriori algoritmus Az Eclat és az FP-Growth algoritmus Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

5 Gyakori elemhalmaz Elemek halmaza: I = {i 1, i 2,..., i m } termékek Tranzakciók (bemeneti sorozat): T = t 1, t 2,..., t n, ahol t j I (I hatványhalmaza felett értelmezett sorozat) vásárlások (termékhalmazok) I I elemhalmaz fedése: azon tranzakciók, melyek részhalmaza I egy termékhalmazt tartalmazó vásárlások Az I elemhalmaz támogatottsága: a fedésének elemszáma, supp(i ) egy termékhalmazt hány vásárlás tartalmaz Az I elemhalmaz gyakori elemhalmaz, ha supp(i ) > min_supp, ahol min_supp a támogatottsági küszöb egy termékhalmazt legalább min_supp darab vásárlás tartalmaz Az I elemhalmaz gyakorisága: freq(i ) = supp(i ) T Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

6 Feltételezések I elemein deniálhatunk rendezést: ABCDEF... azonosító szerint, pl. vonalkód a tranzakciók elemeit rendezve tároljuk: {A, C, D}, {B, C, E}, {A, B, C, E}, {B, E} ACD, BCE, ABCE, BE a vásárlásokkor rendezzük az azonos elemszámú elemhalmazok lexikograkusan rendezhet k: ACD, ABD, ADE, ACE ABD, ACD, ACE, ADE Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

7 Tartalom 1 Gyakori elemhalmazok A probléma A gyakori elemhalmaz fogalma Tárolás és ábrázolás 2 Gyakori elemhalmaz kinyerési algoritmusok Egyszer algoritmusok Apriori algoritmus Az Eclat és az FP-Growth algoritmus Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

8 Adattárolási módok Horizontális: a tranzakciókhoz tároljuk az elemek listáját ABCD 1 AB BD BCD ABCD 1111 Vertikális: az elemekhez tároljuk a tranzakciók listáját 1234 A B C D Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

9 Adattárolási módok Relációs: rögzített számú attribútum, több a többhöz kapcsolat R TE : T E 1 A 1 B 2 B 2 D 3 A 3 B 3 C 4 A 4 B 4 C 4 D Elemek (termékek) adatai: R E : E ID Név... A B C D Tranzakciók (vásárlások) adatai: R T : T ID Id Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

10 Ábrázolási módok Bináris mátrix: ABCD Páros gráf, G = (I, T, R): Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

11 Tartalom 1 Gyakori elemhalmazok A probléma A gyakori elemhalmaz fogalma Tárolás és ábrázolás 2 Gyakori elemhalmaz kinyerési algoritmusok Egyszer algoritmusok Apriori algoritmus Az Eclat és az FP-Growth algoritmus Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

12 Egyszer algoritmusok Nagyságrendek a gyakorlatban: Elemek száma I = m, akár Tranzakciók száma T = n, akár gyakori elemhalmazok mérete I tj I Naiv módszer: Határozzuk meg minden elemhalmaz támogatottságát O(2 m ) féle elemhalmaz mindegyikre végig kell nézni az összes tranzakciót Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

13 Egy konkrét egyszer algoritmus Végigolvassuk a tranzakciókat Minden tranzakcióra létrehozunk az összes részhalmazához egy-egy számlálót ha valamely részhalmazra már van számláló, akkor azt növeljük a számláló a támogatottságot jelzi Az algoritmus lépésszáma IO szempontjából optimális nagy elemszámú tranzakcióra túl sok számláló kellene: 2 t j darab Javítások csak bizonyos méret elemhalmazok vizsgálata (nem teljes) számlálók szófában tárolása (számláló elérés O( t j )) Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

14 Általános algoritmusok felépítése A három lépés jelöltek állítása: J = {j} támogatottságuk meghatározása: supp(j) gyakoriak kiválasztása: GY = {j supp(j) min_supp} A három lépés ismétl dik A jelölt-állítás ismétlés nélküli A különbség az algoritmusok között: a jelöltek el állításának módja a támogatottság meghatározásának módja A tranzakciók elemei rendezetten állnak rendelkezésre pl. minden vásárlásnál rendezzük Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

15 Tartalom 1 Gyakori elemhalmazok A probléma A gyakori elemhalmaz fogalma Tárolás és ábrázolás 2 Gyakori elemhalmaz kinyerési algoritmusok Egyszer algoritmusok Apriori algoritmus Az Eclat és az FP-Growth algoritmus Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

16 Apriori algoritmus Iterációk: egyre nagyobb méret elemhalmazok vizsgálata Gyakori elemhalmaz minden részhalmaza gyakori Csak az olyan elemhalmaz lehet gyakori, melynek részhalmazai gyakoriak Legyenek azok jelöltek, amelyek minden ismert részhalmaza gyakori Kezdetben l = 0, J l = { } Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

17 Jelöltek el állítása Az l-elem I 1, I 2 halmazokból l + 1 elem el állítása, ha: I 1 < I 2 (lexikograkus rendezés szerint) I 1 és I 2 csak utolsó tagjukban térnek el egymástól I 1 I 2 jelölt lesz, ha minden valódi részhalmaza gyakori ha minden l elem részhalmaz gyakori, akkor minden valódi részhalmaza is Pl. GY 3 = (ABC, ABD, ACD, ACE, BCD) ABCD jelölt lesz ACDE nem lesz jelölt Csak a jelöltek lehetnek gyakoriak ugyanis ahhoz hogy egy l + 1 elem elemhalmaz gyakori lehessen, az összes l elem részhalmazoknak gyakoriaknak kell lenniük ekkor viszont az l + 1 elem elemhalmaz el áll a fenti két szabály betartásával, azaz jelölt lesz Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

18 Támogatottság meghatározása A tranzakciókat mindenképp végig kell olvasni Egyelem jelöltek esetén: Egy tömbben tároljuk az egyes elemek támogatottságát Kételem jelöltek esetén: Kétdimenziós tömbben tároljuk az egyes elemek támogatottságát Általános esetben: Sok jelölt esetén lassú: minden jelöltre külön kell végignézni a tranzakciókat Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

19 Támogatottság meghatározása szófával A jelöltek támogatottságát szófában tároljuk Minden tranzakció beolvasásánál végigmegyünk a szófa megfelel részein a tranzakciókon csak egyszer megyünk végig a gyakorlatban gyorsabb a jelöltek szófában tárolása A támogatottság-meghatározás után töröljük a min_supp-nál kisebb támogatottságú leveleket Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

20 Jelöltállítás szófával A szófa prex a közös s levelek uniója megfelel jelölt ha teljesül, hogy a részhalmazai gyakoriak (ezt le kell ellen rizni) Tehát az algoritmus egy szófát épít, egy iteráció lépései: Jelöltek támogatottságának meghatározása Nem gyakori levelek törlése Új jelöltek létrehozása közös s jelöltekb l Nem gyakori jelöltek törlése gyorsítási lehet ség: Jelöltek támogatottságának meghatározása Új jelöltek létrehozása közös s gyakori jelöltekb l a két lépés összevonható egy szófa-bejárásra Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

21 További szófa gyorsítási lehet ségek A lexikograkus rendezés választása Egy szófa memóriaigényének minimalizálása a rendezés megfelel választásával NP-nehéz probléma A gyakorlati tapasztalatok alapján az elemgyakoriság szerint növekv sorrendet érdemes választani, ennek el nyei: a szófa pontjaiból kevesebb él indul ki a gyökérhez közelebb vannak a ritka elemek A ritka elemekkel kevesebb tranzakció fog egyezni, a szófa kisebb részét járjuk be gyorsabb Zsákutca nyesés Olyan csúcsok (részfák) törlése amelyek egyik gyereke se gyakori Jelöltállításkor ha preorder járjuk be a szófát, akkor nyugodtan törölhetjük ket Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

22 További Apriori gyorsítási lehet ségek Ritka elemek sz rése a tranzakciók els végigolvasáskor megállapítjuk a gyakori elemeket majd a nem gyakori elemeket törölhetjük a tranzakciókból Túl kis elemszámú tranzakciók törlése az l -edik iterációnál törölhetjük az l -nél nem nagyobb elemszámú tranzakciókat Töröljük a tranzakciót ha nem tartalmaz jelöltet Ha nincs benne jelölt, akkor nem tartalmazhat már nagyobb gyakori elemhalmazt A tranzakcióban lev jelölteken kívüli elemeket töröljük Pl. J 3 = {ABC, ABD, BCD, FGH} esetén t = ABCDH ABCD t = ABCGH ABC Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

23 Tartalom 1 Gyakori elemhalmazok A probléma A gyakori elemhalmaz fogalma Tárolás és ábrázolás 2 Gyakori elemhalmaz kinyerési algoritmusok Egyszer algoritmusok Apriori algoritmus Az Eclat és az FP-Growth algoritmus Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24

24 Az Eclat és az FP-Growth algoritmus Az Eclat rekurzív, mélységi jelleg bejárást valósít meg mindig egyetlen l méret jelöltet állít el két l 1 méret b l és rögtön meghatározza a támogatottságát TID-halmaz: Pl. AD, AC, ABCD, B, AD, ABD, D bemenetre TID(AC) = (2, 3) egy I elemhalmaz TID halmazának mérete megadja I támogatottságát egy jelölt TID-halmaza megkapható a generátorainak TID-halmazának metszeteként: TID(ACD) = TID(AC) TID(AD) = (2, 3) (1, 3, 5, 6) = (3) Az FP-Growth szintén rekurzív, mélységi bejárást használ Elemhalmaz vetítése: Pl. ACD, BCE, ABCE, BE B = CE, ACE, E El ször kisz ri a nem gyakori elemeket A sz rt tranzakciókat vetíti gyakori elemekre A vetített tranzakciókra rekurzív hívást végez Balambér Dávid (BME) Gyakori elemhalmazok 2011 március / 24