Nem felügyelt tanulás

Átírás

1 Pintér Balázs

2 Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

3 Bevezetés Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

4 Bevezetés Felügyelt tanulás osztályozás

5 Bevezetés Felügyelt tanulás regresszió

6 Bevezetés klaszterezés

7 Bevezetés Felügyelt tanulás: címkézett adatokból tanulunk valamilyen függvényt Más megközeĺıtések 1 2 Semi-supervised learning 3 Megerősítéses tanulás 4 Evolúciós algoritmusok 5 Neuroevolúció

8 Klaszterezés Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

9 Klaszterezés Példa eloszlás alapú klaszterezés

10 Klaszterezés Példa eloszlás alapú klaszterezés

11 Klaszterezés Feladat Úgy csoportosítunk dolgokat, hogy a hasonlóak egy csoportba kerüljenek Klaszteren belül minél hasonlóbbak Klaszterek között minél kevésbé hasonlóak A dolgok általában R n -beli (vagy gráfbeli) pontok, pl.: Ügyféladatok piacszegmentáláshoz Dokumentumok szózsákkal modellezve, témák meghatározásához,keresési találatok összegzésére Szavak kontextusai, jelentések indukálásához Szerverek adatai (melyikek aktívak általában együtt) Egy csoportot egy klaszternek hívunk

12 Klaszterezés Fajtái Lehet hard vagy soft clustering Hard clustering: egy adatpont csak egy klaszterben szerepelhet Soft clustering: minden adatpontra megvan, hogy mennyire tartozik az egyes klaszterekbe Átmenetek Átfedő klaszterezés: egy elem több klaszterbe is tartozhat, de vagy beletartozik, vagy nem Hierarchikus klaszterezés: a klasztereket hierarchiába szervezzük, a gyerek klaszterbe tartozó elemek a szülőbe is beletartoznak

13 Klaszterezés Hierarchikus klaszterezés

14 Klaszterezés Példa természetes klasztereződésre azonos értelmű szavak jelentései (t-sne)

15 Klaszterezés Hard clustering k-means Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

16 Klaszterezés Hard clustering k-means Példa

17 Klaszterezés Hard clustering k-means Feladat Adott: k, a klaszterek száma Minden klasztert a középpontjával reprezentálunk Centroid, a klaszter pontjainak átlaga A feladat: keressük meg a k klaszter középpontot és az adatpontokat rendeljük ezekhez hozzá úgy, hogy a klaszteren belüli, középponttól számított távolságnégyzeteket minimalizáljuk Ekvivalens a páronkénti távolságnégyzetek minimalizálásával NP-nehéz, így approximáljuk Csak lokális optimumot találunk Többször futtathatjuk különböző véletlen inicializációkkal k-means feladat arg min S k i=1 x µ i 2 = arg min S x S i k i=1 1 2 S i x,y S i x y 2

18 Klaszterezés Hard clustering k-means Algoritmus Kezdetben adott k és az adatpontok R n -ben Inicializáljuk az m (1) 1, m(1) 2,..., m(1) k centroidokat Véletlenszerűen kiválasztunk k adatpontot, vagy Minden adatpontot véletlenszerűen egy klaszterbe sorolunk és kiszámoljuk a centroidokat Váltogatjuk a következő két lépést, amíg nem konvergálunk 1 Minden adatpontot a legközelebbi centroidhoz rendelünk: S (t) i = { x p : xp m (t) 2 xp m (t) 2 j, 1 j k } 2 Kiszámítjuk az új centroidokat i m (t+1) i = 1 S (t) i j x j S (t) i x j

19 Klaszterezés Hard clustering k-means Algoritmus

20 Klaszterezés Hard clustering k-means Algoritmus

21 Klaszterezés Hard clustering k-means Algoritmus

22 Klaszterezés Hard clustering k-means Algoritmus

23 Klaszterezés Hard clustering k-means Algoritmus

24 Klaszterezés Hard clustering k-means Algoritmus

25 Klaszterezés Hard clustering k-means Algoritmus

26 Klaszterezés Hard clustering k-means Problémák túl kicsi k-t adunk meg

27 Klaszterezés Hard clustering k-means Problémák túl nagy k-t adunk meg

28 Klaszterezés Hard clustering k-means Problémák rossz inicializáció

29 Klaszterezés Hard clustering k-means Problémák sűrűség alapúak a klaszterek

30 Klaszterezés Hard clustering k-means Python példák Kép kvantálás: examples/cluster/plot_color_quantization.html Dokumentumok klaszterezése: document_clustering.html

31 Klaszterezés Soft clustering témamodellek Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

32 Klaszterezés Soft clustering témamodellek Témamodellek Soft clusteringre példa: témamodellek Egy dokumentum mennyire szól az egyes témákról Egy témába milyen szavak tartoznak? Pl. Latent Semantic Analysis (SVD) Topics Weights Document govern presid forc languag linguist group vowel voic conson aircraft air flight standard system implement

33 Klaszterezés Soft clustering témamodellek Latent Semantic Analysis words documents topics topics X U S V T words topics topics documents

34 Klaszterezés Soft clustering témamodellek Kiterjesztés csoportritka regularizációval file version data develop server protocol comput machin memori data bit code network server switch data databas page standard system implement model version car vehicl motor tank version machin compil word languag vowel languag noun vowel vowel voic conson word noun end languag linguist group aircraft air flight transport rout vehicl flight machine model number prime integ henri king parliament goddess god greek jesu sin faith henri john william minist rome william roman rome emperor son rome father empir imperi order order princ daughter order roman bishop israel jerusalem christian order pope christian famili includ member england edward english bishop princ peter est year popul linguist million mathemat polit militari elect govern presid forc countri relat govern econom trade bank countri intern develop island central san

35 Klaszterezés Soft clustering témamodellek Példa: kakukktojás játék Egybetartozó szavak Kakukktojás cao wei liu emperor king superman clark luthor kryptonite batman devil demon hell soul body egypt egyptian alexandria pharaoh bishop singh guru sikh saini delhi language dialect linguistic spoken sound mass force motion velocity orbit voice speech hearing sound view athens athenian pericles corinth ancient data file format compression image function problems polynomial equation physical

36 Dimenziócsökkentés Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

37 Dimenziócsökkentés Miért dimenziócsökkentünk? Az adatok valójában alacsonyabb dimenziósak, csak magasabb dimenziós térben vannak Láttatjuk az adatokat Eltüntetjük a zajt Csökkentjük a tanulási feladat bonyolultságát (jobb eredmények, kisebb futási idő,... ) A csökkentett dimenziójú adatokon új törvenyszerűségeket, sejtéseket láthatunk meg A probléma megoldásához kisebb dimenziós és/vagy sűrű reprezentációra van szükségünk

38 Dimenziócsökkentés Példa: Swiss roll

39 Dimenziócsökkentés Példa: A betű forgatása

40 Dimenziócsökkentés Kovariancia, korreláció Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

41 Dimenziócsökkentés Kovariancia, korreláció Kovariancia, korreláció

42 Dimenziócsökkentés Kovariancia, korreláció Kovariancia, korreláció

43 Dimenziócsökkentés Kovariancia, korreláció Kovariancia, (Pearson) korreláció Azt mérik, hogy X, Y val. változók mennyire mozognak együtt Lineáris kapcsolatot mutatnak Cov(X, Y ) = E [ (X E[X ])(Y E[Y ]) ] Pl.: Pozitív: Ha X > E(X ), akkor Y > E(Y ), ha X < E(X ), akkor Y < E(Y ) Cov(X, Y ) = E [ XY ] E[X ] E[Y ] Korreláció: Normalizált kovariancia, -1 és 1 között ρ X,Y = corr(x, Y ) = r xy = cov(x,y ) σ X σ Y = E[(X µ X )(Y µ Y )] σ X σ Y n (x i x)(y i ȳ) i=1 n (x i x) 2 n (y i ȳ) 2 i=1 i=1

44 Dimenziócsökkentés Kovariancia, korreláció Mind a négy adathalmaz korrelációs együtthatója 0.816

45 Dimenziócsökkentés Kovariancia, korreláció Kovariancia mátrix X egy vektor, aminek az elemei val. változók A kovariancia mátrix elemei X i, X j közti kovarianciák Σ ij = cov(x i, X j ) = E [ (X i µ i )(X j µ j ) ] µ i = E(X i ) E[(X 1 µ 1 )(X 1 µ 1 )] E[(X 1 µ 1 )(X 2 µ 2 )] E[(X 1 µ 1 )(X n µ n)] E[(X 2 µ 2 )(X 1 µ 1 )] E[(X 2 µ 2 )(X 2 µ 2 )] E[(X 2 µ 2 )(X n µ n)] E[(X n µ n)(x 1 µ 1 )] E[(X n µ n)(x 2 µ 2 )] E[(X n µ n)(x n µ n)] A főátlóban a szórások vannak. Ekvivalens: Σ = E(X X) µ µ

46 Dimenziócsökkentés Főkomponens anaĺızis Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

47 Dimenziócsökkentés Főkomponens anaĺızis Példa - 2d normáleloszlás

48 Dimenziócsökkentés Főkomponens anaĺızis Főkomponens anaĺızis Principal component analysis (PCA) Demo: Az adathalmazt egy új koordinátarendszerben ábrázoljuk, a tengelyek merőlegesek Az adathalmaz vetítései közül a legnagyobb szórású az első tengelyen (főkomponensen) van A második legnagyobb szórású a második főkomponensen,... Új változók/adatok: a főkomponensekre vetítjük le az eredeti változókat. Ezek már korrelálatlanok Dimenziócsökkentés: eldobjuk azokat a tengelyeket (és koordinátákat), amiken kicsi a szórás

49 Dimenziócsökkentés Főkomponens anaĺızis Főkomponens anaĺızis X R n p : adathalmaz, egy sor egy adatpont t (i) = (t 1,..., t l ) (i) : az adatpontok az új koordinátarendszerbe transzformálva w (k) = (w 1,..., w p ) (k) -val t k (i) = x (i) w (k) for i = 1,..., n k = 1,..., l Szórás maximalizálása { } w (1) = arg max (t 1 ) 2 (i) w =1 i = arg max w =1 { ( x(i) w ) } 2 i

50 Dimenziócsökkentés Főkomponens anaĺızis Főkomponens anaĺızis Ugyanez mátrixosan: w (1) = arg max { Xw 2 } = arg max w =1 w =1 Mivel w egységvektor: { w T X T } Xw w (1) = arg max w T w { } w T X T Xw Ez a Rayleigh-hányados, a legnagyobb lehetséges érték az X T X legnagyobb sajátértéke lesz, ahol w a hozzá tartozó sajátvektor A többi komponensre is így van a főkomponensek az X T X sajátvektorai

51 Dimenziócsökkentés Főkomponens anaĺızis Főkomponens anaĺızis algoritmus Az X mátrixban vannak az adataink Nulla átlagúra hozzuk az adatokat (kivonjuk az átlagot) Kiszámoljuk a Q = X T X kovariancia mátrixot Meghatározzuk ennek a mátrixnak a sajátértékeit, és a sajátvektorait A sajátvektorok a főkomponensek, a belőlük álló bázis az új koordinátarendszer A legnagyobb sajátértékhez tartozó főkomponens a legnagyobb szórású, és így tovább Dimenziócsökkentés: csak a k legnagyobb sajátértékű főkomponenst tartjuk meg

52 Dimenziócsökkentés Főkomponens anaĺızis PCA és SVD SVD X = UΣW T PCA SVD-vel X T X = WΣ T U T UΣW T = WΣ T ΣW T = W ˆΣ 2 W T W-ben már X T X sajátvektorai vannak. A szinguláris értékek a sajátértékek négyzetgyökei.

53 Dimenziócsökkentés Főkomponens anaĺızis A PCA is lineáris

54 Dimenziócsökkentés Főkomponens anaĺızis Python példák A feature scaling fontossága: preprocessing/plot_scaling_importance.html

55 Autoenkóderek Tartalom 1 Bevezetés 2 Klaszterezés Hard clustering k-means Soft clustering témamodellek 3 Dimenziócsökkentés Kovariancia, korreláció Főkomponens anaĺızis 4 Autoenkóderek

56 Autoenkóderek Autoenkóderek

57 Autoenkóderek Autóenkóderek Egyszerű autóenkóder L(x, x ) = x x 2 = x σ (W (σ(wx + b)) + b ) 2 Ez az egyszerű autoenkóder a PCA alterébe projektál Flexibilis, sokféle variáció létezik Denoising autoencoder: zajos inputból kell zajtalan outputot előálĺıtani Sparse autoencoder: csak néhány egység lehet aktív a rejtett reprezentációban VAE: Egy valószínűségi modellt feltételez, a poszterior eloszlást approximálja Sokszor fontosak egy felügyelt mély háló előtanításában

58 Autoenkóderek Köszönöm a figyelmet! Köszönöm a figyelmet!