Neurális hálózato Nem ellenőrzött tanulás Patai Béla BME I.E. 414, 463-26-79 patai@mit.bme.hu, http://www.mit.bme.hu/general/staff/patai
Nem ellenőrzött tanulás (Klaszterezés ) Az eseteet szoásos módon az x paramétervetor írja le (pl. fényesség, hosszúság, urtózis, textúraparamétere stb.). A besorolást ellenőrzött tanulás (osztályozás) esetén az y imeneti címe adja meg. x 1 =[x 11 x 12 x 1N ] x 2 =[x 21 x 22 x 2N ] x L =[x P1 x P2 x PN ] Tanítómintá alapján tanított rendszer y 1 y 2 y P x új =[x új1 x új2 x újn ] Tanított rendszer y új =?
Célun rendszerint anna megadása, hogy az újonnan érező x új mintához milyen valószínűséggel tartozi egy y címe, ehhez a P(y x) eloszlást éne ismernün. Bayes-tétel P, y P y P( ) P y P( y) x x x x Ellenőrzött tanulásnál a tanulóminta-halmazból becsülhetjü P(x y)-t és P(x)-t innen becsüljü P(y x)-t. Nemellenőrzött tanulásnál csa P(x)-t tudju becsülni. Valamilyen rejtett strutúrát eresün az adatoban. Klaszterezés: a P(x) olyan becslése, melyben a mintatérben elülönülő csoportora bontju a mintáat x 2 x 1
Miért lehet jó laszterezni a mintáat? segíthet a ilógó (outlier) adato felderítésében ha mindegyi ialauló lasztertől távoli adat érezi, valószínűleg hibás (ilógó, outlier) megmutatja, hogy a jelenségne, folyamatna vanna-e tipius állapotai pl. egy gyártási folyamatban, egy eletromos vagy egyéb fogyasztási viseledésben lehetne tipius helyzete felhasználható hiányzó paramétere pótlására ha el tudju dönteni, vagy valószínűsíteni tudju, hogy melyi laszterbe tartozi a néhány paraméterében hiányos adat, aor a laszter tipius paraméterei jobb javítást, pótlást teszne lehetővé adato előfeldolgozása, ami történhet neuronhálóval (vagy a neuronháló rétegeivel) az adateloszlástól függő paramétere beállításában segíthet (pl. RBF típusú háló özéppont és szórásparaméterei) élethű mesterséges mintá generálása (bizonyos szempontból mindig evés a mintán!)
Klaszterezési eljáráso Diszriminatív: az egyes esete (mintá) özti távolságot használju fel: a özeli mintá tartozzana egy csoportba, a távolia ülön csoportba. Kritius a jó távolságmérté megtalálása! Generatív: Egy, a mintahalmaz létrehozását (generálását) magyarázó modellt használun. A modell magyarázza az egyes csoporto létrejöttét a modellparamétereet tanulju. Kritius a jó modell megtalálása!
Diszriminatív laszterezés - példa #1 K átlagépző, K-özéppontépző eljárás (K-means) Feladat: P mintapontot, K csoportba laszterezün ezdeti özépponto: c (0) =1,2,,K c (j)= átlag {X }, =1,2,,K j=0 X ={} üres halmaz =1,2,,K p=1 NEM j=j+1 Leállás? (pl. j > J limit vagy más feltétel) Melyi özépponthoz van az x(p) a legözelebb? Jelölje *. c * -x(p) <= c -x(p) minden -ra x(p)-t besorolju az X * halmazba NEM p = p+1 p>p? IGEN IGEN MATLAB DEMÓ! Kritius: a jó távolságmérté és jó laszterszám (K) meghatározása
Diszriminatív laszterezés példa #2 Hierarchius laszterezés Kritius: a jó távolságmérté és távolságlimit meghatározása Atuális távolságlimit 0 p 6 p 10 p 1 p 11 p 4 p 12 p 2 p 13 p 14 p 3 p 15 p5 p8 p9 p7
Távolságmértée mintaponto, mintapont és halmaz özéppont, illetve halmazo özt Eulideszi: p, p ( p p ) Manhattan: p, p 1 2 2 1 2 1 N 1 2 1 1 2 1 N 1 2 2 T 1 1 2 1 1 2 Mahalanobis: p, p ( p p ) C ( p p ) N p p 2
Távolság ét halmaz özt (pl. hierarchius laszterezésnél) d N12 d C12 d C13 <d C12 d N13 > d N12 Halmazözépponto Legözelebbi eleme Legtávolabbi eleme stb. más végeredményre vezethetne
A generatív laszterezés alapötlete Egy, az észlelt mintáat magyarázó modellt eresün (alotun), amely lasztereben (csoportoban) generálja a mintaeloszlást,és a modell paramétereit becsüljü a mintá alapján Generáló modell:... 1 2 3? K mintá: p 1, p 2, p 3, p 4, p 5, p 6, p 7, p 8,.. p N-1, p N,
Leggyarabban alalmazott eset: Gauss eloszláso everée Modell: x ( ) x 1 1 P ( x ) e 2 K P P P Természetesen a jobboldalon egyi tényező sem ismert. Becsüljü meg a lasztere a priori valószínűségét P()-t, és az egyes lasztereet generáló P (x )-at az adatoból. Az egyszerűség edvéért salár (x) paraméterrel jellemzett esetre az egyes lasztereet generáló eloszlás: ( x ) Ehhez a és paramétereet ell megbecsülnün. 2 2 2
Első laszter mintapontjait generáló eloszlás =1, 1 1 1? x 1,1,, x 1,N1 mintá: p 1, p 2, p 3, p 4, p 5, p 6, p 7, p 8,.. p N-1, p N, N = N1+N2+ +NK =2, 2 2 2 Másodi laszter mintapontjait generáló eloszlás? x 2,1,, x 1,N2 x K,1,, x K,NK K =K, K? K K-di laszter mintapontjait generáló eloszlás
Demópélda RGB ép: pl. a ép pixeleine zöldszín-hisztogramja, és özelítése 6 Gauss eloszlással 1500 1000 500 0-50 0 50 100 150 200 250 300
Legelterjedtebb (iteratív) eljárás: EM algoritmus (Expectation Maximization) Levezetés: Gauss eloszláso everée (salár x bemeneti változó), a várhatóértée 1, 2,..., K - táblán
Legelterjedtebb (iteratív) eljárás: EM algoritmus (Expectation Maximization) ( j) ( z 1 mutatná, hogy a j-di minta a -di laszterből jött de éppen ezt nem ismerjü! várható értéét i tudju számítani) 1. Adott átmenetileg rögzített = [ 1, 2,, K ] T mellett megbecsüljü, hogy az egyes mintá várhatóan melyi laszterbe tartozhatna (melyi -val jellemzett generátor hozhatta létre az adott mintát). - EXPECTATION ( j) () t E z : t iteráció után mi a becsült valószínűsége, hogy a j-di mintát a -di laszter generátora hozta létre 2. Átmenetileg rögzítjü a mintá egyes laszterebe sorolásána valószínűségét, és igyeszün = [ 1, 2,, K ] T -val maximálisan jól özelíteni a mintahalmazon tapasztalt P(x )- t. - MAXIMIZATION 3. GoTo 1.
EM algoritmus lépései Gauss eloszláso everée modell esetén Expectation: anna valószínűsége, hogy az x j minta a -di t laszterbe tartozi - ˆ becslése (t-di iteráció) ˆ ˆ ˆ E P x, E z () t ( j) j () t Maximization 2. 1. j j ( t1) E z ( j) E z ( j) 4. () t x () t () P x j ˆ j 3. 1 P ( ) e ( t1) () t ( t1) 1 ˆ 2 ( t) P N r () t 1 ( t1) P () r e ( t1) r ( j) E z j E z ( t) ( t1) 2 ( t1) 2 ( x ) j 2 ( ) ( t1) 2 r ( t1) 2 r ( x ) j 2 ( ) ( j) () t ( t) 2 ( ˆ x j ) j E z ( j) () t
Felhasználás: pl. hiányos, hibás adato Mivel mindig evés az adat: ha hiányzi egyi-mási omponense, rendszerint aor sem éri meg eldobni, jobb pótolni a hiányt. Enne alalmas eszöze lehet a laszterezés. Demópélda: Két paraméterrel jellemezzü a mintáinat: Egyes mintána hiányzi az egyi omponense (vagy annyira torz, hogy nem vesszü figyelembe). Például az n-di minta: xn1 pn? p x x 1 2
A étdimenziós adathalmaz eloszlása x 1 x 2
n-di minta: x n1 =0, de hiányzi az x n2 paraméter. Nézzü meg, melyi x n2 legvalószínűbb értée az x 2 eloszlás alapján: 0.02 X2 eloszlása a teljes mintahalmazon -> x2 legvalószínűbb értée -4 0.018 0.016 0.014 0.012 0.01 0.008 0.006 0.004 0.002 0-10 -8-6 -4-2 0 2 4 6 8 10 10 Az x1=0-hoz tartozó minta valószínűleg a 3-as laszterbe tartozi! -> max. valószínűségel x2=3 5 2. laszter 0 1. laszter 3. laszter x 1-5 -10-10 -8-6 -4-2 0 2 4 6 8 10
Másodi demópélda Eredeti ép 20%-ban hibás pixele (1-1 színomponens elveszett) 50 100 150 200 250 300 350 400 50 100 150 200 250 300
Balról-jobbra: a hibás ép, a globális paramétereel javított és a laszterezett, majd laszterenénti paramétereel javított 20%-ban hibás pixele (1-1 színomponens elveszett) 50 50 50 100 100 100 150 150 150 200 200 200 250 300 350 400 250 300 350 400 250 300 350 400 50 100 150 200 250 300 50 100 150 200 250 300 50 100 150 200 250 300
Hol használju, pl. a neurális hálózatonál a nem ellenőrzött tanulást? Pl. RBF típusú neuronháló első rétegéne paraméterbeállításánál Adato előfeldolgozása, ami történhet neuronhálóval (vagy a neuronháló rétegeivel) tipius előfeldolgozási lépés lehet a főomponensanalízis (Principal Component Analysis, PCA) Új mintá (pl. épe) generálása a tanításhoz
Autoenóder neuronháló adattömörítés, lényegiemelés (pl. PCA): z x vagy z x tulajdonságo generálása: z x vagy z x (rita megoldást eresün, pl. L1 regularizáció) ˆx Deóder neuronháló z Enóder neuronháló x
Variációs autoenóder háló ˆx Tanítás: 1. Egy {x () } minibatch 2. Előreterjesztés 3. x és ˆx özti hibával (eltéréssel) hibavisszaterjesztés (BP) (előreterjesztésnél a megfelelő és alapján egy-egy véletlen számmal ialaítju az értéet, pl. z rand z x x rand x z ésőbb ezzel végezzü a BP-t.) z x x z x: N( xz, xz ) xz Deóder neuronháló z: N(, ) zx zx z Enóder neuronháló x zx xz zx p ( xz) q ( zx)
Demópélda: mintá generálása variácós autoenóderrel http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture13.pdf z1: a mosoly mértée z2: a fej elfordulás mértée
Demópélda: ézzel írott számjegye generálása z1 z2
A látens változó eloszlása az autoenódernél (bal) és a variációs autoenódernél (jobb) a ét legfontosabb látens változó