Neurális hálózatok. Nem ellenőrzött tanulás. Pataki Béla. BME I.E. 414,

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Neurális hálózatok. Nem ellenőrzött tanulás. Pataki Béla. BME I.E. 414,"

Enikő Halász
5 évvel ezelőtt
Látták:

1 Neurális hálózato Nem ellenőrzött tanulás Patai Béla BME I.E. 414,

2 Nem ellenőrzött tanulás (Klaszterezés ) Az eseteet szoásos módon az x paramétervetor írja le (pl. fényesség, hosszúság, urtózis, textúraparamétere stb.). A besorolást ellenőrzött tanulás (osztályozás) esetén az y imeneti címe adja meg. x 1 =[x 11 x 12 x 1N ] x 2 =[x 21 x 22 x 2N ] x L =[x P1 x P2 x PN ] Tanítómintá alapján tanított rendszer y 1 y 2 y P x új =[x új1 x új2 x újn ] Tanított rendszer y új =?

3 Célun rendszerint anna megadása, hogy az újonnan érező x új mintához milyen valószínűséggel tartozi egy y címe, ehhez a P(y x) eloszlást éne ismernün. Bayes-tétel P, y P y P( ) P y P( y) x x x x Ellenőrzött tanulásnál a tanulóminta-halmazból becsülhetjü P(x y)-t és P(x)-t innen becsüljü P(y x)-t. Nemellenőrzött tanulásnál csa P(x)-t tudju becsülni. Valamilyen rejtett strutúrát eresün az adatoban. Klaszterezés: a P(x) olyan becslése, melyben a mintatérben elülönülő csoportora bontju a mintáat x 2 x 1

4 Miért lehet jó laszterezni a mintáat? segíthet a ilógó (outlier) adato felderítésében ha mindegyi ialauló lasztertől távoli adat érezi, valószínűleg hibás (ilógó, outlier) megmutatja, hogy a jelenségne, folyamatna vanna-e tipius állapotai pl. egy gyártási folyamatban, egy eletromos vagy egyéb fogyasztási viseledésben lehetne tipius helyzete felhasználható hiányzó paramétere pótlására ha el tudju dönteni, vagy valószínűsíteni tudju, hogy melyi laszterbe tartozi a néhány paraméterében hiányos adat, aor a laszter tipius paraméterei jobb javítást, pótlást teszne lehetővé adato előfeldolgozása, ami történhet neuronhálóval (vagy a neuronháló rétegeivel) az adateloszlástól függő paramétere beállításában segíthet (pl. RBF típusú háló özéppont és szórásparaméterei) élethű mesterséges mintá generálása (bizonyos szempontból mindig evés a mintán!)

5 Klaszterezési eljáráso Diszriminatív: az egyes esete (mintá) özti távolságot használju fel: a özeli mintá tartozzana egy csoportba, a távolia ülön csoportba. Kritius a jó távolságmérté megtalálása! Generatív: Egy, a mintahalmaz létrehozását (generálását) magyarázó modellt használun. A modell magyarázza az egyes csoporto létrejöttét a modellparamétereet tanulju. Kritius a jó modell megtalálása!

6 Diszriminatív laszterezés - példa #1 K átlagépző, K-özéppontépző eljárás (K-means) Feladat: P mintapontot, K csoportba laszterezün ezdeti özépponto: c (0) =1,2,,K c (j)= átlag {X }, =1,2,,K j=0 X ={} üres halmaz =1,2,,K p=1 NEM j=j+1 Leállás? (pl. j > J limit vagy más feltétel) Melyi özépponthoz van az x(p) a legözelebb? Jelölje *. c * -x(p) <= c -x(p) minden -ra x(p)-t besorolju az X * halmazba NEM p = p+1 p>p? IGEN IGEN MATLAB DEMÓ! Kritius: a jó távolságmérté és jó laszterszám (K) meghatározása

7 Diszriminatív laszterezés példa #2 Hierarchius laszterezés Kritius: a jó távolságmérté és távolságlimit meghatározása Atuális távolságlimit 0 p 6 p 10 p 1 p 11 p 4 p 12 p 2 p 13 p 14 p 3 p 15 p5 p8 p9 p7

8 Távolságmértée mintaponto, mintapont és halmaz özéppont, illetve halmazo özt Eulideszi: p, p ( p p ) Manhattan: p, p N N T Mahalanobis: p, p ( p p ) C ( p p ) N p p 2

9 Távolság ét halmaz özt (pl. hierarchius laszterezésnél) d N12 d C12 d C13 <d C12 d N13 > d N12 Halmazözépponto Legözelebbi eleme Legtávolabbi eleme stb. más végeredményre vezethetne

10 A generatív laszterezés alapötlete Egy, az észlelt mintáat magyarázó modellt eresün (alotun), amely lasztereben (csoportoban) generálja a mintaeloszlást,és a modell paramétereit becsüljü a mintá alapján Generáló modell: ? K mintá: p 1, p 2, p 3, p 4, p 5, p 6, p 7, p 8,.. p N-1, p N,

11 Leggyarabban alalmazott eset: Gauss eloszláso everée Modell: x ( ) x 1 1 P ( x ) e 2 K P P P Természetesen a jobboldalon egyi tényező sem ismert. Becsüljü meg a lasztere a priori valószínűségét P()-t, és az egyes lasztereet generáló P (x )-at az adatoból. Az egyszerűség edvéért salár (x) paraméterrel jellemzett esetre az egyes lasztereet generáló eloszlás: ( x ) Ehhez a és paramétereet ell megbecsülnün

12 Első laszter mintapontjait generáló eloszlás =1, 1 1 1? x 1,1,, x 1,N1 mintá: p 1, p 2, p 3, p 4, p 5, p 6, p 7, p 8,.. p N-1, p N, N = N1+N2+ +NK =2, Másodi laszter mintapontjait generáló eloszlás? x 2,1,, x 1,N2 x K,1,, x K,NK K =K, K? K K-di laszter mintapontjait generáló eloszlás

13 Demópélda RGB ép: pl. a ép pixeleine zöldszín-hisztogramja, és özelítése 6 Gauss eloszlással

14 Legelterjedtebb (iteratív) eljárás: EM algoritmus (Expectation Maximization) Levezetés: Gauss eloszláso everée (salár x bemeneti változó), a várhatóértée 1, 2,..., K - táblán

15 Legelterjedtebb (iteratív) eljárás: EM algoritmus (Expectation Maximization) ( j) ( z 1 mutatná, hogy a j-di minta a -di laszterből jött de éppen ezt nem ismerjü! várható értéét i tudju számítani) 1. Adott átmenetileg rögzített = [ 1, 2,, K ] T mellett megbecsüljü, hogy az egyes mintá várhatóan melyi laszterbe tartozhatna (melyi -val jellemzett generátor hozhatta létre az adott mintát). - EXPECTATION ( j) () t E z : t iteráció után mi a becsült valószínűsége, hogy a j-di mintát a -di laszter generátora hozta létre 2. Átmenetileg rögzítjü a mintá egyes laszterebe sorolásána valószínűségét, és igyeszün = [ 1, 2,, K ] T -val maximálisan jól özelíteni a mintahalmazon tapasztalt P(x )- t. - MAXIMIZATION 3. GoTo 1.

16 EM algoritmus lépései Gauss eloszláso everée modell esetén Expectation: anna valószínűsége, hogy az x j minta a -di t laszterbe tartozi - ˆ becslése (t-di iteráció) ˆ ˆ ˆ E P x, E z () t ( j) j () t Maximization j j ( t1) E z ( j) E z ( j) 4. () t x () t () P x j ˆ j 3. 1 P ( ) e ( t1) () t ( t1) 1 ˆ 2 ( t) P N r () t 1 ( t1) P () r e ( t1) r ( j) E z j E z ( t) ( t1) 2 ( t1) 2 ( x ) j 2 ( ) ( t1) 2 r ( t1) 2 r ( x ) j 2 ( ) ( j) () t ( t) 2 ( ˆ x j ) j E z ( j) () t

17 Felhasználás: pl. hiányos, hibás adato Mivel mindig evés az adat: ha hiányzi egyi-mási omponense, rendszerint aor sem éri meg eldobni, jobb pótolni a hiányt. Enne alalmas eszöze lehet a laszterezés. Demópélda: Két paraméterrel jellemezzü a mintáinat: Egyes mintána hiányzi az egyi omponense (vagy annyira torz, hogy nem vesszü figyelembe). Például az n-di minta: xn1 pn? p x x 1 2

18 A étdimenziós adathalmaz eloszlása x 1 x 2

19 n-di minta: x n1 =0, de hiányzi az x n2 paraméter. Nézzü meg, melyi x n2 legvalószínűbb értée az x 2 eloszlás alapján: 0.02 X2 eloszlása a teljes mintahalmazon -> x2 legvalószínűbb értée Az x1=0-hoz tartozó minta valószínűleg a 3-as laszterbe tartozi! -> max. valószínűségel x2= laszter 0 1. laszter 3. laszter x

20 Másodi demópélda Eredeti ép 20%-ban hibás pixele (1-1 színomponens elveszett)

21 Balról-jobbra: a hibás ép, a globális paramétereel javított és a laszterezett, majd laszterenénti paramétereel javított 20%-ban hibás pixele (1-1 színomponens elveszett)

22 Hol használju, pl. a neurális hálózatonál a nem ellenőrzött tanulást? Pl. RBF típusú neuronháló első rétegéne paraméterbeállításánál Adato előfeldolgozása, ami történhet neuronhálóval (vagy a neuronháló rétegeivel) tipius előfeldolgozási lépés lehet a főomponensanalízis (Principal Component Analysis, PCA) Új mintá (pl. épe) generálása a tanításhoz

23 Autoenóder neuronháló adattömörítés, lényegiemelés (pl. PCA): z x vagy z x tulajdonságo generálása: z x vagy z x (rita megoldást eresün, pl. L1 regularizáció) ˆx Deóder neuronháló z Enóder neuronháló x

24 Variációs autoenóder háló ˆx Tanítás: 1. Egy {x () } minibatch 2. Előreterjesztés 3. x és ˆx özti hibával (eltéréssel) hibavisszaterjesztés (BP) (előreterjesztésnél a megfelelő és alapján egy-egy véletlen számmal ialaítju az értéet, pl. z rand z x x rand x z ésőbb ezzel végezzü a BP-t.) z x x z x: N( xz, xz ) xz Deóder neuronháló z: N(, ) zx zx z Enóder neuronháló x zx xz zx p ( xz) q ( zx)

Demópélda: mintá generálása variácós autoenóderrel http://cs231n.stanford.

25 Demópélda: mintá generálása variácós autoenóderrel z1: a mosoly mértée z2: a fej elfordulás mértée

26 Demópélda: ézzel írott számjegye generálása z1 z2

27 A látens változó eloszlása az autoenódernél (bal) és a variációs autoenódernél (jobb) a ét legfontosabb látens változó

Hasonló dokumentumok

Gépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)

Gépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence) Gépi tanulás Féligellenőrzött tanulás Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Féligellenőrzött tanulás Mindig kevés az adat, de