Gépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Gépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)"

Lőrinc Biró
5 évvel ezelőtt
Látták:

1 Gépi tanulás Féligellenőrzött tanulás Pataki Béla (Bolgár Bence) BME I.E. 414,

2 Féligellenőrzött tanulás Mindig kevés az adat, de különösen kevés a címkézett adat. A féligellenőrzött tanulásban a rendelkezésre álló ismert címkéjű (kívánt válaszú) és címkézetlen mintákat egyaránt felhasználjuk. Demópélda: Kmeans algoritmussal becsüljük a klaszterek középpontjait, de a tanítóminták egy részéről tudjuk, hogy melyik csoportba tartoznak.

3 Féligellenőrzött Kmeans algoritmus/1 A Kmeans ugyanúgy megy, mint az alapalgoritmus, csak az ismert besorolású adatok (címkézett, labelled) besorolása nem (mindig) a távolság alapján történik. 1. A címkézett adatokból számítjuk ki a klaszterközéppontok értékeit egyes iterációk során. a. Csak az első iterációnál használjuk fel a címkézett adatok címkéit, a későbbiekben a távolság alapján besoroljuk a legközelebbi középponthoz. (Iniciált Kmeans) b. Mindegyik iterációnál megőrizzük és használjuk az ismert címkéket. (Korlátozott Kmeans)

4 Demópélda: Kmeans algoritmussal becsüljük a klaszterek középpontjait, de a tanítóminták egy részéről tudjuk, hogy melyik csoportba tartoznak. Ha pl. az adatok 5%-ának ismerjük a besorolását: 5 O - ismert címkéjű (besorolású) minták (5%) Három 2D Gauss eloszlásból adódó mintahalmaz

5 A klaszterközéppontok becslésének hibája az ismert címkéjű pontok arányának függvényében

6 Féligellenőrzött Kmeans algoritmus/2: COP 2. Nem címkéket ismerünk, hanem összetartozást, illetve összeférhetetlenséget az adatok közt. COP: Constrained Pairwise x1 x2 x3 x4 xk xm xp xn x1 1 x2 1 x3 1 x4 1 xk xm 1 1 xp -1 1 xn 1

7 Féligellenőrzött Kmeans algoritmus/2 kötelező kapcsolat (must link) kizáró kapcsolat (cannot link) A Kmeans algoritmust véletlen kezdőpontokkal indítjuk. Amikor egy olyan mintapont besorolásához érünk, amelyre kötöttség van, akkor: ha van olyan must link, amelynél a másik mintapontot már besoroltuk valahova, akkor ezt a mintapontot ugyanabba a klaszterbe tesszük ha van olyan cannot link, amelynél a másik mintapontot már besoroltuk valahova, akkor ezt az új pontot nem tesszük akkor se abba klaszterbe, ha annak középpontjához van a legközelebb. ha nem tudjuk besorolni, akkor új véletlen kiindulási helyzetből újrafuttatjuk az algoritmust xk -1 xm Lehet, hogy a kényszerek mátrixa ellentmondásos xp

8 Transzduktív tanulás A transzduktív tanulást az induktívval való szembeállítással magyarázhatjuk. Az induktív (ellenőrzött) tanulás (konkrét, egyedi példákból általánosít) A tanítás folyamata: Kiinduló (tanító) mintahalmaz {(x n,d n )}, n=1,,n Például: x n =[x n1 =1,5 ; x n2 =1; x n2 = SZÉP,...] d n = IGAZ h(x) hipotézis, mintákból például: leszűrendő általános szabály/tudás Tanítási algoritmus (hogyan építsük be a mintákban hordozott tudást az eszközbe) Például: döntési fa kialakítása, növesztése A megtanított eszköz felhasználása Új, ismeretlen szituáció leírása: x új Például: x új =[x új1 =2,7 ; x új2 =0; x új3 = CSÚNYA,...] a minták alapján előzőleg megtanított h(x) hipotézis, Az új, ismeretlen szituációra ( x új ) javasolt válasz Például: h(x új )= NEM

9 Transzduktív tanulás A transzduktív tanulás csak címkézett és címkézetlen adatokkal dolgozik, azokra együttes optimumot keres nem általánosít, nem kezel máshogy címkézetlen és ismeretlen adatokat! Legyen L a címkézett (labeled, ismert besorolású) minták halmaza U pedig az ismeretlen besorolású (unlabeled, címkézetlen) minták halmaza. A transzduktív tanulás együtt optimalizál a két halmazon. Ha egy új minta jön, arra nem alkalmazza a kialakított optimumot (nem általánosít!), hanem hozzáveszi U-hoz az új mintát U, és az új U és L együttes optimalizálásával határozza meg az ismeretlen minta besorolását (az összes többi címkézetlennel együtt). Az ismeretlen új mintára adott válasz tulajdonképpen a kialakított új rendszer! Hasonlat: az induktív tanulás az osztályteremben megoldott vizsgafeladatsor, a transzduktív a hazavitt és otthon megoldott vizsgafeladatsor!

10 Transzduktív SVM Ismert besorolású minták:, +ismeretlen besorolású minták: +új minta: Az ezek alapján kialakított SVM: az ismeretlen mintákat is használó: +új minta:

Gráf alapú féligellenőrzött eljárások (MINCUT) A címkézett mintapontok a gráf csúcsai {0,1} címkékkel, ezen minták halmaza L. Vannak címkézetlen mintáikn a csúcspontokban, ezek halmaza U.

11 Gráf alapú féligellenőrzött eljárások (MINCUT) A címkézett mintapontok a gráf csúcsai {0,1} címkékkel, ezen minták halmaza L. Vannak címkézetlen mintáikn a csúcspontokban, ezek halmaza U. Az éleken tüntetjük fel a két minta távolságát (hasonlóságot/különbözőséget jellemez). Matematikailag a következő veszteségfüggvényt kell minimalizálnunk: 2 ( ) 1 2 min yk yk wij yi y j p( k ) L 2 p( i) U, p( j) U L A minimumot az y i címkékkel keressük. Azt fejezi ki, hogy a címkézett mintáink mindenképpen az adott címkékkel rendelkezzenek, és a címkézetlenek minimális távolságösszeget adjanak a többi címkézett és címkézetlen mintával. PÉLDA külön pdf-ben Probléma: merev vágást eredményez. Soft- MINCUT : kis zajjal perturbáljuk a w ij súlyokat, és több MINCUT-ot alakítunk ki. A végső eredményt ezen eszközök többségi szavazása adja.

Hasonló dokumentumok

Gépi tanulás. Hány tanítómintára van szükség? VKH. Pataki Béla (Bolgár Bence)

Gépi tanulás. Hány tanítómintára van szükség? VKH. Pataki Béla (Bolgár Bence) Gépi tanulás Hány tanítómintára van szükség? VKH Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Induktív tanulás A tanítás folyamata: Kiinduló