Osztályozás Fodor Gábor 2010. március 17. Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 1 / 39
Bevezetés 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 2 / 39
Bevezetés Bevezetés Felügyelt tanulás (Supervised learning) Magyarázó attribútumok, magyarázandó attribútum Tanító pontok, teszthalmaz Regresszió és Osztályozás Előfeldolgozás (Hiányos adatok, adattisztítás, adattranszformáció, releváns adatok) Hiba mértékek (Accuracy, Precision, Recall, ROC, AUC, Cost) Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 3 / 39
Döntési szabályok 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 4 / 39
Döntési szabályok Definíciók Def. (Döntési szabály) Az A attribútumhalmaz felett értelmezett döntési szabály alatt olyan R : φ(a) Y = y logikai implikációt értünk, amelyek feltételrészében az attribútumokra vonatkozó feltételek logikai kapcsolatai állnak, a következményrészben pedig az osztályattribútumra vonatkozó ítélet. Def. (Illeszkedés) Az R : φ(a) Y = y döntési szabályra illeszkedik a t objektum, ha a feltételrész attribútumváltozóiba t megfelelő értékeit helyettesítve igaz értéket kapunk. Def. (Fedés) Az R : φ(a) Y = y szabály lefedi az T objektumhalmazt, ha minden objektum illeszkedik a szabályra. Adott τ tanító halmaz esetén az R által fedett tanítópontok halmazát cover τ (R)-rel jelöljük. Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 5 / 39
Döntési szabályok Döntési szabályok szabályhalmaz és szabálysorozat egyértelműség teljesség kifejezőerő döntési táblázat Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 6 / 39
1R algoritmus Döntési szabályok Pofonegyszerű osztályozó algoritmus, kiválaszt egy attribútumot, majd annyi szabályt álĺıt elő, ahány különböző értéket vesz fel az attribútumunk a tanító adathalmazban. Az A = a Y = y i szabály következményében szereplő y i osztály értelemszerűen a leggyakoribb lesz az A attribútumában a-t felvevő tanítópontok közül. Az 1R egyértelmű szabályhalmazt álĺıt elő. Valós attribútumok problémája,,egyszerűsége ellenére elég jól muzsikál a gyakorlatban. 0R osztályozó Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 7 / 39
A Prism módszer Döntési szabályok Alapfeltétel: nincsenek olyan tanítópontok, melyek fontos magyarázó attribútumai megegyeznek, de osztályattribútumukban különböznek. (!) separate and conquer Csak 100%-os pontosságú szabályokat álĺıt elő. Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 8 / 39
Döntési fák 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 9 / 39
Döntési fák Általában Könnyen értelmezhető, egyértelmű szabályhalmazok Faépítés rekurzív vágásokkal(kérdésekkel) Leállás: Attribútumhiány Mélységi korlát Nincs jó vágás Főbb algoritmuscsaládok: Interactive Dichotomatizer 3 (ID3) Classification and Regression Trees (CART,C&RT) Chi-squared Automatic Interaction Detection (CHAID) Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 10 / 39
Egy kis információelmélet Döntési fák X, Y diszkrét v.v. k, l lehetséges értékkel Ekkor Y entrópiája: l H(Y ) = P(Y = i) log P(Y = i) i=1 Tegyük fel X megfigyelt változó értéke x j, ekkor Y -nal kapcsolatos bizonytalanságunk: H(Y X = x j ) = l P(Y = i X = x j ) log P(Y = i X = x j ) i=1 X ismeretében a várható bizonytalanságunk: k H(Y X ) = P(X = x j )H(Y X = x j ) j=1 Kölcsönös információ I (Y, X ) = H(Y ) H(Y X ) Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 11 / 39
ID3 Döntési fák Az egyik legősibb és legismertebb osztályozó algoritmus Y osztályozásakor azt az X attribútumot választja, melyre I (X, Y ) maximális Hátrány: terebélyes fa Javítási ötlet nyereségaránnyal gainratio(x ) = I (X, Y )/H(X ) Egy attribútum szerint legfeljebb egyszer vágunk. Bináris fa Feltételek a csomópontokban: Sorrend, kategória, intervallum Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 12 / 39
Döntési fák Vágási függvények X diszkrét v.v. k lehetséges értékkel, p i := P(X = x i ), p = (p 1, p 2,..., p k ) Egy Φ : [0, 1] k R vágási függvényre vonatkozó Taylor-Silverman kritériumok: 1 Φ(p) 0 2 Φ az elfajult eloszlásra minimális 3 Φ az egyenletes eloszlásra maximális 4 Φ(p) a p komponenseire nézve szimmetrikus. 5 Φ differenciálható Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 13 / 39
CART Döntési fák Entrópia helyett Gini-index: Gini(p) = 1 k i=1 Ferdén is tudnak vágni (lineáris kombináció) Mindig bináris döntés p 2 i Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 14 / 39
Egy kis statisztika Döntési fák A 1,..., A r teljes eseményrendszer H 0 : P(A i ) = p i (i = 1,..., r), n független megfigyelés során jelölje ν i a megfelelő A i gyakoriságát! Ekkor H 0 fennállásakor (ν 1,..., ν r ) polinomiális eloszlású. n 1 + + n r = n esetén: T. P H0 (ν 1 = n 1,..., ν r = n r ) = n! n 1!... n r! pn 1 1... pnr r Ha (ν 1, ν 2,..., ν r ) polinomiális eloszlású n és p 1,..., p r (p i > 0) paraméterekkel akkor n esetén r (ν i np i ) 2 χ 2 (r 1) np i i=1 Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 15 / 39
CHAID Döntési fák Három lépés Minden magyarázó változóra a statisztikailag leginkább független kategóriák páronkénti egyesítése A leginkább függő attribútum kategóriái szerinti felosztás A rekurzió folytatása valamely megálĺıtási kritériumig Függetlenségvizsgálat χ 2 próbával diszkrét esetben X, Y diszkrét, A i = {X = x i }, B j = {Y = y j }, p i = P(A i ), q j = P(B j ) ν ij = {k : X k = x i, Y k = y j } H 0 : X és Y függetlenek: P(A i B j ) = P(A i )P(B j ) = p i q j χ 2 = i (ν ij np i q j ) 2 j np i q j Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 16 / 39
Bayes-hálók 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 17 / 39
Bayes-hálók Bayes-hálók bevezető G (DAG a diszkrét attribútumokon mint csúcsokon) a változók közötti függőségi viszonyokat kódolja. Lokális Markov-feltétel: Bármely attribútum független nem leszármazottaitól, ha ismert szüleinek értéke. T. (Láncszabály Bayes-hálókra) Következtetés a hálóban Def. (Markov-takaró) P(X) = n P(X i Par i ) i=1 Egy változó Markov-takarója a szüleinek, gyermekeinek és a gyermekei szüleinek halmaza. Feltételes valószínűségi tábla (CPT) Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 18 / 39
Bayes-hálók A tanulás nehézségei Paramétertanulás, struktúratanulás Melyek a jó struktúrák? Kritériumfüggvények: BIC 1 (B, D) = N i=1 log(p(d i B)) logn 2 Θ AIC 2 (B, D) = Az óriási keresési tér szűkítése Topológikus sorrend felálĺıtása N log(p(d i B)) Θ i=1 Szülőhalmazok méretének korlátozása 1 Bayesian Information Criterion 2 Akaike Information Criterion Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 19 / 39
Bayes-hálók Mohó keresések Tetszőleges kiindulási gráf (üres, szakértői, random) éltörlés élhozzáadás élfordítás WEKA algoritmusok K2 HillClimbing RepeatedHillClimbing Simulated Annealing Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 20 / 39
Bayes-hálók Naive Bayes Classifier (NB) Durva függetlenségi feltétel, rögzített struktúra C osztályattribútum A 1, A 2,..., A n magyarázó változók Bayes-tétel miatt P(C A 1, A 2,..., A n ) = P(C)P(A 1, A 2,..., A n C) P(A 1, A 2,..., A n ) Függetlenségi feltételünk alapján ML döntés P(A 1,..., A n C) = classify(a 1,..., a n ) = arg max c n P(A i C) i=1 ( P(C = c) n i=1 ) P(A i = a i C = c Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 21 / 39
Bayes-hálók Tree Augmented Naive Bayes Model(TAN) Bonyolultabb, de kezelhető struktúra C árva A 1, A 2,..., A n mind C gyermekei A 1, A 2,..., A n pontokon irányított fa A tanulás működik polinomidőben! 1 Meghatározzuk az adatok segítségével Î (A i, A j C)-t minden (i, j) párra, ezekkel súlyozzuk egy n-pontú teljes gráf éleit. 2 Ebben a gráfban keresünk egy maximális feszítőfát, erre ismertek O(n 2 log n) idejű algoritmusok. 3 Kiválasztunk egy gyökeret és ennek megfelelően irányítjuk a feszítőfa éleit. 4 Végül hozzáadjuk a gráfhoz a C csúcsot és behúzzuk a maradék éleket. Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 22 / 39
Lineáris szeparálás 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 23 / 39
Lineáris szeparálás Lineáris szeparálás Két osztály lineárisan szeparálható, ha egy hipersík segítségével el tudjuk különíteni a két osztály pontjait. w 1 a 1 + w 2 a 2 + + w n a n = 0 Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 24 / 39
Lineáris szeparálás Perceptron A neurális hálók ősének tekinthető Minden attribútum valós Ha a lineáris kombináció pozitív első osztály Feladatunk megfelelő (nem optimális!) w súlyok keresése Winnow módszer csupa bináris attribútumra Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 25 / 39
Lineáris szeparálás Rocchio Klasszikus IR algoritmus Minden attribútum valós Minden osztályhoz prototípusvektor (D c mintaátlag) Kicsiny számításigény, gyors tanulás (online környezetben is) c = βavg dj C d j γavg dj / C d j Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 26 / 39
Support Vector Machine 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 27 / 39
Hard-Margin SVM Support Vector Machine Bináris osztályozás { 1, +1} Tfh. lineárisan szeparálhatók az osztályok! A szeparáló sík egyenlete: D(x) = w T x + b = 0 Kis átalakításokkal: y k (w T x k + b) > 1 x pont távolsága D(x)-től: D(x) / w y k (D(x k )) w δ Célunk 1 2 w 2 -t minimalizálni, y k (w T x k + b) 1 korlátok mellett. (Kvadratikus optimalizálási feladat, KKT, Lagrange multiplikátorok) Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 28 / 39
Soft-Margin SVM Support Vector Machine A feltételek enyhítese ξ i nemnegatív segédváltozókkal: y i (w T x i + b) 1 ξ i A segédváltozók miatt mindig létezik megengedett megoldás. 1 2 w 2 + C i ξ p i min y k (w T x k + b) 1 i = 1, 2,... Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 29 / 39
Support Vector Machine Nemlinearitás kezelése magfüggvényekkel Nemlineáris transzformáció (magasabb dimenzióba) A transzformált térben az optimális szeparáló sík meghatározása D(x) = w T g(x) + b H(x, x ) = g T (x)g(x) Lineáris magfüggvények H(x, x ) = x T x Polinomiális magfüggvények H(x, x ) = (x T x + 1) RBF magfüggvények H(x, x ) = exp( γ x x ) Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 30 / 39
Support Vector Machine SVM vs. NN Előnyök 1 Maximált általánosítóképesség 2 Nincs lokális optimum 3 Hatékonyság kiugró (outlier) értékek esetén is Hátrányok 1 Bináris döntés 2 Lassú tanulás 3 Paraméterek kezelése Mindkét módszer univerzális függvényapproximátor Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 31 / 39
overfitting Support Vector Machine Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 32 / 39
Meta algoritmusok 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 33 / 39
Meta algoritmusok RandomForest M magyarázó változó, N adatsor, Minden egyes döntési fának választunk (visszatevéses mintavételezéssel-bootstrap) egy N méretű mintát. Minden csomópontban random m(<< M) attribútum közül kiválasztjuk azt, amelyik szerint vágunk. Végül az erdőt összeszavaztatjuk többségi szavazással. Előnyök Sok attribútummal is elbír Pontos osztályozás Gyors tanulás Túltanulás elkerülése Hátrányok Független attribútumok Torz mintavételezés Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 34 / 39
Bagging, Stacking Meta algoritmusok Bootstrap aggregating Szintén Leo Breiman 1994-ből, nemcsak döntési fát, tetszőleges tanuló algoritmust alkalmazhatunk. Túltanulás elkerülése Stabil modelleken nem segít. Stacking n belső modell kimenetét adjuk egy összeszavaztató modellnek Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 35 / 39
Boosting Meta algoritmusok AdaBoost Freund és Schapire 1995 Cél: egyszerű modellek adaptív alkalmazásával pontos eredmény T körben tanítunk egy-egy h t modellt, a D t (i) eloszlással mintavételezett tanítóhalmazon. A modell hibája: ɛ t = D t (i) i:h t(x i ) y i Frissítés: Végső döntésünk: α t := 1 2 ln(1 ɛ t ɛ t ) D i (t) = D i(t) exp( α t h t (x i )y i ) Z t H(x) = T α t h t (x) t=1 Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 36 / 39
Meta algoritmusok Adatbányászati eszközök Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 37 / 39
Források 1 Bevezetés 2 Döntési szabályok 3 Döntési fák 4 Bayes-hálók 5 Lineáris szeparálás 6 Support Vector Machine 7 Meta algoritmusok 8 Források Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 38 / 39
Források Források Bodon Ferenc, Adatbányászati algoritmusok, (2010) Nir Friedman, Dan Geiger, Moises Goldszmidt, Bayesian Network Classifiers, (1997) R. R. Bouckaert, E. Frank, M. Hall, R. Kirkby, P. Reutemann, A. Seewald, D. Scuse, WEKA Manual for Version 3-7-1, (2010) Shiego Abe, Support Vector Machines for Pattern Classification, (2005) Fodor Gábor (fodgabor@math.bme.hu) Osztályozás 2010. március 17. 39 / 39