a változók egy teljes sorrendezése

Átírás

1 Jelölések Felhasznált jelölések x,x,x skalár, (oszlop)vektor vagy halmaz, mátrix X, x, p(x) véletlen változó X, érték x, valószín sgéi tömegfüggvény/s r ségfüggvény X E X,p(X) [f(x)] f(x) várható értéke p(x) szerint var p(x) [f(x)] f(x) varianciája p(x) szerint I p (X Z Y ) X és Y meggyelési függetlensége Z feltétellel p esetében (X Y Z) p I p (X Z Y ) (X Y Z) p ) I p (X Z Y ) CI p (X; Y Z) X és Y beavatkozási függetlensége Z feltétellel p esetében (részleges) sorrendezés c a változók egy teljes sorrendezése G adott G irányított körmentes gráal kompatibilies sorrendek halmaza (n) n objektum sorrendjeinek (permutációinak) a halmaza G, θ Bayes háló strukturája és paraméterei G G irányított körmentes gráf esszenciális gráfja G(n)/G k (n) n csomópont maximum k szül j DAG-ok halmaza G adott sorrenddel kompatibilis DAG-ok halmaza G G adott G DAG-gal meggyelési ekvivalens DAG-ok halmaza kompatibilitási reláció pa(x i, G) pa(x i, G) szül i halmaz kompatibilis sorrendezéssel MB p (X i ) Markov takarója X i -nek p-ben pa, pa(x i, G) szül i változók halmaza, X i szüleinek halmaza G-ben pa ij a j. kongurációja a szül i értékeknek egy sorrendben bd(x i, G) X i szüleinek, gyerekeinek és gyerekei egyéb szüleinek halmaza G-ben MBG(X i, G) a Markov takaró algráfja X i -nek G-ben MBM(X i, X j, G) a Markov takaróbeliség relációja n valószín ségi változók száma k maximális szül szám DAG-okban N mintaszám V összes valószín ségi változók száma Y válasz, kimeneteli, függ változó További konvenciók az egyes fejezetekben jelöltek.

2 2 A m címe N + /N...,+,... N i /N...,i,... megfelel összegei D X X változóhalmazra sz kített adathalmaz kardinalitás 1() indikátor függvény f, f f függvény els és második deriváltjai A T A mátrix transzponáltha x y x és y vektorok skalárszorzata ξ + /ξ informatív/neminformatív információs kontextus,,,, standard logikai operátorok,, \, standard halmazm veletek KB i α α bizonyíthatósága KB-b l Γ a Gamma függvény Beta(x α, β) a Béta eloszlás s r ségfüggvénye (pdf) Dir(x α) a Dirichlet eloszlás s r ségfüggvénye N(x µ, σ), N(x µ, aσ) normál eloszlás s r ségfüggvénye BD,BD e Bayesian Dirichlet prior, meggyelési ekvivalens BD prior BD CH Bayesian Dirichlet (BD) prior 1 hiperparameterekkel BD eu meggyelési ekvivalen és uniform BD prior L(θ; D N ) p(d N θ) likelihood függvénye H(X, Y ), I(X; Y )X és Y entrópiája és kölcsönös információja KL(X Y ), H(X Y X) és Y Kullback-Leibler divergenciája és keresztentrópiája L 1 (, ), L 2 (, ) az abszolút értékbeli (Manhattan) négyzetes (Euklidészi) távolságok L 0 (, ) 0-1 veszteség O()/Θ() aszimptotikus, nagyságrendi fels és alsó határ

3 Jelölések 3 Rövidítések ROC Receiver Operating Characteristic (ROC) görbe AUC ROC görbe alatti terület BMA Bayesi Modell Átlagolás BN Bayes háló DAG Irányított körmentes gráf FSS Jegykiválasztási probléma MAP Maximum A Posteriori MI kölcsönös információ ML Maximum Likelihood MBG Markov határ gráf MB Markov takaró MBM Markov takaróbeliség (MC)MC (Markov láncos) Monte Carlo Naive-BN/N-BN Naív Bayes háló

4

5 Tartalomjegyzék. Jelölések 1 1. Valószín ségi Bayes hálók tanulása Paramétertanulás Rejtett Markov Modellekben Paramétertanulás RMM-ekben ismert állapotszekvenciák esetében E-M alapú paramétertanulás RMM-ekben ismeretlen állapotszekvenciák esetében Naív Bayes hálók tanulása A bayesi feltételes modellezés Bayes hálók tanulása feltételes modellként Naive Bayes hálók teljesítménye osztályozásban és regresszióban Naive Bayes hálók kiterjesztései Teljes modellátlagolás NBN-k felett Egy információelméleti pontszám Bayes háló tanulásához

6 6 A m címe

7 1. fejezet Valószín ségi Bayes hálók tanulása A fejezetben bemutatjuk a valószín ségi gráfos modelleken (PGM) belül a Bayes hálókhoz kapcsolódó paramétertanulást, majd a feltételes modellezés és teljes tárgyterületi modellezés kapcsolatát tisztázzuk, végül egy információelméleti megközelítést mutatunk be valószín ségi Bayes hálók tanulására. A fejezet a Rejtett Markov Modellek paramétereinek tanulásának ismertetésével indul, amelyen keresztül bemutatjuk az Expectation-Maximization alapú paramétertanulást. Ismertetjük a feltételes modellek és PGM-k használatának pro és kontra érveit adatelemzési feladatokban, különös tekintettel a Naív Bayes hálók tanulásának szempontjából. A megkötések nélküli Bayes hálók tanulására származtatunk egy pontszámot információelméleti avagy Minimum Description Length formalizmus szerint. Az oksági Bayes hálók tanulását, amely oksági vonatkozású priorokat is befogad, illetve oksági modelltulajdonságok tanulását is lehet vé teszi az Oksági Bayes hálók tanulása fejezetben ismertetjük Paramétertanulás Rejtett Markov Modellekben Valószín ségi gráfos modellek egyik népszer alosztálya a Rejtett Markov Modellek (RMM), amelyek az eredeti beszédfelismerési és követési felhasználási területek mellett a biológiai szekvenciák elemzésében is egyre intenzívebben felhasználtak. A Bayes háló formalizmust követve denicíójuk és a tárgyalásukban használt jelölésük a következ [9]. 1. π jelöli a rejtett állapot szekvenciát, π i jelöli az i. állapotot 2. a kl jelöli az állapotátmenet valószín ségeket p(π i = l π i 1 = k) (egy extra 0 állapotot fenntartva az induló és végállapot számára) 3. e k (b) a kibocsájtási/meggyelési valószín ségek p(x i = b π i = k) A továbbiakban feltesszük, hogy az RMM-kbeli változók diskzrét és véges változók. A RMM-kben való következtetés típusait, benne az el refele és visszafele RMM következtetési módszereket a Valószín ségi döntéstámogatási rendszerek egy fejezete foglalja össze,

8 8 A m címe levezetésükért lásd [19]. A továbbiakban feltesszük, hogy ezek hatékony megoldása ismert és az is, hogy általuk kiszámíthatóak a következ ek: 1. 'dekódolás": π = arg max π p(x, π) 2. szekvencia valószín sége:p(x) = π p(x, π) (avagy p(x M) modell likelihood" vagy sz rés) 3. simítás/poszterior dekódolás:p(π i = k x) Feltételezve, hogy θ jelöli az RMM modell paramétereit, n független x (1),..., x (n) meg- gyelési szekvencia valószín sége ekkor a következ képpen írható p(x (1),..., x (n) θ) = n p(x (i) θ). (1.1) Rögzített struktúrát, azaz rögzített meggyelés- és állapotteret feltételezve két feladatot vizsgálunk meg. Bevezetési jelleggel els ként megnézzük, hogy hogyan határozhatók meg a paraméterek a maximum likelihood elv szerint, ha ismertek a meggyelésekhez tartozó állapotok, illetve ha ezek nem ismertek. Ez utóbbi az úgynevezett Baum-Welch eljárás, amely az expectation-maximization eljárásra példa Paramétertanulás RMM-ekben ismert állapotszekvenciák esetében Ismert állapotszekvenciák esetében az A kl állapotátmenet számlálók és az E k (b) kibocsájtási számlálók segítségével a megfelel a kl, e k (b) relatív gyakoriságok közvetlenül adódnak a kl = A kl l A kl and e k (b) = E k(b) b E k (b ). (1.2) Emlékeztet ül idézzük, hogy a relatív gyakoriság maximum likelihood becsl a multinomiális mintavételhez. Tételezzük fel, hogy i = 1,... K kimenetelek egy multinomiális mintavételb l származna, amelynek parametérei θ = {θ i }, és jelölje n = {n i } a meggyelt el fordulási számokat (N = i n i). Ekkor log p(n θml ) p(n θ) = log i (θml i ) n i i (θ i) n i = i n i log θml i θ i = N i θ ML i log θml i > 0 (1.3) θ i mivel 0 < KL(θ ML θ) KL(p q) = i p i log(q i /p i ) i p i ((q i /p i ) 1) = 0 (1.4) felhasználva, hogy log(x) x 1.

9 1. fejezet. Valószín ségi Bayes hálók tanulása 9 Az a priori tudás kombinálására ad hoc módszerként jelent meg pszeudoszámlálók vagy a priori számlálók fogalma, ami kis mintás esetben a becslések robosztusságának növelésére is felhasznált A kl = A kl + r kl E k (b) = E k(b) + r k (b), amelynek elméleti hátterét az Oksági Bayes hálók tanulása fejezetben tárgyaljuk E-M alapú paramétertanulás RMM-ekben ismeretlen állapotszekvenciák esetében Egy közelít módszer ismeretlen állapotszekvenciák esetében, hogy akár a priori vagy akár közelít módszerekkel, mint a Viterbi algoritmus, rekonstruáljuk a legrelevánsabbnak vélt vagy legvalószín bb állapotszekvenciákat, amelyet követ en már a közvetlen becslési eljárás alkalmazható. Ez az ötlet iteratívan is használható, amely a következ módszerre vezet: becsüljük meg a várható értékét az A t, E t számlálóknak adott θ t mellett, majd újrabecsülve frissítsük θ t+1 paramétereket ezen A t,e t... várható értékek alapján. Els ként is vegyük észre, hogy a k l átmenetek valószín sége az x szekvencia i. pozíciójában közvetlenül számítható a hatékonyan számolható el refele és visszafele RMM következtetési módszerekb l. p(π i = k, π i+1 = l x) (1.5) = p( f k (i) b {}}{ l (i+1) {}}{ x 1,..., x i, π i = k,x i+1, π i+1 = l, x i+2,..., x L ) p(x) = f k(i)a kl e l (x i+1 )b l (i+1) p(x) (1.6) Ekkor a várható értéke egy adott átmenet valószín ségnek és kibocsátási valószín ségnek rendre a következ A kl = j E k (b) = j 1 p(x (j) ) 1 p(x (j) ) i i x (j) i =b f (j) k (i)a kle l (x (j) i+1 )b(j) l (i + 1) (1.7) f (j) k (i)b(j) (i), (1.8) A módszer konvergenciáját az biztosítja, hogy az iteráltan elvégzett következtetés és paraméterbecslés valójában az úgynevezett E-M módszercsaládba tartozik. Általános bemutatásához megmutatjuk a f ötletét, amely adatelemzési/optimalizálási feladatokban is gyakran használt, az eredeti, bizonyítottan jó m ködést adó feltételein túl. Az E-M módszercsalád f célja az itteni jelölést használva, hogy a meggyelt x és hiányzó π esetében határozza meg a maximum likelihood paramétereket k θ = arg max log(p(x θ)). (1.9) θ A megközelítés felfogható egy olyan módszernek, amikor a megoldás analitikusan és hatékonyan számolhatóan adódik, ha a hiányzó adat létezik, és ezen módszer a hiányzó

10 10 A m címe adatok rögzített adatokkal való "pótlása" és hiányzó adatok kiátlagolása között helyezkedik el. M ködésének központ eleme a várható adat log-likelihood Q(θ θ t ) = π p(π x, θ t ) log(p(x, π θ)) (1.10) iterált javítása. Kihasználva, hogy írhatjuk, hogy p(x, π θ) = p(π x, θ)p(x θ), (1.11) log(p(x θ)) = log(p(x, π θ)) log(p(π x, θ)) (1.12) Ekkor p(π x, θ t )-val szorozva és π felett szummázva log(p(x θ)) = p(π x, θ t ) log(p(x, π θ)) π π }{{} Q(θ θ t) p(π x, θ t ) log(p(π x, θ)) (1.13) Mivel a likelihood-ot szeretnénk növelni, ez ekvivalens ennek a különbségnek a növelésével. log(p(x θ)) log(p(x θ t )) = Q(θ θ t ) Q(θ t θ t ) + p(π x, θ t ) log( p(π x, θ t) p(π x, θ) ) π }{{} KL(p(π x,θ t) p(π x,θ)) (1.14) Kihasználva, hogy 0 KL(p q), adódik a következ log(p(x θ)) log(p(x θ t )) Q(θ θ t ) Q(θ t θ t ). (1.15) Az általánosított E-M eljárás csupán egy jobb θ megválasztásán alapszik Q(θ θ t ) tekintetében, amely folytonos paramétertér esetében garantált, hogy aszimptotikusan egy lokális vagy globális maxiumhoz konvergál (sajnos diszkrét esetekben viselkedésére nincs garancia, bár gyakran használt, például lásd [11]). A standard E-M eljárás javító lépésében maximalizálás szerepel θ t+1 = arg max Q(θ θ t ). (1.16) θ Visszatérve az RMM paramétertanulásra, az E-M módszer alkalmazása a következ. Egy adott π állapot- és x meggyelésszekvencia valószín sége a következ M M M p(x, π θ) = [e k (b)] E k(b,π) a A kl(π) kl (1.17) k=1 b k=0 l=1 ezt felhasználva Q(θ θ t ) = π p(π x, θ t) log(p(x, π θ)) átírható a következ képpen

11 1. fejezet. Valószín ségi Bayes hálók tanulása 11 Q(θ θ t ) = π M M M p(π x, θ t ) E k (b, π) log(e k (b)) + A kl (π) log(a kl ). (1.18) k=1 b k=0 l=1 Mivel A kl és E k (b) várható értéke π-k felett egy adott x esetében E k (b) = π p(π x, θ t )E k (b, π) A kl = π p(π x, θ t )A kl (π), (1.19) így els ként π-k felett elvégezve az összegzést kapjuk, hogy Q(θ θ t ) = M E k (b) log(e k (b)) + k=1 b M k=0 M A kl log(a kl ). (1.20) Ekkor kihasználva, hogy A kl és E k (b) hatékonyan számolható az el re és hátra algoritmusokkal az aktuális θ t esetében, és a k l és b k (l) alkotjákaz új paramétereket θ, Q(θ θ t )-t maximalizálja a következ l=1 a 0 kl = A ij k A ik mivel az A-kat tartalmazó tagnál a különbség így írható (1.21) M k=0 M l=1 A kl log( a0 kl a kl ) = M ( M A kl ) l k=0 amelyik éppen a K-L távolság, tehát nem negatív Naív Bayes hálók tanulása l=1 a 0 kl log( a0 kl a kl ), (1.22) A Bayes hálók modellosztály másik nagyon népszer családja a Naív Bayes hálók (NBN) (lásd Valószín ségi gráfos modellek PGM fejezete). Az NBN-k feltevéseinek széles kör elfogadhatósága mellett a tanulásban is központi szerepet töltenek be robosztusságuk miatt, mivel mintegy hidat képeznek az úgynevezett feltételes modellek felé. Els ként ezt a határvonalat tisztázzuk, megvizsgálva az NBN-k paraméter és struktúra tanulását is, végezetül a bayesi kontextusban is A bayesi feltételes modellezés A feltételes megközelítés célja a bizonytalan reláció modellezése az Y kimeneti és az X bemeneti változók között. Egyéb elnevezési konvenciók a válasz, kimenetel, függ és prediktor, magyarázó vagy független változók. A bizonytalan reláció modellezésére hasonló axiomatikus megközelítéssel adódik a valószín ségi megközelítés, amelyben f cél ismét predikciós p(y N+1 X N+1, (X 1, Y 1 ),..., (X N, Y N )). (1.23)

12 12 A m címe Analóg módon, egy feltételes felcserélhet ségi feltevésb l származtatható egy parametrikus bayesi megközelítés, hasonlóan a támogatva a mintha értelmezését a bayesi megközelítésnek [5] p(y 1,..., y N x 1,..., x N ) = N ( p(y i θ(x i )))p(θ(x)) dθ(x), (1.24) ahol p(θ(x)) egy prior a p(y i θ(x i ))-t specikáló parametrikus család felett. Alapvet eltérés a tárgyterületi vagy rendszeralapú modellezéshez képest, hogy a bemeneti változók közti összefüggések nincsenek modellezve. Ezen adatok hiányos volta az egyik legnagyobb kihívás a feltételes modellezés gyakorlati alkalmazásánál, amire közelít, a teljes tárgyterületi modellezést elkerül, de legalábbis minimalizáló megoldások széles skálája jött létre (lásd Hiányos adatok kezelése fejezet). Egy elméleti nehézség a feltételes modellek bayesi alkalmazása terén az úgynevezett konjugált prior hiánya és az ezzel összekapcsolódó probléma, hogy a tárgyterületi modellezést l eltér en a paraméterek szintje itt analitikusan nem kezelhet (lásd Oksági Bayes hálók tanulása fejezet). A tárgyterületet leíró függetlenségi modell meghatározza a validitását az esetleges feltételes modellezésnek, ami statisztikai mintaszám komplexitás és számítási komplexitás tekintetében mindenképpen el nyösebb. Ez a bayesi megközelítésben is megnyilvánul, és általános esetben a p(g), p(θ G) struktúra és paraméter priorok például Bayes hálókra nem dekomponálódik priorokra a p(y X) feltételes modell szerint. Például mégha tárgyterületi, a priori kényszerek miatt is a kimeneti változó nem lehet szül, akkor is függhet ennek a változónak a modellje a többi változó közti függésekt l p(y x) = G p(g) p(y x, θ, G) dp(θ). (1.25) Θ Egy pragmatista bayesi megközelítésben, az 1.24 egyenletben azt tesszük fel, hogy az Y X-t l való függésére vonatkozó elvárások függetlenek más tárgyterületi függésekt l. Ennek formalizálására tételezzük fel, hogy a teljes (Y, X)-ra vonatkozó meggyeléseket egy prior p(θ) és egy mintavételi p(y, X θ) eloszlás deniálja, ahol a θ paraméter (φ, ω)-ra bontható, ahol a φ paraméter X-hez tartozik (azaz X φ és (X ω φ)), és ω pedig Y X-hez tartozik (azaz Y {X, ω} and (Y φ ω, X)). A feltételes megközelítés ekkor formálisan azt teszi fel, hogy ω φ, azaz a priorok ilyen dekomponoálását, amit az 1.1 ábrán lév Bayes háló is illusztrál.

13 1. fejezet. Valószín ségi Bayes hálók tanulása 13 X Y 1.1. ábra. A bayesi feltételes modellezés feltevéseinek Bayes hálós modellje. A bemeneti és kimeneti változókat X és Y jelöli, a hozzájuk tartozó paramétereket φ és ω (amelyek együtt alkotják θ-t). Az ezen feltevés szerint dekomponált priorok jelentik a feltételes megközelítés alapját, mivel teljes meggyelés esetén a posteriorok is dekomponálódnak p(θ x, y) p(ω, φ x, y) p(x, y ω, φ)p(ω, φ) (1.26) = p(y x, ω)p(x φ)p(ω φ)p(φ) (1.27) = p(y x, ω)p(ω)p(x φ)p(φ) (1.28) p(ω x, y)p(φ x). (1.29) Eszerint, ha csak a feltételes modellre szeretnénk következtetni, azaz ω poszteriorra, akkor a feltételes megközelítésben p(ω x, y) p(y x, ω, φ)p(x φ)p(ω φ)p(φ) dφ (1.30) φ = p(y x, ω)p(ω) (1.31) Bayes hálók tanulása feltételes modellként A hiányos adatkezelés vagy a priori elvárások miatt is a teljes tárgyterületi modell tanulása sok esetben egy minta és számításígényes, de legalább univerzális választásnak t nhet. Azonban viszonylagosan kis mintáknál, akár a bayesi keretben is a kés bb tárgyalt jegytanulási módszerekben, a teljes modell tanulása szisztematikusan eltér a feltételes modell tanulásától. Ennek megértéséhez fontoljuk meg a teljes adatra vonatkozó likelihood-t egy olyan G, θ modellnél, amely az X, Y -t tartalmazza [12]: LL(G, θ; D N ) = log p(d N G, θ) (1.32) N = CLL Y (G, θ; D N ) + log p(x i G, θ) (1.33)

14 14 A m címe ahol CLL Y (G, θ; D N ) = N log p(y i G, θ, X i ). (1.34) Az els tag a feltételes adat log-likelihood CLL Y (G, θ; D N ), amelyik kizárólagosan meghatározza az osztályozást (diszkrét esetet feltételezve). A másik tag annak a következménye, hogy nem feltételes modellosztállyal dolgozunk, és mint látni fogjuk mind becslési bias-t és nagyobb statisztikai érzékenységet is okoz. Els ként is, a Bayes háló általános volta miatt az osztályozás szempontjából optimális arg max θ CLL Y (G, θ; D N ) parametérek nem egyen ek a tárgyterületi modell maximum likelihood paramétereivel arg max θ LL Y (G, θ; D N ), sem a paraméterek várható értékeivel E p(θ G,DN )[θ] (valamely p(θ) priorral) (ez a nem faktorizálódó normalizációs konstansok miatt is fellép). Ez alól csak az jelent kivételt, ha a kimeneti Y változó levél csomópont [12]. Másodsorban, a CLL Y (G, θ; D N ) tag dominált az n 1 analóg taggal a bemeneti változóknál [12] Naive Bayes hálók teljesítménye osztályozásban és regresszióban Az NBN-knek rengeteg sikeres alkalmazása van, akár numerikus vagy folytonos bemeneti változókkal, mind az osztályozási és mind a regressziós keretben. Mivel az NBN-ek függetlenségi feltevése szerint az Y (= X 0 ) központi (gyökér/szül ) változó és az n darab X 1,..., X n bemeneti változóra fennáll, hogy X i {X j : j i} Y, így adódik a jól ismert eredmény log P (y X) = n log p(x i y) + log P (y) log P (X), (1.35) amely azt mutatja, hogy diszkrét esetben az NBN egy lineáris osztályozó (diszkriminátor). Azonban, ha folytonos változók is megengedettek, akkor nemlineáris és egymástól elválasztott régiók is megjelenhetnek döntési tartományoknak [8, 6]. Az NBN-k sikeres alkalmazása osztályozásban, amikor az osztályozás a regressziósbecslésen deniált egy küszöbértékkel, elméleti kutatásokban is vizsgált [10, 6]. J. Friedman mutatta meg, hogy a D N adat statisztikai hatása az osztályozási hibán strukturálisan különbözik a regressziós becslés L 2 predikciós hibájától. A jól ismert bias-variance megközelítés szerint az L 2 hiba a frekventista megközelítésben regressziós feladatban egy bias és egy variancia tagra bontható [14], E DN [y ˆf DN (x)] 2 = E DN [f(x) ˆf DN (x)] 2 + E[y f(x) ] 2 }{{} (1.36) ɛ noise E DN [f(x) ˆf DN (x)] 2 = 2 (f(x) E DN [ ˆf DN (x)]) + E }{{} DN [E DN [ ˆf DN (x)] ˆf DN (x)]. }{{} bias variance 2

15 1. fejezet. Valószín ségi Bayes hálók tanulása 15 Bináris osztályozásnál a bias tényez lépcs s jelleg küszöbhöz kötött sign( 1 2 f)(e ˆf 1 2 ) és a varianciával skálázott var( ˆf). Ez azt eredményezi, hogy a regresszióbeli varianciája (azaz komplexitása) a függvényosztálynak nagyobb hangsúlyt kap és a bias-e (azaz kapacitása) pedig kisebbet. Máshogyan fogalmazva az olyan egyszer modellosztály mint a naív BN alkalmatlan lehet regresszióra a szigorú korlátai miatt (bias), de kiváló osztályozásra, mivel varianciája kicsi [10] Naive Bayes hálók kiterjesztései Az NBN modellek szigorú feltevését több módon is próbáltak enyhíteni, így növelve az alkalmazhatóságát: a Tree Augmented NBN (TAN) és a kontextuális multi-háló [12], az Augmented NBN osztályozó [6, 16, 18], stb. A TAN modellosztály egy skálázható kiterjesztést jelent, így azt ismertetjük. Ebben a modellosztályban (az Y kimeneti és n darab X 1,..., X n bemeneti változó felett) egy teljes N-BN deniált, amely modellstruktura pluszban egy teljes fát is tartalmaz a bemeneti változók csomópontjai között. Ez lehet vé tesz globális és lokális szenpontok optimalizálásval n 1 él beillesztését a maximális szül számot k 2-n tartva [12]. Kihasználva, hogy teljes D N adat esetén egy adott G struktúránál a θ maximum likelihood paramétereket használva a log-likelihood felírható így (levezetésért lásd Oksági modellek tanulása fejezet) log p(d N G, θ ) = N n I(X i ; Pa(X i, G)) N i=0 n H(X i ), (1.37) felhasználva még a kölcsönös információra vonatkozó láncszabályt I(X; Y, Z) = I(X; Z) + I(X; Y Z), az els, struktúrától függ összeg átírható a következ képpen (külön gy jtve a szül re vonatkozó konstans tagokat) i IˆpDN (X i ; Y ) + i:pa(x i ) 1 IˆpDN (X i ; X pa(xi ) Y ). (1.38) Ez azt mutatja, hogy a maximum likelihood TAN-t úgy találhatjuk meg, hogy a második összegzést maximáljuk bevéve a maximális feltételes kölcsönös információjú éleket a korrelációs fába a bemeneti változók között. Mivel az élekre a feltételes kölcsönös információ O(n 2 N) id ben kiszámolható, amib l ezt az értéket mint élsúly kezelve maximális feszít fa (MWST) konstruálható O(n 2 log n) id ben, ez egy nagyon hatékony algoritmust jelent [12]. A módszer hátránya, hogy egy teljes fát épít fel akkor is, ha a bemeneti változók az NBN feltevés szerint feltételesen függetlenek, de ez tesztekkel el is kerülhet, illetve komplexitásnövel hatása mintakomplexitás emelkedés tekintetében mérsékelt.általánosabb módszerek nem csak fát, hanem általános DAG struktúrát is megengednek a bemeneti változók közös szül /gyökér változóval feltételes függéseinek reprezentálására, például k maximális szül számot el írva, azonban 1 < k-ra már NP-teljes az optimális bemeneti változók feletti DAG megkeresése, így általános tanulási eljárások szükségesek.

16 16 A m címe Teljes modellátlagolás NBN-k felett Ay NBN-kkel való következtetés hatékonyságát, változók számában lineáris voltát, egy pontparametrizáció mellett vizsgáltuk meg. Ez a lineáris komplexitás a paraméterek bayesi kezelése esetében is gyakran megmarad, mivel ha p(θ G) jelöl egy adott struktúra melletti paramétereloszlást, akkor egy értékek szintjén történ következtetésben a paramétertér felett átlagolás E Θ [p(y x, Θ)] = p(y x). (1.39) adott, praktikus feltételek mellett analitikusan elvégezhet (lásd Oksági modellek tanulása fejezet). Egy meglep eredmény szerint ez a lineáris komplexitás még akkor is megtartható, ha a struktúrák felett is átlagolni kell, azaz ha a 2 n struktúrák feletti p(g) eloszlás követi a tárgyterületi függetlenségek szerinti dekompozíciót, akkor létezik egy olyan szuper-(pont)paraméterezés, amely ezt is képes reprezentálni [4]. Els ként is idézzük fel, hogy x teljes meggyelés esetében a feltételes eloszlás p(y x) kiszámolható a p(y, x) együttes eloszlásból O(n) id ben, az NBN-ket denáló szorzatalakból n p(y x, θ, G) p(y, x, θ, G) = p(y ) p(x i pa(x i, G)) = n p(x i pa(x i, G)). (1.40) i=0 Másodsorban, Dirichlet paraméterpriorokat használó paraméterfüggetlenség esetén a paraméterek feletti integrálás elkerülhet a lokális modellekbeli valószín ségek várható értékeinek használatával (lásd?? egyenlet). p(y, x) = G p(g) p(y, x, θ, G) dp(θ) = G n p(g) p(x i pa(x i, G)). (1.41) i=0 Teljes D N adatok esetén ez a tulajdonság a poszteriorokra is teljesül (lásd?? egyenlet). Harmadrészt, struktúrális modularitást feltéve, a astruktúrák felett prior az p(y X i Edges(G)) élek a priori élvalószín ségeinek szorzataként deniálható, amely a DAG kényszerrel való kompatibilitása miatt egy normalizált priort deniál. Elméletilleg a következtésbe belép, akár részleges x is befolyálja a poszterior, de ezt gyelmen kívül hagyjuk. Ekkor a struktúrák feletti poszteriorra az alábbi szorzat alak adódik (lásd?? egyenlet, a normalizáció minden változóra függetlenül végezhet el megfontolva a két lehetséges esetet, hogy Y szül -e vagy nem) p(g D N ) = n p(pa(x i, G) D N ). (1.42) i=0 és jelölje p 1 i p(pa(x i, G) = Y D N )-t és p 0 i p(pa(x i, G) Y D N )-t (kihasználva, hogy p 0 0 = p 0 Y = 0).

17 1. fejezet. Valószín ségi Bayes hálók tanulása 17 Kombinálva az 1.40,az 1.41 és az 1.42 egyenleteket kapjuk, hogy p(y, x D N ) (1.43) = n p(pa(x i ) G, D N )p(x i pa(x i ) G, D N ) G i=0 (1.44) =... n p(pa(x i ) G D N )p(x i pa(x i ) G, D N ) (1.45) = = pa G X 1 =Y pa G X 1 Y pa G Xn =Y pa G Xn Y i=0 n p 0 i p(x i pa(x i ) G Y, D N ) + p 1 i p(x i pa(x i ) G = Y, D N ) (1.46) i=0 n p (x i pa(x i ) G = Y, D N ) (1.47) i=0 ahol az utolsó lépésben felhasználtuk az összeg-szorzat felcserését. Ez azt mutatja, hogy egy pontparaméterezés konstruálható egy teljes NBN modellre O(n) id ben, amellyel az 1.41 egyenletbeli prediktív következtetés 2 n modellstruktúra és paramétertér feletti átlagolás O(n) id ben elvégezhet Egy információelméleti pontszám Bayes háló tanulásához Az általános valószín ségi Bayes hálók tanulásához a jelen fejezetben egy információelméleti pontszámot mutatunk be. A Bayes hálók általános, gazdagabb, akár oksági vonatkozású priorokat is befogadó tanulását az Oksági Bayes hálók tanulása fejezetben ismertetjük. A frekventista paradigmában tételezzünk fel teljes, diszkrét, azonos eloszlású, független (i.i.d.) mintákat és deniáljunk egy maximum likelihood pontszámot a következ képpen ML(G; D N ) = max θ p(d N G, θ) (1.48) Adott G struktúránál az 1.3 egyenlet szerint ezt a θ ijk = N ijk/n ij+ relatív gyakoriságok maximálják, ahol N ijk jelöli az x k érték és q j szül i konguráció együttes el fordulásának számát X i változó és P a(x i ) szül i halmazára nézve (N ij+ az értelemszer összeget jelenti) [?,?]. Behelyettesítve ezt a maximum likelihood paramétert kapjuk, hogy ML(G; D N ) = p(d N G, θ ) = = q n i r i j=1 k=1 N n l=1 p(x (l) i pa (l) i ) (1.49) N N ijk ijk, (1.50) N ij+ Logaritmust véve, összegzési sorrendet cserélve és N-nel b vítve adódik, hogy

18 18 A m címe log(ml(g; D N )) = N q n i j=1 N ij+ N r i k=1 N ijk N ij+ log(n ijk /N ij+ ). (1.51) Felhasználva a feltételes entrópia denícióját H(Y X) = x p(x) y p(y x) log(p(y x)), az entrópiára vonatkozó láncszabályt H(X, Y ) = H(Y X) + H(X) és a kölcsönös információ denícióját I(Y ; X) = H(Y ) H(Y X) [3], ez átírható a következ képpen log(ml(g; D N )) = N n H(X i P a(x i, G)) (1.52) = NH(X 1,..., X n ) (1.53) = n n N I(X i ; P a(x i, G)) N H(X i ). (1.54) (1.55) Ezt azt mutatja,hogy a deniált maximum likelihood pontszámot maximalizáló Bayes háló értelmezhet úgy, mint ami entrópiát minimalizál avagy az általa elérhet kódolás is legrövidebb hosszúságú, ami a Minimum Description Length tömörítési elvet tükrözi (lásd 1.53), másrészt úgyis, hogy maximalizálja a szül k és a gyerekeik közti kölcsönös információt (lásd 1.54, ahol a struktúrától független tagokat értelemszer en nem számítanak). Nagyon érdekes kapcsolat, hogy a változók azon sorrendje, amely ilyen értelemben maximális meghatározottságot mutat az mennyiben használható fel oksági sorrendek kikövetkeztetésére [7]. A deniált pontszám struktúra tanulásban való felhasználásához azonban gyelembe kell venni a kölcsönös információ monotonitását, nevezetesen, hogy ha P a(x i ) P a(x i ), akkor I(X i ; P a(x i ) I(X i ; P a (X i ) [3], azaz a teljes DAG maximalizálja a pontszámot. Ezt egy komplexitás regularizációs tag tudja kezelni, amely a Bayesian information criterion (BIC) pontszám esetében a következ teljes pontszámot eredményezi (származtatását és egyéb pontszámokat az Oksági Bayes hálók fejezetben tárgyalunk [17, 1, 2, 13, 15]) BIC(G; D N ) = log(ml(g; D N )) 1 dim(g) log(n), (1.56) 2 ahol dim(g) a szabad paraméterek számát jelöli.

19 Irodalomjegyzék [1] R. R. Bouckaert. Bayesian Belief Networks: From construction to inference. Ph.D. Thesis, Dept. of Comp. Sci., Utrecht University, Netherlands, [2] D. M. Chickering, D. Geiger, and D. Heckerman. Learning Bayesian networks: Search methods and experimental results. In Proceedings of Fifth Conference on Articial Intelligence and Statistics, pages , [3] T. M. Cover and J. A. Thomas. Elements of Information Theory. Wiley & Sons, [4] D. Dash and G. F. Cooper. Exact model averaging with naive Bayesian classiers. In Proceedings of the Nineteenth International Conference on Machine Learning, pages 9198, [5] D. G. T. Denison, C. C. Holmes, B. K. Mallick, and A. F. M. Smith. Bayesian Methods for Nonlinear Classication and Regression. Wiley & Sons, [6] P. Domingos and M. Pazzani. On the optimality of the simple Bayesian classier under zero-one loss. Machine Learning, 29:103130, [7] M. J. Druzdzel and H. Simon. Causality in Bayesian belief networks. In David Heckerman and Abe Mamdani, editors, Proceedings of the 9th Conf. on Uncertainty in Articial Intelligence (UAI-1993), pages 311. Morgan Kaufmann, [8] R. O. Duda, P. E. Hart, and D. G. Stork. Pattern classication. Wiley & Sons, [9] R. Durbin, S. R. Eddy, and A. Krogh anf G. Mitchison. Biological Sequence Analysis : Probabilistic Models of Proteins and Nucleic Acids. Chapman & Hall, London, [10] J. H. Friedman. On bias, variance, 0/1-loss, and the curse of dimensionality. Data Mining and Knowledge Discovery, 1(1):5577, [11] N. Friedman. The Bayesian structural EM algorithm. In Proc. of the 14th Conf. on Uncertainty in Articial Intelligence(UAI-1998), pages Morgan Kaufmann, [12] N. Friedman, D. Geiger, and M. Goldszmidt. Bayesian networks classiers. Machine Learning, 29:131163, 1997.

20 20 A m címe [13] N. Friedman and Z. Yakhini. On the sample complexity of learning Bayesian networks. In Proc. of the 12th Conf. on Uncertainty in Articial Intelligence (UAI-1996), pages Morgan Kaufmann, [14] S. Geman, S. Bienenstock, and R. Doursat. Neural networks and the bias/variance dilemma. Neural Computation, 4:158, [15] D. Heckermann. A tutorial on learning with Bayesian networks., Technical Report, MSR-TR [16] E. Keogh and M. Pazzani. Learning the structure of augmented Bayesian classiers. International Journal of Articial Intelligence Tools, 11(4):587601, [17] W. Lam and F. Bacchus. Using causal information and local measures to learn Bayesian networks. In David Heckerman and Abe Mamdani, editors, Proc. of the 9th Conference on Uncertainty in Articial Intelligence (UAI-1993), pages Morgan Kaufmann, [18] P. Lucas. Restricted Bayesian network structure learning. In H. Blockeel and M. Denecker, editors, Proc. of 14th Belgian-Dutch Conference on Articial Intelligence (BNA- IC'02), pages , [19] S. Russel and P. Norvig. Articial Intelligence. Prentice Hall, 2001.