Valószín ségi döntéstámogató rendszerek Antos András Antal Péter Hullám Gábor Millinghoer András Hajós Gergely Kulcsszavak: döntés, becslés, költségfüggvény, kockázat, a priori és a posteriori valószín ség, Bayesdöntés és -becslés, Bayes-statisztika, valószín ségi gráf alapú modellek, Bayes-háló, rejtett Markov modell, emberi becslési heurisztikák, valószín ségi következtetés, bayesi döntéselmélet, optimális döntés, információ értéke, többkarú rabló probléma, QUALY, költség-haszon elemzés, döntési hálók Összefoglalás: A jegyzetben ismertetjük a döntés- és becsléselmélet alapfogalmait és a leggyakoribb költségfüggvényeket. Megvizsgáljuk a Bayes-döntést, maximum a posteriori és maximum likelihood döntést és a Bayes-döntés közelítését több példán keresztül. Kitérünk a Bayes-becslésre, maximum likelihood becslésre és regressziós becslésre részletesen megvizsgálva a lineáris regresszió esetét. Ezt követ en a valószín ségi eloszlások strukturális jellemz it vizsgáljuk meg. A valószín ségi gráfos modellosztályon belül els ként az egyszer Naív Bayes-háló, Markov-lánc és rejtett Markov modell modelltípusokat foglaljuk össze, majd a Bayes-hálókat és a Markov-hálókat tekintjük át. Budapesti M szaki és Gazdaságtudományi Egyetem Semmelweis Egyetem Typotex Kiadó 2014
c Antos András, Antal Péter, Hullám Gábor, Millinghoer András, Hajós Gergely Creative Commons NonCommercial-NoDerivs 3.0 (CC BY-NC-ND 3.0) A szerz nevének feltüntetése mellett nem kereskedelmi céllal szabadon másolható, terjeszthet, megjelentethet és el adható, de nem módosítható. Szerkesztette: Antal Péter Szakmai lektor: Kovács András ISBN 978 963 279 184 5 Készült a Typotex Kiadó (http://www.typotex.hu) gondozásában Felel s vezet : Votisky Zsuzsa Készült a TÁMOP-4.1.2.A/1-11/1-2011-0079 számú, Konzorcium a biotechnológia és bioinformatika aktív tanulásáért cím projekt keretében
Tartalomjegyzék 1. Valószín ségi becslés- és döntéselmélet 1 1.1. Bevezetés.................................. 1 1.2. Deníciók.................................. 1 1.2.1. Gyakori költségfüggvények és tulajdonságaik........... 2 1.3. Bayes-döntés................................ 4 1.4. Bayes-döntés ismételt meggyelés alapján................. 9 1.5. Bayes-döntés közelítése........................... 10 1.6. Bayes-becslés................................ 12 1.7. Maximum likelihood becslés........................ 13 1.8. Regresszióbecslés; négyzetes középhiba minimalizálás.......... 14 1.8.1. Lineáris becslés........................... 15 2. Valószín ségi gráfos modellek 23 2.1. Bevezetés.................................. 23 2.1.1. Racionális bizonytalanságoktól a valószín ség szubjektív értelmezéséig............................... 23 2.1.2. Felcserélhet ségt l a bayesi modellátlagolásig........... 25 2.2. A Bayes-statisztikai keretrendszer általános sémája........... 27 2.2.1. A modell specikálása a bayesi keretben............. 28 2.2.2. A prediktív következtetés...................... 28 2.2.3. A parametrikus következtetés és a Bayes-szabály......... 29 2.3. Valószín ségi eloszlások függetlenségeinek rendszere................................... 30 2.3.1. A függetlenség és feltételes függetlenség fogalmai......... 30 2.3.2. Egyéb valószín ségszámítási alapfogalmak............ 31 2.3.3. A Markov-takaró, Markov-határ és közvetlen függés fogalmai.. 32 2.3.4. A grafoid axiómák......................... 32 2.4. Valószín ségi gráfos modellek....................... 35 2.4.1. Bayes-hálók kutatásának áttekintése............... 35 2.4.2. Irányított elválasztás, és egyéb gráfelméleti fogalmak...... 37 2.4.3. Bayes-háló deníciók........................ 39 2.4.4. Markov-hálók............................ 40 2.4.5. Markov-feltételek irányítatlan gráfokban............. 40 2.4.6. Bayes-hálók és Markov-hálók reprezentációs képessége...... 42 2.5. Egyszer Bayes-hálók............................ 42 2.5.1. Naiv Bayes-hálók.......................... 42
iv Valószín ségi döntéstámogató rendszerek 2.5.2. Markov-láncok és rejtett Markov modellek............ 43 2.6. Parametrizáció, priorok deniálása és tudásmérnöki kérdések...... 44 3. Oksági modellek: reprezentációk és következtetések 49 3.1. Bevezet................................... 49 3.2. Bayes-hálók ekvivalencia-osztályai..................... 51 3.3. Oksági Bayes-hálók............................. 53 3.4. Az oksági értelmezés nehézségei...................... 55 3.4.1. Tisztán magasabbrend függések................. 55 3.4.2. Intranzitív függések......................... 55 3.4.3. Simpson paradoxona........................ 56 3.4.4. Ellenérvek.............................. 56 3.5. Bayes-hálók a Bayes-statisztikai keretben................. 56 3.5.1. Paraméter priorok Bayes-hálókhoz................. 57 3.5.2. Struktúra priorok Bayes-hálókhoz................. 59 3.6. Meggyelés, beavatkozás, spekuláció.................... 60 3.7. Tudásmérnökség............................... 60 3.8. Bayes-háló kiterjesztések.......................... 61 4. Tudásmérnökség, biasok és heurisztikák becsléseknél és döntéseknél 65 4.1. Valószín ségi ítéletalkotás és a bayesi paradigma............. 65 4.2. Statisztikák becslése............................ 66 4.2.1. Elemi események becslése..................... 66 4.2.2. Az eloszlás becslése......................... 67 4.2.3. A variancia becslése......................... 67 4.2.4. A függetlenségre vonatkozó ítéletek................ 68 4.3. Heurisztikák................................. 68 4.3.1. Reprezentativitás.......................... 69 4.3.2. Hozzáférhet ség........................... 70 4.3.3. Rögzítés és igazítás......................... 71 4.4. Torzítások a kockázat észlelésében..................... 73 4.4.1. Perspektívahatás.......................... 73 4.4.2. Egyenletesség............................ 73 4.4.3. Arányosság............................. 74 4.5. Funkcionális referenciák.......................... 74 4.6. A kauzalitás szerepe............................ 76 4.7. A valószín ségi ítéletalkotás mint összetett szabályozó rendszer..... 78 4.8. A torzítások hatása és azok kezelése.................... 80 4.9. Összegzés.................................. 82 Irodalomjegyzék 84 5. Egzakt, optimalizációs és Monte-Carlo-következtetések VGM-ben 86 5.1. Prediktív következtetés Bayes-hálókban.................. 86 5.2. A következtetési eljárások áttekintése................... 87 5.2.1. A következtetési algoritmus.................... 88 5.2.2. A következtetés komplexitása................... 89
Tartalomjegyzék v 5.3. Egyszer bb egzakt következtet eljárások................. 90 5.3.1. Következtetés felsorolással..................... 90 5.3.2. Következtetés változó eliminációval................ 91 5.3.3. Következtetés polifákban...................... 94 5.3.4. Következtetés nem fa gráfokban.................. 96 5.4. A PPTC-következtetés........................... 98 5.4.1. Klikkfa konstruálása........................ 98 5.4.2. Valószín ségek terjesztése a klikkfában.............. 100 5.4.3. Következtetési esetek........................ 103 5.5. Közelít következtetés sztochasztikus szimulációval........... 103 5.5.1. Mintagenerálás üres hálóból................... 104 5.5.2. Elutasító mintavételezés...................... 104 5.5.3. Valószín ségi súlyozás....................... 104 5.6. A Monte-Carlo-eljárások áttekintése.................... 105 5.6.1. Fontossági mintavételezés..................... 106 5.6.2. Markov-láncok........................... 106 5.6.3. A Metropolis-Hastings-algoritmus................. 108 5.6.4. Következtetés Bayes-hálókban Gibbs-mintavételezéssel..... 109 5.7. Függelék: A következtetés komplexitása Bayes-hálókban........ 109 5.7.1. A 3SAT probléma visszavezetése a Bayes-hálóban való következtetésre................................ 110 Irodalomjegyzék 112 6. Döntéstámogatás: optimális döntés, szekvenciális döntések, az információ értéke 113 6.1. Szekvenciális döntési folyamatok...................... 113 6.1.1. Optimális döntés.......................... 113 6.1.2. Szekvenciális döntés........................ 114 6.1.3. Az információ értéke........................ 116 6.2. Megállási feladatok............................. 120 6.2.1. Titkárn probléma......................... 120 6.2.2. A Googol játék........................... 123 6.2.3. Odds algoritmus.......................... 123 6.2.4. Az odds algoritmus egy folytonos kiterjesztése.......... 124 6.3. Többkarú rabló feladatok.......................... 125 6.3.1. Alkalmazási területek........................ 125 6.3.2. Az optimális megoldás, el refele következtetés.......... 126 6.3.3. Gittins index............................ 127 7. Orvosi döntéstámogatás 128 7.1. Egészségügyi adatok és nyilvántartó rendszerek............. 128 7.2. A mesterséges intelligencia szerepe az orvosi döntéstámogatásban... 130 7.2.1. Tudás alapú következtet rendszerek............... 130 7.2.2. Gépi tanulás............................. 131 7.2.3. Orvosi döntéstámogató rendszerek................. 132 7.2.4. Személyre szabott gyógyászat................... 132
vi Valószín ségi döntéstámogató rendszerek 7.3. Bináris döntések kiértékelése........................ 135 7.4. Hasznosságelmélet............................. 138 7.5. Hasznosságfüggvények........................... 140 7.5.1. Hasznosságfüggvények alaptípusai................. 141 7.5.2. QUALY............................... 143 7.5.3. Micromort.............................. 144 7.6. Többváltozós hasznosságfüggvények.................... 144 7.6.1. A preferenciák strukturáltsága................... 145 7.7. Döntési hálók................................ 147 7.7.1. Döntési hálók kialakítása és kiértékelése............. 148 7.7.2. Döntési hálók tulajdonságai.................... 149 7.8. Költség-haszon elemzés........................... 153 7.8.1. A hatékonyság mérése....................... 153 7.8.2. A költség és a hatékonyság viszonya................ 154 7.8.3. Költség-haszon elemzés mintapélda................ 156 Irodalomjegyzék 163