Mesterséges intelligencia, 7. előadás 2008. október 13. Készítette: Masa Tibor (KPM V.) Bizonytalanságkezelés: Az eddig vizsgáltakhoz képest teljesen más világ. A korábbi problémák nagy része logikai, keresési algoritmusokat jelentett, ahol az elemek igaz/hamis értékeket vehettek fel. A logikai következtetések kérdése egy átmenetet jelentett a logika világából a valószínűség világába. A valós ágensek azonban szinte soha nem férnek hozzá a környezetüket érintő teljes igazsághoz, bizonytalanság közepette működnek, ezért a valós problémák kezelésében ezek a problémák gyakrabban használtak lesznek. A logikával kizárólag nem lehet dolgozni, mert ha: 1. nem teljes a tudásunk, nem tudunk logikai következtetést levonni minél jobban ismerjük a világot, annál több megfigyelési adat kell a következtetéshez. Ha nem ismerek valamilyen szükséges adatot, nem tudok következtetni, a logikában nincsen közelítési lehetőség. 2. nem dolgozunk komplex elméletekkel, csak egyszerűekkel, akkor az egyszerűsített elmélet nem mindig helyes például egy útvonal-tervezés során, ha feltételezem, hogy mivel nem lesz dugó, odaérek a repülőtérre, kellemetlen meglepetés érhet, ha mégis dugó van, vagy ha lerobban az autó. Sem a túl részletes, sem a közelítő megoldás nem jó! A megoldás: ha ebből a világból egy lesimítottabb világba lépünk ki, ahol a világ dolgainak nem csak igaz-hamis állapota van, hanem köztes állapotok is, amivel kezelni tudjuk a tudásunk hiányát. Erre használjuk a valószínűség-számítás eszközrendszerét. Az órán vizsgált problémákhoz többnyire egy fogorvosi diagnosztikai rendszert használunk, amely során az orvosi diagnózisban a fogfájást, valamint a lyukas fogat vizsgáljuk. Egyszerű logikai szabályokkal nem lehet megfogalmazni ezt a problémát, hiszen nem teljes (ha a tünetünk a fogfájás, nem biztos, hogy automatikusan lyukas a fogunk lehet a gond egy gyulladás, vagy bármi más), vagy ha teljes, akkor túl egyszerű (ha feltesszük, hogy minden lyukas fog fájdalommal jár, nem lesz igaz automatikusan). A tudás tökéletlenségének általában három oka van: 1. lustaság túl nagy munka ok-okozatok teljes eseményhalmazának felsorolása, e nélkül nem lesz mindig érvényes a szabály, 2. elméleti tudatlanság a tudományterület elmélete nem teljes, 3. gyakorlati tudatlanság hiába ismerjük a teljes szabályrendszert, lehetünk bizonytalanok egyes esetekben, mert előfordulhat, hogy nem végezhető el az összes szükséges vizsgálat. Ezekből következnek tehát a véletlen viselkedések, valószínűségek. A valószínűség-számítás tehát az elsődleges eszköz a meggyőződési értékek kezelésére. A tudás tökéletlenségét véletlen hatásként kezeli, minden mondathoz egy [0,1] közötti meggyőződési mértéket rendel. Fontos tudni, hogy a valószínűségeket itt nem, mint az igazság fokát vizsgáljuk, hanem mint a hit fokát. Tehát ha tudás reprezentálására akarjuk használni a valószínűség-számítást, akkor látni kell, ha valami valószínűsége 0.8, akkor ez nem azt jelenti, hogy ez a világban ténylegesen 80%-os valószínűséggel teljesül, hanem azt, hogy a rendelkezésünkre álló 1
információ alapján 80%-os mértékben hiszünk abban, hogy a valóságban ténylegesen fenn áll ez az esemény. Jelen esetben az igazságérték folytonosságáról van szó (például: ez a ház kicsi nem tudom rámondani, hogy igaz vagy hamis, hiszen mihez képest az? van egy folytonossági aspektus). Tehát nem a világ bizonytalanságáról, hanem a nyelv tökéletlenségéről beszélünk. Ha a valóság eseményeit jelöljük ( az igazság mértéke, mint a meggyőződés mértékének az ellentéte, ahogy a tankönyv mondja), akkor az egy más téma, amit fuzzy logika névvel illetünk. Ezzel itt nem foglalkozunk. Minden valószínűségi kijelentésnek hivatkoznia kell azokra a tényekre, amelyek alapján az adott valószínűség az állításhoz lett rendelve. A valószínűség mértéke függ a tapasztalatunktól is: mielőtt tények birtokába jutunk, előzetes (a priori, feltétel nélküli) valószínűségről, a tények birtokában utólagos (a posteriori, feltételes) valószínűségről beszélünk. A racionális ágensek (fő tulajdonságaik: van egy kiértékelő függvényük, valamint olyan cselekvéseket eszközölnek, amelyek ezt maximalizálják) ebből a szempontból úgy képzelendők el, mint amik egy bizonyos kimenetnek valószínűségeket adnak, és a kimenet a rendelkezésére álló kiértékelő függvény várható értékét adja neki. Erre már láttunk példát a játékelmélet során, az olyan játékokban, ahol vannak véletlen lépések (pld. kockadobás). Ott a véletlen értékek felett kell várható értéket számolnunk. Valószínűségi kijelentések nyelve: Nem válik erősen ketté a szintaxis és a szemantika. A használt nyelv alapeleme a véletlen (valószínűségi) változó: ezek az ítéletkalkulusban megismert ítéletek szerepét fogják betölteni, logikai operátorokkal formulák készíthetők velük. Ezeknek mindig van egy neve, értékük igaz vagy hamis. A véletlen változók lehetséges értékeit (értéktartományát) nevezzük domaineknek. Jelölés szerint mindig nagybetűvel jelöljük a változó-neveket, kisbetűvel az értékeiket. Tehát például a Lyuk valószínűségi változó egy fog esetleges lyukasságát mutatja. A Lyuk hoz például az <igaz,hamis> értéktartomány tartozik. Ebből ítélet a következőképpen lesz: Fogfájás = igaz. Ezzel gyártottam egy elemi kijelentést. A Fogfájás = igaz jelölhető a következőképpen: fogfájás, hiszen ekkor veszi fel a Fogfájás valószínűségi változó az igaz értéket. A véletlen változók tipikusan három típusba sorolhatók: 1. Boole-típusú, logikai véletlen változók, olyan változók, melyeknek domain-je az <igaz,hamis>. 2. Diszkrét véletlen változók, melyek logikai változók is lehetnek, és megszámlálható tartományból kapnak értéket. Például ilyen lehet az időjárás, amely domain-je lehet <napos,esős,felhős,havazik>. A kitétel az, hogy egyszerre pontosan egy értékük lehet igaz, se több, se kevesebb. 3. Folytonos véletlen változók, melyek valós értéket vehetnek el, amely lehet akár a teljes valós tengely, akár egy részhalmaza, például [0,1]. Általában mi a diszkrét esettel foglalkozunk. Összetett állítások létrehozásához olyan elemi állításokat használunk, amelyeket logikai kapcsolat felhasználásával kombinálunk. Tehát az ÉS, VAGY, NEM, stb. logikai operátorok használatával komplex kijelentéseket generálhatunk. Ezzel készen is van a nyelv alapja, mellyel kijelentések gyárthatók. 2
Ebbe a nyelvbe ültethetjük be az elemi eseményeket. Az elemi esemény analógnak tekinthető az ítéletkalkulusbeli modellel (ha csak logikai véletlen változók vannak). Valószínűségi változókkal definiáljuk őket. Az elemi esemény egy olyan kijelentés, ahol minden egyes valószínűségi változóhoz hozzárendelek pontosan egy értéket, és ezeket összeéselem, konjugálom. Pld. Lyuk = igaz ÉS Idő = napos ÉS. stb. Ha az összes ilyen lehetséges eseményt leírom, akkor a megkülönböztethető világokat definiálom. Például: kockadobás ha valószínűségi változóval kezdem a definiálást, például: a kocka értéke háromnál nagyobb lesz, akkor csak kétféle világot tudok megkülönböztetni ilyen szempontból mindegy, hogy ez egy kocka vagy bármi más, két elemi eseményem van, azonos valószínűséggel! Tehát a nyelv az, mely meghatározza az elemi eseményeket, a megkülönböztethető világok definiálásához. Ha egy világban például két logikai változó van (mint például az előző példában), akkor összesen 2 2 = 4 elemi esemény létezik. Az elemi események tulajdonságai: - egymást kölcsönösen kizáró események, legfeljebb egy lehet igaz, - az összes elemi esemény halmaza kimerítő, tehát legalább az egyiknek igaznak kell lennie, - az előző kettőből tehát az következik, hogy a világ aktuális fennállását pontosan egy darab elemi esemény írja le, - egy elemi esemény minden lehetséges elemi kijelentéshez igazságértéket rendel, - minden kijelentés logikailag ekvivalens a neki nem ellentmondó elemi eseményeket leíró kijelentések halmazával. A priori valószínűség: Minden kijelentéshez valószínűséget rendelünk. Egy a állításhoz tartozó a priori (feltétel nélküli) valószínűség az a meggyőződési mérték, amely bármely más információ hiányában az állításhoz kapcsolható. Jele: a) Például, ha 0.2 annak az a priori valószínűsége, hogy az idő: napos, akkor a jelölés a következő: Idő=napos) = 0.2. A a) jelölésben fontos a kisbetű, a A) jelölés ugyanis az A valószínűségi változó eloszlását jelöli. Ezeket a kéziratban aláhúzással jelölve találjuk, ami a vastag betű tipográfiai jelölése. Ezért a kéziratban aláhúzással jelölt eloszlásokat a továbbiakban vastag betűvel írom a jegyzetben. Például Idő) = (0,2 ; 0,3 ; 0,4 ; 0,1), ahol napos) = 0,2 ; esős) = 0,3 stb. Az eloszlás tehát P összes értékére megmondja a valószínűségeket. A 1,A 2 ) nem más, mint A 1 és A 2 együttes eloszlása, vagyis az A 1 -A 2 értékeiből álló párok valószínűséget leíró táblázat. Konvenció szerint A,a) olyan vektor, ahol A véletlen változó, a egy kijelentés, és benne A=v 1 Ù a), A=v 2 Ù a) szerepel, ahol v i pedig A értékeit adja. Kettőnél több változóra értelemszerűen kell a jelölést kibővíteni. Ha A folytonos valószínűségi változó, akkor eloszlás helyett sűrűségről beszélünk, ami egy x értéknél P (A Î [x ; x+dx]) / dx (egy nagyon pici intervallumba beleesés valószínűsége, ez elosztva az intervallum hosszával). Ez nem valószínűség jellegű mennyiség, de analóg képleteket eredményez vele, összegzés helyett integrált használunk. Másrészt a sűrűség nem mindig létezik, nem mindig jól definiált. 3
Feltételes valószínűség: Jelölése függőleges vonallal: például a b), ahol a és b kijelentések. Ennek jelentése, hogy a valószínűsége ennyi, ha tudom, hogy b igaz, és a teljes tudásunk b. Technikai definíció: a b) = aùb) / b) Ez a definíció nincs értelmezve, ha b)>0. Egyszerűbb definíciója a szorzatszabály, amelyben a és b szerepe felcserélhető. aù b) = a b)b) = b a)a) A B) pedig nem más, mint a A=a i B=b j ) értékek táblázata, ahol a i és b j A és B értékei minden párosításban. Jelölése: A,B) = A B)B). Fontos megjegyezni, hogy itt nem mátrix-szorzásról van szó, csak egyszerűsítő jelölésről. Az egyenlőség tehát tagonként értendő, mindkét tagra igaznak kell lennie. Ugyanez érvényes a tagonkénti szorzatra is. A valószínűség tulajdonságai és axiómái: Az eddigiekben szintaxist definiáltunk, most meg kell fogalmaznunk egy szemantikát is. Ezt az axiómákkal kezdjük: 1. A valószínűség mindig [0,1] között van. 2. Azonosan igaz esemény logikai valószínűsége mindig 1, azonosan hamis esemény logikai valószínűsége mindig 0. 3. AÚ B) = A) + B) AÙ B) Axiómák használata: Állítás: Ø a) = 1- a) Bizonyítás: 3. axiómából, ha A és B helyére a-t és Øa -t írunk 2. axiómából: 1 = a) + Ø a ) 1 a) = Ø a ) Állítás: P Bizonyítás: å ( a ) = e i Îe ( a) P ( A= e 1 ), ahol e(a) az a-t alkotó elemi események halmaza 1. elemi események kölcsönösen kizáróak 2. minden állítás elemi események diszjunkciója -> 3. axiómából kijön az állítás Filozófiai megjegyzések: 1. Mennyire jó a valószínűségi tárgyalásmód? Ha teljes a tudásunk, igaz lesz, hogy a valószínűség pontosan egy elemi eseményhez egy, a többihez nulla. A tudásunk azonban soha nem teljes. 2. Elemi eseményekhez rendelt valószínűség meghatározza bármely kijelentés valószínűségét (a priori) az axiómák által. Vitatkozni csak az elemi események valószínűségével vagy az axiómákkal érdemes. 3. De nem éri meg máshogy megállapítani a kijelentések valószínűségét, mert - a valószínűség azt jelenti, hogy az ágens adott értéket hajlandó fogadni. Például ha szerinte a)=0,2, akkor 2:8 arányban fogadni Øa-ra, és 8:2 arányban fogadni a-ra ugyanaz szerinte, neki mindegy, de - ekkor belátható, hogy mindig veszít az ágens, ha nem követi az axiómákat. 4
Egy példa: Ágens-1 Ágens-1 Ágens-2 a Ù b a Ù Ø b Ø a Ù b Ø a Ù Ø b tippje tudása tippje a 0,4 a -6-6 4 4 b 0,3 b -7 3-7 3 a Ú b 0,8 Ø (a Ú b) 2 2 2-8 Szum: -11-1 -1-1 A táblázatban látható, hogy aú b valószínűsége 0,8. Ez azonban nem lehetséges, hiszen maximum 0,7 lehet akkor, ha a és b kölcsönösen kizárja egymást. Ekkor biztos, hogy ez az ágens egy axiómákat alkalmazó ágenssel szemben mindig veszít. Tehát ha a tudásbázis nem konzisztens az axiómákkal, matematikailag bebizonyítható, hogy ekkor a játékot mindig elveszíti az ágens. Mivel aú b valószínűségét túlbecsüli az első ágens, ezért fogadunk arra, hogy Ø ( aú b), hiszen az első ágens ennek ellentétére fogad, és enged minket erre fogadni, 8:2 arányban. Ezt akkor látjuk, ha megnézzük a játék összes lehetséges kimenetelét, mert minden egyes esetben veszít az első ágens a kettessel szemben (a kettes tud úgy választani). Valószínűségi következtetések: A logika azt mutatja meg, tudásunknak mik a logikai következményei? A valószínűség azt mutatja meg, milyen hatása van egy adott kijelentés valószínűségére tudásunknak? Kiindulás a teljes együttes eloszlás, azaz elemi események valószínűségei (véletlen változók bármely értékkombinációja). Tehát következtetéseinket a teljes valószínűségi eloszlás alapján tesszük fel. Például tegyük fel, hogy egy Fogfájás, Lyuk, Beakadás tartomány teljes együttes eloszlása: fogfájás Ø fogfájás beakadás Ø beakadás beakadás Ø beakadás lyuk 0,108 0,012 0,072 0,008 Ø lyuk 0,016 0,064 0,144 0,576 Kérdés: az orvos észreveszi-e a lyukat? Ha a beakad igaz értéket kap, igen. Látható, hogy a teljes együttes eloszlás táblázatként írható fel, 3 db kétértékű valószínűségi változóval. Az összes lehetséges kombináció ekkor 8 db (2 3 ), egyszerű összegzéssel bármelyik állítás valószínűsége kiszámítható. Egy vagy több elemi kijelentés konjunkciója a marginális valószínűséget adja meg. Például lyukú fogfájás) = 0,108 + 0,012 + 0,072 + 0,008 + 0,016 + 0,064. Az első sor bejegyzéseinek összege például a lyuk feltétel nélküli (peremeloszlását) adja: lyuk) = 0,108+0,012+0,072+0,008 = 0,2. Ezt a folyamatot marginalizálásnak vagy kiátlagolásnak hívjuk, mert a Lyuk on kívüli változókat kiösszegezzük. Ez a folyamat az ún. marginális eloszlást adja meg. Ezen kiszámítási módszerek alapján egyszerűsítő jelölésmódot vezethetünk be: A) = å A,B), ahol A egy változó, vagy változók egy halmaza, és b az A-n kívüli változók b összes értéke. 5
A szorzatszabállyal ugyanez: A)=å A b)b). Itt annak a változónak a feltétel feletti b eloszlását kapjuk meg, amelyet tartalmazó együttes eloszlásokból kiátlagoljuk az összes többi változót a szorzatszabályban. Ennek neve: feltételfeloldás (conditioning). Például: lyuk fogfájás) = lyuk Ù fogfájás) / fogfájás) = (0,108 + 0,012) / (0,108 + 0,012 + 0,016 + 0,064) = 0,6 Eloszlásra ugyanez megadva: Lyuk fogfájás) = (1/fogfájás))*Lyuk,fogfájás) = (1/fogfájás)) * (0,12 ; 0,08) = α(0,12 ; 0,08) Megjegyzés: ha Lyuk,fogfájás) ismert, akkor 1/fogfájás) kiszámítható, mert Lyuk,fogfájás) 1-re összegződik. Ilyenkor gyakran csak α-t írunk, ami a normalizálási konstans. Általában: A b) = αa,b) = αå x A,b,x), ahol α: normalizálási konstans, b: ismert tények (kijelentések), x: azon változók összes lehetséges értéke, amelyeknek az értéke ismeretlen (ezekből képzett kijelentések), A: változó, érdeklődésük tárgya. Megjegyzés: ez az érték kiszámítható, ha a teljes együttes eloszlás ismert (például táblázatban adjuk meg). De a táblázat ordo(2 n ) méretű n változóra! Tehát összesen 2 n db elemi kijelentés lesz, ennek valószínűségét egyesével definiálnom kell. Hatékony reprezentáció és algoritmusok kellenek! Kérdés: hogyan lehet az eloszlást táblázat helyett jobban reprezentálni? A kulcsgondolat a függetlenség: Kétfajta függetlenségről beszélünk: 1. abszolút függetlenség (két véletlen változó független hatékonyan használható valószínűségi tábla redukálására), 2. feltételes függetlenség (finomabb módszer, további tömörítést tesz lehetővé). Ha veszek két véletlenszerű valószínűségi változót (pld. 1. fogfájás, 2. balkezes), azt gondolom, a kettő független egymástól. Az a kifejezés, hogy mekkora a valószínűsége annak, hogy valakinek fáj a foga, ha balkezes, értelmes. Ekkor a (fogfájás valószínűsége * balkezesség valószínűsége) művelet a standard módja a függetlenség kiszámításának. Például: fogfájásùbalkezes) = fogfájás)balkezes) 6
Ez inspirálja a definíciót: - a és b függetlenek akkor és csak akkor, ha aùb) = a)b), ahol a és b kijelentések, - A és B változók függetlenek akkor és csak akkor, ha A,B) = A) B). Ezzel ekvivalens definíciók: 1. A B)=A) ; 2. B A)=B). Ha változók egy halmaza felbontható független részhalmazokra, csökkenthető a teljes együttes eloszlás tárolási mérete. Ekkor minden részhalmazhoz elég az együttes eloszlás lokálisan, ezáltal sokszor nagy tömörítést érhetünk el. Például ha m+n változót m és n elemű halmazra bontunk, 2 m +2 n változó lesz 2 m+n helyett! Megjegyzés: ok és okozat nem egyezik meg a függetlenséggel! A függetlenség szimmetrikus, tehát két irányban áll fenn, ezáltal a függés is, az okság viszont nem (csak ok okozat felé áll fenn)! Például az időjárás okozhat fogfájást, tehát az idő és a fogfájás nem függetlenek (ilyen szempontból a tankönyv hibás, ott végig ez a példa van)! Persze elképzelhető, hogy adott valószínűségi változók halmaza egyáltalán nem tartalmaz függő párokat, azaz minden változó teljesen független az összes többi változótól. Erre jó példa lehet n kockadobás, ahol minden dobás független az összes többitől. A valószínűség-számításban ez előbbi a tipikus, a világban nem. Ezért a függetlenséget finomítani kell: feltételes függetlenségről beszélünk a továbbiakban. ( Ezen a ponton jött el az előadáson egy pihentető kérdés: Képzeljünk el egy olyan teljes, együttes eloszlást, amelybe véletlenszerűen írunk be számokat, figyelve, hogy az összegük 1 legyen. Függő vagy független valószínűségi változók lesznek? A válasz: Függőek lesznek. ) Lehet, hogy a és b általában nem függetlenek, viszont létezik c úgy, hogy aù b c) = a c)b c). Ekkor a és b kijelentések feltételesen függetlenek (c feltevésével), például akkor, ha a és b közös oka c. Például fogfájás és beakad nem függetlenek (lásd fogorvosi példa), de ha feltesszük, hogy van lyuk, akkor már igen. Általában A és B változó függetlenek, akkor és csak akkor, ha létezik C úgy, hogy A B,C) = A C)B C). A definícióval ekvivalens két másik definíció: A B,C) = A C) és B A,C) = B C). (Gyakorlatilag a definíciók ugyanazok lesznek, mint előbb, de minden formula után odatesszük, hogy feltesszük C-t.) Például ha tudjuk, hogy A és B függetlenek C feltevésével, akkor két táblázatot vehetünk fel, egyiket C, másikat ØC táblázattal, majd tárolhatjuk feltételes valószínűségeket. A két táblázat méretének összege kisebb lesz, mintha mindent tárolnék, hiszen mindenhol csak egyik változót kell néznem. A következő óra nagy részében ezeket a feltételes függetlenségi feltevésekkel foglalkozunk, hogy teljes együttes eloszlást lehető legtömörebb módra hozzunk. 7
Formalizálva ezt: x c) és x Ø c)-re is külön táblát írunk fel, és a szorzatszabállyal [aù b c) = aùbù c)c), stb] c)-t használva kijön bármely kijelentés valószínűsége. Például: aù bù c) = aùb c) c) = a c)b c)c), ahol az első egyenlőségnél a szorzatszabályt használtuk, a második egyenlőségnél a független c szerint kisebb táblázatokat hoztunk létre. Extrém eset: legyenek A, valamint B 1 B n valószínűségi változóink, amelyekre feltesszük, hogy P ( B 1... B n A) P ( B i A) - vagyis A-t feltéve B-k egymástól függetlenek. Ez a Õ = i naiv Bayes-modell alapja, amelynek segítségével exponenciális helyett lineáris tárigényt tudok kialakítani. Bayes-szabály: a b) b) Állítás: b a) = a) Bizonyítás: aùb) = a b)b) = b a)a) A B) B) Általában is: B A) =, ahol A és B véletlen változók halmaza A) (Motiváció: 1. Feltételes függetlenség kompakt reprezentációja használható. 2. A gyakorlatban sokszor a jobb oldalon lévő példák ismertek, míg a bal oldaliak nem.) A Bayes-szabály során az okból az okozatra következtető valószínűséget használjuk fel arra, hogy okozatból okra következtető valószínűséget kapjunk. Például A = Lyuk, B = fogfájás. Ekkor Fogfájás Lyuk) jól mérhető, és stabil: nem függ Lyuk)-tól. Például, ha Lyuk) változik, Lyuk fogfájás) várhatóan változik. Másik alakja (α normalizálási konstans használatával): B A) = αa B)B), itt α adódik az 1-re normalizálásból, de a teljes eloszlást ki kell hozzá számolni. Naiv Bayes-következtetés: é ù A B 1 B n )= a P ( B 1... Bn A) P ( A ) = aêõ B i A) ú A) ë i û Például A egy spam-email, B 1 B n pedig adott szavak előfordulása. Gyakorlati alkalmazás: Például spam-emailek szűrése. A naiv Bayes-következtetés során meg tudom nézni, hogy mi annak a valószínűsége, hogy pont B 1 B n szavakat látok az e-mailben, ha azt feltételezem, hogy a levél (A) egy spam. Feltételezhetjük, hogy a szótartalmazások függetlenek egy spam e-mailben, ez azonban nem igaz. A szavak függenek a többi szótól. Például gyógyszert reklámozó levélben a gyógyszerek nevének előfordulása gyakori. Szegeden a Bayes-módszer szerint minden angol nyelvű e-mail spamnek minősül! Eddig jutottunk el az előadáson, következő órán a Bayes-hálókkal kezdünk. 8