Komponensek keresése a megerősítéses tanulásban

Átírás

1 Eötvös Loránd Tudományegyetem Informatikai Kar Komponensek keresése a megerősítéses tanulásban Doktori értekezés Takács Bálint témavezető: Dr. habil. Lőrincz András tudományos főmunkatárs ELTE Információs Rendszerek Tanszék Informatikai Doktori Iskola Dr. Demetrovics János Információs Rendszerek alprogram Dr. Benczúr András Budapest, 2006.

2 Kivonat A megerősítéses tanulás szekvenciális döntési problémák megoldásával foglalkozik sztochasztikus környezetben. Dolgozatomban azt tanulmányozom, hogyan lehet elkerülni az ilyen módon irányított autonóm rendszerek (ágensek) állapotreprezentációjának kombinatorikus robbanását. Három lehetséges megközelítést veszek szemügyre: (1) a probléma valószínűségi struktúrájának egyszerűsítése úgy, hogy a közel-determinisztikus komponenseket leválasztjuk az állapottérben, (2) új mérőszámok bevezetésével a feladatokat időbeli megbízhatóság alapján széttördeljük, (3) valószínűségi értelemben független komponensek keresésével az állapottér reprezentációját az optimalizálandó költségfüggvényhez igazítjuk. A dolgozat lezárásaként numerikus szimulációkkal megvizsgálom a kutatócsoportunkban kidolgozott, független komponenseket és megerősítéses tanulást alkalmazó hippokampális modellt a biológiai kísérletekkel mutatott egyezés szempontjából.

3 Köszönetnyilvánítás Ph.D. tanulmányaimat az Eötvös Loránd Tudományegyetem Információs Rendszerek Tanszékén végeztem Dr. Lőrincz András irányításával. Köszönöm neki a sok-sok tanácsot, átadott tapasztalatot, amivel mind szakmai, mind emberi téren történő fejlődésemet segítette. Hálás vagyok munkatársaimnak: Szita Istvánnak, Dr. Szirtes Gábornak, Póczos Barnabásnak, Dr. Szatmáry Botondnak, Hévízi Györgynek és Szabó Zoltánnak, hogy közös munkáink során tudásuk legjavát nyújtva támogatták előrehaladásomat. Köszönöm nekik és a kutatócsoport többi tagjának is, hogy ilyen kellemes és családias légkörben dolgozhattam. Szeretném megköszönni a Pázmány-Eötvös Alapítványnak, a Neumann János Számítógép-tudományi Társaságnak, a Segítő Kommunikáció-módszertani Központnak, valamint az Eötvös Loránd Tudományegyetem Informatikai Karának a Ph.D. tanulmányaimhoz nyújtott anyagi támogatást. Köszönöm a szeretetet és a támogatást, amit szüleimtől és menyasszonyomtól, Beától kaptam. Budapest, május 30. Takács Bálint 2

4 Tartalomjegyzék Tartalomjegyzék 1 Bevezetés 3 1. Motiváció Optimális döntéshozatal sztochasztikus környezetben Markov döntési problémák Megerősítéses tanulás Tervezés A megerősítéses tanulás néhány problémája Komplexitás Az állapottér megváltozása Költségalapú reprezentáció Determinisztikus komponensek ǫ-markov döntési folyamatok Általánosított Markov döntési folyamatok Változó környezetek Általánosított ǫ-mdf-k Az értékiteráció aszimptotikus korlátja Q-learning általánosított ǫ-mdf-kben Eseménytanulás Eseménytanulás SDS kontrollerrel Térben tervezhető komponensek Tervezhető megerősítéses tanulás Szimulációk Visszavonuló tervezés Szimulációk Összehasonlítás más módszerekkel

5 TARTALOMJEGYZÉK 3. Megbízható komponensek Az epizódok hossza és a hossz szórása A célállapot elérésének valószínűsége A pontosan T lépés alatt bekövetkező siker esélye Az epizód átlagos hossza Az epizód hosszának varianciája Szimulációk Összehasonlítás más módszerekkel Független komponensek Független komponens analízis FKA a megerősítéses tanulásban Független folyamatok keresése Temporális független komponens analízis Független altér analízis Költségkomponens-analízis Biológiai vonatkozások A hippokampusz és az entorhinális kortex biológiája Felépítés Neurofiziológia és tüzelési térképek Feltételezett szerepek A hippokampális formáció rekonstrukciós modellje A modell rövid leírása Tüzelési térképek a modell szimulációiban Hippokampusz Entorhinális kortex felszíni rétegei Entorhinális kortex mély rétegei Neurális megerősítéses tanulás alkalmazása kontrollra Irodalomjegyzék 128 Összefoglaló 144 Summary 146 2

6 Bevezetés Doktori munkám során azt tanulmányoztam, hogyan lehet elkerülni az autonóm irányítású rendszerek (ágensek) állapotreprezentációjának kombinatorikus robbanását. A probléma nagyon röviden a következőképp fogalmazható meg. Egy autonóm rendszer döntéseihez a környezete által közvetített információkat használja fel. Ezeket az információkat a rendszeren belül általában egy sokdimenziós térben reprezentáljuk. Ezt a teret a dolgozatban reprezentációs térnek 1 fogom nevezni. Többféle oka van annak, hogy ilyen reprezentációkat keresünk. Egy roppant gyakorlati indok az, hogy a többdimenziós vektorterek elmélete alaposan kidolgozott, sok eljárásban alkalmazzák, így a reprezentáció többféle algoritmus, döntéshozatali rendszer bemenetét képezheti. Mélyebb indok, hogy az információk várakozásaink szerint a valódi világban végbemenő folyamatokat tükrözik, tehát azok az alapvetően lokális fizikának engedelmeskedő természetüknél fogva reprezentálhatók külön-külön. Ezeket a valódi világban előforduló objektumokat igyekszünk a reprezentációs tér dimenzióban elkülöníteni, tehát ilyenkor alulról felfelé haladva alakítjuk ki feldolgozó rendszerünket. Sok előnye van, ha reprezentációnk alkalmazkodik a valódi világban végbemenő folyamatokhoz: egyrészt biztosak lehetünk benne, hogy a lehető legkevesebb információt veszítjük el a reprezentáció megalkotása közben, másrészt pedig bízhatunk benne, hogy döntési problémánk megoldható úgy, hogy a valódi világbeli folyamatokkal külön-külön foglalkozunk. Ha egy konyhai vészhelyzetben elkülönítjük a zuhanó poharat az égő sütőtől, ak- 1 Angolul ennek talán a feature space kifejezést feleltethetjük meg, és így implicite azt is feltesszük, hogy ezt a reprezentációt egy előzetes transzformáció eredményeképp kaptuk meg. 3

7 BEVEZETÉS kor feltehetőleg könnyebb a problémát megoldani, mintha egyszerre akarnák mindkettővel foglalkozni. Ugyanakkor viszont az is világos, hogy a világban lezajló valódi folyamatokat általános esetben képtelenség közvetlenül modellezni azok bonyolultsága miatt. Ha pedig csak az együttes hatásukat ismerjük, akkor szinte lehetetlen a megfigyelt eredményből kitalálni azok paramétereit. Egy egyszerű zuhanó pohár is túl sok fizikai folyamat együttese ahhoz, hogy akár csak megközelítőleg pontosan reprezentálni (modellezni) lehessen. Közelítéseket kell tehát alkalmaznunk, de a valódi folyamatok közelítésével általában már nem tudjuk követni a valódi folyamatokat, és modellünk általában épp ott nem elég finom, ahol arra szükség lenne. Egy másik lehetőség, hogy felülről lefelé dolgozunk: a rendszer döntéseinek eredményéből kiindulva megpróbáljuk kitalálni, melyik reprezentáció lesz a leginkább hatékony egy probléma megoldásában. Az optimális döntést azonban minden lehetséges reprezentációhoz meg kell határoznunk, tehát problémánk komplexitása a reprezentációs tér dimenziójával exponenciálisan növekszik. Márpedig az információkat reprezentáló terünket fokozatosan bővítenünk kell ahhoz, hogy egyre kifinomultabb döntéseket tudjunk hozni. Ugyanakkor több megfigyelés-döntés ciklust nem tudunk végezni adott idő alatt, tehát az optimális reprezentációt a valódi problématérhez képest exponenciálisan csökkenő számú mintavételből kell felépítenünk. Ezt a problémát szokás a dimenziók átkának is nevezni a szakirodalomban (Bellman, 1961). Fogas problémával állunk tehát szemben, amire természetesen nincs is univerzális megoldás, hiszen egy döntési probléma akár valóban lehet exponenciális bonyolultságú is. Hogyan hanyagoljunk el úgy információkat, hogy pont azokat dobjuk ki, amelyekre az éppen fontos döntésekhez nincs szükség? Hogy alakítsuk ki úgy a reprezentációt, hogy ne kelljen minden új döntési helyzetben egy egészen újat kitalálni? Hogy tegyük mindezt úgy, hogy ne kelljen exponenciálisan nehéz problémákat megoldanunk? Mint biológiai lények, életünk során pontosan ilyen problémák tömegével nézünk szembe. Érzékszerveink adatok tömegével bombáznak minket, és ki kell találnunk, hogy melyik részét érdemes hasznosítani. Mégis meglepően hatékonyan oldjuk meg a feladatot. A kutatások azt mutatják, hogy az élőlények az arany középutat választották: alkalmaznak a világról alkotott modelleket 4

8 BEVEZETÉS és a döntéshozatal eredményei alapján is képesek megváltoztatni az információk reprezentációját. Például a látókéregben olyan sejteket találunk, amelyek a valódi világ statisztikus tulajdonságaihoz igazodnak, de ugyanakkor mindannyian ismerjük azokat az illúziókat is, amelyek egyértelműen bizonyítják, hogy várakozásaink módosítani képesek a valóságról alkotott reprezentációinkat. A kétféle megközelítés együttes alkalmazásánál azonban felmerül a kérdés, hogy hogyan lehetne ezeket hatékonyan összekapcsolni? Meddig építkezzünk alulról felfelé, és meddig fentről lefelé? Ebben a munkában azt javaslom, hogy a módszereket valamilyen kritérium szerint választott komponensek mentén kell összeilleszteni. A komponenseket a probléma valószínűségi struktúrája alapján igyekszem majd megtalálni. Az 1. fejezetben bemutatom a megerősítéses tanulást és annak néhány olyan problémáját, amikről a dolgozatban szó lesz. Ezután a komponensek elkülönítésére három lehetséges megközelítést veszek szemügyre. A 2. fejezetben egy olyan algoritmust mutatok be, ami az állapottér közel determinisztikus komponenseinek leválasztásával próbálkozik. A 3. fejezetben bemutatok egy eljárást, ami az időbeli megbízhatóság mérésén keresztül próbálja a feladatokat széttördelni, és erősen sztochasztikus problémákban is használható. A harmadik javasolt kritériumot a független elemekből álló reprezentáció megtalálása jelenti, amelyet a 4. fejezetben fogok kifejteni. A függetlenséget itt a legáltalánosabb, tér- és időbeli értelemben használom (tehát az elemek akár folyamatok is lehetnek). Bár nem egyértelmű, hogy a független folyamatokon végzett döntésoptimalizáció végezhető párhuzamos módon, a dolgozatban amellett érvelek majd, hogy egy hatékony döntéshozatali módszercsalád (a megerősítéses tanulás) esetében ez teljesül. Így a független folyamatok megtalálásával a reprezentáció várhatóan olyan elemekre esik szét, amelyeken külön-külön optimalizálhatunk megerősítéses tanulással. Azonban az további munka részét kell képezze, hogy pontosan miként lehet független folyamatok ilyen reprezentációját kialakítani. A dolgozat lezárásaként az 5. fejezetben numerikus szimulációkkal megvizsgálom a kutatócsoportunkban kidolgozott, független komponenseket és megerősítéses tanulást alkalmazó hippokampális modellt a biológiai kísérletekkel mutatott egyezés szempontjából. 5

9 1. fejezet Motiváció 1.1. Optimális döntéshozatal sztochasztikus környezetben A mesterséges intelligencia tanulási algoritmusainak létezik egy népszerű, bár időnként kicsit homályos osztályozása. Az egyik csoportba tartoznak az úgynevezett felügyelt tanulással működő algoritmusok. Ezeket az eljárásokat úgy szokás definiálni, hogy a tanulórendszer a tanulási fázisban minden lépésben, minden információt megkap arra nézve, milyen döntése lett volna helyes. A másik csoportot a felügyelő nélküli tanulással működő algoritmusok képezik: ebben az esetben az eljárás nem kap információt lépésenként arra nézve, milyen döntései eredményeznék most a legjobb eredményt, hanem ezt valamilyen szempont szerint magának kell kitalálnia. Azért nevezem ezt a felosztást homályosnak, mert hosszú távon természetesen a felügyelő nélküli tanítás is kap arra nézve információt, hogy milyen döntése eredményezi a számára legjobb célfüggvényt. A különbség talán inkább abban van, hogy mekkora szabadságot hagyunk a tanulórendszernek, hogy eldönthesse: mikor tekintse a feladatot megtanultnak, avagy sem. A felosztás más szempontból sem jelent élesen elkülöníthető határokat. A napjainkban népszerű megerősítéses tanulás (reinforcement learning, RL) összefoglaló névvel illetett algoritmuscsalád alapproblémája igazából a felosztás határterületére helyezhető. Ebben ez esetben a tanulórendszer nem marad teljesen felügyelet nélkül, hiszen minden lépésben kap egy visszajelzést, egy úgynevezett közvetlen jutalmat, de ugyanakkor arra nézve nem 6

10 1. FEJEZET. MOTIVÁCIÓ ágens állapot s t jutalom r t akció a t környezet 1.1. ábra. Egy Markov döntési folyamat modellje kap információt, hogy ezt a jutalmat pontosan melyik döntésének vagy netán döntéssorozatának köszönheti. Más szavakkal, rendszerünk döntéseit egy meglehetősen lusta felügyelő tartja szemmel, aki időnként valamilyen nagyon egyszerű visszajelzést (megerősítést) ad arra nézve, hogy általában nézve jól cselekedtünk-e avagy sem. Ezt a fajta tanítást szokás kritikus általi tanításnak is nevezni. A megerősítéses tanulás problémája a tanulórendszerek ügynök-környezet típusú tárgyalásának (Futó, 1999) egy lehetséges formalizációja, tehát szekvenciális döntési problémákkal foglalkozik. Két alapvető jellemzője különbözteti meg a klasszikus mesterséges intelligencia módszereitől. Az egyik egy kibővítés: ellentétben a klasszikus tanulórendszerek túlnyomó többségével, a megerősítéses tanulás problémájának matematikai megfogalmazása a kezdetektől fogva valószínűségi megközelítést alkalmaz. A másik egy megszorítás: általában feltesszük, hogy az állapot-átmeneti függvény és a cselekedeteinkért kapott jutalmazási függvény markovi, tehát kizárólag a jelenlegi állapottól (és az ott választott akciónktól) függ Markov döntési problémák A probléma matematikai kerete az 1.1. ábrán látható. Az ágens a t-edik lépésben egy a t A akció választásával kapcsolatba lép környezetével, amelytől egyrészt egy s t S állapotjelzőt, illetve egy r t R valós számmal kifejezett közvetlen jutalmat (vagy közvetlen költséget) kap. Az előző részben említett Markov-feltételezés azt jelenti, hogy 7

11 1. FEJEZET. MOTIVÁCIÓ p(s t+1 = s, r t+1 = r s t, a t, r t, s t 1, a t 1, r t 1,...,s 0, a 0, r 0 ) = = p(s t+1 = s, r t+1 = r s t, a t, r t ) (1.1.1) teljesül. A tárgyalt interakciót ezért röviden Markov döntési folyamatnak hívják (Puterman, 1994). Ha ez nem okoz problémát, elhagyhatjuk az időindexeket, és ha az ágens s állapotból a akció választásával s állapotba jut, akkor jelölje ezen átmenet valószínűségét P(s, a, s ) és az érte kapott közvetlen jutalom átlagos értékét R(s, a, s ) R. Ezen két mennyiség a döntési probléma szempontjából tökéletesen jellemzi az ilyen markovi környezetet. P egy s -n értelmezett valószínűség: s P(s, a, s ) = 1. Legyen R(s, a) := s P(s, a, s )R(s, a, s ), ami az s állapotban a akciót választva a várható közvetlen jutalmat jelöli. A döntéshozatali problémákban az a feladatunk, hogy valamilyen kritériumnak megfelelően meghatározzunk egy optimális viselkedést (akciósorozatot). A fenti keretben általában a diszkontált kumulált jutalmat próbáljuk optimalizálni, ami a t=0 γt r t mennyiség várható értéke. Itt 0 γ < 1 a diszkontálási faktor, ami azt határozza meg, hogy ágensünk mennyire előrelátó, milyen messzi időhorizontot vesz figyelembe döntései meghozatalánál. Ha γ = 0, az ágens csak egyetlen lépésre előre próbálja a jutalmait optimalizálni, ha γ = 1, akkor az összes várható jutalomra optimalizál. Ez utóbbi esetnek csak akkor van garantáltan értelme, ha a cselekvéssorozat véges időn belül befejeződik (azaz a probléma epizodikus jellegű). A diszkontálás alkalmazásának előnye, hogy a végtelen horizontú esetek is tárgyalhatók. Az ágens feladata egy olyan politika kifejlesztése, ami a cselekvései közvetlen jutalmát egy időtartamra nézve maximalizálja (vagy költségeit minimalizálja), tehát ami várható értékben a maximális diszkontált kumulált jutalmat eredményezi. A politika egy π(s, a) : S A [0..1] függvény, amelyre a π(s, a) = 1. A tárgyalásmódban tehát megengedjük a sztochasztikus politikákat is. A fentiekben definiált S, A, R, P négyest (véges) Markov döntési folyamatnak hívjuk. A definíció, bár teljesen formális, elég szabad ahhoz, hogy nagyon sok valódi probléma beleférjen a kereteibe. Például minden klasszikus newtoni fizikával modellezett rendszer markovi abban az értelemben, hogy a rendszert minden időpillanatban tökéletesen leírja az állapottérbeli pozí- 8

12 1. FEJEZET. MOTIVÁCIÓ ciója és sebessége. Ezt a két változót állapotjelzőnek választva elméletben bármilyen fizikai rendszer kontrolljának problémája megfogalmazható ebben a keretben Megerősítéses tanulás Az elmúlt két évtizedben az optimális politika meghatározására rengeteg algoritmust fejlesztettek ki. Ebben a rövid összefoglalóban a dolgozat könnyebb érthetősége végett röviden áttekintem a megerősítéses tanulás alapvető eljárásainak működési elvét, de nem célom azok kimerítő ismertetése. Az érdeklődő további részletekért a szakirodalomhoz fordulhat (Sutton és Barto, 1998). Az algoritmusok többsége az úgynevezett értékelőfüggvény alapú megoldást használja (Bellman, 1957). Sok ilyen elven működő algoritmusról sikerült megmutatni, hogy bizonyos technikai feltételek teljesítése esetén az optimális politikához konvergálnak (Singh és mtsai, 2000). Ezek a módszerek először az úgynevezett optimális értékelőfüggvényt határozzák meg, ami egy V (s) : S R függvény. A függvény értéke adott s állapotban a várható kumulált diszkontált jutalmat approximálja, feltéve, hogy a kezdőállapot s és a π politikát követjük (tehát egy V (s) értékelőfüggvény mindig függ egy politikától, amely függést nem fogok külön feltüntetni, ha ez nem okoz félreértést). Az optimális értékelőfüggvény minden s S állapotban kielégíti a következő, Bellman-egyenlet néven ismert fixpontegyenletet (Bellman, 1957): V (s) = max P(s, a, s ) (R(s, a, s ) + γv (s )). (1.1.2) a s Ennek az egyenletnek γ < 1 esetén egyetlen V megoldása van, amelyet iteratív módszerrel approximálni lehet: V t+1 (s) = max P(s, a, s ) (R(s, a, s ) + γv t (s )). (1.1.3) a s Ezt az eljárást érték-iterációnak nevezzük. Az alkalmazhatóság mélyebb oka az, hogy a Bellman-egyenlet megfogalmazható a következő operátor segítségével: 9

13 1. FEJEZET. MOTIVÁCIÓ [TV ](s) = max P(s, a, s ) (R(s, a, s ) + γv (s )), (1.1.4) a s és T-ről belátható, hogy max-normában kontraktív, így V ezen operátor fixpontja. Egy másik, hasonló, de a kontroll szempontjából hasznosabb függvény a Q(s, a) állapot-akció értékelő függvény. Ez egy s állapotban megadja egy a akció választása esetén várható kumulált diszkontált jutalmat, feltéve, hogy onnantól az optimális politikát követjük. Az állapot-akció értékelő függvény a következő egyenletet elégíti ki: Q (s, a) = ( P(s, a, s ) s R(s, a, s ) + γ max b ) Q (s, b). (1.1.5) Kiszámítása az egyenlethez hasonlóan dinamikus programozással történhet. Bebizonyítható, hogy az optimális politika az optimális értékelőfüggvényre nézve mohó politika (Sutton és Barto, 1998). Egy értékelőfüggvényre nézve mohó politika alatt azt értjük, hogy minden lépésben azt az akciót választjuk, ami a legnagyobb értékű állapotot eredményezi. Ez egy újabb iteratív eljárást eredményez: minden lépésben határozzuk meg az aktuális politikához tartozó értékelőfüggvényt, majd határozzuk meg a hozzá tartozó mohó politikát, ezt értékeljük ki újra, és így tovább. A kapott algoritmust politika-iterációnak hívjuk. Belátható, hogy az iterált politika mindig javít az értékelőfüggvényen, így az eljárás az optimális megoldáshoz konvergál (Sutton és Barto, 1998). Ha a környezet modelljét (azaz az R és a P mennyiségeket) nem ismerjük, illetve az állapottér túl nagy ahhoz, hogy közvetlenül megoldjuk az egyenletet, mintavételi eljárásokhoz folyamodhatunk. A teljesség igénye nélkül megemlítek két ilyen algoritmust. Az egyik Q-learning elnevezést kapta (Watkins, 1989), és a következő iterációt használja: ) Q t+1 (s t, a t ) = (1 α t )Q t (s t, a t ) + α t (r t + γ max Q t(s t+1, a), (1.1.6) a A ahol s t a rendszer állapota, a t a választott akció, r t pedig a közvetlen jutalom a t-edik időpillanatban. 0 α t 1 az úgynevezett tanulási együttható. 10

14 1. FEJEZET. MOTIVÁCIÓ A mintavételező eljárásokban roppant fontossá válik a mintavétel közben követett politika megválasztása a mintavétel kiegyensúlyozottságának fenntartása miatt. A mohó politika például nem alkalmas ilyen választásra, mert a konvergencia-tételek megkövetelik, hogy minden állapotban minden akciót pozitív valószínűséggel válasszuk. A legegyszerűbb megoldás egy olyan politika alkalmazása, ami valamilyen kicsiny ǫ valószínűséggel véletlen akciót választ, de egyébként a mohó politikát követi. Ezt a politikát hívjuk ǫ-mohó politikának. A tanulási együttható (α) beállításával meghatározhatjuk, hogy az állapotok kiértékelése közben milyen gyorsan felejtse el a rendszer a korábbi mintavételeket. Ha lim t α t = 0 teljesül, valamint t α t divergens, de t α2 t konvergens, és minden Q(s, a) végtelen sokszor frissítődik, akkor Q t Q -hoz konvergál 1 valószínűséggel (Singh és mtsai, 2000). Egy másik alapvető mintavételező módszer neve SARSA. Tanulási szabálya az egyenlethez hasonló: Q t+1 (s t, a t ) = (1 α t )Q t (s t, a t ) + α t (r t + γq t (s t+1, a t+1 )), (1.1.7) ahol a t + 1-edik időpillanat felel meg az épp aktuálisnak. A SARSA algoritmus a Q-learning algoritmusával megegyező feltételek mellett konvergens. A két algoritmus elsősorban abban különbözik, hogy a SARSA ún. on-policy, politikafüggő algoritmus, tehát a követett politikát értékeli ki, míg a Q-learning off-policy eljárás, tehát elméletben nem függ az explorációs politikától, hanem mindig az optimális (mohó) politikát értékeli. A teljességhez persze hozzátartozik, hogy a Q-learning konvergenciája is igényli, hogy a mintavételezés közben követett politika minden állapotban véges valószínűséggel válasszon minden lehetséges akciót Tervezés A megerősítéses tanulás igen nagy számú tapasztalat begyűjtését igényli ahhoz, hogy jó politikát kapjunk, mert a konvergenciához elméletben minden állapotban végtelen sokszor ki kell próbálnunk minden lehetséges akciót. A tapasztalatok begyűjtése azonban a gyakorlati problémák esetében többnyire 11

15 1. FEJEZET. MOTIVÁCIÓ a legköltségesebb részét jelentik a feladatnak. Emellett lehetnek olyannyira rossz döntéseink is az exploráció során, amiket jó lenne minél kevesebbszer kipróbálni. A megerősítéses tanulás alapvető algoritmusai csak a környezettel történő nagyszámú interakció árán képesek megtanulni a probléma egy közelítő megoldását. Ez csak abban az esetben teljesíthető, ha az interakció és a környezet felfedezése nem jelent elviselhetetlen költségeket. A probléma megoldása a megerősítéses tanulás tervezéssel történő kiegészítése. A Markov döntési folyamatok fogalomrendszerében a tervezés azt jelenti, hogy valamilyen módszerrel (közelítő) modellel kell rendelkeznünk a környezetről (például a tapasztalatok alapján elkészítünk egy ilyet), amellyel környezeti interakciók nélkül kiszámítunk egy (közelítő) optimális politikát. Az egyenlet például alkalmas ilyen tervezési feladatra, amennyiben ismerjük a P és az R függvényeket, azaz a környezet modelljét. Ha ez nem teljesül, továbbra is tapasztalatokat kell gyűjtenünk ahhoz, hogy mintavételezhessük ezeket a függvényeket. Problémát jelent, hogy az ilyen off-line tervezés nagy számításigénnyel bírhat: egyetlen, az egyenlettel végzett értékelőfüggvény-frissítés a teljes állapottéren O( S 2 ) lépést igényel, amelyet igen sokszor kell elvégeznünk. A számításigény problémájának megoldására több megoldást javasoltak (Moore és Atkeson, 1993; Barto és mtsai, 1995). Még nagyobb gondot jelenthet azonban az, ha a modell kezdetben nem áll rendelkezésre. A megoldást a környezettel történt interakciókban rejlő információk minél ügyesebb kihasználása jelenti, mert a tanulási folyamat során gyűjtött tapasztalat túlságosan értékes ahhoz, hogy csak egyetlen egyszer használjuk fel egyetlen állapotérték javítására. Az egyik legáltalánosabban használt ilyen kiterjesztés a Dyna nevet kapta (Sutton és Barto, 1998). Ebben az eljárásban a tapasztalatokat arra is felhasználjuk, hogy a környezetről modellt építsünk. A modell szerkezete például megfelelhet a Markov döntési problémának. A környezettel történő valódi interakció mellett ezzel a modellel szimulált tapasztalatokat tudunk gyűjteni, tehát minden lépésben a valódi interakció mellett a modellből is nyerünk állapot-átmeneteket a hozzá tartozó jutalommal. Ezzel a környezettel szükséges interakciók száma nagyságrendekkel csökkenthető, a frissítések a környezet modellel rendelkező részein történnek, így várhatóan a számítási bonyolultságot is csökkentik, emellett a rendszer gyorsabban tud alkalmazkodni a megváltozó R, P függvényekhez is. 12

16 1. FEJEZET. MOTIVÁCIÓ A valódi és szimulált tapasztalatok arányának megfelelő beállításával a Dyna képes arra, hogy akkor is viszonylag jól működjön, ha a valódi tapasztalatok begyűjtése nem túlságosan drága. A megerősítéses tanulás alapvető algoritmusainak részletes összefoglalóját Sutton és Barto (1998) könyvében találhatjuk meg A megerősítéses tanulás néhány problémája Komplexitás Az elméleti eredmények ellenére a megerősítéses tanulás gyakorlati esetekben sok problémával küzd. A legnagyobb probléma a bevezetőben is említett kombinatorikus robbanás, amely jelentkezik a reprezentáló elemek számának növelésével az S állapottér méretében; a lehetséges elemi akciók számának növekedésével az A akciótér méretében; a probléma időbeli dimenziójának kiterjedésével a lehetséges akciók sorrendjének kombinációiban. Az értékelőfüggvényt look-up táblákban tároló klasszikus implementációk esetén a mai számítógépek kb állapotnál nagyobb terű problémák esetében tárbeli és időbeli komplexitási gondokkal néznek szembe. Multiágens rendszerek esetén a probléma bizonyítottan kezelhetetlen: az ilyen rendszerek egy lehetséges matematikai modellje a decentralizált részlegesen megfigyelt Markov-döntési folyamatok, amelyek NEXP-teljesek, tehát jóval nehezebbek egy NP-teljes problémánál is (Bernstein és mtsai, 2002). A komplexitást számos módszerrel igyekeznek csökkenteni. Az alábbiakban a teljesség igénye nélkül, röviden összefoglalom a fontosabb megközelítéseket. Legegyszerűbben közelítő eljárások alkalmazásával csökkenthetjük a probléma bonyolultságát. A legnépszerűbb az, hogy a kiszámolt állapot-értékelő függvényt nem táblázatokban tároljuk, hanem valamilyen függvényapproximátorral közelítjük. Ha az állapot és akciótér nem diszkrét, a közelítések alkalmazása többnyire amúgy is elkerülhetetlen. A legegyszerűbbek a lineáris 13

17 1. FEJEZET. MOTIVÁCIÓ függvényapproximátorok, ahol az értékelőfüggvény a reprezentáció elemeinek valamilyen lineáris kombinációja: ˆV t (s) = Θ T t Φ(s), (1.2.1) ahol Θ t a paramétervektor a t-edik időpillanatban, Φ(s) pedig a reprezentáló elemek vektora az s állapotban. A feladat a paramétervektor beállítása úgy, hogy ˆV valamilyen szempont (többnyire négyzetes hiba) szerint közelítse V -ot. Ezt a gyakorlatban a Θt V t (s) gradiens mentén szokás változtatni a visszaterjesztett hiba (a becsült állapotérték és az állapotértékre vonatkozó új becslés) arányában. A lineáris függvényapproximátorokkal kiegészítve az alapvető algoritmusok konvergensek és közelítőleg helyes megoldást adnak, de off-line sampling (így például tervezés) esetén előfordulhat divergencia (Tsitsiklis és Van Roy, 1996). Egy másik lehetőség a létező eljárások kibővítése ad-hoc módszerekkel, amelyek elősegítik a komplexitás csökkenését. Az előző részben említettem a prioritizált frissítést, amely az állapottér frissítéseinek számát igyekszik csökkenteni a dinamikus programozást használó módszerek esetében (mint pl. a Dyna). Az irodalomban előforduló megoldásokban vagy az állapotok értéke alapján választjuk ki a frissítendő átmeneteket (Moore és Atkeson, 1993), vagy a jelenlegi állapottól vett távolság, illetve bizonyos esetekben az értékelés hibája alapján (Peng és Williams, 1993). A prioritizált frissítés drasztikusan felgyorsíthatja a tervezést. Népszerű az ún. felelősségnyomok 1 módszere (Sutton, 1988; Singh és Sutton, 1996), amely nagyságrendekkel gyorsabb konvergenciát eredményezhet. Ebben a módszerben nyilvántartjuk, hogy az aktuális állapotba milyen állapotokon keresztül jutottunk el, és ennek megfelelően az előző állapotok mennyire tekinthetők felelősnek a jelenleg kapott közvetlen jutalomért (illetve az értékelőfüggvény aktuális hibájáért). Az értékeket ezután minden lépésben az így meghatározott felelősség arányában frissítjük minden előzőleg bejárt állapotra nézve. Ma már nem nagyon létezik olyan megerősítéses tanulás implementáció, amely nem használna ilyen segítő eljárásokat működés közben, de ezek gyakorlati haszna mindig az adott feladat struktúrájától függ és általában sem- 1 Az angol nyelvű szakirodalomban eligibility traces. 14

18 1. FEJEZET. MOTIVÁCIÓ milyen elméleti becsléssel nem rendelkezünk a várható hasznukra nézve. Egy harmadik lehetséges elméleti irány olyan algoritmusok kidolgozása, amelyekről bizonyítható, hogy képesek a problémát viszonylag gyorsan megoldani. Bizonyíthatóan polinomiális korlátokat ad több közelítő algoritmus (Kearns és Singh, 1998; Brafman és Tennenholtz, 2001). Ezek az eljárások elméleti sikereik ellenére nem igazán nyertek még teret eddig alkalmazásokban. Hasonló kiterjesztésekről lesz szó a 4. fejezetben. A problémát kicsit más oldalról megközelítve megkérdezhetjük, hogy tulajdonképpen miért is lép fel a fejezet elején bemutatott kombinatorikus robbanás? Ha megnézzük a felsorolást, láthatjuk, hogy ahhoz, hogy egy feladatot a megerősítéses tanulás keretében megfogalmazzunk, döntéseket kell hoznuk a reprezentáció módjáról. Az állapottér megválasztása nyilvánvaló példa erre, de például a feladatban megadunk egy időlépést is, ami az akciókat és azok környezetre gyakorolt hatását szükségszerűen ütemekre osztja. A megerősítéses tanulás semmit sem mond a reprezentáció megválasztásának mikéntjéről, azon kívül, hogy az Markov-feltevés lehetőleg teljesüljön. Az optimalizációt a választásainkból származó megtapasztalható állapotok és a választható akciók terén próbáljuk majd végrehajtani. Világos, hogy a probléma komplexitását nem kizárólag az fogja meghatározni, hogy miként tudjuk az optimalizáció algoritmikus részét hatékonyan végrehajtani, hanem főleg az, hogy hogyan definiáltuk a feladat elemeit. A feladathoz nem illeszkedő reprezentáció komplex megoldást fog igényelni. Ha például a cél az, hogy jussunk el a repülőtérre, a tervezési feladatot nem érdemes az izommozgások szintjén elkezdeni, hanem inkább a közlekedési csomópontok közötti útvonallal érdemes foglalkozni (persze ez csak akkor járható út, ha van olyan akciónk is, hogy juss el Kőbánya-Kispestre ). Ha a feladat az, hogy gépeljünk, a szaglási információkat nem érdemes belevenni az állapottérbe. Minden ilyen rossz választás exponenciális ütemben fogja növelni a probléma bonyolultságát. Tulajdonképpen azt is mondhatjuk, hogy a kombinatorikus robbanás elkerülésének leghatékonyabb módja az, ha ezeket a reprezentációkat ügyesen választjuk meg. Az időbeli felosztásból adódó problémák egy lehetséges megoldása az ún. makró-akciók használata, illetve ehhez kapcsolódóan a tanulás és akciókiválasztás hierarchikus rendszerbe történő szervezése. A makrók azaz ak- 15

19 1. FEJEZET. MOTIVÁCIÓ ciók fix sorozatai tulajdonképpen alfeladatokat definiálnak (pl. menj az ajtóhoz ), és képesek felgyorsítani a kiértékelést (Hauskrecht és mtsai, 1998; Precup és mtsai, 1998; McGovern és Sutton, 1998). A különböző makrók használata tulajdonképpen részproblémák megoldására töri szét a feladatot. A fő probléma ezzel a megközelítéssel az, hogy a makrók kitalálása önmagában is egy reprezentációs problémát jelent, amelyet nem triviális kidolgozni. A makrókat (1) le kell gyártani, majd (2) ki kell értékelni. Az utóbbi történhet a makrókra vonatkozó értékelőfüggvények kiszámításával, de az első problémára nem létezik igazán jó megoldás. A kézzel történő bedrótozás mellett (Kaelbling, 1993; Kalmár és mtsai, 1998) történtek próbálkozások azok automatikus generálására is (Dietterich, 2000). Ezek általában valamilyen heurisztika alapján alap-akciókból összetett makrókat készítenek, amelyeket utána ki kell értékelni. Ez esetben rengeteg használhatatlan makró is keletkezik, amelyek a kitűzött céllal ellentétben épphogy lassíthatják a tanulást, mert egy rossz makró alkalmazása egy nagy lépést jelent egy rossz irányba (McGovern és Sutton, 1998; Kalmár és Szepesvári, 1999). Szorosan ide tartoznak a hierarchikus megerősítéses tanulás kialakítására tett kísérletek is, amely terület egy összefoglalóját adja Barto és Mahadevan (2003) Az állapottér megváltozása A megerősítéses tanulás modellje alapvetően statikus valószínűségi struktúrát tételez fel. Bár az algoritmusok lehetnek alkalmazkodóképesek abban az értelemben, hogy a tanulási rátákat nullától különbözőnek hagyva folyamatosan átértékelik az állapotaikat egy változó valószínűségekkel és jutalmakkal adott környezetben, ezekre az esetekre értelemszerűen nem érvényesek a konvergenciára vonatkozó tételek. Emellett rossz taktika lenne egy kiértékelt, kioptimalizált, már kidolgozott modellel rendelkező környezetről szerzett tudás teljes eldobása. Az átmeneti valószínűségekben történt változások nem mindig a környezetben rejlő változásokat tükrözik, hanem jelezhetik magának az egész környezetnek a lecserélődését. A megerősítéses tanulás algoritmusai ezt önmagukban nem képesek felismerni. Példa lehet erre az az eset, amikor egy takarítórobotot új helységbe helyeznek. Természetesen lehetséges a probléma kiterjesztése olyan nagy állapotterekre, amely így magában foglalja az összes 16

20 1. FEJEZET. MOTIVÁCIÓ lehetséges szobát, de ez ismét komplexitási problémához vezet. Ezt a tanulás kontextusának felismerésével lehet elkerülni, azaz melyek azok a részei a problémának, amelyeket érdemes kioptimalizálni, és melyek azok, amelyek elég ritkán változnak meg ahhoz, hogy azokat címkézni érdemes. Egy lehetséges választ erre a problémára a 2. fejezetben fogok bemutatni. Az utolsó fejezetben ismertetett modell is nyújt egy lehetőséget a kontextus felismerésére, amelyre ebben a dolgozatban nem fogok kitérni (Lőrincz és mtsai, 2001b) Költségalapú reprezentáció A reprezentáció megválasztása, mint láttuk, lényeges kérdés lehet a probléma komplexitásának csökkentésénél. A megoldandó feladat viszont nem az alacsony komplexitás, hanem a maximális diszkontált jutalom gyűjtése: az előbbi csak technikai szempontból lehetővé teszi az utóbbi megoldását. Érdekes kérdés, hogy lehetséges-e a reprezentációt egy olyan szempont alapján kiválasztani, ami valamilyen értelemben akár közvetlenül, akár az algoritmusok segítésével az összegyűjtött jutalmat maximalizálja. Természetesen ha egy probléma valóban Markov döntési folyamat, és sikerült az állapotról rendelkezésre álló összes adatot összegyűjtenünk a reprezentációban, akkor a komplexitási kérdések (gyors tanulás, kis tárigény) optimális kezelésén kívül mást nem várhatunk a reprezentációtól. Sokkal valószínűbb azonban az a helyzet, hogy a reprezentáció csak részben tudja teljesíteni a Markov feltételt, mert nincs elegendő erőforrása a valódi állapotok teljes követésére. Például a newtoni fizikai világ Markov folyamat, és elméletben teljesen megfigyelhető. Egy korlátozott erőforrásokkal rendelkező ágens azonban mindig csak valamilyen részét képes megfigyelni, és időnként döntenie kell, melyik külső folyamatra összpontosítja szenzorait. Valójában tehát többnyire egy részlegesen megfigyelt Markov döntési folyamattal állunk szemben: ebben az esetben a valódi állapotokat nem, csak azok valamilyen (esetleg sztochasztikus) függvényét tudjuk megfigyelni. Számos közelítő algoritmust dolgoztak ki a probléma megoldására (Lovejoy, 1991; Kaelbling és mtsai, 1996), de jelenleg az az általános a vélemény, hogy a részleges megfigyelhetőséget közvetlenül figyelembe vevő modellek komplexitási szempont- 17

21 1. FEJEZET. MOTIVÁCIÓ ból elméletileg is kezelhetetlenek (Bernstein és mtsai, 2002; Madani és mtsai, 2003). Bár a matematikai feltételek általában megkövetelik a Markov feltétel teljesülését a kiegyensúlyozott mintavétel miatt, a részleges megfigyelhetőség az algoritmusaink számára gyakorlatban általában nem okoz problémát. A részlegesen megfigyelt külvilág természetesen sztochasztikusabbnak tűnő viselkedést fog mutatni, de ez belefér a megerősítéses tanulás fogalmi keretébe. A reprezentáció megfelelő megválasztásával sokat tehetünk azért, hogy javítsunk a megfigyelhetőségen. Azonban korlátozott erőforrások mellett általában el kell döntenünk, hogy a lehetséges reprezentációk közül melyiket válasszuk. Itt többféle célt követhetünk. Megkövetelhetjük a Markov-feltétel minél pontosabb teljesülését. Ezt azonban nehéz mérni és sosem lehetünk benne biztosak, hogy egy megfigyelésen érdemes-e javítani, vagy valóban sztochasztikus a háttérben zajló folyamat. Érdekesebbnek tűnik az a megoldás, hogy megpróbáljuk közvetlenül a megerősítéses tanulás célját követni a reprezentáció megválasztásánál, azaz olyan reprezentációt találni, ami a legalkalmasabb a maximális jutalmak (vagy minimális költségek) feladatának elérésére. Erre jelenleg nem ismert univerzális megoldás. Egy, a kutatócsoportunkban kidolgozott lehetséges megközelítést a 4. fejezetben fogok bemutatni. 18

22 2. fejezet Determinisztikus komponensek Az előző fejezet végén megfogalmazott kérdések igen általánosak és mélyek, és nem várhatjuk azt, hogy univerzális módszereket sikerül alkotni, amelyek maradéktalanul megoldják azokat. Megkereshetjük viszont a feladatok olyan részhalmazait, amelyeken közelítő eljárások alkalmazásával bizonyíthatóan jó eredményeket kaphatunk, illetve megpróbálhatunk olyan új módszereket kidolgozni, amelyek a feladat széttördelésével segítik a komplexitás és a reprezentáció megválasztása körül felmerülő problémákat, tehát megpróbálunk jó komponenseket keresni a problémához. Ebben és a következő fejezetekben bemutatok néhány ilyen komponenskereső eljárást ǫ-markov döntési folyamatok Az alfejezetben említett probléma, tehát a változó környezet problémája esetében a legelső lépés, hogy megpróbáljuk megvizsgálni, milyen környezeti változásokkal képes a megerősítéses tanulás önmagában megbirkózni. Ehhez bevezetem az ǫ-markov döntési folyamat (ǫ-mdf) fogalmát és bemutatom azokat a tételeket, amelyek az ilyen problémákra a megerősítéses tanulás egyik alapalgoritmusának, a Q-learning (1.1.6) konvergenciáját illetve optimum-közeli eredményét igazolják. Az ǫ-mdf-ok bevezetésének értelmét az adja, hogy egyrészt a megerősítéses tanulás így könnyen kiegészíthetővé válik egy kontrollerrel, másrészt egyszerűsíthetjük a probléma szerkezetét, amire a fejezetben fogok példát mutatni. Az ǫ-mdf az ǫ-stacioner MDF-ek (Kalmár és mtsai, 1998) egy általánosí- 19

23 2. FEJEZET. DETERMINISZTIKUS KOMPONENSEK tásának tekinthető. Ebben a modellben a környezet számára engedett, hogy időben változzon, egyedül arra van szükség, hogy a változások egy adott korlát (azaz egy kis ǫ határ) alatt maradjanak. Ebben az esetben nem kereshetjük meg az optimális politikát, ami lehetséges, hogy nem is létezik. Ugyanakkor belátható, hogy ha egy, az optimális értékelőfüggvényt közelítő algoritmus konvergál az eredeti MDF keretben, akkor a megfelelő ǫ-mdf modellben kapott közelítő értékelőfüggvény és az optimális értékelőfüggvény távolsága korlátos, és a korlát arányos ǫ-nal Általánosított Markov döntési folyamatok Szepesvári és Littman (1996) munkája egy, az modellnél általánosabb modellt vezet be a Markov döntési folyamatokra. Ez azt használja ki, hogy a s P(s, a, s )... művelet (azaz a várható érték kiszámítása az átmeneti valószínűségekre véve) a környezet hatását, míg a max a... művelet az optimálisan viselkedő ágens hatását írja le (azaz a legnagyobb várható értékkel kecsegtető akció kiválasztását). Ha ezt a két műveletet kicserélhetővé tesszük, más jól ismert modelleket is meg tudunk fogalmazni az MDF keretben Definíció. Egy általánosított MDF-et definiál a S, A, R,, ötös, ahol S, A és R az alfejezetben definiáltakkal megegyezik, : (S A S R) (S A R) egy várható-érték típusú operátor és : (S A R) (S R) egy maximalizáció-típusú operátor. Például ( S)(s, a) = s P(s, a, s )S(s, a, s ) és ( Q)(s) = max a Q(s, a) (ahol S : (S A S) R és Q : (S A) R) beállításokkal visszakapjuk a klasszikus várható jutalommal dolgozó MDF modellt. A feladat az, hogy megkeressük azt a V függvényt,ami kielégíti az absztrakt Bellman-egyenleteket: V (s) = (R(s, a, s ) + γv (s )), minden s S esetében. Vagy még rövidebben: V = (R + γv ). 20

24 2. FEJEZET. DETERMINISZTIKUS KOMPONENSEK Ha 0 γ < 1 teljesül és sem, sem nem expanzív, akkor a V optimális megoldás létezik és egyértelmű. Az általánosított MDF modell nagy előnye, hogy sokféle más modell megfogalmazható a keretében, például a Markov-játékok (Littman, 1994), az alteráló Markov-játékok (Boyan, 1992), a diszkontált várható jutalommal foglalkozó MDF-ek (Watkins és Dayan, 1992), a kockázat-érzékeny MDF-ek (Heger, 1994) vagy az exploráció-érzékeny MDF-ek (John, 1994). Az általánosított MDF-ekben megfogalmazható a Q-learninghez hasonló általánosított algoritmus, valamint a konvergencia is bizonyítható. Ha csak azokra az esetekre szorítkozunk, ahol a operátor a várható-érték operátor, azaz ( g)(s, a) = s P(s, a, s )g(s, a, s ), akkor egyenlet mintájára az általánosított eset a következő: Q t+1 (s t, a t ) = (1 α t (s t, a t ))Q t (s t, a t )+α t (s t, a t )(r t +γ( Q t )(s t)), (2.1.1) ahol s t a jelenlegi állapot, a t a kiválasztott akció, s t a következő állapot, r t a begyűjtött közvetlen jutalom és α t (s, a) a tanulási ráta (itt az állapottól és az akciótól is függővé tettük). Az optimális Q állapot-akció értékelő függvényre Q = (R + γv ) teljesül, ahol Q a K operátor fixpontja, amelyet a következőképp definiálunk: KQ = (R + γ Q). (2.1.2) A frissítésekre vonatkozó megfelelő feltételek és a tanulási paraméterekre tett feltételek mellett bizonyítható, hogy ez a Q-learning algoritmus az optimálishoz konvergál (Szepesvári és Littman, 1996) Változó környezetek Definíció. Egy P és egy P átmeneti függvény távolsága ǫ-kicsi, ha P(s, a,.) P (s, a,.) L1 ǫ minden (s, a)-ra, vagy másképp, s P(s, a, s ) P (s, a, s ) ǫ minden (s, a)-ra Definíció. A S, A, {P t }, R ötöst ǫ-stacioner MDF-nek nevezzük (Kalmár és mtsai, 1998), ha ǫ > 0 és létezik S, A, P, R kiinduló MDF úgy, hogy P és P t távolsága ǫ-kicsi minden t = 1, 2, 3,...-re. 21

25 2. FEJEZET. DETERMINISZTIKUS KOMPONENSEK A legegyszerűbb példa ǫ-mdf-re egy közönséges MDF, aminek az átmeneti valószínűségeire egy additív zaj rakódik minden lépésben, azaz ahol δ egy kis zaj. P (s, a, s ) = P(s, a, s ) + δ, Az ǫ-stacioner MDF-ekben is megadható a dinamikus programozás operátor az egyenlethez hasonlóan: [T t V ](s) = max a P t (s, a, s ) (R(s, a, s ) + γv (s )). (2.1.3) y Természetesen a V t+1 = T t V t iterációnak nem feltétlen van fixpontja. Legfeljebb az optimális értékelőfüggvény egy jó approximációjában reménykedhetünk, azaz hogy találunk egy ˆV függvényt úgy, hogy ˆV V < ǫ valamilyen ǫ > 0 mellett. Itt. a max-normát jelöli Általánosított ǫ-mdf-k A közönséges MDF-ekhez hasonlóan az ǫ-stacioner MDF-ek is általánosíthatók környezeti és ágens-operátorokra. A kapott modell mindkét megközelítés előnyeit egyesíti, azaz sokféle modellt képes tárgyalni változó környezetek esetén is Definíció. Adott ǫ > 0-hoz tartozó általánosított ǫ-mdf-nek vagy egyszerűen csak ǫ-mdf-nek hívjuk a S, A, R, { t }, { t } ötöst, ahol t : (S A S R) (S A R) és t : (S A R) (S R) függvények, t = 1, 2, 3,..., amennyiben létezik S, A, R,, általánosított MDF, hogy lim sup t t t ǫ. A feltevés gyakorlatilag azt mondja ki, hogy a T t dinamikus programozás operátor-sorozat T-től számított távolsága kicsi. A megadott definíció valóban mindkét koncepció általánosítása: legyen ǫ = 0, t = és t = minden t esetén. ekkor visszakapjuk az általánosított MDFeket. Ugyanakkor az ǫ-stacioner MDF-eket kapjuk vissza, ha ( t S)(s, a) = s P t (s, a, s )S(s, a, s ) és ( t Q)(s) = max a Q(s, a) minden t esetén. 22

26 2. FEJEZET. DETERMINISZTIKUS KOMPONENSEK Az értékiteráció aszimptotikus korlátja Bemutatom azokat a tételeket, amelyek igazolják, hogy ǫ-mdf-okban létezik a alfejezetben említett jó közelítés ǫ ǫ mellett. Az eredmények Szepesvári és Littman eredményeinek általánosításai (Szepesvári és Littman, 1996). A tételben nem írtunk elő 1 valószínűségű egyenletes konvergenciát, ehelyett a közelítésre az alábbi definíciókat adjuk. Legyen S tetszőleges állapottér, és jelölje V(S) az ezen definiált összes lehetséges értékelőfüggvény halmazát. Legyen T : V(S) V(S) egy tetszőleges kontrakciós leképezés a V fixponttal, és legyen T t : V(S) V(S) V(S) sztochasztikus operátorok sorozata Definíció. Azt mondjuk, hogy értékelőfüggvények egy V t sorozata κ-approximálja V -t (κ > 0), ha lim sup t V t V κ 1 valószínűséggel teljesül Definíció. Azt mondjuk, hogy T t κ-approximálja T-t V -nél S felett (κ > 0), ha tetszőleges V 0 értékelőfüggvényre és V t+1 = T t (V t, V ) esetén V t κ-approximálja TV -t S felett 1 valószínűséggel. Figyeljük meg, hogy T t függhet a közelített V értékelőfüggvénytől a egyenlettel ellentétben. A κ-approximáció gyengébb feltételt jelent, mint az 1 valószínűségű egyenletes konvergencia. Ez ugyanis azt jelentené, hogy minden ǫ, δ > 0 számhoz létezik egy T úgy, hogy Pr(sup( V t V ) < δ) > 1 ǫ, t T ugyanakkor a κ-approximáció azt köti ki, hogy minden ǫ > 0 esetén létezik T úgy, hogy és κ rögzített. Pr(sup( V t V ) < κ) > 1 ǫ, t T Tétel. (Szita, Takács és Lőrincz, 2002.) Legyen T tetszőleges leképezés V fixponttal, és legyen T t sztochasztikus operátorok olyan sorozata, 23

27 2. FEJEZET. DETERMINISZTIKUS KOMPONENSEK ami κ-approximálja T-t V -nál S felett. Legyen V 0 tetszőleges értékelőfüggvény és V t+1 = T t (V t, V t ). Ha léteznek olyan 0 F t (x) 1 és 0 G t (x) 1 függvények, amelyek a következő feltételeket 1 valószínűséggel teljesítik: 1. minden U 1, U 2 V(S) és s S esetén Tt (U 1, V )(s) T t (U 2, V )(s) Gt (s) U1 (s) U 2 (s) 2. minden U, V V(S) és s S esetén Tt (U, V )(s) T t (U, V )(s) Ft (s) sup V (s ) V (s ) s 3. minden k > 0 esetén n t=k G t(x) egyenletesen konvergál nullához s szerint, ahogy n nő 1 és 4. létezik 0 γ < 1 hogy s S és elegendő nagy t esetén F t (x) γ(1 G t (x)) 1 valószínűséggel teljesül, akkor V t κ -approximálja V -ot S felett, ahol κ = 2 1 γ κ. A tétel bizonyítása hasonló az eredeti tételhez és megtalálható a Szita és mtsai (2002a) cikkben Q-learning általánosított ǫ-mdf-kben Ismét feltehetjük, hogy t egy várható érték operátor minden t esetén, azaz ( t g)(s, a) = s P t (s, a, s )g(s, a, s ). A tétel alkalmazásával belátható, hogy az általánosított Q-learning algoritmus: Q t+1 (s t, a t ) = (1 α t (s t, a t ))Q t (s t, a t ) + α t (s t, a t )(r t + γ( Q t ))( s t), ahol s t a P t (s t, a t,.) eloszlásnak megfelelően lett választva aszimptotikusan optimum közeli értékelőfüggvényt talál. Legyen T t (Q, Q)(s, a) a következő: 1 Egy végtelen szorzat konvergenciájából a tagjai 1-hez való konvergenciája is következik. 24

28 2. FEJEZET. DETERMINISZTIKUS KOMPONENSEK T t (Q, Q)(s, a) = { Q (s, a) ha s s t vagy a a t, (1 α t (s, a))q (s, a) + α t (s, a)(r t + γ( Q))( s t) egyébként, (2.1.4) ahol s t a P t (s t, a t,.) eloszlásból lett mintavételezve és s t+1 = s t Lemma. Legyen M = max s,a Q (s, a) min s,a Q (s, a). Ha az általánosított ǫ-mdf a következő feltevéseket teljesíti: 1. nem expanzió, 2. nem függ R-től vagy P-től, 3. r t véges varianciájú és E(r t s t, a t ) = R(s t, a t ), akkor a T t sztochasztikus operátor-sorozat κ-approximálja a egyenletben definiált K operátort Q -nál κ = γmǫ választással. A lemmában szereplő feltételek a környezetre nézve csak technikailag szükségesek és nem jelentenek komoly megszorítást, mert várhatóan sok környezetre teljesülnek Tétel. Legyen Q egy általánosított ǫ-mdf-hez tartozó, a definícióban megadott kiinduló MDF optimális értékelőfüggvénye és legyen M = max s,a Q (s, a) min s,a Q (s, a). Ha a lemmában megadott feltételek teljesülnek, akkor lim sup t Q t Q 2 γmǫ 1 valószínűséggel, azaz 1 γ a Q t sorozat κ -approximálja az optimális értékelőfüggvényt κ = 2 γmǫ 1 γ választás mellett. A lemma és a tétel bizonyítása ugyancsak megtalálható a Szita és mtsai (2002a) cikkben. Belátható tehát, hogy ha egy algoritmus egy Markov döntési folyamatban optimális értékelőfüggvényhez konvergál, akkor a megfelelő ǫ- MDF esetén az aszimptotikus távolság az optimális értékelőfüggvény és az algoritmus által adott értékelőfüggvény között korlátos, és a korlát arányos ǫ-nal. Habár az ǫ-mdf modellben a környezet megváltozhat, továbbra sem szabad túl messzire eltávolodnia valamilyen fix modelltől. Ez a tulajdonság viszont esetleg a jövőben felhasználható annak bizonyítására, hogy a környezet teljes megváltozása esetén feltéve, hogy a változás gyorsasága nem túl 25

29 2. FEJEZET. DETERMINISZTIKUS KOMPONENSEK gyors a megerősítéses tanulás képes lehet egy optimalitáshoz közeli politikát fenntartani. Ennek bizonyítása meglehetősen bonyolult, mert az algoritmus konvergenciasebességének vizsgálatára is szükség van. Givan és munkatársai egy, az ǫ-mdf-khez hasonlító modellt vezettek be (Givan és mtsai, 2000). Az általuk korlátos paraméterű Markov döntési folyamatnak (bounded Markov decision process, BMDP) nevezett modellben az átmeneti valószínűségek és a jutalmak egy intervallum erejéig definiáltak. Egy állapot értéke az ő leírásukban szintén egy lehetséges minimális és maximális érték között helyezkedik el. Ugyanakkor nem adnak felső korlátot ezekre az eltérésekre, amelyek egészen nagyok is lehetnek, ha bizonyos átmenetek nagyon bizonytalanok. A BMDP tulajdonképpen egy fix MDF (de bizonytalan, melyik), míg az ǫ-mdf egy olyan környezet ír le, ami idővel megváltozhat - akár még az feltételt sértő módon is. Röviden azt mondhatjuk, hogy a megerősítéses tanulás algoritmusai várhatóan elég robusztusak ahhoz, hogy a környezet átmeneti valószínűségeiben előforduló kisebb ingadozásokat tolerálják, konvergenciájuk és aszimptotikus optimalitásuk közelítőleg így is biztosított. Az így nyert szabadságot felhasználhatjuk arra, hogy a következőkben a probléma komplexitását csökkentő egyszerűsítéseket tegyünk Eseménytanulás A megerősítéses tanulás ismertetett megfogalmazása különbséget tesz állapotok és akciók között: az állapot az az információ, amit a környezet ad valamely időpillanatban, az akciót pedig az abban az időpillanatban lehetséges cselekvéseink közül kell kiválasztani. Azonban létezik olyan megközelítés, ahol ez a szétválasztás nem történik meg. Ezt munkatársaim dolgozták ki és eseménytanulásnak nevezték el (Lőrincz és mtsai, 2003). Ebben a megközelítésben az ágens a kívánt következő állapotot választ akciók helyett, és nem állapot-akció párok, hanem állapot-állapot párok (események) értékét tanuljuk meg. A kívánt következő állapot elérését egy kontrollerre bízzuk. A kontrollerek megerősítéses tanulásban történő alkalmazására egy ideje már történnek próbálkozások (lásd pl. (Doya, 1996, 2000; ten Hagen, 2001)). Az eseménytanulásról megmutatható (Szita és mtsai, 2002a,b), hogy az SDS 26