A dolgozat szerzőjének neve: Pisak-Lukáts Borbála, Szabó Zsolt Intézmény megnevezése: Bolyai Farkas Elméleti Líceum Témavezető tanár neve: Máthé Márta Beosztása: Matematika-Informatika KOMPLEX RENDSZEREK EVOLÚCIÓS MODELLEK A JÓ, A ROSSZ ÉS A SHERIFF MAGATARTÁSÁNAK MODELLEZÉSE A játékelmélet a matematika egy modern ága, amely azt tanulmányozza, hogy a mi az észszerű viselkedés, olyan helyzetben, amikor a játékosok döntéseinek eredményét befolyásolja a többi játékos döntése. A játék összetevői: a játékosok, játékszabályok, döntési lehetőségek és nyeremények. A stratégiák kialakításakor kitűzött cél, hogy minden játékos a saját nyereményét maximalizálja a racionalitás feltétele mellett. A játékelmélet megfogalmazása Neumann János nevéhez fűződik, aki az Oskar Morgensternnel közösen írt munkájában (Játékelmélet és gazdasági viselkedés ) rakta le az alapokat. Jelenleg Karl Sigmund és Martin Nowak a legismertebb játékelmélettel aktívan foglalkozó kutatók. Az élet játékai című könyvben több alkalmazási területtel is foglalkozik a szerző. Eszerint a játékelmélet alapgondolatai különböző természeti és szociológiai jelenségek modellezésére vonatkoztathatóak. Például egy adott populációban végbemenő folyamatos kölcsönhatások vizsgálatával evolúciós folyamatokat tanulmányozhatunk. A növényi, állati csoportosulások, vagy akár egy emberi közösség tagjainak viselkedése bizonyos helyzetekben tehát matematikailag leírható. A matematika alkalmazásával készült evolúciós modellek a résztvevő stratégiák előfordulásának változását, és a különböző egyensúlyi állapotok bekövetkezésének valószínűségét szemléltetik. Ezeket a jelenségeket mi számítógépes modellezéssel elemeztük, kitérve az ismételt fogolydilemma játékra, illetve valós személyekkel a közlegelő játékot kísérleteztük. A fogolydilemma játék A fogolydilemma klasszikus modellje alapján két, súlyos vétséggel gyanusított fogoly helyzetét kell elképzelni, akiknek büntetése attól függ, hogy vallanak-e fogolytársuk ellen, és hogy fogolytársuk vall-e ellenük a törvényszéken. Például egy bűncselekmény elkövetőit letartóztatja a rendőrség, de bizonyíték nélkül egyiket sem börtönözhetik be, ezért elkülönítik őket, és megpróbálják mindkettőjüket rávenni arra, hogy valljanak a fogolytársuk ellen. Ebben a helyzetben tehát mindketten arról dönthetnek, hogy beköpik-e a társukat(defektáló stratégia) a kisebb büntetés ígérete mellett, vagy együttműködnek társukkal (kooperáló stratégia). A döntésthozatalig a foglyok nem tudják, hogy melyik stratégiát választotta a játékostársuk.
Ennek megfelelően egy játékos szempontjából négy végkifejlete lehetséges : Amennyiben egyikük sem vall, a rendőrség az előzetes letartóztatás lejárta után köteles elengedniük mindkettőjüket. De ha az egyik vall a társa ellen, a társa pedig hallgat, akkor az egyiket azonnal szabadlábra helyezik, míg a társát hosszú időre bebörtönözik. Ennek megfelelően, ha az egyik megtagadja a vallomástételt, míg a társa vall ellene, akkor a társ kerül szabadlábra, és az egyiket börtönzik be. Ám, ha mindketten vallanak a társuk ellen, akkor a bizonyíték birtokában mindkettejüket bebörtönzik, de a vádalku értelmében rövidebb időre mint ha nem működtek volna együtt a rendőrséggel. A négy végkifejlet alapján, a nyereménymátrixot úgy állítjuk fel, hogy az értékek azt jelentik, hogy a maximálisan letöltendő büntetéshez képest hány évet tölt szabadlábon a gyanusított. Például, ha öt év a maximalis letöltendő bünetés, négy évet kapnak, ha mindketten vallanak, és csak két év az előzetes letartóztatás, akkor a számok alapján aki vall a társa ellen, és a társa nem viszonozza ezt, az öt év börtöntől szabadul meg, ha mindketten vallanak, akkor mindketten egy-egy évvel ülnek kevesebbet, míg ha mindketten kooperálnak, akkor három-három évvel töltenek kevesebbet a börtönben, mint az aki a maximális büntetést kapná. (1. ábra) Természetesen azt feltételezzük, hogy a börtön terhe mellett a játékelmélethez szükséges körülmények alakulnak ki, vagyis a foglyok a legnagyobb egyéni haszonra törekednek majd. Tehát nem az erkölcsi kérdések, és nem a baráti összetartás, hanem csakis a szabadulásvágy alapján hozzák meg a döntésüket. Ezért mindketten a számukra legalkmasabb stratégiát választják ki. Ha azt feltételezi az egyik, hogy társa kooperálni fog, természetszerűen a számára legalkalmasabb stratégia a defektálás, mivel ebben a helyzetben őt azonnal szabadlábra helyezik (T = temptation to choose defection), míg ha defektálna, akkor ki kellene várnia az előzetes letartóztatás végét(r = reward of cooperation). Ha azt feltételezi, hogy társa defektálni fog, akkor a következők a lehetőségei: ő is defektál, ami számára optimálisabb, és leüli a vádalkuban megegyezett büntetést (P = punishment for mutual defection), vagy kooperál és végigüli a rá szabott büntetést(s = sucker s payoff). Észrevehető, hogy bármit feltételez azafelől, hogy a társa mit fog választani, a számára előnyösebb stratégia a defektálás. Mivel ez mindkettejükre igaz, ezért mindketten defektálni fognak, s így ez fogja jelenteni a játék Nash egyensúlyi pontját. Axelrod versenyének az alapja a fogolydilemma többszöri lejátszatása több, különböző fogoly között. Axelrod számítógépes versenye A játék folytatásának a lehetősége azt engedi meg a foglyok számára, hogy a döntéshozatalukkor figyelembe vegyék az ellenfelük korábbi döntéseit. Ez a tiszta kooperáló (AllC), azaz a közösségi érdekeket mindig előtérbe helyező, és a defektáló(alld), vagyis az önző stratégiák mellett, a sztochatikus reaktív stratégiák megjelenését eredményezi. Ezek a stratégiák a partnerük előző döntésétől függően p valószínűséggel választanak C-t, azaz kooperálnak, ha a partnerük előző lépésben kooperált, és q valószínűséggel választanak C-t, ha a partnerük előző lépésben defektált. Ezeket a stratégiákat (s[p,q]) a p és q függvényében egy stratégiatérben ábrázolhatjuk.(2. ábra) A p, q, illetve p, q függvényében felírható az s[p,q] és az s [p,q ] stratégiák játékában az s[p,q] C választásának a valószínüsége, valamint a kettejük egyenkénti átlagnyereménye, miután egymással nagy számú játékot játszottak. Jelöljuk r-rel, illetve r - tel annak a valószínűségét, hogy az s[p,q] és a stratégia s [p,q ] C választ ad ha egymással játszik. A matematikai bizonyítás igazolja, hogy az r és r független attól, hogy az ellenfelek mit választottak az első körben. Az általánosítás után arra a következtetésre jutunk, hogy:
Ha U(s,s )-tel az s[p,q] stratégia átlagos nyereményét jelölöm az s [p,q ]-tel szemben, akkor könnyen észrevehető, hogy sz U(s,s ) értéke: Axelrod játékát viszont nem csak két fogoly, és nem csak két stratégia játszhatja. Legyen s x egy stratégia a stratégiatérben. Ha ρ i -vel jelölöm az egyes stratégiákat választó foglyok arányát az összes fogolyhoz képest, vagyis a stratégia sűrűségét a stratégiatérben, akkor értelemszerűen az s x stratégiát használó játékos össznyereménye egyenlő az egyes stratégiákkal elért nyeremény és a neki megfelelő sűrűségek szorzatainak az összegével., ahol n az összes stratégiák száma, és. Az U sx kiszámítása az egyes stratégiákra lehetővé teszi, hogy az egyes stratégiát választó foglyok, legközelebb más, jövedelmezőbb stratégiát válasszanak. Ha tudja egy játékos, hogy stratégiája nyeresége és az átlagos nyeremény milyen arányban állnak egymással,a következő körben más stratégiát válaszhat. Így az egyes stratégiák sűrűsége változik minden alkalommal, amiután az egyes stratégiák játszottak minden más stratégiával, és saját magukkal is, tehát a nagy nyereséget biztosító stratégiák sűrűsége nő, míg a nem nyereményezőké csökken. Számítógépes kísérletünkben mi a stratégiák gyakoriságának ezen változását tanulmányoztuk, valamint az, hogy átlagnyeremény hogyan függ ettől a változástól. A számítógépes szimuláció: A számítógépes szimulációnk során mi a stratégiákat kezdetben egyenletesen osztottuk el a stratégiatérben. Ez azt jelenti, hogy a stratégiákat egy a stratégiatérben elhelyezett n négyzetes négyzetrács csúcsainak megfelelő p és q adatokkal láttuk el, és a t = 0 időpillanatban minden s i (p,q) tetszőlegesen választott n stratégia ugyanolyan sűrűséggel rendelkezett ( ρ i (t=0) = 1/n ). Minden stratégia egymással és sajat magával nagy számú játékából származó, a fenti képletek segítségével kiszámolt átlagos nyereségét egy négydimenziós tömbben helyeztük el, mely tartalmazta az U(s,s ) értékeket, melyeket a (p, q, p, q ) függvényében találunk meg. Ezek után egy mátrixban elhelyeztük az Us (x) értékeit majd megváltoztattuk a stratégiák sűrűségét, a Nowak és Sigmund által javasolt képlet alapján: A folyamatot lejátszottuk az újonnan kapott ρ értékekkel, frissítve a mátrixunkban az egyes Us (x) adatokat, majd újra fölülírtuk a ρ i értékeit. Ezt a folyamatot lejátszottuk minden Monte-Carlo lépésben. (Monte-Carlo lépésnek nevezzük esetünkben a nagyszámú fogolydilemma játék lejátszását minden stratégiapár között.) A kísérletet elvégeztük többször, változtatva az n ( = a stratégiák száma) értékét. Grafikusan ábrázoltuk az átlagnyereményt és a stratégiák sűrűségét az idő, vagyis a montecarlo lépések függvényében, kiemelve a karakterisztikus stratégiákat. Ebben az esetben mi teszteltük 900 illetve 225 stratégia harcát 1600 lépésben. (3.ábra) Az ábrákat elemezve következtetéseket vonunk le erről a modellezett számítógépes társadalomról.
Mit látunk? Kezdetben, viszonylag gyorsan a Rossz (AllD) stratégiája meghódítja a stratégiatér nagy részét, és ezzel egyidejűleg a társadalom átlagnyereménye csökken, és láthatóan tart a P értéke (punishment for mutual defection) fele. A társadalom tragédiájának állapotában robbanásszerű fejlődésnek indul a Sheriff stratégia sűrűsége, s ezzel együtt az átlagos nyeremény is hirtelen növekedni kezd. Ennek az oka, hogy a TfT stratégia az AllD stratégiával azonos nyereséget tudhat magának, ha együtt játszanak, de nagyobbat abban az esetben, ha saját magával játszik, így a nyereménye nagyobb lesz az átlagnyereménynél, hiszen ezt az átlagnyereményt a nagyrészt AllD stratégiával játszó társadalom határozza meg. Mikor a többi stratégia lassan kihal, a TfT stratégia is gyorsan hanyatlani kezd, az úgynevezett zajnak köszönhetően, ami a való világban úgy jelentkezhet, hogy véletlenül két TfT stratégiát követő fogoly közül az egyik egyszer defektál, s így a következő körben a másik defektálással válaszol, mire a harmadik körben az előző válaszol újra defektálással, vagyis a játékosok sorra CDCD... stratégiát játszanak majd. A tiszta TfT hanyatlásakor átdja a helyét az egyre megbocsáltóbb stratégiáknak. Ahogyan ezek a stratégiák váltják egymást, úgy a társadalom átlagos nyereménye is lépcsőzetesen növekszik, de nem lépi túl az R (reward of cooperation) értékét. A megbocsáltási folyamat megáll, amikor a q eléri az optimális mértékét. A q -nak ezt a határa az alapján dől el, hogy melyik az a maximális érték, amelynél az AllD stratégia ezzel a megbocsáltó TfT-vel játszva még kisebb nyereményt tudhat magának, mint a megbocsáltó TfT stratégia saját magával játszva. Ez a folyamat az optimista társadalomszemléletet igazolhatja, mely szerint a történelem egy felfele ívelő pálya, melyen az emberiség halad. A stratégiák véletlen szétszórásának a stratégiatérben gyakori következménye, hogy nem jön létre TfT stratégia, vagy nem lesz elég szigorú. Ezt az esetet is viszgáltuk, nagyobb zajt beiktatva a játékba, vagyis kevésbé elszánt és tiszta stratégiákat alkalmazva. (4. ábra) Azt vehetjük észre, hogy igazán elszánt Sheriff nélkül az evolúciós folyamat a Rossz stratégia dominálásával véget ér. Ebből arra következtethetünk, hogy a véletlen szétszórás esetében, a társadalmi csőd állandósulásának elkerülése érdekében nekünk kell beiktatnunk a Sheriff stratégiát. Abban az esetben, ha csak a négy tiszta (nem kevert) stratégia mérkőzik meg egymással, akkor a stratégiák gyakorisága soha nem ér el egy végső állapotot, hanem ciklikusan váltakozik a három alapstratégia közt(alld, TfT, AllC). (5.ábra) Ez a körfolyamat a pesszimista társadalomszemlélet tükrözője, mely azt hirdeti, hogy a társadalom emelkedését mindig egy vele egyenértékű visszaesés kell kövesse. Minket is meglepett, hogy a programunk által rajzolt ábrák abszolút hasonlóságot mutattak a szakirodalomban talált ábrákkal, amelyekből Axelrod is levonta a következtetéseket, annak ellenére, hogy programunk saját fejlesztésű volt. Mindkét, a stratégiák gyakoriságának és az átlagos nyereménynek az időbeli függését ábrázoló grafikon mondhatni ugyanaz, mint évekkel ezelött Axelrodnak, ám ami merőben új programunkban, az az, hogy Monte-Carlo lépésenként végigkövethető a stratégiatér színéből következtetve, hogy az egyes stratégiák sűrűsége hogyan változik. Mi az irodalomban olyan ábrát sem találtunk, mely azt mutatta volna, hogy a függvényeink hogyan változnak, ha csak a négy tiszta stratégiát szerepeltetjük. A fent bemutatott ismételt fogolydilemma-játék vizsgálatához túl sok fordulóra és játékosra lett volna szükségünk ahhoz, hogy a stratégiák változási tendenciáit összegezve érvényes következtetéseket vonhassunk le. Ezért a kooperáció-élősködés problémát kísérletünk során a játék egy másik változatával tanulmányoztuk, mely egyfajta sokszereplős fogolydilemmának is tekinthető.
A közlegelők dilemmája A közlegelők dilemmája megnevezés Garret Hardintól származik. Legnagyobb egyéni nyereményre ebben az esetben is csak úgy tehet szert a játékos, ha társainak olyan mértékű kárt okoz, ami meghaladja a nyertes egyéni hasznát. A modell a következő történettel szemléltethető: egy legelőn minden gazda szabadon legeltethet. A legelő bizonyos számú tehenet éppen eltart, naponta adott hasznot hoz minden gazdának tej formájában. Tegyük fel, hogy a gazdák kezdetben egy-egy tehenet csapnak ki a legelőre. Amint valaki elhatározza, hogy állatainak számát növeli, jelentősen nagyobb haszonban részesül. Mivel a legelő csak adott számú tehén ellátására alkalmas, egy idő után teljesen elértéktelenedik, a tehenek éhen halnak. Minél többen és minél erőteljesebben követik az önző stratégiát, annál közelebb kerülnek a gazdák a társadalmi tragédiához. Ebben a modellben a kooperáló stratégia a közösség számára hasznos viselkedést jelenti, vagyis azokét a gazdákét, akik nem törekednek saját jövedelmük önző maximalizálására a közös legelőre kicsapott tehenek számának növelésével. Az általunk játszatott közlegelő -játék résztvevői négy fős csapatokon belül versengtek. Egy adott közös jövedelemforrás kihasználása helyett a mi esetünkben a résztvevők saját vagyonukból fektethettek be egy közös alapba. A tagok kezdetben ugyanakkora vagyonnal rendelkeztek (100 pénzegység), majd minden körben eldönthették, befektetnek-e vagy sem, kooperálnak-e vagy defektálnak. A közös alapba fektetett pénz fejenként 5 egység értékű lehetett. Az így összegyűlt összeg kamatozott (60%-kal nőtt), és egyenlően oszlott szét a mind a négy tag között, attól függetlnül, hogy az illető játékos hozzájárult-e az alap növeléséhez vagy sem. Így tehát minden esetben megéri potyázni: míg négy befektető esetén minden játékos vagyona 5*1,6-5=3 egységgel nő, ha pedig csak egyetlen játékos élősködik, nyereménye jelentősen nagyobb: 6 egység, míg a többieké csupán 1 pénzegység fejenként. Játékunkban a 6. fordulótól lehetőség adódott arra, hogy a játékosok megbüntessék az élősködőket. A büntetők 1 pénzegységet ajánlhattak fel egy büntetőalapba, amely utólag nem térült vissza. Az erre a célra összegyűlt pénzösszeg háromszorosa vonódott le azoknak a nyereményéből, akik az adott körben nem fektettek be 5 egységet a kamatozó alapba. A játékosok döntéseit egy általunk tervezett MySQL-adatbázisba gyűjtöttük, az adatok bevitele böngészőből történt interneten keresztül, egy saját fejlesztésű php-felületről. Az adatgyűjtés hatékonyan működött, mivel minden játékos otthonról jelentkezhetett be előre leszögezett időpontban. A döntéseket MySQL-lekérdezésekkel és Excel segítségével összegeztük és elemeztük. A kísérleti személyek a játék lezajlása alatt nem kommunikálhattak egymással, nem ismerték a csapatuk tagjait, teljesen egymástól függetlenül döntöttek. A játékosok stratégiáinak változását 25 kör leforgása alatt vizsgáltuk. Minden forduló után megtudták saját állapotuk változását, az utolsó kört eredményhirdetés követte. A játék eredményeinek vizsgálata A különböző stratégiák arányának változása az (6. ábrán) követhető: kezdetben a játékosok 50%-a választott élősködő stratégiát, számuk az 5. körben érte el maximális értékét. A 6. körben jelentősen nőtt a befektetők száma, viszont a büntetés bevezetése nem tette lehetővé az együttműködők tartós, folyamatosan erősödő dominanciáját. A játék további menetében az élősködők száma ingadozásokkal növekedett. Több hasonló kísérlettel bizonyították már, hogy a játékosok kezdetben, annak ellenére, hogy megértik a játékban rejlő csapdahelyzetet, vállalják a befektetést. Ami még meglepőbbnek bizonyult, késztetést éreznek az élősködők büntetésére, még akkor is, ha ez a stratégia nem optimális számukra.
Az általunk végzett kísérletben a büntető szándék egyre csökken, ez azzal magyarázható, hogy a megadott paraméterek nem teszik lehetővé a társadalom elzüllésének megfékezését. A közlegelős jelenség lényege, hogy amennyiben a szabályokat helyesen alkotják meg, csak olyan szabályok vannak, amelyeket rövid távon érdemes megszegni, de hosszú távon összeomláshoz vezet a megszegésük. Amennyiben több lépésen keresztül vizsgálnánk a társadalom evolúcióját, a csapatok elérhetnék azt az állapotot, amikor minden játékos úgy dönt, nem érdemes befektetnie. A büntetés lehetőségét kezdetben a játékosok 43%-a használta ki (8. ábra). Azok a résztvevők, akik az utolsó büntetésmentes körben élősködtek, a hatodik körre 45%-ban váltak befektetővé, sőt, a rablókból lett pandúrok 80%-a büntetett is. A kísérlet megerősíti azt a feltételezésünket, miszerint az egyének nagyon gyorsan alkalmazkodnak a csoportban működő, a többség által követett társadalmi normákhoz, de amennyiben ezek nem elég szigorúak, a társadalom újból hanyatlásnak indul. Ha felmérjük, hogy a csapatokon belül meghatározott fordulóban milyen együttműködő-élősködő konfiguráció alakult ki, azt látjuk, hogy a két kooperáló és két defektáló által meghatározott helyzet a leggyakoribb (32,96%), ezt követik a 3 majd az egyetlen befektető fellépésével jellemezhető esetek (9. ábra). Azok a helyzetek, amelyekben az élősködők nyereménye kisebb, mint a befektetőké 19,27%-ban fordulnak elő, tehát a körülmények egyértelműen nem kedveznek az együttműködő egyéneknek. Játékosainkról nem feltételezhetjük, hogy minden helyzetben racionálisak. A résztvevő személyek, annak ellenére, hogy céljuk a saját nyeremény maximalizálása, elveiket gyakran érdekeik elé helyezik. Az emberben általános késztetés van az önzetlenségre, új helyzetben (esetünkben a játék elején, majd a büntetés bevezetése utáni körben) kész együttműködni, még akkor is, ha az önző magatartás lenne optimális számára. Azok az egyedek, akikben hajlam van az együttműködésre, és büntetik azokat, akik az együttműködési hajlam normáit nem követik, (még akkor is, ha a büntetéssel soha meg nem térülő költséget vállalnak) az erős kölcsönösség viselkedés-mintázatát követik. Ez a hipotézis csak látszólag van ellentmondásban a darwini evolúcióelmélettel. Akik a közlegelő-játékban az együttműködést választják, az önzők elnyomása alá kerülnek. A természetes szelekció révén az adott helyzetben legnagyobb rátermettséget biztosító viselkedésformák képesek fennmaradni. Az emberi faj evolúciós története során viszont fontos szerepet játszott a kisebb csoportokba való szerveződés, és az így kialakult populációk egymás elleni versengése. A csoportos életmód miatt a természetes szelekció az emberi társadalomban a csoporton belüli normakövetést támogatta. A mindennapi életben nagyon gyakran találkozunk olyan döntéshelyzetekkel, melyekben állást kell foglalnunk együttműködés vagy egyéni érdek érvényesítése mellett. A saját előny általában sokkal nagyobb, mint a közösségnek okozott kár. A végzett kísérleteket megismételnénk a konferencián történő bemutatóig, hogy nagyobb mennyiségű adat segítségével a kapott eredményekből levonható következtetések a lehető legpontosabbak legyenek. Következtetés: A két játék eredményeinek összehasonlításából arra következetésre jutottunk, hogy bár a számítógép alkalmas a társadalmi folyamatok modellezésére, mégsem képes ez a világmagyarázatra. Képesek lehetünk egy, az esetek nagy többségére igaz következtetést levonni a számítógép segítségével, de az emberek többsége döntései meghozásakor nem csak a racionalitás és nem csak a matematika vezeti, hanem az intuíció, a közösségi érzet. Így talán azt is bizonyíthattuk, hogy amikor az érdekek és az elvek ellentétbe kerülnek, akkor nem föltétlen az érdekek vezetik az egyént.
7. ábra
8. ábra büntetők és befektetők számának változása 9. ábra - Helyzetek gyakorisága
Könyvészet Dr. Szabó György: A Jó, a Rossz és a Magányos számítógépes küzdelem, Természet Világa 134 (2003.V. 197-201. oldal) Dr. Szabó György: A tisztességes magatartás kialakulása: játékelméleti elemzés, Fizikai Szemle (2009.III. 118-121. oldal) Dr. Szabó György egyetemi előadásának jegyzete: "Ismételt fogolydilemma játék sztochasztikus reaktív stratégiákkal" Scheuring István: Az emberi együttműködés evolúciós háttere, Természet Világa 138(2007.VIII. 338-343. oldal) M. A. Nowak, R. M. May, and K. Sigmund: The arithmetics of mutual help, Scientific American 272 (1995. VI. 76-81. oldal)
Jó Rossz Sheriff