Mesterséges Intelligencia alapjai

Mesterséges Intelligencia alapjai Evolúciós algoritmusok - neurális hálózatok Istenes Zoltán Eötvös Loránd Tudományegyetem Informatikai Kar Programozáselmélet és Szoftvertechnológiai Tanszék 2010 / Budapest Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 1 / 43

Genetikus - evolúciós algoritmusok Genetikus - evolúciós algoritmusok... kromoszóma reprezentáció költség (fitnessz) függvény kezdeti populáció kiválasztás (szelekció) reprodukció (keresztezés) mutáció leállási feltétel Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 2 / 43

Tartalom Genetikus - evolúciós algoritmusok "Függvényanalízis" 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 3 / 43

Spektroszkópia... Genetikus - evolúciós algoritmusok "Függvényanalízis" a keresett csúcsok (maximális) száma adott normál (Gauss) eloszlások összegével közelítés Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 4 / 43

Tartalom Genetikus - evolúciós algoritmusok Térkép feliratozás 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 5 / 43

Genetikus - evolúciós algoritmusok Térkép feliratozás Genetikus algoritmusok használata térképek feliratozásában Adott n pont szerű elem egy térképen. Mindegyik ponthoz tartozik egy téglalap alakú címke, melynek a mérete előre rögzített, és négy alap pozícióba írhatóak. A feladat a címkék egymást nem metsző felhelyezése... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 6 / 43

Tartalom Genetikus - evolúciós algoritmusok Algoritmusok tanulása 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 7 / 43

Genetikus - evolúciós algoritmusok Truck backing problem Algoritmusok tanulása A keresett függvény : u=g(x,y,cabt,trailert) PLUS(a,b) MINUS(a,b) MUL(a,b) DIV(a,b) ATG(a,b) IFLTZ(a,b,c) a+b a-b a*b a/b, if b <> 0, else 1 atan2(a,b), if a<> 0, else 0 b, if a<0, else returns c http://www.handshake.de/user/blickle/truck/ Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 8 / 43

Tartalom Genetikus - evolúciós algoritmusok TSP 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 9 / 43

Utazó ügynök Genetikus - evolúciós algoritmusok TSP kromoszóma 1 gén = 1 város (a látogatás sorszáma) annyi gén ahány város "városszámok permutációja" keresztezés permutáció megörzése pld. egypontos keresztezés nem jó... mutáció kromoszómán belüli sorrend felcserélése http://www.lalena.com/ai/tsp/ http://www.dna-evolutions.com/dnaappletsample.html Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 10 / 43

Tartalom Genetikus - evolúciós algoritmusok Fogolydilemma 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 11 / 43

Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Fogolydilemma - Prisoner s dilemma Egy súlyos bűntény kapcsán két gyanúsítottat letartóztat a rendőrség. Mivel nem áll rendelkezésre elegendő bizonyíték a vádemeléshez, ezért elkülönítik őket egymástól és mindkettejüknek ugyanazt az ajánlatot teszik. Amennyiben az első fogoly vall és társa hallgat, akkor az előbbi büntetés nélkül elmehet, míg a a másik, aki nem vallott, 10 év börtönt kap. Ha az első tagadja meg a vallomást és a második vall, akkor az másodikat fogják elengedni és az első kap 10 évet. Ha egyikük sem vall, akkor egy kisebb bűntényért 6 hónapot kapnak mindketten. Ha mindketten vallanak, mindegyikük 6 évet kap. Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 12 / 43

Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Másik tagad Másik vall Egyik tagad Egyik vall (Cooperate) (Defect) Mindketten Egyik szabad, 6 hónapot kapnak másik 10 évet kap Egyik 10 évet kap, Mindkettő másik szabad 6 évet kap Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 13 / 43

Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Cooperate Defect Cooperate 3, 3 0, 5 Defect 5, 0 1, 1 A, B = a két "játékos" C = Cooperate (tagadás), D = Defect (beárulás, vallomás) PA, PB = "jó pontok" A B PA PB megjegyzés D D 1 1 büntetés a közös beárulásért D C 5 0 jó beárulni a tagadót... C D 0 5...rossz beárulva lenni C C 3 3 közös tagadás Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 14 / 43

Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Mit tegyek, ha nem akarok börtönben ülni? 1 ha a másik kooperál (hallgat), akkor érdemes vallani (beárulni) (5:0 a "javamra") 2 ha a másik vall (beárul), akkor érdemes nekem is vallani (1:1 mindkettőnknek) Bármit dönt a másik, nekem érdemesebb vallani (beárulni)!... És ha mégis mindketten kooperálnánk?... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 15 / 43

Genetikus - evolúciós algoritmusok Ismételt fogolydilemma Fogolydilemma ismételt fogolydilemma : 1950-ben Merrill Flood és Melvin Drescher 1979-ben egy amerikai politológus, Robert Axelrod verseny 14 versenyző győztes a szociálpszichológus, Anatol Rapoport programja 1982-ben egy második versenyt, amelyen az összes résztvevő tisztában volt az elöző eredményével. Anatol Rapoport ismét ugyanazt a pályázatot küldte be (Tit for Tat névre keresztelte), és ismét nyert vele. Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 16 / 43

Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma stratégia Genetikus algoritmus? játék stratégia? reprezentáció (kromoszóma)? Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 17 / 43

Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma stratégia Tit for Tat stratégia: Ha "előző játékban", akkor "ebben a körben"... Ha C C, akkor C (kooperáljunk...) Ha C D, akkor D (ha beárultál, akkor most én is...) Ha D C, akkor C (kooperálásra hajlok...) Ha D D, akkor D (tartom a beárulást...) Első játékban kooperálok... fegyverkezési verseny "aranyszabály" nemek harca Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 18 / 43

Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma stratégia - kromoszóma Egy stratégia: Emlékezzünk a 3 előző játékra, és lépjünk az alapján... Ha CC, CC, CC, akkor "C vagy D" Ha CC, CC, CD, akkor...... Ha DD, DD, DD, akkor... kromoszóma : 64 bit (2 2 2 2 2 2 ) + pár bit az első játékokra Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 19 / 43

Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma - költségfüggvény Hogyan lehet egy stratégiáról megtudni hogy mennyire jó? mindegyik stratégiával (egyeddel) játszunk több játékot (ismételt fogolydilemmát) a játékokban elért eredménye mutatja a "jóságát" a stratégiák játszhatnak egymás ellen, "különféle környezetben"... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 20 / 43

Tartalom Genetikus - evolúciós algoritmusok Amőba 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 21 / 43

Genetikus - evolúciós algoritmusok Amőba Amőba játékállás-kiértékelő mószerek összehasonlító vizsgálata kétszemélyes játékok gépi játékosának gyakori megvalósítási módszere a játékfarészlet elkészítése és kiértékelése fontos része a játékállások "pontos" kiértékelése több különböző játékállás kiértékelő függvény paraméter beállítás, mint egy populáció egyedei ezek az egyedek (paraméter beállítások) egymással versenyeznek, a paraméter beállításokat egy-egy amőbát játszó program használja a programok egymás ellen játszanak. az egyedek körmérkőzése megmutatta a sikeresebb, jobb paraméter beállításokat, amelyeket felhasználva, keresztezés és mutáció után, egy újabb populáció, generáció kapható több generáció után egyre jobb amőba játékállás kiértékelő függvény paraméterek kaphatók Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 22 / 43

Tartalom Genetikus - evolúciós algoritmusok "Rendező párok" 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 23 / 43

Rendezés Genetikus - evolúciós algoritmusok "Rendező párok" Rendezés összehasonlítás-csere párokkal A cél fix hosszúságú számsorozatok rendezése előre meghatározott összehasonlítás-csere párok alapján. Kérdés a minimális összehasonlítás csere párok. Példák 4 hosszú számsorra : buborék : 1-2, 2-3, 3-4, 1-2, 2-3, 1-2 (6 pár) 1-2, 3-4, 1-3, 2-4 (4 pár) Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 24 / 43

Genetikus - evolúciós algoritmusok "Rendező párok" Rendezés - összehasonlítás-csere párok reprezentációja 1011 0101 0111 1001 1110 0100 1010 1001 1011 0101 0010 0111 0011 1100 1010 1001 (11,5) (7,9) (2,7) (14,4) (3,12) (10,9) azonos kromoszóma részlet : homozigóta különböző kromoszóma részlet : heterozigóta Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 25 / 43

Genetikus - evolúciós algoritmusok Rendezés - keresztezés "Rendező párok" szülő 1. (diploid) szülő 2. (diploid) 11 2222 555 666 33 4444 777 888 keresztezés 11 2222 555 666 33 4444 777 888 gaméta 1. (haploid) gaméta 2. (haploid) 11 4444 777 666 ivadék (diploid) 11 4444 777 666 Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 26 / 43

Genetikus - evolúciós algoritmusok Rendezés - költségfüggvény "Rendező párok" kevés, mindig változó rendezendő számsorozat rendezésének a sikeressége probléma : az elég jó rendezések nem fejlődnek tovább... "evolúciós nyomás kell... ötlet : a teszt esetek (rendezendő számsorozatok) is fejlődjenek egy számsorozat akkor "sikeres" ha nehéz rendezni... "gazdák és paraziták" Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 27 / 43

Neurális hálózat Neurális hálózat Tanulási paradigmák: felügyelt tanulás (pld. karakter felismerés) felügyelet nélküli tanulás (pld. csoportosítás) megerősítéses tanulás (pld. játékok) Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 28 / 43

Tartalom Neurális hálózat N.E.R.O. 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 29 / 43

NERO Neurális hálózat N.E.R.O. http://z.cs.utexas.edu/users/nn/nero/ Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 30 / 43

Neurális hálózat N.E.R.O. Neuro-Evolving Robotic Operatives 1/3 "ágensek" (robotok) 3D fizikai szimulációs környezet tanítható ágensek két játékfázis tanítás, "próbakörnyezetben" "harc"... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 31 / 43

Neurális hálózat N.E.R.O. Neuro-Evolving Robotic Operatives 2/3 tanítás egyre komplexebb környezetekben Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 32 / 43

Neurális hálózat N.E.R.O. Neuro-Evolving Robotic Operatives 3/3 Real-time Neuroevolution (rtneat) ágens "agy": neurális hálózat szenzorok a neurális háló bemenetei genetikus algoritmus, megerősítéses tanulás: egy populáció legjobbjai jutalmat, a legroszabbak büntetést kapnak a "jóságot" a felhasználó állítja be: különböző szempontoknak megfelelés (ellenfél megközelítése, célbatalálás, távolságok...) az "agy"at az életciklusa végén az algoritmus "kiértékeli"... N.E.R.O Neuro-Evolving Robotic Operatives : http://nerogame.org Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 33 / 43

Tartalom Neurális hálózat Hangya kolónia optimalizálás 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 34 / 43

Neurális hálózat Hangya kolónia optimalizálás Hangya kolónia optimalizálás - ant colony optimization gráfban legrövidebb út keresés véletlenszerű vándorlás élelem találása esetén vissza a bolyba, közben feromon nyomok hagyása ha feromon nyomot talál, akkor (véletlen vándorlás helyett) inkább követi a feromon nyom idővel elpárolog a rövidebb úton jobban megmarad a feromon nyom... http://www.nightlab.ch/antsim/ Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 35 / 43

Tartalom Neurális hálózat Framsticks 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 36 / 43

Framsticks Neurális hálózat Framsticks Lények evolúciós képességeinek a vizsgálata 3D környezet genotípus ábrázolja a lényeket: fizikai szerkezet ("test") neurális hálózat ("agy") környezet érzékelők agy beavatkozók környezet operátorok: mutáció, keresztezés, javítás energia követelmények irányított (fitnessz függvény), és spontán evolúció Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 37 / 43

Tartalom Neurális hálózat Labirintus 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 38 / 43

Neurális hálózat Labirintusból kitalálás... Labirintus kromoszóma? mit reprezentál? költség függvény? operátorok: szelekció, keresztezés, mutáció? evolúció műkdése? Egy adott labirintusból kromoszóma = útvonal... Általános algoritmus kromoszóma = "algoritmus"... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 39 / 43

Tartalom Neurális hálózat Autóvezetés tanulás... 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 40 / 43

Autóvezetés tanulás Neurális hálózat Autóvezetés tanulás... a vezető érzékeli a környezetét ezek alapján irányítja az autót... mit érzékel a vezető (algoritmus)? mit tartalmaz a kromoszóma / neurális hálózat? mi az evolúciós algoritmus / neurális hálózat bemenete és kimenente (eredménye)? hogyan működik az evolúciós algoritmus / neurális hálózat?... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 41 / 43

Neurális hálózat Autóvezetés tanulás... Előnyök - hátrányok, továbbfejlesztés Előnyök sok paraméterrel jól párhuzamosítható több jó megoldás Hátrányok ha kicsi / változó az állapottér ha kevés a paraméter ha bináris / drága költségfüggvény nincs "biztos" optimum Továbbfejlesztés új operátorok : pld. öregedés... pontosabb evolúciós modell : több populáció egymásra hatása... tanulás beépítése... adaptálódó kódolás, és paraméterek hierarchikus modell, meta... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 42 / 43

Összefoglalás Neurális hálózat Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai 2010 43 / 43