Mesterséges Intelligencia alapjai

Átírás

1 Mesterséges Intelligencia alapjai Evolúciós algoritmusok - neurális hálózatok Istenes Zoltán Eötvös Loránd Tudományegyetem Informatikai Kar Programozáselmélet és Szoftvertechnológiai Tanszék 2010 / Budapest Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

2 Genetikus - evolúciós algoritmusok Genetikus - evolúciós algoritmusok... kromoszóma reprezentáció költség (fitnessz) függvény kezdeti populáció kiválasztás (szelekció) reprodukció (keresztezés) mutáció leállási feltétel Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

3 Tartalom Genetikus - evolúciós algoritmusok "Függvényanalízis" 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

4 Spektroszkópia... Genetikus - evolúciós algoritmusok "Függvényanalízis" a keresett csúcsok (maximális) száma adott normál (Gauss) eloszlások összegével közelítés Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

5 Tartalom Genetikus - evolúciós algoritmusok Térkép feliratozás 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

6 Genetikus - evolúciós algoritmusok Térkép feliratozás Genetikus algoritmusok használata térképek feliratozásában Adott n pont szerű elem egy térképen. Mindegyik ponthoz tartozik egy téglalap alakú címke, melynek a mérete előre rögzített, és négy alap pozícióba írhatóak. A feladat a címkék egymást nem metsző felhelyezése... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

7 Tartalom Genetikus - evolúciós algoritmusok Algoritmusok tanulása 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

8 Genetikus - evolúciós algoritmusok Truck backing problem Algoritmusok tanulása A keresett függvény : u=g(x,y,cabt,trailert) PLUS(a,b) MINUS(a,b) MUL(a,b) DIV(a,b) ATG(a,b) IFLTZ(a,b,c) a+b a-b a*b a/b, if b <> 0, else 1 atan2(a,b), if a<> 0, else 0 b, if a<0, else returns c Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

9 Tartalom Genetikus - evolúciós algoritmusok TSP 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

10 Utazó ügynök Genetikus - evolúciós algoritmusok TSP kromoszóma 1 gén = 1 város (a látogatás sorszáma) annyi gén ahány város "városszámok permutációja" keresztezés permutáció megörzése pld. egypontos keresztezés nem jó... mutáció kromoszómán belüli sorrend felcserélése Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

19 Tartalom Genetikus - evolúciós algoritmusok Fogolydilemma 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

20 Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Fogolydilemma - Prisoner s dilemma Egy súlyos bűntény kapcsán két gyanúsítottat letartóztat a rendőrség. Mivel nem áll rendelkezésre elegendő bizonyíték a vádemeléshez, ezért elkülönítik őket egymástól és mindkettejüknek ugyanazt az ajánlatot teszik. Amennyiben az első fogoly vall és társa hallgat, akkor az előbbi büntetés nélkül elmehet, míg a a másik, aki nem vallott, 10 év börtönt kap. Ha az első tagadja meg a vallomást és a második vall, akkor az másodikat fogják elengedni és az első kap 10 évet. Ha egyikük sem vall, akkor egy kisebb bűntényért 6 hónapot kapnak mindketten. Ha mindketten vallanak, mindegyikük 6 évet kap. Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

21 Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Másik tagad Másik vall Egyik tagad Egyik vall (Cooperate) (Defect) Mindketten Egyik szabad, 6 hónapot kapnak másik 10 évet kap Egyik 10 évet kap, Mindkettő másik szabad 6 évet kap Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

22 Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Cooperate Defect Cooperate 3, 3 0, 5 Defect 5, 0 1, 1 A, B = a két "játékos" C = Cooperate (tagadás), D = Defect (beárulás, vallomás) PA, PB = "jó pontok" A B PA PB megjegyzés D D 1 1 büntetés a közös beárulásért D C 5 0 jó beárulni a tagadót... C D rossz beárulva lenni C C 3 3 közös tagadás Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

23 Fogolydilemma Genetikus - evolúciós algoritmusok Fogolydilemma Mit tegyek, ha nem akarok börtönben ülni? 1 ha a másik kooperál (hallgat), akkor érdemes vallani (beárulni) (5:0 a "javamra") 2 ha a másik vall (beárul), akkor érdemes nekem is vallani (1:1 mindkettőnknek) Bármit dönt a másik, nekem érdemesebb vallani (beárulni)!... És ha mégis mindketten kooperálnánk?... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

24 Genetikus - evolúciós algoritmusok Ismételt fogolydilemma Fogolydilemma ismételt fogolydilemma : 1950-ben Merrill Flood és Melvin Drescher 1979-ben egy amerikai politológus, Robert Axelrod verseny 14 versenyző győztes a szociálpszichológus, Anatol Rapoport programja 1982-ben egy második versenyt, amelyen az összes résztvevő tisztában volt az elöző eredményével. Anatol Rapoport ismét ugyanazt a pályázatot küldte be (Tit for Tat névre keresztelte), és ismét nyert vele. Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

25 Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma stratégia Genetikus algoritmus? játék stratégia? reprezentáció (kromoszóma)? Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

26 Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma stratégia Tit for Tat stratégia: Ha "előző játékban", akkor "ebben a körben"... Ha C C, akkor C (kooperáljunk...) Ha C D, akkor D (ha beárultál, akkor most én is...) Ha D C, akkor C (kooperálásra hajlok...) Ha D D, akkor D (tartom a beárulást...) Első játékban kooperálok... fegyverkezési verseny "aranyszabály" nemek harca Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

27 Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma stratégia - kromoszóma Egy stratégia: Emlékezzünk a 3 előző játékra, és lépjünk az alapján... Ha CC, CC, CC, akkor "C vagy D" Ha CC, CC, CD, akkor Ha DD, DD, DD, akkor... kromoszóma : 64 bit ( ) + pár bit az első játékokra Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

28 Genetikus - evolúciós algoritmusok Fogolydilemma Ismételt fogolydilemma - költségfüggvény Hogyan lehet egy stratégiáról megtudni hogy mennyire jó? mindegyik stratégiával (egyeddel) játszunk több játékot (ismételt fogolydilemmát) a játékokban elért eredménye mutatja a "jóságát" a stratégiák játszhatnak egymás ellen, "különféle környezetben"... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

29 Tartalom Genetikus - evolúciós algoritmusok Amőba 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

30 Genetikus - evolúciós algoritmusok Amőba Amőba játékállás-kiértékelő mószerek összehasonlító vizsgálata kétszemélyes játékok gépi játékosának gyakori megvalósítási módszere a játékfarészlet elkészítése és kiértékelése fontos része a játékállások "pontos" kiértékelése több különböző játékállás kiértékelő függvény paraméter beállítás, mint egy populáció egyedei ezek az egyedek (paraméter beállítások) egymással versenyeznek, a paraméter beállításokat egy-egy amőbát játszó program használja a programok egymás ellen játszanak. az egyedek körmérkőzése megmutatta a sikeresebb, jobb paraméter beállításokat, amelyeket felhasználva, keresztezés és mutáció után, egy újabb populáció, generáció kapható több generáció után egyre jobb amőba játékállás kiértékelő függvény paraméterek kaphatók Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

31 Tartalom Genetikus - evolúciós algoritmusok "Rendező párok" 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

32 Rendezés Genetikus - evolúciós algoritmusok "Rendező párok" Rendezés összehasonlítás-csere párokkal A cél fix hosszúságú számsorozatok rendezése előre meghatározott összehasonlítás-csere párok alapján. Kérdés a minimális összehasonlítás csere párok. Példák 4 hosszú számsorra : buborék : 1-2, 2-3, 3-4, 1-2, 2-3, 1-2 (6 pár) 1-2, 3-4, 1-3, 2-4 (4 pár) Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

33 Genetikus - evolúciós algoritmusok "Rendező párok" Rendezés - összehasonlítás-csere párok reprezentációja (11,5) (7,9) (2,7) (14,4) (3,12) (10,9) azonos kromoszóma részlet : homozigóta különböző kromoszóma részlet : heterozigóta Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

34 Genetikus - evolúciós algoritmusok Rendezés - keresztezés "Rendező párok" szülő 1. (diploid) szülő 2. (diploid) keresztezés gaméta 1. (haploid) gaméta 2. (haploid) ivadék (diploid) Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

35 Genetikus - evolúciós algoritmusok Rendezés - költségfüggvény "Rendező párok" kevés, mindig változó rendezendő számsorozat rendezésének a sikeressége probléma : az elég jó rendezések nem fejlődnek tovább... "evolúciós nyomás kell... ötlet : a teszt esetek (rendezendő számsorozatok) is fejlődjenek egy számsorozat akkor "sikeres" ha nehéz rendezni... "gazdák és paraziták" Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

41 Neurális hálózat Neurális hálózat Tanulási paradigmák: felügyelt tanulás (pld. karakter felismerés) felügyelet nélküli tanulás (pld. csoportosítás) megerősítéses tanulás (pld. játékok) Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

42 Tartalom Neurális hálózat N.E.R.O. 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

43 NERO Neurális hálózat N.E.R.O. Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

44 Neurális hálózat N.E.R.O. Neuro-Evolving Robotic Operatives 1/3 "ágensek" (robotok) 3D fizikai szimulációs környezet tanítható ágensek két játékfázis tanítás, "próbakörnyezetben" "harc"... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

45 Neurális hálózat N.E.R.O. Neuro-Evolving Robotic Operatives 2/3 tanítás egyre komplexebb környezetekben Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

46 Neurális hálózat N.E.R.O. Neuro-Evolving Robotic Operatives 3/3 Real-time Neuroevolution (rtneat) ágens "agy": neurális hálózat szenzorok a neurális háló bemenetei genetikus algoritmus, megerősítéses tanulás: egy populáció legjobbjai jutalmat, a legroszabbak büntetést kapnak a "jóságot" a felhasználó állítja be: különböző szempontoknak megfelelés (ellenfél megközelítése, célbatalálás, távolságok...) az "agy"at az életciklusa végén az algoritmus "kiértékeli"... N.E.R.O Neuro-Evolving Robotic Operatives : Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

47 Tartalom Neurális hálózat Hangya kolónia optimalizálás 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

48 Neurális hálózat Hangya kolónia optimalizálás Hangya kolónia optimalizálás - ant colony optimization gráfban legrövidebb út keresés véletlenszerű vándorlás élelem találása esetén vissza a bolyba, közben feromon nyomok hagyása ha feromon nyomot talál, akkor (véletlen vándorlás helyett) inkább követi a feromon nyom idővel elpárolog a rövidebb úton jobban megmarad a feromon nyom... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

49 Tartalom Neurális hálózat Framsticks 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

50 Framsticks Neurális hálózat Framsticks Lények evolúciós képességeinek a vizsgálata 3D környezet genotípus ábrázolja a lényeket: fizikai szerkezet ("test") neurális hálózat ("agy") környezet érzékelők agy beavatkozók környezet operátorok: mutáció, keresztezés, javítás energia követelmények irányított (fitnessz függvény), és spontán evolúció Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

51 Tartalom Neurális hálózat Labirintus 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

52 Neurális hálózat Labirintusból kitalálás... Labirintus kromoszóma? mit reprezentál? költség függvény? operátorok: szelekció, keresztezés, mutáció? evolúció műkdése? Egy adott labirintusból kromoszóma = útvonal... Általános algoritmus kromoszóma = "algoritmus"... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

53 Neurális hálózat Labirintusból kitalálás... Labirintus kromoszóma? mit reprezentál? költség függvény? operátorok: szelekció, keresztezés, mutáció? evolúció műkdése? Egy adott labirintusból kromoszóma = útvonal... Általános algoritmus kromoszóma = "algoritmus"... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

54 Tartalom Neurális hálózat Autóvezetés tanulás... 1 Genetikus - evolúciós algoritmusok "Függvényanalízis" Térkép feliratozás Algoritmusok tanulása TSP Fogolydilemma Amőba "Rendező párok" 2 Neurális hálózat N.E.R.O. Hangya kolónia optimalizálás Framsticks Labirintus Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

55 Autóvezetés tanulás Neurális hálózat Autóvezetés tanulás... a vezető érzékeli a környezetét ezek alapján irányítja az autót... mit érzékel a vezető (algoritmus)? mit tartalmaz a kromoszóma / neurális hálózat? mi az evolúciós algoritmus / neurális hálózat bemenete és kimenente (eredménye)? hogyan működik az evolúciós algoritmus / neurális hálózat?... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

56 Neurális hálózat Autóvezetés tanulás... Előnyök - hátrányok, továbbfejlesztés Előnyök sok paraméterrel jól párhuzamosítható több jó megoldás Hátrányok ha kicsi / változó az állapottér ha kevés a paraméter ha bináris / drága költségfüggvény nincs "biztos" optimum Továbbfejlesztés új operátorok : pld. öregedés... pontosabb evolúciós modell : több populáció egymásra hatása... tanulás beépítése... adaptálódó kódolás, és paraméterek hierarchikus modell, meta... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43

57 Összefoglalás Neurális hálózat Autóvezetés tanulás... Istenes Zoltán (ELTE-IK-PSZT) Mesterséges Intelligencia alapjai / 43