Genetikus algoritmusok

Átírás

1 Genetikus algoritmusok Zsolnai Károly - BME CS zsolnai@cs.bme.hu

2 Keresőalgoritmusok osztályai Véletlent használó algoritmusok Keresőalgoritmusok Kimerítő algoritmusok Dinamikus programozás BFS DFS Tabu keresés Szimulált lehűtés Evolúciós algoritmusok Hegymászó keresés Rajintelligencia Genetikus programozás Genetikus algoritmusok (a keresőalgoritmusok egy részhalmazát mutattuk be)

4 Hegymászó keresés

7 Hegymászó keresés globális optimum lokális optimum

10 Definíció A genetikus algoritmus a lehetséges megoldások egy populációját hozza létre, amelyekhez lépésenként új egyedeket ad, illetve a már meglévő egyedekre szelekciós, rekombinációs és mutációs operátorokat alkalmaz.

11 Felhasználás KERESÉSI ÉS OPTIMALIZÁCIÓS PROBLÉMÁK, AHOL: - Sokdimenziós keresési terek jellemzők és a fontosabb változók közötti összefüggés ismeretlen - A tradicionális megoldások elfogadhatatlan futási időt adnak (NP, NPC) - A keresési tér nehezen, vagy nem is szűkíthető - Egy megoldás jósága gyorsan ellenőrizhető, de egy jó megoldás előállítása nehézkes

12 Alapfogalmak GÉN Definíció a DNS alapvető szerveződési egysége, valamilyen tulajdonságot kódol Matematikai reprezentáció ALLÉL Definíció egy-egy géntípus lehetséges megjelenési formáinak halmaza Matematikai reprezentáció

13 Alapfogalmak KROMOSZÓMA Definíció a gének egy teljesnek tekinthető gyűjteménye Matematikai reprezentáció GENOTÍPUS Definíció a kromoszóma néhány kiválasztott génje Matematikai reprezentáció FENOTÍPUS Definíció a genotípus általánosítása Matematikai reprezentáció

14 Alapfogalmak POPULÁCIÓ Definíció egy adott pillanatban létező potenciális megoldások gyűjteménye Matematikai reprezentáció EVOLÚCIÓS OPERÁTOROK Definíció a természetben megfigyelhető szelekció, rekombináció és mutáció műveleteinek megfelelői

15 Alapfogalmak FITNESS Definíció egy adott kromoszómával definiált egyedek túlélési esélye Matematikai reprezentáció EVOLÚCIÓ Definíció a fenti operátorok iteratív alkalmazása a megoldáshalmaz javítása érdekében Matematikai reprezentáció

16 BINÁRIS KÓDOLÁS Reprezentációk, kódolás

17 BINÁRIS KÓDOLÁS Reprezentációk, kódolás 0-1 Hátizsák probléma Adott súlyú és értékű elemeket kell véges kapacitású hátizsákban elhelyezni, cél az összérték maximalizálása. Kódolás

18 BINÁRIS KÓDOLÁS Reprezentációk, kódolás 0-1 Hátizsák probléma Adott súlyú és értékű elemeket kell véges kapacitású hátizsákban elhelyezni, cél az összérték maximalizálása. Kódolás Fitness függvény Feltétel

19 PERMUTÁCIÓS KÓDOLÁS Reprezentációk, kódolás

20 PERMUTÁCIÓS KÓDOLÁS Reprezentációk, kódolás Utazóügynök probléma Egy irányított gráfban keresünk minimális összsúlyú Hamilton-kört. Kódolás

21 PERMUTÁCIÓS KÓDOLÁS Reprezentációk, kódolás Utazóügynök probléma Egy irányított gráfban keresünk minimális összsúlyú Hamilton-kört. Kódolás Fitness függvény Feltétel

22 VALÓS ÉRTÉK KÓDOLÁS Reprezentációk, kódolás

23 VALÓS ÉRTÉK KÓDOLÁS Reprezentációk, kódolás Labirintus Egy útvesztő valamely kezdőpontjától kell minél messzebb eljutni. Kódolás

24 VALÓS ÉRTÉK KÓDOLÁS Reprezentációk, kódolás Labirintus Egy útvesztő valamely kezdőpontjától kell minél messzebb eljutni. Kódolás Fitness függvény Azaz a standard euklideszi távolság a starttól, vagy tetszőleges egyéb norma

25 KERESZTEZÉS EGY PONTON Keresztezési operátorok

32 KERESZTEZÉS KÉT PONTON Keresztezési operátorok

36 VÉLETLEN KERESZTEZÉS Keresztezési operátorok

39 ARITMETIKAI KERESZTEZÉS Keresztezési operátorok

42 BINÁRIS MUTÁCIÓ Mutációs operátorok

46 BINÁRIS MUTÁCIÓ Mutációs operátorok Általánosítható-e a modell valós értékek kódolására is?

49 FITNESS ARÁNYOS SZELEKCIÓ Szelekciós stratégiák Alapelv

56 ELITISTA SZELEKCIÓ Szelekciós stratégiák Alapelv Csak a k darab legjobb kromoszómát örökítjük tovább

59 ALGORITMUS Az algoritmus lépései

60 ALGORITMUS Az algoritmus lépései Kilépési feltételek - Generáció limit - Max fitness limit - Átlag fitness limit - Konvergencia beállása

61 Az algoritmus lépései Kiinduló populáció

64 Az algoritmus lépései Kiinduló populáció Szelekció

65 Az algoritmus lépései Kiinduló populáció Szelekció

66 Az algoritmus lépései Kiinduló populáció Szelekció Keresztezés

70 Az algoritmus lépései Kiinduló populáció Szelekció Keresztezés Mutáció

73 Evolúciós keresés

77 Evolúciós keresés Érdemes úgy elképzelni, mintha a felrajzoltak helyett egy teljes gráfunk lenne, ahol a nem látszó éleket a mutáció valószínűségének megfelelő eséllyel igénybe vehetjük (szaggatott vonal).

78 Demo Hátizsák probléma implementáció:

79 Demo Mona Lisa festés poligonokból implementáció:

80 Demo Mona Lisa festés poligonokból implementáció:

81 Demo Mona Lisa festés poligonokból implementáció: Telepítési, fordítási útmutató a README-ben.

82 Demo Mona Lisa festés poligonokból implementáció: Telepítési, fordítási útmutató a README-ben.

83 Demo Gabriele Greco SDL implementációja: Forrás: Bináris: (SDL.dll kellhet hozzá)

84 Adatbázisok ismétlés Heap szervezés A legegyszerűbb módszer, nem rendel az adatokhoz külön struktúrát, így a keresés lineáris futásidejű, azaz n darab rekord esetén.

85 Adatbázisok ismétlés Heap szervezés A legegyszerűbb módszer, nem rendel az adatokhoz külön struktúrát, így a keresés lineáris futásidejű, azaz n darab rekord esetén. Indexelt szervezés Sűrű index minden egyes adatrekordra mutatót állítunk Ritka index az adatrekordok egy csoportjára állítunk mutatókat Ha az indexállomány a kulcs szerint rendezett, lehet bináris keresést használni, n darab rekord esetén.

86 Adatbázisok ismétlés Többszintű ritka indexek, B*-fa Az indexállományban való keresést tovább gyorsítjuk azzal, hogy az indexhez egy további ritka indexet készítünk. Így egy fát kapunk, amiben a keresés nagyságrendű, amennyiben a fa elágazási tényezője.

87 Adatbázisok ismétlés Többszintű ritka indexek, B*-fa Az indexállományban való keresést tovább gyorsítjuk azzal, hogy az indexhez egy további ritka indexet készítünk. Így egy fát kapunk, amiben a keresés nagyságrendű, amennyiben a fa elágazási tényezője.

88 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja.

89 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem.

90 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem.

91 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény

92 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény - az select futási ideje

93 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény - az select futási ideje - hányszor kérték az adott lekérdezést

94 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény - az select futási ideje - hányszor kérték az adott lekérdezést - ennyi lekérdezésre teszteltünk

95 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény - az select futási ideje - hányszor kérték az adott lekérdezést - ennyi lekérdezésre teszteltünk

96 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény - az select futási ideje - hányszor kérték az adott lekérdezést - ennyi lekérdezésre teszteltünk - az beszúrás futási ideje - hányszor kérték az adott beszúrást - ennyi beszúrásra teszteltünk

97 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény - az select futási ideje - hányszor kérték az adott lekérdezést - ennyi lekérdezésre teszteltünk - az beszúrás futási ideje - hányszor kérték az adott beszúrást - ennyi beszúrásra teszteltünk

98 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény lekérdezés és beszúrás fontosságának súlyozása - az select futási ideje - hányszor kérték az adott lekérdezést - ennyi lekérdezésre teszteltünk - az beszúrás futási ideje - hányszor kérték az adott beszúrást - ennyi beszúrásra teszteltünk

99 Adatbázisok ismétlés Adatbázis indexelési feladat Feladat Egy olyan indexre van szükségünk, ami az adatbázisból való olvasás és írás sebességét optimalizálja. Kódolás A kromoszóma legyen egy bináris vektor, ahol a vektor elemei a rekordok, az értékek pedig 0/1 az alapján, hogy teszünk-e rá mutatót, vagy sem. Fitness függvény lekérdezés és beszúrás fontosságának súlyozása - az select futási ideje - hányszor kérték az adott lekérdezést - ennyi lekérdezésre teszteltünk - az beszúrás futási ideje - hányszor kérték az adott beszúrást - ennyi beszúrásra teszteltünk

100 Adatbázisok ismétlés További alkalmazások az adatbázisokhoz Fizikai adatszervezés optimalizálása 54?doi= Elosztott adatbázisokra bejövő queryk sorrendezése, szétosztása re.ieee.org%2fxpls%2fabs_all.jsp%3farnumber%3d Adatbázis kiszolgáló fenntartási költségeinek minimalizálása Természetes illesztések futásidő-optimalizálása Elosztott adatbázisok vertikális partícionálása ideális módon

101 Verdikt A GENETIKUS ALGORITMUSOKRÓL TEHÁT AZ ALÁBBIAKAT ÁLLÍTHATJUK - Nagy részük probléma- és reprezentációfüggetlen - Az átlagos fitness érték az optimumhoz konvergálnak - A konvergálás kapcsán már útközben látható a pillanatnyi eredmény - Tetszőlegesen nagy dimenziójú problémákra alkalmazhatók - Mutációval kiszabadulhatnak a lokális optimumhelyek rabságából - Más gyors, de nem optimális keresési algoritmusokkal jól keverhetők - Kiválóan párhuzamosíthatók, alacsony a kommunikációs bonyolultságuk - Tárigényük Ökölszabály: akkor használandó, ha egy problémát elég egyszer megoldani!

102 Adatbázisok ismétlés Referenciák Gajdos Sándor Adatbázisok Mûegyetemi kiadó, Marcin Korytkowski, Marcin Gabryel, Robert Nowicki and Rafal Scherer - Genetic Algorithm for Database Indexing