FELÜGYELT ÉS MEGERŐSÍTÉSES TANULÓ RENDSZEREK FEJLESZTÉSE

Átírás

1 FELÜGYELT ÉS MEGERŐSÍTÉSES TANULÓ RENDSZEREK FEJLESZTÉSE Dr. Aradi Szilárd, Fehér Árpád

2 Mesterséges intelligencia kialakulása 1956 Dartmouth-i konferencián egy maroknyi tudós megalapította a MI területét Az elmúlt évtizedekben az MI-t szkeptikusan kezelték : mélytanulás kifejlesztése 2012-től robbanásszerű fejlődés

3 MI, gépi tanulás, mélytanulás

4 Ágens

5 Racionális ágens Racionálisan cselekedni: Racionális ágens legjobb kimenetel érdekében vagy bizonytalanság jelenlétében a legjobb várható kimenetel érdekében cselekszik

6 Tanulási fázis Jellemzően nagy mennyiségű adatból kinyert minták alapján történik. A rendszer felveszi a mintákban lévő ismereteket és a viselkedése módosul. Fő tanulási formák: felügyelt vagy ellenőrzött tanulás felügyelet nélküli vagy nemellenőrzött tanulás megerősítéses tanulás

7 Felügyelt tanulás Összetartozó ki- és bemeneti mintapárok rendelkezésre állnak. A tanító algoritmus feladata, hogy megtanítsa a mintapárok által reprezentált leképezést. A kívánt válaszok ismertek, tehát a hálózat közvetlen válasza összehasonlítható azokkal, és a különbségből kiderül, hogy szükséges-e további módosítás. A tanító eljárás lényege a kívánt és tényleges kimenetek közti hiba minimalizálása

8 Előhívási fázis A betanított ágens, a neki szánt funkció betöltése során az előhívási szakaszban van. Gyorsabb folyamat, mint a tanítás A tanítás során kalkulált súlyokat felhasználva a kimeneten megjelenik a válasz

9 Mesterséges neurális hálózatok Biológiai eredetű, de annál jóval egyszerűbb elemekből álló szimuláció. Ez lehet az ágens agya A gépi tanulás inspirálta a kifejlesztését. Története a 40-es évekre nyúlik vissza. Fontos mérföldkő volt 1958-ban Rosenblatt perceptronja. Ezt követően több probléma is stagnált a tématerülete kutatása 1975-ben Werbos publikálta a hibavisszaterjesztéses algoritmust, amellyel a többrétegű neurális hálózatok tanítása lehetővé vált. Végül újabb lökéseket adott a számítógépek teljesítménynek folyamatos növekedése, valamint az internetnek köszönhetően rendelkezésre álló óriási adatmennyiség

10 Mesterséges neurális hálózatok, definíció Definíció: Mesterséges neurális hálózatnak nevezzük azt a hardver vagy szoftver megvalósítású párhuzamos, elosztott működésre képes információfeldolgozó eszközt, amelyre igaz, hogy: Azonos vagy hasonló típusú általában nagyszámú lokális feldolgozást végző műveleti elem, neuron (processing element) többnyire rendezett topológiájú, nagymértékben összekapcsolt rendszeréből áll. Rendelkezik tanulási algoritmussal (learning algorithm), mely általában minta alapján való tanulást jelent, és amely az információfeldolgozás módját határozza meg. Rendelkezik a megtanult információ felhasználását lehetővé tevő információ előhívási, vagy röviden előhívási algoritmussal (recall algorithm)

11 Neuron felépítése MISO eszköz Nemlineáris leképezés Rendelkezhet lokális memóriával Aktivációs függvény

12 Neuron felépítése

13 Aktivációs függvények f(x)=x

14 Aktivációs függvények ReLU

15 Neuronok csoportosítása Elhelyezkedés, funkció és a többi neuronnal való kapcsolat szerint a hálózatban szereplő neuronokat három diszjunkt halmazba oszthatjuk: bemeneti neuronok, amiknek közvetlen bemenete a hálózat bemenete, egybemenetűek, jellemzően egy kimenettel rendelkeznek, más neuronok meghajtására szolgálnak kimeneti neuronok, amik a hálózat kimenetére továbbítják az információt rejtett neuronok, amik be és kimeneteikkel közvetlenül más neuronokhoz kapcsolódnak

16 Topológia

17 Konvolúciós neurális hálózat Hagyományos neurális hálózat alapokon nyugszik Képeken található minták feltárására fejlesztették

18 Felügyelt tanuló rendszer fejlesztése

19 Felügyelt tanuló rendszer fejlesztése HiL környezet Monitor Kamera PC HiL

20 Felügyelt tanuló rendszer fejlesztése Fejlesztés lépései: Tanító mintapont párok előállítása Jármű körbevezetése a pályán Képekhez tartozó kormányszög értékek Adatkonverzió 6460 darab mintapár Hálózat méretének megválasztása Betanítás Eredmények kiértékelése

21 Méretválasztás, betanítás Hálózati struktúra Futási idő [mm:ss] Validációs négyzetes hiba Tanulás négyzetes hibája (cél) Iterációk száma [ ] 03: [ ] 03: [ ] 02: [ ] 08: [ ] 09: [ ] 05: [ ] 08: [ ] 05: [ ] 21: [ ] 07: [ ] 07:

22 Méretválasztás, betanítás Konvolúciós neurális hálózat 3. hálózat: (1) 130 x 320 méretű, három csatornás bemeneti réteg Hálózat száma Futási idő [mm:ss] Validációs négyzetes hiba Tanulás négyzetes hibája Iterációk száma 1 50: : : : : : (2) 13 x 32 méretű, 15 darab, 3 csatornás szűrőből álló konvolúciós réteg (3) ReLU aktivációs függvény (4) 15 neuronból álló teljesen összekapcsolt réteg (5) ReLU aktivációs függvény (6) 1 neuronból álló teljesen összekapcsolt réteg (7) Regressziós kimeneti réteg

23 Eredmények kiértékelése

24 Eredmények kiértékelése Videó

25 Megerősítéses tanulás A megerősítéses tanulás (reinforcement learning) feladata az, hogy optimális (vagy közel optimális) stratégiát tanuljon az ágens egy adott környezethez. Nincs felügyelet, csak egy ún. reward signal A visszacsatolás sokszor késleltetett, nem azonnali Az ágens akciói befolyásolják a későbbi adatokat

26 Megerősítéses tanulás példák Táblajátékok (amőba, sakk, go) Videójátékok Robotikai feladatok (humanoid robot járni tanul) Optimális irányítási feladatok Versenyautó irányítása Erőmű irányítás Jármű energiaoptimalizáció

27 Jutalom (Reward) A jutalom (R t ) egy skalár visszacsatolt jel Azt mutatja, hogy mennyire jól csinálja az ágens a feladatát t időpontban Az ágens célja, hogy maximalizálja a kumulált jutalmat Jutalom hipotézis: minden cél leírható a kumulált jutalom várható értékének maximalizálásával Konferencia neve 27

28 Megerősítéses tanulás

29 Markov-folyamat Olyan sztochasztikus folyamat, melynél a jövőbeli állapotok feltételes valószínűsége csak a jelenlegi állapottól függ, a folyamat múltbeli történetétől nem, ill. csak közvetve: a múlt a jövőt csak a jelenen keresztül befolyásolja Konferencia neve 29

30 Állapotreprezentáció példa Mi történik akkor, ha az állapot sorrendben a 3 utolsó elem Mi történik akkor, ha az állapot a lámpák, csengők és karok számai? Mi történik akkor, ha az állapot a teljes szekvencia? Konferencia neve 30

31 Ágens komponensek Egy megerősítéses tanuló ágensek az alábbi komponensekből épülnek fel: Policy: az ágens viselkedését leíró függvény Value function: mennyire jó az adott állapot és/vagy akció Modell: az ágens környezet-reprezentációja Konferencia neve 31

32 Policy A policy az ágens viselkedése Az állapotk és az akciók közti leképezés Determinisztikus policy: Stohasztikus policy: Konferencia neve 32

33 Value function A jövőbeni jutalom predikciója Az állapotok jóságának meghatározására használható Ebből adódóan közvetetten az akciók kiválasztására is használhatók Konferencia neve 33

34 Modell A modell megjósolja, hogy mi fog történni a környezettel, azaz mi lesz a következő állapot, valamint a következő közvetlen jutalom Konferencia neve 34

35 Labirintus példa Jutalom: -1 minden lépésben Akció: É, K, D, Ny Állapot: az ágens pozíciója Konferencia neve 35

36 Labirintus példa: policy A nyilak a policy-t reprezentálják, minden egyes állapotban Konferencia neve 36

37 Labirintus példa: value function A számok az egyes állapotok értékét reprezentálják Konferencia neve 37

38 Tanulás és tervezés Megerősítéses tanulás A környezet kezdetben ismeretlen Az ágens interakcióba lép a környezettel Az ágens fejleszti a policy-jét Tervezés A környezet modellje ismert Az ágens számításokat végez a modellel (külső interakció nélkül) Az ágens fejleszti a policy-jét Konferencia neve 38

39 Felfedezés és kihasználás A megerősítése tanulás egy trial-and-error tanulás Az ágensnek fel kell fedezni a jó policy-t Felhasználva a tapasztalatait a környezetből De közben kevés jutalmat elveszítve Exploration: több információ gyűjtése a környezetről Exploitation: a már megszerzett információ kihasználása a jutalom maximalizálása érdekében Konferencia neve 39

40 Köszönöm a figyelmet! TDK konferencia 40