Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék. Neurális hálók. Pataki Béla

Átírás

1 Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék Neurális hálók Előadó: Előadás anyaga: Hullám Gábor Pataki Béla Dobrowiecki Tadeusz BME I.E. 414,

2 Neurális hálózat - neuronok Neuron doktrina: S. Ramón y Cajal ( ) Mesterséges neuron: W. McCulloch and W. Pitts, 1943 Tanulás: D. Hebb, 1949 SNARC (Stochastic Neural Analog Reinforcement Calculator): M. Minsky, 1951 Perceptron: F. Rosenblatt, 1957 Neuronok becsült száma az emberi agyban: F. Azevedo et al., /- 8.1 milliárd

3 Perceptron - történelem Frank Rosenblatt: Perceptron A perceptron algoritmus első implementációja a Mark I Perceptron gép 1969: Minsky és Papert: Perceptrons c. könyve A perceptronnak súlyos korlátai vannak a képességeit tekintve Hatására kb 10 évig nem történt kutatás a témakörben (AI Winter)

4 Klasszikus neurális hálózatok David E. Rumelhart, Geoffrey E. Hinton and Ronald J. Williams: "Learning representations by back-propagating errors" Hibavisszaterjesztés algoritmusa Újra beindította a kutatást a témakörben Vapnik: Support-vector networks Számos problémára sokkal jobb eredményt ad, kevésbé nehézkes a tanítása Hatásásra a neurális hálózatok kutatása (ismét) alábbhagyott

5 Mély neurális hálózatok 2000-es évek közepén a neurális hálózatok témakörben alig lehetett cikket elfogadtatni 2004 G. Hinton - CIFAR (Canadian Institute for Advanced Research) Új csomagolás a neurális hálózatoknak: deep learning Hinton, Osindero, Yee-Whye Teh:A fast learning algorithm for deep belief nets Új áttörés: mély hiedelem hálók rétegenkénti tanítása, Újra beindítja a kutatást

6 Perceptron bemenet súlyok x 1 w 1 w 1 x 1 x 2 w 2 összegző aktivációs függvény kimenet x 3 w 3 Σ y x n w n x n+1 =1 w n+1 =b bias súlyozott összeg n1 T y sgn( w x ) sgn( w x w ) sgn( b) i i i i n1 i1 i1 n xw

7 A perceptron képessége n1 T y sgn( w x ) sgn( w x w ) sgn( b) i i i i n1 i1 i1 n xw T xwb0 T xwb0 lineárisan (hipersíkkal) szeparálható függvényt képes reprezentálni

8 Perceptron tanítása 1. hiba elvárt kimenet w( k) w( k 1) ( k) x( k) - bátorsági faktor, tanulási tényező

9 Perceptron tanítása 2. Tanítás konvergens, ha A tanító példák lineárisan szeparálhatók Bátorsági tényező elegendően kicsi w( k) w( k 1) ( k) x( k) Küszöb érték

10 Perceptron és a logikai függvények

11 XOR (és hasonlóan lineárisan nem szeparálhatók) problémája több réteg kellene tanulás (preceptronnál) csak 1 rétegre hiba értelmezése a kérdés

12 Mesterséges neuron

13 Mesterséges neuron aktivációs függvények Szigmoid Tanh

14 Mesterséges Neurális Háló (Artificial Neural Network) nemlineáris approximációt megvalósító, induktív tanulási algoritmussal tanítható matematikai struktúra.

15 Mesterséges neurális háló felépítés Bemeneti réteg Rejtett rétegek Kimeneti réteg 15

16 Mesterséges neurális háló

17 Mesterséges neurális háló reprezentációs képessége D. Hilbert (1900) 23 matematikai problémája/sejtése: 13. probléma: "Bizonyítsuk be, hogy az x 7 +ax 3 +bx 2 +cx+1=0 hetedfokú egyenlet nem oldható meg pusztán kétváltozós függvények segítségével! "Mutassuk meg, hogy van olyan háromváltozós folytonos függvény, mely nem írható fel véges számú kétváltozós folytonos függvény segítségével! A. Kolmogorov (1957): nem csupán minden háromváltozós függvény, hanem tetszőleges N-változós folytonos függvény felírható csupán egyváltozós függvények és az összeadás segítségével.

18 Mesterséges neurális háló Már egy rejtett réteggel is univerzális approximátor (bármely függvényt képes reprezentálni) S.Sun, Univ.Toronto

19 Mesterséges neurális háló tanítása Többrétegű előrecsatolt háló tanítása (elemi alapok) Hibavisszaterjesztés gradiens módszerrel példa bemeneteket mutatunk a hálónak, ha hiba lép fel (a kimenet és a kívánt érték eltér), a súlyokat úgy módosítjuk, hogy a hiba csökkenjen. A trükk a hiba megállapítása és a hibának a hibát létrehozó súlyok közti szétosztása. W E W W

20 Hiba-/költség-/veszteség-függvény választás Négyzetes hiba regresszió 1 E( d, y) i ( d i y i ) 2 Keresztentrópia osztályozás E( d, y) i d i log y i 2 A cél azon súlyok megtalálása, melyek mellett minimális a hiba * arg min N w E( di, y i), ahol y = f(x,w) w i1

21 A tanítás nehézségei Kihívás: a neurális hálók tanítása egy nem konvex optimalizálási feladat

22 A tanítás lépései Kimenet számítása (forward pass) Hiba visszaterjesztése (backpropagation) Input j k 0 k kj k1 a ( x) g( w x w ) Hidden * i( ) ( j0 j ( ) ji ) j1 y x g w a x w

23 A tanítás lépései Kimenet számítása (forward pass) Hiba visszaterjesztése (backpropagation) Input j k 0 k kj k1 a ( x) g( w x w ) Hidden * i( ) ( j0 j ( ) ji ) j1 y x g w a x w

24 Backpropagation W E W W k, j k, j k, j W E W 1 2 E ( ) W i di yi ji, 2 j, i j, i

25 Mesterséges Neurális Háló hibavisszaterjesztés, alapok 1 1 E ( d y ) Err i i i i i 1 1 E( W) ( d g( W a )) ( d g( W g( W I ))) 2 2 E W ji, 2 2 i i j j, i j i i j j, i k k, j k E W W j, i j, i a ( d y ) g '( W a ) a ( d y ) g '( in ) a j i i j j, i j j i i i j i E W W W a Err g '( in ) W j, i j, i j, i j i i Wji, ji, Err i i g '( ini ) W W a j, i j, i j i

26 Mesterséges Neurális Háló hibavisszaterjesztés, alapok E W ji, E W W k, j a ( d y ) g '( W a ) a ( d y ) g '( in ) a I j i i j j, i j j i i i j i k k, j k, j E W W W W I k, j k, j k j j k, j g '( in ) W j j i j, i i

27 Mesterséges Neurális Háló

28 Neurális háló - tulajdonságok Aktivációs függvény A hibavisszaterjesztést alkalmazó (sekély) hálókban általában a szigmoid függvényt vagy annak valamelyik változatát használjuk. A szigmoidnak megvan az a tulajdonsága, hogy deriváltja g ' g(1 g) gx ( ) 1 1 e x

29 Neurális háló - tulajdonságok Kifejezőképesség Nem rendelkeznek az általános logikai reprezentációk kifejezőképességével. A többrétegű hálók osztálya egészében, mint osztály az attribútumok bármely függvényének reprezentációjára képes. Számítási hatékonyság Legrosszabb esetben a szükséges epochok száma a bemenetek számának, n-nek, még exponenciális függvénye is lehet. A hibafelület lokális minimumai problémát jelenthetnek.

30 Neurális háló - tulajdonságok Általánosító képesség: jó általánosításra képesek. Zajérzékenység: alapvetően nemlineáris regresszió, nagyon jól tolerálják a bemeneti adatok zajosságát. Átláthatóság: alapvetően fekete doboz. A priori ismeret felhasználása: nem könnyű (még aktívan kutatott terület)