Mesterséges Intelligencia MI

Átírás

1 Mesterséges Intellgenca MI Egyszerű döntés. Tanuljuk meg! Dobroweck Tadeusz Eredcs Péter, és mások BME I.E. 437,

2 Neuron doktrna: S. Ramón y Cajal ( ) Mesterséges neuron: W. McCulloch and W. Ptts, 943 Tanulás: D. Hebb, 949 SNARC (Stochastc Neural Analog Renforcement Calculator): M. Mnsky, 95 Perceptron: F. Rosenblatt, 957 Mély neuráls hálók, stb., 2006

3 Perceptron n+ T y = sgn( w x ) = sgn( w x + w ) = sgn( + b) n+ = = n x w T x w+ b > 0 T x w+ b < 0 lneársan (hpersíkkal) szeparálható függvényt képes reprezentáln

4 Perceptron tanítása w( k) = w( k ) +α ε( k) x( k) α - bátorság faktor, tanulás tényező

5 Perceptron tanítása Tanítás konvergens, ha A tanító példák lneársan szeparálhatók Bátorság tényező elegendően kcs w( k) = w( k ) +α ε( k) x( k)

6 Perceptron és logka függvények

7 XOR (és hasonlóan lneársan nem szeparálhatók) problémája: több réteg tanulás = csak réteg (hba értelmezése)

8 Mesterséges neuron

9 Mesterséges Neuráls Háló (Artfcal Neural Network) nemlneárs approxmácót megvalósító, nduktív tanulás algortmussal tanítható matematka struktúra.

10 Mesterséges Neuráls Háló D. Hlbert (900) 23 matematka problémája/sejtése: 3. probléma: "Bzonyítsuk be, hogy az x 7 +ax 3 +bx 2 +cx+=0 hetedfokú egyenlet nem oldható meg pusztán kétváltozós függvények segítségével! "Mutassuk meg, hogy van olyan háromváltozós folytonos függvény, mely nem írható fel véges számú kétváltozós folytonos függvény segítségével! A. Kolmogorov (957): nem csupán mnden háromváltozós függvény, hanem tetszőleges N-változós folytonos függvény felírható csupán egyváltozós függvények és az összeadás segítségével.

11 Mesterséges Neuráls Háló

12 Mesterséges Neuráls Háló Többrétegű előrecsatolt háló tanítása (elem alapok) Hbavsszaterjesztés gradens módszerrel - példa bemeneteket mutatunk a hálónak, - ha hba lép fel (a kmenet és a kívánt érték eltér), a súlyokat úgy módosítjuk, hogy a hba csökkenjen. A trükk a hba megállapítása és a hbának a hbát létrehozó súlyok közt szétosztása. W E W α W

13 Mesterséges Neuráls Háló W E W α W k, j k, j k, j W E W α 2 E = Σ ( ) W d y j, 2 j, j,

14 Mesterséges Neuráls Háló hbavsszaterjesztés, alapok E = Σ ( d y ) = Σ Err E( W) = Σ ( d g( Σ W a )) = Σ ( d g( Σ W g( Σ W I ))) 2 2 E W W j, 2 2 j j, j j j, k k, j k Σ E W α W j, j, = a ( d y ) g '( W a ) = a ( d y ) g '( n ) = a j j j, j j j E W W α = W + α a Err g '( n ) W j, j, j, j W j, E W α W k, j k, j W W + α I k, j k, j k, j k j E W k, j = W = I k g '( n ) W j j j, j Σ j, W W + α a j, j, j = Err g '( n )

15 Mesterséges Neuráls Háló Kérdések: mekkora (hány réteg, rétegenként hány processzáló elem) hálózatot válasszunk, hogyan válasszuk meg a tanulás tényező, α értékét, mlyen kezdet súlyértékeket állítsunk be, hogyan válasszuk meg a tanító és a tesztelő mnta készletet, hogyan használjuk fel a tanító pontokat, mlyen gyakorsággal módosítsuk a hálózat súlyat, meddg tanítsuk a hálózatot, stb? (hogyan gyorsítsuk meg a tanulást?) (hogyan védekezzünk a túltanulással szemben?)

16 Mesterséges Neuráls Háló

17 XOR - újra

18 A hbavsszaterjesztést alkalmazó hálókban általában a szgmod függvényt vagy annak valamelyk változatát használjuk. A szgmodnak megvan az a tulajdonsága, hogy derváltja Elemzés g ' = g( g) g( x) = + e Kfejezőképesség: nem rendelkeznek az általános logka reprezentácók kfejezőképességével. A többrétegű hálók osztálya egészében, mnt osztály az attrbútumok bármely függvényének reprezentácójára képes. Számítás hatékonyság: legrosszabb esetben a szükséges epochok száma a bemenetek számának, n-nek, még exponencáls függvénye s lehet. A hbafelület lokáls mnmuma problémát jelenthetnek. Általánosító képesség: jó általánosításra képesek. Zajérzékenység: alapvetően nemlneárs regresszó, nagyon jól tolerálják a bemenet adatok zajosságát. Átláthatóság: alapvetően fekete doboz. A pror smeret:? x

19 Mesterséges Neuráls Háló sekélytől mélyg háló felskálázása és tanulás nehézsége (gradens) (97, 8 réteg) heursztkus jellegkemelés ad hoc vzuáls cortex struktúra mplct jellegkemelés háló felskálázása és struktúrálása (CNN) tanítás felgyorsítása kép, hang, nyelv, multmodáls

20 Perceptron és a lneárs szeparálhatóság - újra Optmáls szétválasztás - maxmáls margó w x + b > d d 0 ( w x + b) ( w x + b) = w x + b < mnden x-re a margó határán 0 x w

21 Optmáls szétválasztás Margó szélesség maxmalzálása A feladat: 2 szélesség = w 2 mn w d ( w x + b) =,, m: 2 A megoldása: w, b, f ( x) = sgn{ w x + b } P 2 mn L( w, b, α) = w α d ( w x + b) Duál feladat 2 == = [ ] P P P max[ Q( α) = α α α d d x x ] P j j j = 2 = j= α d = 0, α 0, =,..., P f ( x ) = sgn d + b, w = d x x x P P α α = = (Lagrange multplkátorokkal)

22 Optmáls szétválasztás P f ( x) = sgn α dx x + b, = w = P = α d x Nem zérus α = szuport vektor Szuport vektor = példa az osztály határán Ha nem nagyon vad az osztály határ = kevés szuport vektor s elég

23 Kernelgépek (SVM, szupport vektor gépek) Kerneltrükk (avagy m van, ha mégsem lneársan szeparálható?)

24 Kernelgépek (SVM, szupport vektor gépek) Feladattér nemlneárs osztályozó határfelület Transzformált (dmenzót növelő) tér lneárs osztályozó hpersík

25 Kernelgépek (SVM, szupport vektor gépek)

26 Optmáls szétválasztás jellemzőtérben m m m max[ Q( α) = α α α d d ϕ( x ) ϕ( x )] m = j j j = 2 = j= α d = 0, α 0, =,..., m P P f ( x ) = sgn α dϕ( ) ϕ( ) + b, w = α dϕ( ) x x x = = Kerneltrükk ϕ( z) ϕ( x) = k( z, x) = g( x x) m m m max[ Q( α) = α α α d d k( x, x )],... j j j = 2 = j= f ( x) = sgn α dk( x, x) + b = PS

27 Kerneltrükk ϕ( z) ϕ( x) = k( z, x) = g( x x) ϕ : x = ( x, x ) ϕ( x) = ( x, x, 2 x x ) ϕ( z) ϕ( x) = ( z, z, 2 z z ) ( x, x, 2 x x ) = x z + x z + 2 x x z z = ( x z + x z ) = z x = z x 2 ( ) k(, ) ϕ : x = ( x, x ) ϕ( x) = (, 2 x, 2 x, x, x, 2 x x ) ϕ ϕ = = + + = + = 2 2 ( z) ( x)... ( xz x2z2) ( z x) k( z, x) ϕ ϕ 2 : x = ( x) ϕ( x) = ( x, x ) 2 2 ( z) ( x) =... = ( xz + x z ) = z x( + z x) = k( z, x) ϕ

28 Kernelgépek (SVM, szupport vektor gépek) ϕ : x = ( x, x ) ϕ( x) = (, 2 x, 2 x, x, x, 2 x x ) ϕ ( z) ϕ( x) =... = ( + xz + x2z2) = ( + z x) = k( z, x) ϕ : x = ( x, x ) ϕ( x) = ( 2 x, 2 x x ) 2 2 x 2 x x = ± = ± x

29 Kernelgépek (SVM, szupport vektor gépek) Hogyan lehetünk bztosak, hogy jellmzőtérben már lneársan szeparálható?

30 Kernelgépek (SVM, szupport vektor gépek) slack = laza változók módszere mn 2 max n 2 T w + C ξ ( + ) = n n n T α αα j y y jx x j = 2 = j= T T g( x) = w x + b = αx x + b SV n n n max α α α y y k( x, x ) j j j = 2 = j= T T g( x) = w φ( x) + b = αφ( x ) φ( x) + b g( x) = αk( x, x) + b SV SV y w x b ξ ξ 0 0 α C n = α y = 0 0 α C n = α y = 0 T k( x, x ) = φ( x ) φ( x ) j j

31 max ( ) α = 0 α = α = 0 α α k( x, x ) = ( + x x ) j j C = α αα j y y j + x x j 0 = 2 α 00 = j= 5 = = ( + 6 x) + 2 = = g( x) = 2.5 ( + 2 x) ( ) ( + 5 x) b = 9 x x b 2 2 b α y = α + α + α α α g x x x 2 ( ) =

32 MI ks HF4 Jellemezzünk egy bnárs osztályozás problémát 2-dm bemenet térben az alább pontokkal: Legyen a bemenet tér leképezése a 2-dm jellemzőtérbe: (x,x 2 ) (x 2, x *x 2 ) (a) Kockás papíron(*) ábrázolva jelölje be és megfelelően címkézze a bemenet tér tanító példát. Állapítsa meg, hogy ebben a térben a két osztály lneársan szétválasztható-e? b) Külön ábrán jelölje be és megfelelően en cmkézze a tanító példákat a jellemzőtérben. x x 2 Osztály cmke -2-2 A -2 - A 2 A 2 A -2 2 B 0 2 B 0 - B 2 - B c) Keresse meg a jellemzőtérben (grafkon alapján, szemrevételezéssel, nem optmum számítással!) a maxmáls margójú lneárs osztályozót! Adja meg a szétválasztó egyenes és a margót határoló két egyenes képletét. Rajzolja be ezeket az egyeneseket a (b) pontban készített grafkonon. Lstázza k és jelólje be a jellemzőtérben megtalált szuport vektorokat. d) Határozza meg, hogy a megtalált szuport vektoroknak mely példák felelnek meg a bemenet térben.

33 e) Az (a) pontban készített grafkonon rajzolja be az osztályokat szétválasztó görbéket. Vegye fgyelembe, hogy: A bemenet tér határoló görbé könnyen megkaphatók x 2 = g(x ) formában a jellemzőtér határoló egyeneseből. A határoló görbék hperbolkus jellegűek. Ügyeljen az aszmptoták helyes ábrázolására. Ügyeljen a jellemzőtérben orgó körül határoló egyenesek bemenet térbe történő vsszatranszformálására. Legjobb, ha a jellemzőtérben az orgó közel határoló egyenest fokozatosan közelít az orgó felé és megvzsgálja ennek hatását a bemenet térben. f) Satrozza be a jellemzőtérbel szétválasztó margónak megfelelő területet a bemenet térben. g) Mnél egyszerűbb formában írja fel az (a-f) pontokban meghatározott SVM osztályozónak a bemenet térre vonatkozó, az új példák besorolására használható egyenlőtlenségét! (*) Elegendő db A4 kockás lapon, olvasható kézrással készített megoldás szkennelt képét (jpg, pdf) benyújtan. Természetesen gényesebb szerkesztésű (de nem hosszabb!) megoldás s benyújtható.