Mesterséges Intellgenca MI Egyszerű döntés. Tanuljuk meg! Dobroweck Tadeusz Eredcs Péter, és mások BME I.E. 437, 463-28-99 dobroweck@mt.bme.hu, http://www.mt.bme.hu/general/staff/tade
Neuron doktrna: S. Ramón y Cajal (852-934) Mesterséges neuron: W. McCulloch and W. Ptts, 943 Tanulás: D. Hebb, 949 SNARC (Stochastc Neural Analog Renforcement Calculator): M. Mnsky, 95 Perceptron: F. Rosenblatt, 957 Mély neuráls hálók, stb., 2006
Perceptron n+ T y = sgn( w x ) = sgn( w x + w ) = sgn( + b) n+ = = n x w T x w+ b > 0 T x w+ b < 0 lneársan (hpersíkkal) szeparálható függvényt képes reprezentáln
Perceptron tanítása w( k) = w( k ) +α ε( k) x( k) α - bátorság faktor, tanulás tényező
Perceptron tanítása Tanítás konvergens, ha A tanító példák lneársan szeparálhatók Bátorság tényező elegendően kcs w( k) = w( k ) +α ε( k) x( k)
Perceptron és logka függvények
XOR (és hasonlóan lneársan nem szeparálhatók) problémája: több réteg tanulás = csak réteg (hba értelmezése)
Mesterséges neuron
Mesterséges Neuráls Háló (Artfcal Neural Network) nemlneárs approxmácót megvalósító, nduktív tanulás algortmussal tanítható matematka struktúra.
Mesterséges Neuráls Háló D. Hlbert (900) 23 matematka problémája/sejtése: 3. probléma: "Bzonyítsuk be, hogy az x 7 +ax 3 +bx 2 +cx+=0 hetedfokú egyenlet nem oldható meg pusztán kétváltozós függvények segítségével! "Mutassuk meg, hogy van olyan háromváltozós folytonos függvény, mely nem írható fel véges számú kétváltozós folytonos függvény segítségével! A. Kolmogorov (957): nem csupán mnden háromváltozós függvény, hanem tetszőleges N-változós folytonos függvény felírható csupán egyváltozós függvények és az összeadás segítségével. http://malmanach.mt.bme.hu/neurals/ch0s04
Mesterséges Neuráls Háló
Mesterséges Neuráls Háló Többrétegű előrecsatolt háló tanítása (elem alapok) Hbavsszaterjesztés gradens módszerrel - példa bemeneteket mutatunk a hálónak, - ha hba lép fel (a kmenet és a kívánt érték eltér), a súlyokat úgy módosítjuk, hogy a hba csökkenjen. A trükk a hba megállapítása és a hbának a hbát létrehozó súlyok közt szétosztása. W E W α W
Mesterséges Neuráls Háló W E W α W k, j k, j k, j W E W α 2 E = Σ ( ) W d y j, 2 j, j,
Mesterséges Neuráls Háló hbavsszaterjesztés, alapok E = Σ ( d y ) = Σ Err 2 2 2 E( W) = Σ ( d g( Σ W a )) = Σ ( d g( Σ W g( Σ W I ))) 2 2 E W W j, 2 2 j j, j j j, k k, j k Σ E W α W j, j, = a ( d y ) g '( W a ) = a ( d y ) g '( n ) = a j j j, j j j E W W α = W + α a Err g '( n ) W j, j, j, j W j, E W α W k, j k, j W W + α I k, j k, j k, j k j E W k, j = W = I k g '( n ) W j j j, j Σ j, W W + α a j, j, j = Err g '( n )
Mesterséges Neuráls Háló Kérdések: mekkora (hány réteg, rétegenként hány processzáló elem) hálózatot válasszunk, hogyan válasszuk meg a tanulás tényező, α értékét, mlyen kezdet súlyértékeket állítsunk be, hogyan válasszuk meg a tanító és a tesztelő mnta készletet, hogyan használjuk fel a tanító pontokat, mlyen gyakorsággal módosítsuk a hálózat súlyat, meddg tanítsuk a hálózatot, stb? (hogyan gyorsítsuk meg a tanulást?) (hogyan védekezzünk a túltanulással szemben?) http://malmanach.mt.bme.hu/neurals/ndex
Mesterséges Neuráls Háló http://malmanach.mt.bme.hu/neurals/ndex
XOR - újra
A hbavsszaterjesztést alkalmazó hálókban általában a szgmod függvényt vagy annak valamelyk változatát használjuk. A szgmodnak megvan az a tulajdonsága, hogy derváltja Elemzés g ' = g( g) g( x) = + e Kfejezőképesség: nem rendelkeznek az általános logka reprezentácók kfejezőképességével. A többrétegű hálók osztálya egészében, mnt osztály az attrbútumok bármely függvényének reprezentácójára képes. Számítás hatékonyság: legrosszabb esetben a szükséges epochok száma a bemenetek számának, n-nek, még exponencáls függvénye s lehet. A hbafelület lokáls mnmuma problémát jelenthetnek. Általánosító képesség: jó általánosításra képesek. Zajérzékenység: alapvetően nemlneárs regresszó, nagyon jól tolerálják a bemenet adatok zajosságát. Átláthatóság: alapvetően fekete doboz. A pror smeret:? x
Mesterséges Neuráls Háló sekélytől mélyg háló felskálázása és tanulás nehézsége (gradens) (97, 8 réteg) heursztkus jellegkemelés ad hoc vzuáls cortex struktúra mplct jellegkemelés háló felskálázása és struktúrálása (CNN) tanítás felgyorsítása kép, hang, nyelv, multmodáls
Perceptron és a lneárs szeparálhatóság - újra Optmáls szétválasztás - maxmáls margó w x + b > d d 0 ( w x + b) ( w x + b) = w x + b < mnden x-re a margó határán 0 x w
Optmáls szétválasztás Margó szélesség maxmalzálása A feladat: 2 szélesség = w 2 mn w d ( w x + b) =,, m: 2 A megoldása: w, b, f ( x) = sgn{ w x + b } P 2 mn L( w, b, α) = w α d ( w x + b) Duál feladat 2 == = [ ] P P P max[ Q( α) = α α α d d x x ] P j j j = 2 = j= α d = 0, α 0, =,..., P f ( x ) = sgn d + b, w = d x x x P P α α = = (Lagrange multplkátorokkal)
Optmáls szétválasztás P f ( x) = sgn α dx x + b, = w = P = α d x Nem zérus α = szuport vektor Szuport vektor = példa az osztály határán Ha nem nagyon vad az osztály határ = kevés szuport vektor s elég
Kernelgépek (SVM, szupport vektor gépek) Kerneltrükk (avagy m van, ha mégsem lneársan szeparálható?)
Kernelgépek (SVM, szupport vektor gépek) Feladattér nemlneárs osztályozó határfelület Transzformált (dmenzót növelő) tér lneárs osztályozó hpersík
Kernelgépek (SVM, szupport vektor gépek)
Optmáls szétválasztás jellemzőtérben m m m max[ Q( α) = α α α d d ϕ( x ) ϕ( x )] m = j j j = 2 = j= α d = 0, α 0, =,..., m P P f ( x ) = sgn α dϕ( ) ϕ( ) + b, w = α dϕ( ) x x x = = Kerneltrükk ϕ( z) ϕ( x) = k( z, x) = g( x x) m m m max[ Q( α) = α α α d d k( x, x )],... j j j = 2 = j= f ( x) = sgn α dk( x, x) + b = PS
Kerneltrükk ϕ( z) ϕ( x) = k( z, x) = g( x x) ϕ : x = ( x, x ) ϕ( x) = ( x, x, 2 x x ) 2 2 2 2 2 ϕ( z) ϕ( x) = ( z, z, 2 z z ) ( x, x, 2 x x ) 2 2 2 2 2 2 2 2 = x z + x z + 2 x x z z = ( x z + x z ) 2 2 2 2 2 2 2 2 2 2 2 = z x = z x 2 ( ) k(, ) ϕ : x = ( x, x ) ϕ( x) = (, 2 x, 2 x, x, x, 2 x x ) ϕ 2 2 2 2 2 2 ϕ = = + + = + = 2 2 ( z) ( x)... ( xz x2z2) ( z x) k( z, x) ϕ ϕ 2 : x = ( x) ϕ( x) = ( x, x ) 2 2 ( z) ( x) =... = ( xz + x z ) = z x( + z x) = k( z, x) ϕ
Kernelgépek (SVM, szupport vektor gépek) ϕ : x = ( x, x ) ϕ( x) = (, 2 x, 2 x, x, x, 2 x x ) ϕ 2 2 2 2 2 2 2 2 ( z) ϕ( x) =... = ( + xz + x2z2) = ( + z x) = k( z, x) ϕ : x = ( x, x ) ϕ( x) = ( 2 x, 2 x x ) 2 2 x 2 x x = ± 2 2 2 = ± x
Kernelgépek (SVM, szupport vektor gépek) Hogyan lehetünk bztosak, hogy jellmzőtérben már lneársan szeparálható?
Kernelgépek (SVM, szupport vektor gépek) slack = laza változók módszere mn 2 max n 2 T w + C ξ ( + ) = n n n T α αα j y y jx x j = 2 = j= T T g( x) = w x + b = αx x + b SV n n n max α α α y y k( x, x ) j j j = 2 = j= T T g( x) = w φ( x) + b = αφ( x ) φ( x) + b g( x) = αk( x, x) + b SV SV y w x b ξ ξ 0 0 α C n = α y = 0 0 α C n = α y = 0 T k( x, x ) = φ( x ) φ( x ) j j
max ( ) α = 0 α = 2.5 2 α = 0 α α 3 4 5 k( x, x ) = ( + x x ) j j C = 00 5 5 5 2 α αα j y y j + x x j 0 = 2 α 00 = j= 5 = 7.333 = 4.833 2 + 4.833 ( + 6 x) + 2 = 0.6667 5.333 + = g( x) = 2.5 ( + 2 x) + 7.333 ( ) ( + 5 x) b = 9 x x b 2 2 b α y = α + α + α α α 2 2 5 3 4 g x x x 2 ( ) = 0.6667 5.333 + 9
MI ks HF4 Jellemezzünk egy bnárs osztályozás problémát 2-dm bemenet térben az alább pontokkal: Legyen a bemenet tér leképezése a 2-dm jellemzőtérbe: (x,x 2 ) (x 2, x *x 2 ) (a) Kockás papíron(*) ábrázolva jelölje be és megfelelően címkézze a bemenet tér tanító példát. Állapítsa meg, hogy ebben a térben a két osztály lneársan szétválasztható-e? b) Külön ábrán jelölje be és megfelelően en cmkézze a tanító példákat a jellemzőtérben. x x 2 Osztály cmke -2-2 A -2 - A 2 A 2 A -2 2 B 0 2 B 0 - B 2 - B c) Keresse meg a jellemzőtérben (grafkon alapján, szemrevételezéssel, nem optmum számítással!) a maxmáls margójú lneárs osztályozót! Adja meg a szétválasztó egyenes és a margót határoló két egyenes képletét. Rajzolja be ezeket az egyeneseket a (b) pontban készített grafkonon. Lstázza k és jelólje be a jellemzőtérben megtalált szuport vektorokat. d) Határozza meg, hogy a megtalált szuport vektoroknak mely példák felelnek meg a bemenet térben.
e) Az (a) pontban készített grafkonon rajzolja be az osztályokat szétválasztó görbéket. Vegye fgyelembe, hogy: A bemenet tér határoló görbé könnyen megkaphatók x 2 = g(x ) formában a jellemzőtér határoló egyeneseből. A határoló görbék hperbolkus jellegűek. Ügyeljen az aszmptoták helyes ábrázolására. Ügyeljen a jellemzőtérben orgó körül határoló egyenesek bemenet térbe történő vsszatranszformálására. Legjobb, ha a jellemzőtérben az orgó közel határoló egyenest fokozatosan közelít az orgó felé és megvzsgálja ennek hatását a bemenet térben. f) Satrozza be a jellemzőtérbel szétválasztó margónak megfelelő területet a bemenet térben. g) Mnél egyszerűbb formában írja fel az (a-f) pontokban meghatározott SVM osztályozónak a bemenet térre vonatkozó, az új példák besorolására használható egyenlőtlenségét! (*) Elegendő db A4 kockás lapon, olvasható kézrással készített megoldás szkennelt képét (jpg, pdf) benyújtan. Természetesen gényesebb szerkesztésű (de nem hosszabb!) megoldás s benyújtható.