Tanuló ó és hbrd nformácós rendszere Horváth Gábor I S R G Méréstechna és Informácós Rendszere Tanszé 004 Horváth Gábor
Bevezetés Neuráls hálózato Tartalomjegzé elem neurono lasszus neuráls archtetúrá általános megözelítés a neuráls hálózato számítás épessége Tanulás paraméter becslés ellenőrzött tanulás nemellenőrzött tanulás analtus tanulás Szupport vetor gépe SVM archtetúrá statsztus tanuláselmélet A hálótervezés általános érdése általánosítás modell választás model valdácó Modulárs háló háló lneárs ombnácója szaértő egüttes Mture of Eperts MOE feladat deompozícó Hbrd rendszere szmbolus-neuráls rendszere KBANN 004 Horváth Gábor
Bevezetés 004 Horváth Gábor 3
Tanuló és hbrd nformácós rendszere Mért van szüség tanuló rendszerere? Tudásformá smeretreprezentácó Tanulás és tanuló eljáráso Tanuló rendszere Szmbolus szabálalapú rendszere Hbrd rendszere 004 Horváth Gábor 4
Neuráls hálózato 004 Horváth Gábor 5
Elem neurono lneárs ombnátor bázsfüggvén-neuron Neuráls hálózato Klasszus neuráls archtetúrá előrecsatolt vsszacsatolt Általános megözelítés regresszor nemlneárs függvéne bázsfüggvéne lneárs ombnácója A neuráls hálózato számítás épessége függvénappromácó osztálozás 004 Horváth Gábor 6
Neuráls hálózato A neuráls háló olan párhuzamos elosztott nformácófeldolgozó eszözö amele: azonos vag hasonló típusú loáls feldolgozást végző művelet eleme neurono processng element neuron általában rendezett topológájú nagmértében összeapcsolt rendszeréből állna rendelezne tanulás algortmussal learnng algorthm mel általában mnta alapján való tanulást jelent és az nformácófeldolgozás módját határozza meg rendelezne a megtanult nformácó felhasználását lehetővé tevő nformácó előhívás algortmussal recall algorthm. 004 Horváth Gábor 7
Fő jellemző omple nemlneárs nput-output leépezés adaptvtás tanulás épesség elosztott archtetúra hbatűrő épesség Neuráls hálózato párhuzamos analóg vag dgtáls VLSI megvalósítás lehetősége neurobológa analóga 004 Horváth Gábor 8
Az elem neuron Lneárs ombnátor nemlneárs actvácós függvénnel 0 0 Σ s T f s fs N N 004 Horváth Gábor 9
Tpus nemlneartáso s + s + s s - - + s > 0 - s < _ 0 + s - s > - < _ s < _ s <- a. Atvácós függvéne b. ugrásfüggvén szaaszonént lneárs függvén 004 Horváth Gábor 0
Tpus nemlneartáso + s + 05 s s s - - e-ks + -Ks ; K >0 e c. Atvácós függvéne tangens hperbolusz függvén + -Ks ; K e d. logsztus függvén >0 004 Horváth Gábor
Bázs függvén neuron Elem neuron g Bázs függvéne g g c Pl. Gauss g e - u σ f. u N u K c + c + + N cn 004 Horváth Gábor
Klasszus us neuráls hálózato status háló memóra nélül előrecsatolt egrétegű háló többrétegű háló MLP RBF CMAC dnamus háló memóra vag vsszacsatolás előrecsatolt + tároló eleme vsszacsatolt loáls vsszacsatolás globáls vsszacsatolás 004 Horváth Gábor 3
Előrecsatolt archtetúrá Egrétegű háló: Rosenblatt perceptron 0 0 Σ s T sgns N N 004 Horváth Gábor 4
Előrecsatolt archtetúrá Egrétegű hálózato Bemenet 3 Kmenet M N W Tanítható paramétere súlo 004 Horváth Gábor 5
Előrecsatolt archtetúrá Többrétegű háló status MLP háló o o Σ f. Σ f. 3 Σ f. Σ f. Σ f. Σ f. N W W n 004 Horváth Gábor 6
Előrecsatolt archtetúrá Eg tanítható rétegű háló + 0 Nemlneárs ϕ ϕ X leépezés F vag ellenőrzött vag nemellenőrzött tanítású réteg ϕ M M Σ Lneárs tanítható réteg 004 Horváth Gábor 7
Radáls bázs függvén RBF hálózato Eg tanítható rétegű háló c σ c σ ϕ 0 + g ϕ g ϕ Radáls pl. Gauss bázs függvéne Σ c M σ M N g ϕ M M bemenet réteg rejtett réteg menet réteg 004 Horváth Gábor 8
Eg tanítható rétegű háló CMAC hálózat + + +3 + 4 + 5 + + + 3 + 4 + 5 3 a C4 a Σ A lehetséges dszrét bemenet vetoro tere j j+ j+ j+ 3 j j+ j+ j+ 3 a asszocácós vetor súl vetor tanítható 004 Horváth Gábor 9
Háló hash-ódolással CMAC háló a 0 0 a z z + + +3 z z + + z + + Σ Bemenet tér z + 3 + 3 C4 M - 0 M- 0 0 M a z asszocácós tömörített súl vetor vetor asszocácós vetor 004 Horváth Gábor 0
CMAC hálózat A CMAC bázsfüggvénene elrendezése csempézés átlapolódó lefedése u Szubdagonal ponto Eg lefedéshez tartozó bázsfüggvén tartó A fő dagonáls ponto u Kvantálás ntervallumo Bázs függvéne: véges ompat tartójú négszögletes függvéne B-splne-o 004 Horváth Gábor
CMAC hálózat Adott bemenetehez tartozó bázsfüggvén defnícós ponto elhelezedése u Mnden feete pont eg bázsfüggvént asszocácós bt súl a súl memórában jelöl T u [0 3] + + u [0 0] T + T u 3[6 ] 004 Horváth Gábor u A színes tartománo a megfelelő bemenete által választott bázsfüggvéneet azonosítjá
Előrecsatolt archtetúrá Dnamus többrétegű háló Σ f. l- l l Σ s l l f. Σ f. FIR szűrő z l Σ f. l l +... Σ f. Σ f. l -ed réteg 004 Horváth Gábor 3
Előrecsatolt archtetúrá Dnamus többrétegű háló eg tanítható réteg ϕ Első ϕ nemlneárs réteg FIR szűrő FIR szűrő z z Σ nemlneárs leépezés ϕ M FIR szűrő z M 004 Horváth Gábor 4
Vsszacsatolt archtetúrá Lateráls vsszacsatolás egrétegű háló bemenet 3 menet N 3 előrecsatoló paramétere 3 3 j lateráls összeöttetése j j 004 Horváth Gábor 5
Vsszacsatolt archtetúrá Loálsan vsszacsatolt háló MLP b b bemenet 3 c a c a 3 menet N M Bemenet réteg. rejtett réteg. rejtett réteg Kmenet réteg a.önvsszacsatolás b. lateráls vsszacsatolás c. rétege özött vsszacsatolás 004 Horváth Gábor 6
Vsszacsatolt archtetúrá Globálsan vsszacsatolt háló szevencáls háló bemenet T D L T D L - -N -M - - Több-bemenetű eg-mentű status háló menet 004 Horváth Gábor 7
Vsszacsatolt archtetúrá Hopfeld háló globáls vsszacsatolás 3 4 N 3 4 3 3 4 N 3 33 4 43 4 34 N 3N 44 4N N N N3 N4 NN 004 Horváth Gábor 8
Alapvető neurn euráls háló archtetúrá Általános megözelítés Regresszoro pllanatn bemenete status háló pllanatn és orább bemenete előrecsatolt dnamus háló Pllanatn és orább bemenete orább menete vsszacsatolt dnamus háló Bázs függvéne paramétereben nemlneárs háló paramétereben lneárs háló 004 Horváth Gábor 9
Regresszoro Általános megözelítés Hogan válasszu meg a φ regresszor-vetort? f ϕ orább bemenete ϕ [... N ϕ ] orább bemenete és menete ϕ [... N... M ϕ ϕ φ regressor-vectors ] orább bemenete és rendszer menete [... N d d... d M ] orább bemenete rendszer menete és modell hbá [... N d... d M ε... ε L] orább bemenete menete és hbá [... N... M ε... ε L ε... ε K ] 004 Horváth Gábor 30
Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá NFIR f... N Bemenet T D L - -N Több-bemenetű eg-mentű status háló Kmenet 004 Horváth Gábor 3
Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá f... N d... d M NARX bemenet rendszer menet d T - D L -N Több-bemenetű eg-menetű menet T D d-m d- status háló L d- 004 Horváth Gábor 3
Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá NOE f... N... M bemenet T - D L -N Több-bemenetű eg-menetű Kmenet T D -M - status háló L - 004 Horváth Gábor 33
Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá NARMAX f... N d... d M ε... ε L NJB f... N... M ε... ε L ε... ε K NSS 004 Horváth Gábor 34
Alapvető neurn euráls háló archtetúrá Regresszor bázs függvéne f ϕ paramétereben lneárs modell n f ϕ j j j [ K ] T n paramétereben nemlneárs modell n f ϕ j j j [ K ] T n 004 Horváth Gábor 35
Alapvető neurn euráls háló archtetúrá Bázs függvéne f j ϕ MLP egetlen szgmod rejtett réteggel szgmod bázs függvén n f ϕ j j j T ϕ sgm ϕ f + RBF radáls bázs függvén pl. Gauss CMAC négszögletes bázs függvén splne j sgm s + e Ks j f j ϕ j f ϕ c j [ ] ep / f ϕ c ϕ c σ j j j j j0 004 Horváth Gábor 36
A hálózato épessége Függvén appromácó Osztálozás Asszocácó Optmalzácó 004 Horváth Gábor 37
A hálózato épessége Függvénappromácó Alapvető eredmén: a neuráls hálózato eges típusa unverzáls appromátoro bzonos értelemben Kolmogorov reprezentácós tétel: bármel foltonos valós értéű N-változós függvén melet a [0] N ompat ntervallumon defnálun reprezentálható megfelelően megválasztott egváltozós függvéne és az összeadás segítségével. N N... f N φq ψ pq p q0 p 004 Horváth Gábor 38
A hálózato épessége Függvénappromácó Tetszőleges foltonos f : R N R függvén R N eg ompat K részhalmazán tetszőleges pontossággal özelíthető hba abszolút érté mamuma aor és csa aor ha az atvácós függvén g s nemonstans orlátos monoton növevő. Horn Cbeno Funahash Leshno Kurova stb. fˆ M N... N c g j j ; 0 j 0 ma K f... N fˆ... N < ε ε > 0 004 Horváth Gábor 39
A hálózato épessége Függvénappromácó Tetszőleges foltonos f : R N R függvén R N eg ompat K részhalmazán tetszőleges pontossággal özelíthető L értelemben aor és csa aor ha az atvácós függvén nempolnom. Horn Cbeno Funahash Leshno Kurova etc. fˆ M N... N c g j j 0 j 0 004 Horváth Gábor 40
Osztálozás A hálózato épessége Perceptron: lneárs szeparácó MLP: unverzáls osztálozó f j aa X j f : K { K } K ompat részhalmaza R N ne X j j K dszjun részhalmaza K na K U j X j és X j I X j üres ha j 004 Horváth Gábor 4
A hálózato épessége Adattömörítés dmenzó reducó lneárs háló nemlneárs háló 004 Horváth Gábor 4
A hálózato alalmazása Regresszó: status és dnamus rendszermodellezés szűrés nemlneárs dnamus rendszere ránítása stb. függvénappromácó Mnta asszocácó asszocácó autoasszocácó dmenzó reducó adattömörítés heteroasszocácó Mntafelsmerés laszterezés osztálozás Kombnatorus optmalzácós feladato optmalzácó 004 Horváth Gábor 43
Adattömörítés PCA háló Főomponens analízs Karhunen-Loeve transzformácó Φ 004 Horváth Gábor 44
004 Horváth Gábor 45 Adattömörítés PCA háló Adattömörítés PCA háló Karhunen-Loeve transzformácó Φ [ ] T ϕ N ϕ ϕ Φ... further Φ Φ Φ Φ ϕ ϕ T T j j T I δ N ϕ N M M ˆ ϕ { } { } + N M N M ε E E ˆ E ϕ ϕ [ ] + + N M T T N M T ε ε ˆ ϕ ϕ ϕ ϕ ϕ ϕ λ λ C [ ] + N M λ ε ˆ 0 C ϕ ϕ ϕ λ ϕ ϕ C + + + N M N M T N M T λ λ ε ϕ ϕ ϕ ϕ R
MLP mnt lneárs adattömörítő háló Altér transzformácó Bemenet: A rejtett réteg menete: z z Kívánt menet Bemenet z 3 z M N W W' N Rejtett réteg Kmenet réteg M neuron a tanulás fázsban Tömörített menet N neuron 004 Horváth Gábor 46
Nemlneárs adattömörítés Nemlneárs feladat 004 Horváth Gábor 47
MLP mnt nemlneárs adattömörítő háló 5-rétegű autoasszocatív háló Bemenet: Kmenet: z a másod rejtett réteg menete 3 f f f f l l z z z f f f f l l l 3 Kívánt menet a tanítás fázsban nemlneárs lneárs nemlneárs lneárs réteg 004 Horváth Gábor 48
Tanulás 004 Horváth Gábor 49
Tanulás neuráls hálózatonál Tanulás: paraméter becslés ellenőrzött tanulás tanítóval történő tanulás nemellenőrzött tanulás tanító nélül tanulás analtus tanulás 004 Horváth Gábor 50
Ellenőrzött tanulás Modell paraméter becslés: d n Rendszer d f n d Krtérum függvén C d CCε Neuráls modell f M Paraméter módosító algortmus 004 Horváth Gábor 5
Krtérum függvén Ellenőrzött tanulás vadratus rtérum függvén: C T d C ε E d d egéb rtérum függvéne Pl. ε - érzéetlenség sávú { } E d Cε j j j ε rtérum függvén regularzácóval: büntető tag regularzácós tag hozzáadása ε d C ε λcr C + 004 Horváth Gábor 5
Ellenőrzött tanulás Krtérum mnmalzálás Analtus megoldás ˆ arg mn C d csa nagon egszerű eseteben pl. lneárs hálónál: Wener-Hopf egenlet Iteratív megoldás gradens eljáráso ereső eljáráso merítő eresés véletlen eresés genetus eresés 004 Horváth Gábor 53
Ellenőrzött tanulás Hba orrecós eljáráso perceptron szabál gradens eljáráso legmeredeebb lejtő eljárás + + µ ε + + µ Q Q I Neton Q R Levenberg-Marquardt + H C. H E onjugált gradens eljárás { T } + λω + + α g g Rg 0 f j T j 004 Horváth Gábor 54
Analtus megoldás Gradens eljáráso paramétereben lneárs modell. T vadratus rtérum függvén C T E d E E T T T { d } E{ d } + E{ } T T { d } p + R Wener-Hopf egenlet T R E p E{ } R p. { } 004 Horváth Gábor 55
Iteratív megoldás Gradens eljáráso + + µ. gradens C R a onvergenca feltétele 0 < µ < λ ma 004 Horváth Gábor 56
Gradens eljáráso LMS: pllanatn hbán alapuló teratív megoldás T d C ˆ ε ε pllanatn gradens Cˆ ˆ ε ε súl frssítés + + ˆ a onvergenca feltétele 0 µ + µε < µ < λ ma 004 Horváth Gábor 57
Példa a onvergencára Gradens eljáráso * b a c 0 a. s µ b. nag µ c. onjugált gradens legmeredeebb lejtő 004 Horváth Gábor 58 0
004 Horváth Gábor 59 Graden Gradens eljáráso eljáráso Egetlen neuron nemlneárs atvácós függvénnel Több-rétegű hálózat: hbavsszaterjesztés BP δ µ s ε µ sgm + + + d s d d T sgm sgm ε s l l l l l N r l r l r l l l µδ δ µ sgm + + + + + + s δ δ l N r l r l r l l sgm + + +
MLP tanítás: BP o o 3 Σ f. Σ f. Σ f. Σ f. Σ f. Σ f. N W W f'. f'. δ W δ d n + n _ + ε n d + _ + d + _ + ε ε Π µ Π µ W frssítés W frssítés 004 Horváth Gábor 60
Fontos érdése MLP tervezés háló méret rétege száma rejtett neurono száma tanulás aránténező µ értée paramétere súlo ezdet értée valdácó ereszt valdácó tanulás és teszt észlet választása a tanítás módja szevencáls vag batch tanulás leállás feltétel 004 Horváth Gábor 6
MLP tervezés Háló méret: rejtett neurono száma Elmélet eredméne: felső orláto Gaorlat megözelítés: ét eltérő stratéga Egszerűtől összetetthez újabb neurono betatása Összetettből egszerűsítés metszés prunng regularzácó OBD OBS stb. 004 Horváth Gábor 6
MLP tervezés Kereszt értéelés a modell ompletás meghatározására C Torzítás bas alullleszedés Varanca túllleszedés Teszt hba Tanítás hba Modell ompletás Hálóméret Legjobb modell 004 Horváth Gábor 63
Strutúra választás C tanítás hba MLP tervezés Rejtett neurono számána növelése a b csöentés f cde Tanítás cluso száma 004 Horváth Gábor 64
Kmenet MLP tervezés Általánosítástúllleszedés Megfelelő lleszedés a tanítópontohoz Általánosítás Tanítóponto Túlleszedés Bemenet 004 Horváth Gábor 65
MLP tervezés Kora leállítás a túllleszedés elerülésére C Teszt hba túltanulásnál Teszt hba optmáls leállításnál Tanítás hba Optmáls leállítás Tanítás cluso száma 004 Horváth Gábor 66
Regularzácó parametrus büntetés C C C + λ MLP tervezés r j j j C µ µ λ sgn j C + λ r j Θ j nemparametrus büntetés C r ahol Φ C + Φ fˆ fˆ a smaság valamel mértée λ j 004 Horváth Gábor 67
RBF Radáls Bázs Függvén háló c c σ σ ϕ 0 + g ϕ g ϕ Σ c M σ M N g ϕ M M bemenet réteg rejtett réteg menet réteg T g c [ ] g ep c / σ g 004 Horváth Gábor 68
RBF tanítás Paramétereben lneárs strutúra analtus megoldás LMS Középponto paramétereben nemlneárs K-means laszterezés nemellenőrzött tanítás SVM 004 Horváth Gábor 69
Fontos érdése RBF tervezése háló méret rejtett neurono száma tanulás aránténező µ értée paramétere ezdet értée özépponto súlo valdácó tanító és teszt halmaz választás a tanulás módja: szevencáls vag batch tanulás leállás feltétele 004 Horváth Gábor 70
Dnamus neuráls strutúrá tanítása Előrecsatolt háló Időezelés temporáls BP NFIR: FIR-MLP FIR-RBF stb. NARX Vsszacsatolt háló RTRL BPTT NOE NARMAX 004 Horváth Gábor 7
Előrecsatolt archtetúrá NFIR: FIR-MLP a Santa Fe versen gőztese Σ f. l- l l Σ s l l f. Σ f. FIR szűrő z l Σ f. l l+... Σ f. Σ f. l -ed réteg 004 Horváth Gábor 7
FIR-MLP tervezés FIR-MLP tanítás: temporáls bacpropagaton ε ε l l j menet réteg rejtett réteg j + + M M µδ δ j T M f s m M m m l l l l l m j [ ] δ δ +... M δ + m ε l l s j m ε l s l L L L + + µ ε f ' s j j m j j m ε L j ε l l s j l s l j 004 Horváth Gábor 73
300 Idősor modellezés lezés Santa Fe versen 50 00 50 00 50 0 0 00 400 600 800 000 00 004 Horváth Gábor 74
300 Idősor modellezés lezés Santa Fe versen 50 00 50 00 50 0 0 0 40 60 80 00 0 40 60 80 00 004 Horváth Gábor 75
Idősor modellezés lezés Santa Fe versen NFIR modell válasza temporáls BP-vel tanítva 004 Horváth Gábor 76
Reurzív háló Archtetúra bemenet N M előrecsatolt status háló W + + menet + M z - z - z - z - 004 Horváth Gábor 77
Reurzív háló tanítása Tanítás: valós dejű reurzív tanítás RTRL ε u j j l + + µ ε f s + j l B j l ε f j ; l C ha A ha B j s l r B lr l ε µ r j l ε j ; + δ u l j r lr + δ r B j 0 ε j - l C l C l u εl j l j d f C ε ε l l j egébént 004 Horváth Gábor 78
Reurzív háló tanítása Tanítás: bacpropagaton through tme BPTT dőbel terítés 3 PE 3 4 PE PE PE PE PE 3 4 PE PE PE PE PE 3 4 3 4 a. b. 004 Horváth Gábor 79
Dnamus neuráls strutúrá tanítása Kombnált lneárs dnamus és nemlneárs status archtetúrá előrecsatolt archtetúrá ε v ε H z j j j j j l v l v l j 004 Horváth Gábor 80
Dnamus neuráls strutúrá tanítása a. vsszacsatolt archtetúrá b. a. b. ε ε N v N v N u j j j j v v H z j N v j + + H z j j 004 Horváth Gábor 8
Dnamus rendszer modellezés Példa: eg dszrét dejű rendszer modellezése + 0.3 + 0.6 f [ u ] + ahol 3 u u + 0.3u 0. u f 4 tanító jel: egenletes eloszlású véletlen ét eltérő ampltúdóval 004 Horváth Gábor 8
Dnamus rendszer modellezés A gerjesztés szerepe: s gerjesztőjel Modell menet Rendszer menet Hba 6 4 0-6 4 0-4 0 0 500 000 500 000 0 500 000 500 000-0 500 000 500 000 004 Horváth Gábor 83
Dnamus rendszer modellezés A gerjesztés szerepe: nag gerjesztőjel Modell menet Rendszer menet 6 4 0-6 4 0-0 500 000 500 000 0 500 000 500 000 Hba 4 0-0 500 000 500 000 004 Horváth Gábor 84
004 Horváth Gábor 85 Zajos adato hatása ezelése Zajos adato hatása ezelése EIV Errors-n-Varables ] [ n p Rendszer ] [ n m * * ] [ n m [] [] + + + M M ] [ M M ] [ M M ] [ σ M M ] [ σ ] [ ] [ M M σ n * + n * + M n M n ] [ M n M n ] [
004 Horváth Gábor 86 EIV EIV Az LS és az EIV rtérum függvén EIV tanítás N j NN f j f e N M W W W σ η + NN f e f e M σ σ η W N NN LS f N C * * W + N u NN EIV f N M C σ σ W W NN f f e
EIV Példa 004 Horváth Gábor 87
EIV Példa 0.8 0.6 0.4 0. 0-0. -0.4-0.6-0.8 - - -0.5 0 0.5.5 004 Horváth Gábor 88
Nemellenőrzött tanítás Hebb tanulás η Versengő tanulás Bemenet * Kmenet M N W T T 004 Horváth Gábor 89
Nemellenőrzött tanítású háló Önszervező háló Hebb szabál Versengő tanítás laszterezés hasonlóság detecó adattömörítés PCA KLT 004 Horváth Gábor 90
Szupport vetor gépe SVM 004 Horváth Gábor 9
Szupport vetor gépe Szupport vetor gépe SVM osztálozásra SVM regresszóra LS SVM Rdge regresson Statsztus tanuláselmélet alapja 004 Horváth Gábor 9
Új megözelítés Szupport vetor gépe Azon érdésere s ad választ melere a lasszus megözelítés nem háló méret általánosító épesség 004 Horváth Gábor 93
Szupport vetor gépe Osztálozás Tartalé Optmáls hpersí Klasszus neuráls tanulás Szupport Vetor Gép 004 Horváth Gábor 94
Szupport vetor gépe Lneársan szeparálható étosztálos feladat { } P X d + X d d elválasztó hpersí T + b 0 T + b + f X and T + b f X T + b d Optmáls hpersí 004 Horváth Gábor 95
004 Horváth Gábor 96 Szupport vetor gépe Szupport vetor gépe mn mn mn mn } ; { } ; { } ; { } ; { + + + + b b b d b d b T T ρ b b d T + d b d Geometra nterpretácó
004 Horváth Gábor 97 Szupport vetor gépe Szupport vetor gépe Krtérum függvén Lagrange függvén feltételes optmalzácós feladat feltétele duáls feladat szupport vetoro optmáls hpersí Φ + P T d b b J } ] {[ α α 0 P d J α P d α 0 P d b J α } ma{ ma + P P P j j j j d d W α α α α α α 0 : > α 0 P α d P d 0 α mn ma α α b J b
004 Horváth Gábor 98 Szupport vetor gépe Szupport vetor gépe Bztonság sávba eső adato szeparáló hpersí rtérum függvén gengítő változó Lagrange függvén szupport vetoro optmáls hpersí P b d T... ] [ + ξ + P C ξ ξ Φ + + + P T P b d C b J } ] [ { ξ β ξ α ξ ξ β α 0 α C : > 0 α P d 0 α Optmáls hpersí
004 Horváth Gábor 99 Szupport vetor gépe Szupport vetor gépe Nemlneárs szeparálás jellemző tér szeparáló hpersí döntés felület magfüggvén Mercer feltétele másodlagos duáls függvén 0 + b T ϕ 0 0 P M j j j P d K d ϕ ϕ α α j T j K ϕ ϕ 0 0 M j j j ϕ P P P j j j j K d d W α α α α
Jellemző tér bemenet tér jellemző tér M j 0 ϕ j j T ϕ [... ] T 0 M ϕ [ ϕ ϕ... ϕ ] T 0 M 004 Horváth Gábor 00
Szupport vetor gépe Magfüggvéne SVM célra Polnom RBF K K T d + d... ep σ MLP csa bzonos β o és β mellett K T tanh β + β 0 CMAC... B-splnes 004 Horváth Gábor 0
004 Horváth Gábor 0 Szupport vetor gépe Szupport vetor gépe Példa: polnom bázs- és magfüggvén bázs függvéne magfüggvén K + + + + + T ] [ ϕ
004 Horváth Gábor 03 Szupport vetor regresszó SVR Szupport vetor regresszó SVR egébént 0 ha ε f d ε f d f d C α α α ε ε ε Cε ξ
Szupport vetor regresszó SVR d T ϕ ξ T ϕ ε + ξ T d 0 ε + ξ M j j 0 Feltétele: Mnmalzálandó: ϕ... P j P Φ ξξ + C ξ + ξ ξ 0 004 Horváth Gábor 04
004 Horváth Gábor 05 Szupport vetor regresszó SVR Szupport vetor regresszó SVR Lagrange függvén duáls feladat feltétele szupport vetoro megoldás [ ] [ ] ξ γ ξ γ ξ ε α ξ ε α ξ ξ ξ ξ + + + + + + + P T P T P T P d d C J γ γ α α ϕ ϕ P ϕ α α C α γ C α γ α α : j P P j j j P P K W + α α α α α α ε α α α α 0 P α α 0 C α 0 C α
Szupport vetor regresszó SVR 004 Horváth Gábor 06
Szupport vetor regresszó SVR 004 Horváth Gábor 07
Szupport vetor regresszó SVR 004 Horváth Gábor 08
Szupport vetor regresszó SVR 004 Horváth Gábor 09
Főbb előnö Szupport vetor gépe felső orlátot ad az általánosítás hbára automatus modell strutúra meghatározás Főbb hátráno nehézsége vadratus programozás a duáls feladathoz hperparamétere megválasztása 004 Horváth Gábor 0
SVM versons Klasszus Vapn SVM LS SVM osztálozás Φ T ξξ + C e P regresszó Φ T ξξ + C e P egenlőség feltétel T d [ + b] e... P T + b + e P d ϕ... nncs vadratus optmalzálásra szüség 004 Horváth Gábor
004 Horváth Gábor LS SVM LS SVM Lagrange egenlet A derváltaból származó egenlete { } + + + P T P T d e b e b L ; α e ϕ α γ P d e b L P e e L b L L T P P... 0 0... 0 0 0 + + 0 ϕ ϕ α γ α α α
004 Horváth Gábor 3 LS SVM LS SVM Az eredmén lneárs egenletrendszer Regresszó Osztálozás ahol a válasz + d α I Ω 0 0 b T γ r r + α I Ω d d r 0 0 b T γ j j j K d d Ω j T j j K ϕ ϕ Ω + N b K α + N b K d α
Rdge regresson Hasonló az LS-SVM-hez de nem alalmaz bas tagot Az eredménént apott lneárs egenletrendszer + d Ω γ I α A rdge regresson megfelel a pl. CMAC-na ahol a ernel függvéne a másodrendű B-splneo. 004 Horváth Gábor 4
004 Horváth Gábor 5 Kernel CMAC rdge regresson Kernel CMAC rdge regresson A lasszus CMAC analtus megoldása Kerneles változat rtérum függvén Lagrange függvén a derváláso eredméneént apott összefüggése T e d + a P T... a u d A * T AA T A A d T T T T AA A u a u a u * + P T e J mn γ e + P T d e J L a e α e α + P d e L P e e L L T P... 0 0... 0 u a α e α e a 0 α e α γ α α
004 Horváth Gábor 6 Kernel CMAC Kernel CMAC d I AA A u a d I K A u a α u K u u a u a u a u + + γ γ α α T T T T T T P P T T K Az eredmén
Statsztus tanuláselmélet Cél: ocázatmnmalzálást eredménező megoldás eresése [ d f ] p d ddd R Nehézsége: smeretlen a valószínűségsűrűség függvén Tapasztalat ocázat határozható meg R [ L ] d f l emp L l optmáls érté Kérdés: aszmptotus onzsztenca * Remp L R * L R emp R 0 hen L R 0 hen L * L R * L 004 Horváth Gábor 7
Statsztus tanuláselmélet A tapasztalat ocázat aszmptotus onzsztencája Várható ocázat R L Mn RR 0 Tapasztalat ocázat R 0 L L 004 Horváth Gábor 8
Statsztus tanuláselmélet A onzsztenca és a gors onvergenca szüséges és elégséges feltétele: véges Vapn-Cservonens VC dmenzó VC dmenzó: Eg függvénhalmaz VC dmenzója h ha létez legalább eg esetben h olan mnta mel szeparálható mnden lehetséges módon ét osztálba sorolható a függvénhalmaz elemevel de egetlen esetben sem létez h+ mnta mel uganezen függvénhalmaz elemevel szeparálható volna. 004 Horváth Gábor 9
Modell ompletás VC dmenzó Illusztrácó lneárs szeparácó nemlneárs szeparácó 004 Horváth Gábor 0
Általánosítás hba Az általánosítás hba orlátja osztálozás R Remp + járuléos tag h h r m n ; mn + r a mntapontoat magába foglaló hpergömb sugara m eg felső orlát : m regresszó R R emp c ε h 004 Horváth Gábor
Strutúráls ocázat mnmal alzálása Általánosítás hba Kompromsszum az appromácó mnősége és az appromáló függvén ompletása özött 004 Horváth Gábor
A hálózattervezés általános érdése összefoglalás 004 Horváth Gábor 3
Neuráls hálózato tervezése Modell választás neuráls archtetúra választás pl. bázs függvén választás regresszor választás modell foszám választás háló méter választás rétege száma neurono száma Modell paraméter becslés analtus összefüggés tanulás Modell valdácó rtérumo ereszt értéelés 004 Horváth Gábor 4
Modell választás A probléma megfogalmazása az optmáls pataméterszám meghatározása a rejtett neurono optmáls számána meghatározása amel ahhoz szüséges hog a mntá által reprezentált rendszert özelíthessü Krtérumfüggvén veszteségfüggvén ocázat tapasztalat ocázat 004 Horváth Gábor 5
Modell választás Status vag dnamus Dnamus modell osztálo regresszor választás bázsfüggvén választás Háló méret rétege száma rejtett neurono száma modell foszám 004 Horváth Gábor 6
Archtetúra választás A modell mérete Modell választás Modell ompletás modell foszám Általánosítás Mt lehet állítan a megtanított háló általánosítás hbájáról? öölszabál analtus eredméne a VC dmenzón alapuló felső orláto 004 Horváth Gábor 7
Elmélet eredméne osztálozásra Modell választás M processzáló elem P tanító pont W súl T teszt pont P ε T ε tanító pontot helesen osztáloz teszt pontot helesen osztáloz 0 < ε 8 regresszóra P W O log ε M ε C MN O f + O log P M P R f fˆ d A N M rejtett neuron N bemenet dmenzója P tanító pont C f a függvén regulartása 004 Horváth Gábor 8
Modell választás valdácó Statsztus módszere Kereszt értéelés eghagásos -hagásos Krtérumo: hbatag+büntető tag AIC MDL NIC stb. Statsztus tanuláselmélet VC dmenzó 004 Horváth Gábor 9
Modell választás valdácó Kereszt értéelés újramntavételezés A mntaészlet T felbontása tanító észletre P és teszt észletre Q? Nag hálónál a háló paraméterene száma m nag Nagméretű adathalmazra ereszt értéelésre Ha T < 30m Q T m T > 30m nncs szüség a ora leállítás a ereszt értéelés alapján javítja a megoldás általánosító épességét 004 Horváth Gábor 30
Modell választás valdácó Kereszt értéelés -hagásos a háló általánosító-épességéne meghatározásához az összes tanítópontot felhasználju a ezdet hálót az összes ponttal tanítju a tanító halmazból választun mntát a hálót újra tanítju a maradé mntával az előzetesen megtanított pontból ndítva értéelés a -elemű teszt észlettel smételjü az eljárást de az előzőtől ülönböző mnta hagása után az értéelése eredménet átlagolju 004 Horváth Gábor 3
004 Horváth Gábor 3 Modell választás valdácó Modell választás valdácó Neuráls modell választás NIC Feladat: a paramétere optmáls számána meghatározása a tejtett eleme optmáls számána meghatározása Veszteségfüggvén: a háló menete és a ívánt válasz özött ülönbség Ha van addtív zaj Kocázat függvén a veszteség várható értée ahol p a valód de smeretlen sűrűségfüggvén A tapasztalat sűrűségfüggvén használható: p* Θ Θ f l ξ ξ + Θ + Θ vag specálsan f f ξ var + Θ Θ f l d d p l p R Θ Θ Θ Θ Θ P P f P l P p R
Modell választás valdácó Neuráls modell választás NIC Paraméter becslés gradens eljárással A paramétere aszmptotus tulajdonsága meghatározható Az aszmptotus tulajdonságo alapján az eges modelle értéelhető So parametrus neuráls modell M onstruálható eze herarchus rendbe állítható ahol M paraméter m vetora Θ R és m <m <m 3 am azt jelent hog M K M M 3 004 Horváth Gábor 33
Modell választás valdácó Neuráls modell választás NIC Az átlagos ocázat mel a valód eloszlás függvéne fejezhető mnt a tapasztalat ocázat plusz eg büntető tag. NIC p G Q * * ~ ~ P * ~ ~ * p p Θ + tr G Θ Q Θ R Θ var [ l Θ ] ~ p ~ Θ E [ l Θ ] p ~ 004 Horváth Gábor 34
VC elmélet Modell választás valdácó S az appromáló függvéne halmaza S eleme egmásbaágazott részhalmazo S véges VC dmenzóval h S S S Rendezés ompletás szernt h h h A pror nformácó alapján S specfálható For a gven data set the optmal model estmaton: selecton of an element of the set model selecton estmatng the model from ths subset tranng the model there s an upper bound on the predcton rs th a gven confdence level 004 Horváth Gábor 35
Modell választás valdácó Gaorlat alalmazhatóság túl pesszmsta eloszlásfüggetlen eredméne túl evés tanító mnta nem reprezentatív mntá 004 Horváth Gábor 36
Modell foszám dnamus feladat NARX modell NOE modell f [... n... m ] Lpschtz szám Lpschtz hánados p n n q n q / p q j j 8 0 9 6 4 8 7 6 5 0 8 4 3 4 5 6 7 8 9 6 0 5 0 5 0 004 Horváth Gábor 37
Modell foszám dnamus feladat Lpschtz hánados általános nemlneárs bemenet - menet relácó f. foltonos síma többváltozós függvén f [... n ] orlátos derválta Lpschtz hánados q j j j ' f f M... n 0 q j L érzéenség analízs f f f ' ' + + K + n f + f + K n + f ' n n 004 Horváth Gábor 38
Modell foszám dnamus feladat Lpschtz szám q n j + + K+ n nm q n j ; + + K + + + K + n q n+ j n+ q n p n n q n q / p ad legnagobb Lpchtz hánados a q p 0.0N L 0. 0N n j j; j... N özött optmáls n mellett n+ n q q n n q >> q 004 Horváth Gábor 39
Neuráls hálózato Mért alalmazun neuráls hálózatoat? Egéb függvénappromácós eszözö: a dmenzó áta Pl. N-dmenzós feladatnál M-ed rendű polnom mellett a szabad paramétere száma N M szernt nő. Neuráls háló MLP az appromálandó függvéntől függő bázs függvéneet használna. Az adaptív bázs függvénészlet lehetővé tesz a szabad paramétere számána csöentését. Neuronhálóra az mplct regularzácó jellemző nem nag az érzéenségü a túlparametrzálásra Paramétere értééne meghatározása mntá alapján tanulással 004 Horváth Gábor 40
Modulárs háló 004 Horváth Gábor 4
Hálóegüttes Modulárs háló háló lneárs ombnácója Szaértő everé Mture of eperts azonos elven műödő szaértő pl. neuráls háló Különböző paradgmá egüttese pl. neuráls háló + szmbólus megözelítés Hbrd megoldáso szaértő rendszere neuráls háló 004 Horváth Gábor 4
Egüttműödő háló Háló egüttes osztálozás/regresszó motvácó heursztus ülönböző szaértő egészítő tudás matemata pontos és ülönböző 004 Horváth Gábor 43
Hálóegüttes Matemata gazolás Az eredő menet M α α j 0 j j Különbözőség Eged hba a ε j j [ ] α j [ ] d j Egüttes eredő hba ε [ d α ] Feltétele Μ j α j 004 Horváth Gábor 44
Hálóegüttes Matemata gazolás Súlozott hba ε M α α j 0 ε j j Súlozott ülönbözőség a Eredő hba Várhatóérté épzés ε α α Megoldás: pontos és ülönböző háló egüttese 004 Horváth Gábor 45 M j 0 a j j [ d α ] ε α a α E ε α f d E ε α f d A a α f d E E A
Hálóegüttes Hogan aphatun pontos és ülönböző hálóat eltérő strutúrá: pl. MLP RBF CCN stb. eltérő méret eltérő ompletás rejtett rétege száma eltérő számú rejtett neuron ülönböző nemlneárs függvéne stb. eltérő tanulás stratéga: batch tanítás szevencáls tanítás eltérő tanítás algortmus BP CG véletlen eresésstb. mntasorrend eltérő tanító észlet ülönböző tanítás paramétere ülönböző ezdet értée eltérő leállás feltétele 004 Horváth Gábor 46
Háló lnel neárs ombnácója Rögzített egüttható 0 NN NN α α α 0 Σ M α α j 0 j j α M M NN M 004 Horváth Gábor 47
Háló lnel neárs ombnácója Optmáls egüttható számítása α... M M α α 0 feltétel j Μ κ j α egszerű átlag bemenettől függően eg háló optmáls értée feltétele nélül Wener-Hopf egenlet * R α P [ T ] P E d R E [ ] 004 Horváth Gábor 48
Szaértő egüttes Mture of Eperts MOE Σ µ Kapuzó hálózat g g g M µ. szaértő µ Μ. szaértő M. szaértő 004 Horváth Gábor 49
Mture of Eperts MOE Eredő menet: az eges menete súlozott összege M µ g µ µ f Θ g g M Θ az -ed szaértő paramétere Kapuzó háló menete: softma függvén T v g M e j ξ e ξ a apuzó háló -ed paramétere j ξ T v 004 Horváth Gábor 50
Mture of Eperts MOE Valószínűség nterpretácó µ Θ ] g P v E[ a valószínűség model a valód paramétereel 0 0 0 P Θ g v P Θ a pror valószínűség g 0 0 v P v 004 Horváth Gábor 5
Mture of Eperts MOE Tanítás Tanító adato X l l { } L l A menet előállításána valószínűsége adott bement mellett l l l l l P Θ P v P Θ L L l l l l l P Θ P Θ P v P Θ l l A log lelhood függvén mamum lelhood becslés l l l L Θ log P v P Θ l 004 Horváth Gábor 5
Tanítás Mture of Eperts MOE Gradens eljárás α Θ 0 v and A szaértő paramétervetora α Θ 0 Θ L l l µ Θ + Θ + η h µ Θ A apuzó hálózat paramétervetora l L l l l l v + v + η h g 004 Horváth Gábor 53
004 Horváth Gábor 54 Mture of Eperts MOE Mture of Eperts MOE Tanítás A pror valószínűség A posteror valószínűség j j l l l j l l l l P g P g h Θ Θ l l l P g g v v
Tanítás Mture of Eperts MOE EM Epectaton Mamzaton algortmus Általános teratív eljárás a mamum lelhood becslés feladat megoldására Rejtett változó bevezetése log lelhood függvén defnálása Két lépés: A rejtett változó szernt várható érté épzés A log lelhood függvén mamumána eresése 004 Horváth Gábor 55
EM Epectaton Mamzaton Egszerű példa: Gauss eloszlás várható értééne becslése f µ f µ Megfgelés 004 Horváth Gábor 56
004 Horváth Gábor 57 EM EM algortm algortmus us Egszerű példa: Gauss eloszlás várható értééne becslése Az eges megfgelésehez rendelt rejtett változó l z l zl lelhood függvén Log lelhood függvén Adott a rejtett változó várható értée f and 0 X l l l z z f 0 and X l l l z z l z l l l l f z f f µ µ µ Π log log l l l l f z z f µ µ L l z µ és µ [ ] j j l l l f f z E µ µ µ µ [ ] j j l l l f f z E µ µ µ µ
004 Horváth Gábor 58 Mture of Eperts MOE Mture of Eperts MOE Egszerű példa: Gauss eloszlás várható értééne becslése A log lelhood függvén várható értée ahol A várható értée becslő log ]log [ ] [ l j j l l l l f f f f z E E µ µ µ µ µ µ L ] ep[ σ µ πσ µ µ l f log log σ µ πσ µ p l f L l l L l l l z E z E ] [ ] [ ˆµ
Feladat deompozíc có A deompozícó és a tanulás vszona tanulás előtt deompozícó részfeladatora bontás deompozícó a tanulás során automatus feladat deompozícó Probléma tér deompozícója bemenet tér bemenet laszterezés bemenet tartománo defnálása menet tér ívánt válasz 004 Horváth Gábor 59
Feladat deompozíc có Részfeladatora bontás K-osztálos osztálozás K ét-osztálos feladatra bontás durva deompozícó Komple ét-osztálos feladat egszerűbb ét-osztálos feladatora bontás fnomabb deompozícó Integrálás modul ombnácó 004 Horváth Gábor 60
Feladat deompozíc có Példa: eg 3-osztálos feladat 004 Horváth Gábor 6
3 osztál Feladat deompozíc có osztál osztál 004 Horváth Gábor 6
3 osztál Feladat deompozíc có osztál osztál classes 004 Horváth Gábor 63
3 osztál Feladat deompozíc có osztál osztál 004 Horváth Gábor 64
Feladat deompozíc có M MIN C Bemenet M 3 MIN C M 3 MIN C 3 INV 004 Horváth Gábor 65
Kétosztálos feladat felbontása részfeladatora Feladat deompozíc có 004 Horváth Gábor 66
Feladat deompozíc có M M M M AND AND OR 004 Horváth Gábor 67
Feladat deompozíc có M MIN Bemenet M MAX C M MIN M 004 Horváth Gábor 68
Feladat deompozíc có Tanító észlet deompozícója: Eredet tanító észlet { } L l l l Τ AK étosztálos feladat tanítópontja Τ L { }.. K l l. l l ε ε f f l l C C az ed osztál ed vételével az összes osztál A étosztálos feladat felosztása K- egszerűbb étosztálos feladatra [K-/] Τ j { } { } L L j ε ε j... K és j l l l l 004 Horváth Gábor 69
Feladat deompozíc có Eg gaorlat példa: ránítószám felsmerés 4 6 6 Jellemző Éldetetálás Normalzálás 4 8 8 mátr nput bemenet number 6 6 6 6 horzontáls dagonáls \ vertáls Krsch maszo dagonáls / 004 Horváth Gábor 70
Feladat deompozíc có ránítószám felsmerésézírásos arater felsmerés modulárs megoldás 0 AND apu MIN operátor 45 K*K-/ neuron 56+ bemenet 004 Horváth Gábor 7
SVM-e everée A hperparaméter választás SVM-nél Különböző SVM-e eltérő hperparamétereel ülönböző szgma A bemenet tér szoft felbontása 004 Horváth Gábor 7
Egéb modulárs archtetúrá 004 Horváth Gábor 73
Hbrd háló 004 Horváth Gábor 74
Hbrd háló Magarázat alapú és megfgelés mntáon alapuló rendszere Doman smeret és mntában meglévő smeret egüttes felhasználása A ét rendszer előnene egesítése Magarázat generálás Létező hbrd archtetúrá EBNN KBANN 004 Horváth Gábor 75
Doman smeret Előn: evés adat szüséges elmélet mellett néha egetleneg példa s elég Hátrán: teljes és orret doman elméletet tételez fel nem 'tudás sznten' tanul lénegében csa átfogalmaz a nduló elmélet hbát nem épes javítan a doman elmélete 'töréene' lehetne nem jellemző a 'foozatos romlás a doman elmélet határán a rendszer teljesítő épessége hrtelen roml a doman elmélet túl bonolult lehet gaorlat célora dő/memóra orláto a doman elméletet valane meg ell fogalmazn. 004 Horváth Gábor 76
Mntában lévő smeret Előnö ld. neuronhálóról szóló rész Hátráno álorrelácó a példában pl. Japánban mnden feete hajú mnden ember feete hajú a vételes eseteet nem vag nem ellő mértében reprezentáljá a mntá az osztálozás szempontjából léneges vonáso örnezetfüggőe aármel objetum elvleg végtelen so ülönféle attrbútummal írható le a léneg vonáso szűréséhez tudás ell lénegtelen vonáso a példá leírásában negatívan befolásolhatjá az osztálozást tanulás egszerűbb ha ezdet prmtív tulajdonságoból bonolultabb összetettebb tulajdonságoat épezhetün. 004 Horváth Gábor 77
Tovább hátráno lassú tanulás Tanulás mntából a háló ezdet paraméterene megválasztása nagban befolásolhatja a tanult oncepcóat háló topológa megválasztásána nehézsége tanulás után eg háló nem más mnt eg 'feete doboz nncs magarázat. 004 Horváth Gábor 78
Tudásalapú neuronháló KBANN A KBANN archtetúra 004 Horváth Gábor 79
Tudásalapú neuronháló KBANN Lépése Knduló szabálo Horn lóz átírása Kezdet háló strutúra meghatározása Kezdet súlo megállapítása Háló bővítése neuronoal és összeöttetéseel Tanítás mntáal ereszt entrópa alapján Szabálo nerése a megtanított hálóból Subset NofM 004 Horváth Gábor 80
Á t í r á s Tudásalapú neuronháló KBANN Szabálo átírása Knduló szabálo Átírt szabálo 004 Horváth Gábor 8
Tudásalapú neuronháló KBANN Szabálo és a háló megfeleltetése Tudásbázs Neuráls háló Kapcsolato: vastag vonala Háló összeöttetése súlo vastag vonala 004 Horváth Gábor 8
Tudásalapú neuronháló KBANN Tudásalapú neuronháló KBANN Eg egszerű példa 004 Horváth Gábor 83
Tudásalapú neuronháló KBANN Szabálo hálóvá neuronná onvertálása onjuntív szabál dszjuntív szabál 004 Horváth Gábor 84
004 Horváth Gábor 85 Tudásalapú neuronháló KBANN Tudásalapú neuronháló KBANN Rátanítás mntáal Krtérumfüggvén: eresztetrópa A gardens meghatározása vags + P j j j j j d d E ln ln ahol s s E E ln ln d d E + d d E d d s E
Tudásalapú neuronháló KBANN Szabálo nerése: Subset eljárás 004 Horváth Gábor 86
Tudásalapú neuronháló KBANN Szabálo nerése NofM 004 Horváth Gábor 87
Tudásalapú neuronháló KBANN Módosított változato TopGen Újabb szabálo beépítésére alalmas hálóterjesztés ReGent Genetus algortmuso alalmazásával fnomított KBANN A genetus operátoro a szabálora műödne Új szabálo létrehozása FsKBANN Végesállapotó rendszere reurzív háló 004 Horváth Gábor 88
Irodalom C. M. Bshop: "Neural Netors for Pattern Recognton" Clarendon Press Oford 995. C. J. C. Burges: "A Tutoral on Support Vector Machnes for Pattern Recognton" Knoledge Dscover and Data Mnng 998. pp. -67. V. Cherass and F. Muler: Learnng from Data John Wle & Sons N.Y. 998. J. Van Gorp J. Schouens and R. Pntelon: "Learnng neural netors th nos nputs usng the errors-n-varables approach" IEEE Trans. on Neural Netors Vol.. No. pp. 40-44. 000. S. Han: "Neural Netors A Comprehensve Foundaton" Prentce Hall Ne Jerse 999. He X. Asada H: A Ne Method for Identfng Orders of Input-Output Models for Nonlnear Dnamc Sstems Proc. of the Amercan Control Conference 993. San Francsco CA. USA. pp. 50-53. J. Hertz - A. Krogh and R. G. Palmer: Introducton to the Theor of Neural Computatons Addson-Wesle Publshng Co. 99. G. Horváth ed.: "Neuráls hálózato és műsza alalmazása" Műegetem Kadó Budapest 998. Noboru Murata Shuj Yoshzaa and Shun-Ich Amar Netor Informaton Crteron - Determnng the Number of Hdden Unts for an Artfcal neural netor Model IEEE Trans. on Neural Netors Vol. 5. No. 6. pp. 865-87 J. Rssanen: Modelng b Shortest Data Descrpton Automatca Vol. 4. pp. 465-47. 978 J. Smola B. Schölopf: "A Tutoral on Support Vector Regresson" NeuroCOLT Techncal Report Seres NC-TR-998-030. http://.neurocolt.com J. Smola B. Schölopf: Learnng th KernelsÁ MIT Press 00 Mohamad H. Hassoun: Fundamentals of Artfcal Neural Netors The MIT Press 995 ebcm: http://neuron.eng.ane.edu/tare/mitboo/t_contents.html J.A.K. Suens: Nonlnear Modellng and Support Vector Machnes Proc. of the IEEE Instrumentaton and Measurement Technolog Conference Budapest 00 Vol. I. pp. 87-94 V. Vapn: "The Nature of Statstcal Learnng Theor" Sprnger N.Y. 995. G.G. Toell és J. W. Shavl: Koledge-Based Artfcal Neurla Netors Artfcal Intellgence Vol. 70. 995. 004 Horváth Gábor 89