Tanuló ó és hibrid információs rendszerek

Átírás

1 Tanuló ó és hbrd nformácós rendszere Horváth Gábor I S R G Méréstechna és Informácós Rendszere Tanszé 004 Horváth Gábor

2 Bevezetés Neuráls hálózato Tartalomjegzé elem neurono lasszus neuráls archtetúrá általános megözelítés a neuráls hálózato számítás épessége Tanulás paraméter becslés ellenőrzött tanulás nemellenőrzött tanulás analtus tanulás Szupport vetor gépe SVM archtetúrá statsztus tanuláselmélet A hálótervezés általános érdése általánosítás modell választás model valdácó Modulárs háló háló lneárs ombnácója szaértő egüttes Mture of Eperts MOE feladat deompozícó Hbrd rendszere szmbolus-neuráls rendszere KBANN 004 Horváth Gábor

3 Bevezetés 004 Horváth Gábor 3

4 Tanuló és hbrd nformácós rendszere Mért van szüség tanuló rendszerere? Tudásformá smeretreprezentácó Tanulás és tanuló eljáráso Tanuló rendszere Szmbolus szabálalapú rendszere Hbrd rendszere 004 Horváth Gábor 4

5 Neuráls hálózato 004 Horváth Gábor 5

6 Elem neurono lneárs ombnátor bázsfüggvén-neuron Neuráls hálózato Klasszus neuráls archtetúrá előrecsatolt vsszacsatolt Általános megözelítés regresszor nemlneárs függvéne bázsfüggvéne lneárs ombnácója A neuráls hálózato számítás épessége függvénappromácó osztálozás 004 Horváth Gábor 6

7 Neuráls hálózato A neuráls háló olan párhuzamos elosztott nformácófeldolgozó eszözö amele: azonos vag hasonló típusú loáls feldolgozást végző művelet eleme neurono processng element neuron általában rendezett topológájú nagmértében összeapcsolt rendszeréből állna rendelezne tanulás algortmussal learnng algorthm mel általában mnta alapján való tanulást jelent és az nformácófeldolgozás módját határozza meg rendelezne a megtanult nformácó felhasználását lehetővé tevő nformácó előhívás algortmussal recall algorthm. 004 Horváth Gábor 7

8 Fő jellemző omple nemlneárs nput-output leépezés adaptvtás tanulás épesség elosztott archtetúra hbatűrő épesség Neuráls hálózato párhuzamos analóg vag dgtáls VLSI megvalósítás lehetősége neurobológa analóga 004 Horváth Gábor 8

9 Az elem neuron Lneárs ombnátor nemlneárs actvácós függvénnel 0 0 Σ s T f s fs N N 004 Horváth Gábor 9

10 Tpus nemlneartáso s + s + s s s > 0 - s < _ 0 + s - s > - < _ s < _ s <- a. Atvácós függvéne b. ugrásfüggvén szaaszonént lneárs függvén 004 Horváth Gábor 0

11 Tpus nemlneartáso + s + 05 s s s - - e-ks + -Ks ; K >0 e c. Atvácós függvéne tangens hperbolusz függvén + -Ks ; K e d. logsztus függvén >0 004 Horváth Gábor

12 Bázs függvén neuron Elem neuron g Bázs függvéne g g c Pl. Gauss g e - u σ f. u N u K c + c + + N cn 004 Horváth Gábor

13 Klasszus us neuráls hálózato status háló memóra nélül előrecsatolt egrétegű háló többrétegű háló MLP RBF CMAC dnamus háló memóra vag vsszacsatolás előrecsatolt + tároló eleme vsszacsatolt loáls vsszacsatolás globáls vsszacsatolás 004 Horváth Gábor 3

14 Előrecsatolt archtetúrá Egrétegű háló: Rosenblatt perceptron 0 0 Σ s T sgns N N 004 Horváth Gábor 4

15 Előrecsatolt archtetúrá Egrétegű hálózato Bemenet 3 Kmenet M N W Tanítható paramétere súlo 004 Horváth Gábor 5

16 Előrecsatolt archtetúrá Többrétegű háló status MLP háló o o Σ f. Σ f. 3 Σ f. Σ f. Σ f. Σ f. N W W n 004 Horváth Gábor 6

17 Előrecsatolt archtetúrá Eg tanítható rétegű háló + 0 Nemlneárs ϕ ϕ X leépezés F vag ellenőrzött vag nemellenőrzött tanítású réteg ϕ M M Σ Lneárs tanítható réteg 004 Horváth Gábor 7

18 Radáls bázs függvén RBF hálózato Eg tanítható rétegű háló c σ c σ ϕ 0 + g ϕ g ϕ Radáls pl. Gauss bázs függvéne Σ c M σ M N g ϕ M M bemenet réteg rejtett réteg menet réteg 004 Horváth Gábor 8

19 Eg tanítható rétegű háló CMAC hálózat a C4 a Σ A lehetséges dszrét bemenet vetoro tere j j+ j+ j+ 3 j j+ j+ j+ 3 a asszocácós vetor súl vetor tanítható 004 Horváth Gábor 9

20 Háló hash-ódolással CMAC háló a 0 0 a z z z z + + z + + Σ Bemenet tér z C4 M - 0 M- 0 0 M a z asszocácós tömörített súl vetor vetor asszocácós vetor 004 Horváth Gábor 0

21 CMAC hálózat A CMAC bázsfüggvénene elrendezése csempézés átlapolódó lefedése u Szubdagonal ponto Eg lefedéshez tartozó bázsfüggvén tartó A fő dagonáls ponto u Kvantálás ntervallumo Bázs függvéne: véges ompat tartójú négszögletes függvéne B-splne-o 004 Horváth Gábor

22 CMAC hálózat Adott bemenetehez tartozó bázsfüggvén defnícós ponto elhelezedése u Mnden feete pont eg bázsfüggvént asszocácós bt súl a súl memórában jelöl T u [0 3] + + u [0 0] T + T u 3[6 ] 004 Horváth Gábor u A színes tartománo a megfelelő bemenete által választott bázsfüggvéneet azonosítjá

23 Előrecsatolt archtetúrá Dnamus többrétegű háló Σ f. l- l l Σ s l l f. Σ f. FIR szűrő z l Σ f. l l +... Σ f. Σ f. l -ed réteg 004 Horváth Gábor 3

24 Előrecsatolt archtetúrá Dnamus többrétegű háló eg tanítható réteg ϕ Első ϕ nemlneárs réteg FIR szűrő FIR szűrő z z Σ nemlneárs leépezés ϕ M FIR szűrő z M 004 Horváth Gábor 4

25 Vsszacsatolt archtetúrá Lateráls vsszacsatolás egrétegű háló bemenet 3 menet N 3 előrecsatoló paramétere 3 3 j lateráls összeöttetése j j 004 Horváth Gábor 5

26 Vsszacsatolt archtetúrá Loálsan vsszacsatolt háló MLP b b bemenet 3 c a c a 3 menet N M Bemenet réteg. rejtett réteg. rejtett réteg Kmenet réteg a.önvsszacsatolás b. lateráls vsszacsatolás c. rétege özött vsszacsatolás 004 Horváth Gábor 6

27 Vsszacsatolt archtetúrá Globálsan vsszacsatolt háló szevencáls háló bemenet T D L T D L - -N -M - - Több-bemenetű eg-mentű status háló menet 004 Horváth Gábor 7

28 Vsszacsatolt archtetúrá Hopfeld háló globáls vsszacsatolás 3 4 N N N 3N 44 4N N N N3 N4 NN 004 Horváth Gábor 8

29 Alapvető neurn euráls háló archtetúrá Általános megözelítés Regresszoro pllanatn bemenete status háló pllanatn és orább bemenete előrecsatolt dnamus háló Pllanatn és orább bemenete orább menete vsszacsatolt dnamus háló Bázs függvéne paramétereben nemlneárs háló paramétereben lneárs háló 004 Horváth Gábor 9

30 Regresszoro Általános megözelítés Hogan válasszu meg a φ regresszor-vetort? f ϕ orább bemenete ϕ [... N ϕ ] orább bemenete és menete ϕ [... N... M ϕ ϕ φ regressor-vectors ] orább bemenete és rendszer menete [... N d d... d M ] orább bemenete rendszer menete és modell hbá [... N d... d M ε... ε L] orább bemenete menete és hbá [... N... M ε... ε L ε... ε K ] 004 Horváth Gábor 30

31 Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá NFIR f... N Bemenet T D L - -N Több-bemenetű eg-mentű status háló Kmenet 004 Horváth Gábor 3

32 Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá f... N d... d M NARX bemenet rendszer menet d T - D L -N Több-bemenetű eg-menetű menet T D d-m d- status háló L d- 004 Horváth Gábor 3

33 Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá NOE f... N... M bemenet T - D L -N Több-bemenetű eg-menetű Kmenet T D -M - status háló L Horváth Gábor 33

34 Alapvető neurn euráls háló archtetúrá Nemlneárs dnamus modell strutúrá NARMAX f... N d... d M ε... ε L NJB f... N... M ε... ε L ε... ε K NSS 004 Horváth Gábor 34

35 Alapvető neurn euráls háló archtetúrá Regresszor bázs függvéne f ϕ paramétereben lneárs modell n f ϕ j j j [ K ] T n paramétereben nemlneárs modell n f ϕ j j j [ K ] T n 004 Horváth Gábor 35

36 Alapvető neurn euráls háló archtetúrá Bázs függvéne f j ϕ MLP egetlen szgmod rejtett réteggel szgmod bázs függvén n f ϕ j j j T ϕ sgm ϕ f + RBF radáls bázs függvén pl. Gauss CMAC négszögletes bázs függvén splne j sgm s + e Ks j f j ϕ j f ϕ c j [ ] ep / f ϕ c ϕ c σ j j j j j0 004 Horváth Gábor 36

37 A hálózato épessége Függvén appromácó Osztálozás Asszocácó Optmalzácó 004 Horváth Gábor 37

38 A hálózato épessége Függvénappromácó Alapvető eredmén: a neuráls hálózato eges típusa unverzáls appromátoro bzonos értelemben Kolmogorov reprezentácós tétel: bármel foltonos valós értéű N-változós függvén melet a [0] N ompat ntervallumon defnálun reprezentálható megfelelően megválasztott egváltozós függvéne és az összeadás segítségével. N N... f N φq ψ pq p q0 p 004 Horváth Gábor 38

39 A hálózato épessége Függvénappromácó Tetszőleges foltonos f : R N R függvén R N eg ompat K részhalmazán tetszőleges pontossággal özelíthető hba abszolút érté mamuma aor és csa aor ha az atvácós függvén g s nemonstans orlátos monoton növevő. Horn Cbeno Funahash Leshno Kurova stb. fˆ M N... N c g j j ; 0 j 0 ma K f... N fˆ... N < ε ε > Horváth Gábor 39

40 A hálózato épessége Függvénappromácó Tetszőleges foltonos f : R N R függvén R N eg ompat K részhalmazán tetszőleges pontossággal özelíthető L értelemben aor és csa aor ha az atvácós függvén nempolnom. Horn Cbeno Funahash Leshno Kurova etc. fˆ M N... N c g j j 0 j Horváth Gábor 40

41 Osztálozás A hálózato épessége Perceptron: lneárs szeparácó MLP: unverzáls osztálozó f j aa X j f : K { K } K ompat részhalmaza R N ne X j j K dszjun részhalmaza K na K U j X j és X j I X j üres ha j 004 Horváth Gábor 4

42 A hálózato épessége Adattömörítés dmenzó reducó lneárs háló nemlneárs háló 004 Horváth Gábor 4

43 A hálózato alalmazása Regresszó: status és dnamus rendszermodellezés szűrés nemlneárs dnamus rendszere ránítása stb. függvénappromácó Mnta asszocácó asszocácó autoasszocácó dmenzó reducó adattömörítés heteroasszocácó Mntafelsmerés laszterezés osztálozás Kombnatorus optmalzácós feladato optmalzácó 004 Horváth Gábor 43

44 Adattömörítés PCA háló Főomponens analízs Karhunen-Loeve transzformácó Φ 004 Horváth Gábor 44

45 004 Horváth Gábor 45 Adattömörítés PCA háló Adattömörítés PCA háló Karhunen-Loeve transzformácó Φ [ ] T ϕ N ϕ ϕ Φ... further Φ Φ Φ Φ ϕ ϕ T T j j T I δ N ϕ N M M ˆ ϕ { } { } + N M N M ε E E ˆ E ϕ ϕ [ ] + + N M T T N M T ε ε ˆ ϕ ϕ ϕ ϕ ϕ ϕ λ λ C [ ] + N M λ ε ˆ 0 C ϕ ϕ ϕ λ ϕ ϕ C N M N M T N M T λ λ ε ϕ ϕ ϕ ϕ R

46 MLP mnt lneárs adattömörítő háló Altér transzformácó Bemenet: A rejtett réteg menete: z z Kívánt menet Bemenet z 3 z M N W W' N Rejtett réteg Kmenet réteg M neuron a tanulás fázsban Tömörített menet N neuron 004 Horváth Gábor 46

47 Nemlneárs adattömörítés Nemlneárs feladat 004 Horváth Gábor 47

48 MLP mnt nemlneárs adattömörítő háló 5-rétegű autoasszocatív háló Bemenet: Kmenet: z a másod rejtett réteg menete 3 f f f f l l z z z f f f f l l l 3 Kívánt menet a tanítás fázsban nemlneárs lneárs nemlneárs lneárs réteg 004 Horváth Gábor 48

49 Tanulás 004 Horváth Gábor 49

50 Tanulás neuráls hálózatonál Tanulás: paraméter becslés ellenőrzött tanulás tanítóval történő tanulás nemellenőrzött tanulás tanító nélül tanulás analtus tanulás 004 Horváth Gábor 50

51 Ellenőrzött tanulás Modell paraméter becslés: d n Rendszer d f n d Krtérum függvén C d CCε Neuráls modell f M Paraméter módosító algortmus 004 Horváth Gábor 5

52 Krtérum függvén Ellenőrzött tanulás vadratus rtérum függvén: C T d C ε E d d egéb rtérum függvéne Pl. ε - érzéetlenség sávú { } E d Cε j j j ε rtérum függvén regularzácóval: büntető tag regularzácós tag hozzáadása ε d C ε λcr C Horváth Gábor 5

53 Ellenőrzött tanulás Krtérum mnmalzálás Analtus megoldás ˆ arg mn C d csa nagon egszerű eseteben pl. lneárs hálónál: Wener-Hopf egenlet Iteratív megoldás gradens eljáráso ereső eljáráso merítő eresés véletlen eresés genetus eresés 004 Horváth Gábor 53

54 Ellenőrzött tanulás Hba orrecós eljáráso perceptron szabál gradens eljáráso legmeredeebb lejtő eljárás + + µ ε + + µ Q Q I Neton Q R Levenberg-Marquardt + H C. H E onjugált gradens eljárás { T } + λω + + α g g Rg 0 f j T j 004 Horváth Gábor 54

55 Analtus megoldás Gradens eljáráso paramétereben lneárs modell. T vadratus rtérum függvén C T E d E E T T T { d } E{ d } + E{ } T T { d } p + R Wener-Hopf egenlet T R E p E{ } R p. { } 004 Horváth Gábor 55

56 Iteratív megoldás Gradens eljáráso + + µ. gradens C R a onvergenca feltétele 0 < µ < λ ma 004 Horváth Gábor 56

57 Gradens eljáráso LMS: pllanatn hbán alapuló teratív megoldás T d C ˆ ε ε pllanatn gradens Cˆ ˆ ε ε súl frssítés + + ˆ a onvergenca feltétele 0 µ + µε < µ < λ ma 004 Horváth Gábor 57

58 Példa a onvergencára Gradens eljáráso * b a c 0 a. s µ b. nag µ c. onjugált gradens legmeredeebb lejtő 004 Horváth Gábor 58 0

59 004 Horváth Gábor 59 Graden Gradens eljáráso eljáráso Egetlen neuron nemlneárs atvácós függvénnel Több-rétegű hálózat: hbavsszaterjesztés BP δ µ s ε µ sgm d s d d T sgm sgm ε s l l l l l N r l r l r l l l µδ δ µ sgm s δ δ l N r l r l r l l sgm + + +

60 MLP tanítás: BP o o 3 Σ f. Σ f. Σ f. Σ f. Σ f. Σ f. N W W f'. f'. δ W δ d n + n _ + ε n d + _ + d + _ + ε ε Π µ Π µ W frssítés W frssítés 004 Horváth Gábor 60

61 Fontos érdése MLP tervezés háló méret rétege száma rejtett neurono száma tanulás aránténező µ értée paramétere súlo ezdet értée valdácó ereszt valdácó tanulás és teszt észlet választása a tanítás módja szevencáls vag batch tanulás leállás feltétel 004 Horváth Gábor 6

62 MLP tervezés Háló méret: rejtett neurono száma Elmélet eredméne: felső orláto Gaorlat megözelítés: ét eltérő stratéga Egszerűtől összetetthez újabb neurono betatása Összetettből egszerűsítés metszés prunng regularzácó OBD OBS stb. 004 Horváth Gábor 6

63 MLP tervezés Kereszt értéelés a modell ompletás meghatározására C Torzítás bas alullleszedés Varanca túllleszedés Teszt hba Tanítás hba Modell ompletás Hálóméret Legjobb modell 004 Horváth Gábor 63

64 Strutúra választás C tanítás hba MLP tervezés Rejtett neurono számána növelése a b csöentés f cde Tanítás cluso száma 004 Horváth Gábor 64

65 Kmenet MLP tervezés Általánosítástúllleszedés Megfelelő lleszedés a tanítópontohoz Általánosítás Tanítóponto Túlleszedés Bemenet 004 Horváth Gábor 65

66 MLP tervezés Kora leállítás a túllleszedés elerülésére C Teszt hba túltanulásnál Teszt hba optmáls leállításnál Tanítás hba Optmáls leállítás Tanítás cluso száma 004 Horváth Gábor 66

67 Regularzácó parametrus büntetés C C C + λ MLP tervezés r j j j C µ µ λ sgn j C + λ r j Θ j nemparametrus büntetés C r ahol Φ C + Φ fˆ fˆ a smaság valamel mértée λ j 004 Horváth Gábor 67

68 RBF Radáls Bázs Függvén háló c c σ σ ϕ 0 + g ϕ g ϕ Σ c M σ M N g ϕ M M bemenet réteg rejtett réteg menet réteg T g c [ ] g ep c / σ g 004 Horváth Gábor 68

69 RBF tanítás Paramétereben lneárs strutúra analtus megoldás LMS Középponto paramétereben nemlneárs K-means laszterezés nemellenőrzött tanítás SVM 004 Horváth Gábor 69

70 Fontos érdése RBF tervezése háló méret rejtett neurono száma tanulás aránténező µ értée paramétere ezdet értée özépponto súlo valdácó tanító és teszt halmaz választás a tanulás módja: szevencáls vag batch tanulás leállás feltétele 004 Horváth Gábor 70

71 Dnamus neuráls strutúrá tanítása Előrecsatolt háló Időezelés temporáls BP NFIR: FIR-MLP FIR-RBF stb. NARX Vsszacsatolt háló RTRL BPTT NOE NARMAX 004 Horváth Gábor 7

72 Előrecsatolt archtetúrá NFIR: FIR-MLP a Santa Fe versen gőztese Σ f. l- l l Σ s l l f. Σ f. FIR szűrő z l Σ f. l l+... Σ f. Σ f. l -ed réteg 004 Horváth Gábor 7

73 FIR-MLP tervezés FIR-MLP tanítás: temporáls bacpropagaton ε ε l l j menet réteg rejtett réteg j + + M M µδ δ j T M f s m M m m l l l l l m j [ ] δ δ +... M δ + m ε l l s j m ε l s l L L L + + µ ε f ' s j j m j j m ε L j ε l l s j l s l j 004 Horváth Gábor 73

74 300 Idősor modellezés lezés Santa Fe versen Horváth Gábor 74

75 300 Idősor modellezés lezés Santa Fe versen Horváth Gábor 75

76 Idősor modellezés lezés Santa Fe versen NFIR modell válasza temporáls BP-vel tanítva 004 Horváth Gábor 76

77 Reurzív háló Archtetúra bemenet N M előrecsatolt status háló W + + menet + M z - z - z - z Horváth Gábor 77

78 Reurzív háló tanítása Tanítás: valós dejű reurzív tanítás RTRL ε u j j l + + µ ε f s + j l B j l ε f j ; l C ha A ha B j s l r B lr l ε µ r j l ε j ; + δ u l j r lr + δ r B j 0 ε j - l C l C l u εl j l j d f C ε ε l l j egébént 004 Horváth Gábor 78

79 Reurzív háló tanítása Tanítás: bacpropagaton through tme BPTT dőbel terítés 3 PE 3 4 PE PE PE PE PE 3 4 PE PE PE PE PE a. b. 004 Horváth Gábor 79

80 Dnamus neuráls strutúrá tanítása Kombnált lneárs dnamus és nemlneárs status archtetúrá előrecsatolt archtetúrá ε v ε H z j j j j j l v l v l j 004 Horváth Gábor 80

81 Dnamus neuráls strutúrá tanítása a. vsszacsatolt archtetúrá b. a. b. ε ε N v N v N u j j j j v v H z j N v j + + H z j j 004 Horváth Gábor 8

82 Dnamus rendszer modellezés Példa: eg dszrét dejű rendszer modellezése f [ u ] + ahol 3 u u + 0.3u 0. u f 4 tanító jel: egenletes eloszlású véletlen ét eltérő ampltúdóval 004 Horváth Gábor 8

83 Dnamus rendszer modellezés A gerjesztés szerepe: s gerjesztőjel Modell menet Rendszer menet Hba Horváth Gábor 83

84 Dnamus rendszer modellezés A gerjesztés szerepe: nag gerjesztőjel Modell menet Rendszer menet Hba Horváth Gábor 84

85 004 Horváth Gábor 85 Zajos adato hatása ezelése Zajos adato hatása ezelése EIV Errors-n-Varables ] [ n p Rendszer ] [ n m * * ] [ n m [] [] M M ] [ M M ] [ M M ] [ σ M M ] [ σ ] [ ] [ M M σ n * + n * + M n M n ] [ M n M n ] [

86 004 Horváth Gábor 86 EIV EIV Az LS és az EIV rtérum függvén EIV tanítás N j NN f j f e N M W W W σ η + NN f e f e M σ σ η W N NN LS f N C * * W + N u NN EIV f N M C σ σ W W NN f f e

87 EIV Példa 004 Horváth Gábor 87

88 EIV Példa Horváth Gábor 88

89 Nemellenőrzött tanítás Hebb tanulás η Versengő tanulás Bemenet * Kmenet M N W T T 004 Horváth Gábor 89

90 Nemellenőrzött tanítású háló Önszervező háló Hebb szabál Versengő tanítás laszterezés hasonlóság detecó adattömörítés PCA KLT 004 Horváth Gábor 90

91 Szupport vetor gépe SVM 004 Horváth Gábor 9

92 Szupport vetor gépe Szupport vetor gépe SVM osztálozásra SVM regresszóra LS SVM Rdge regresson Statsztus tanuláselmélet alapja 004 Horváth Gábor 9

93 Új megözelítés Szupport vetor gépe Azon érdésere s ad választ melere a lasszus megözelítés nem háló méret általánosító épesség 004 Horváth Gábor 93

94 Szupport vetor gépe Osztálozás Tartalé Optmáls hpersí Klasszus neuráls tanulás Szupport Vetor Gép 004 Horváth Gábor 94

95 Szupport vetor gépe Lneársan szeparálható étosztálos feladat { } P X d + X d d elválasztó hpersí T + b 0 T + b + f X and T + b f X T + b d Optmáls hpersí 004 Horváth Gábor 95

96 004 Horváth Gábor 96 Szupport vetor gépe Szupport vetor gépe mn mn mn mn } ; { } ; { } ; { } ; { b b b d b d b T T ρ b b d T + d b d Geometra nterpretácó

97 004 Horváth Gábor 97 Szupport vetor gépe Szupport vetor gépe Krtérum függvén Lagrange függvén feltételes optmalzácós feladat feltétele duáls feladat szupport vetoro optmáls hpersí Φ + P T d b b J } ] {[ α α 0 P d J α P d α 0 P d b J α } ma{ ma + P P P j j j j d d W α α α α α α 0 : > α 0 P α d P d 0 α mn ma α α b J b

98 004 Horváth Gábor 98 Szupport vetor gépe Szupport vetor gépe Bztonság sávba eső adato szeparáló hpersí rtérum függvén gengítő változó Lagrange függvén szupport vetoro optmáls hpersí P b d T... ] [ + ξ + P C ξ ξ Φ P T P b d C b J } ] [ { ξ β ξ α ξ ξ β α 0 α C : > 0 α P d 0 α Optmáls hpersí

99 004 Horváth Gábor 99 Szupport vetor gépe Szupport vetor gépe Nemlneárs szeparálás jellemző tér szeparáló hpersí döntés felület magfüggvén Mercer feltétele másodlagos duáls függvén 0 + b T ϕ 0 0 P M j j j P d K d ϕ ϕ α α j T j K ϕ ϕ 0 0 M j j j ϕ P P P j j j j K d d W α α α α

100 Jellemző tér bemenet tér jellemző tér M j 0 ϕ j j T ϕ [... ] T 0 M ϕ [ ϕ ϕ... ϕ ] T 0 M 004 Horváth Gábor 00

101 Szupport vetor gépe Magfüggvéne SVM célra Polnom RBF K K T d + d... ep σ MLP csa bzonos β o és β mellett K T tanh β + β 0 CMAC... B-splnes 004 Horváth Gábor 0

102 004 Horváth Gábor 0 Szupport vetor gépe Szupport vetor gépe Példa: polnom bázs- és magfüggvén bázs függvéne magfüggvén K T ] [ ϕ

103 004 Horváth Gábor 03 Szupport vetor regresszó SVR Szupport vetor regresszó SVR egébént 0 ha ε f d ε f d f d C α α α ε ε ε Cε ξ

104 Szupport vetor regresszó SVR d T ϕ ξ T ϕ ε + ξ T d 0 ε + ξ M j j 0 Feltétele: Mnmalzálandó: ϕ... P j P Φ ξξ + C ξ + ξ ξ Horváth Gábor 04

105 004 Horváth Gábor 05 Szupport vetor regresszó SVR Szupport vetor regresszó SVR Lagrange függvén duáls feladat feltétele szupport vetoro megoldás [ ] [ ] ξ γ ξ γ ξ ε α ξ ε α ξ ξ ξ ξ P T P T P T P d d C J γ γ α α ϕ ϕ P ϕ α α C α γ C α γ α α : j P P j j j P P K W + α α α α α α ε α α α α 0 P α α 0 C α 0 C α

106 Szupport vetor regresszó SVR 004 Horváth Gábor 06

107 Szupport vetor regresszó SVR 004 Horváth Gábor 07

108 Szupport vetor regresszó SVR 004 Horváth Gábor 08

109 Szupport vetor regresszó SVR 004 Horváth Gábor 09

110 Főbb előnö Szupport vetor gépe felső orlátot ad az általánosítás hbára automatus modell strutúra meghatározás Főbb hátráno nehézsége vadratus programozás a duáls feladathoz hperparamétere megválasztása 004 Horváth Gábor 0

111 SVM versons Klasszus Vapn SVM LS SVM osztálozás Φ T ξξ + C e P regresszó Φ T ξξ + C e P egenlőség feltétel T d [ + b] e... P T + b + e P d ϕ... nncs vadratus optmalzálásra szüség 004 Horváth Gábor

112 004 Horváth Gábor LS SVM LS SVM Lagrange egenlet A derváltaból származó egenlete { } P T P T d e b e b L ; α e ϕ α γ P d e b L P e e L b L L T P P ϕ ϕ α γ α α α

113 004 Horváth Gábor 3 LS SVM LS SVM Az eredmén lneárs egenletrendszer Regresszó Osztálozás ahol a válasz + d α I Ω 0 0 b T γ r r + α I Ω d d r 0 0 b T γ j j j K d d Ω j T j j K ϕ ϕ Ω + N b K α + N b K d α

114 Rdge regresson Hasonló az LS-SVM-hez de nem alalmaz bas tagot Az eredménént apott lneárs egenletrendszer + d Ω γ I α A rdge regresson megfelel a pl. CMAC-na ahol a ernel függvéne a másodrendű B-splneo. 004 Horváth Gábor 4

115 004 Horváth Gábor 5 Kernel CMAC rdge regresson Kernel CMAC rdge regresson A lasszus CMAC analtus megoldása Kerneles változat rtérum függvén Lagrange függvén a derváláso eredméneént apott összefüggése T e d + a P T... a u d A * T AA T A A d T T T T AA A u a u a u * + P T e J mn γ e + P T d e J L a e α e α + P d e L P e e L L T P u a α e α e a 0 α e α γ α α

116 004 Horváth Gábor 6 Kernel CMAC Kernel CMAC d I AA A u a d I K A u a α u K u u a u a u a u + + γ γ α α T T T T T T P P T T K Az eredmén

117 Statsztus tanuláselmélet Cél: ocázatmnmalzálást eredménező megoldás eresése [ d f ] p d ddd R Nehézsége: smeretlen a valószínűségsűrűség függvén Tapasztalat ocázat határozható meg R [ L ] d f l emp L l optmáls érté Kérdés: aszmptotus onzsztenca * Remp L R * L R emp R 0 hen L R 0 hen L * L R * L 004 Horváth Gábor 7

118 Statsztus tanuláselmélet A tapasztalat ocázat aszmptotus onzsztencája Várható ocázat R L Mn RR 0 Tapasztalat ocázat R 0 L L 004 Horváth Gábor 8

119 Statsztus tanuláselmélet A onzsztenca és a gors onvergenca szüséges és elégséges feltétele: véges Vapn-Cservonens VC dmenzó VC dmenzó: Eg függvénhalmaz VC dmenzója h ha létez legalább eg esetben h olan mnta mel szeparálható mnden lehetséges módon ét osztálba sorolható a függvénhalmaz elemevel de egetlen esetben sem létez h+ mnta mel uganezen függvénhalmaz elemevel szeparálható volna. 004 Horváth Gábor 9

120 Modell ompletás VC dmenzó Illusztrácó lneárs szeparácó nemlneárs szeparácó 004 Horváth Gábor 0

121 Általánosítás hba Az általánosítás hba orlátja osztálozás R Remp + járuléos tag h h r m n ; mn + r a mntapontoat magába foglaló hpergömb sugara m eg felső orlát : m regresszó R R emp c ε h 004 Horváth Gábor

122 Strutúráls ocázat mnmal alzálása Általánosítás hba Kompromsszum az appromácó mnősége és az appromáló függvén ompletása özött 004 Horváth Gábor

123 A hálózattervezés általános érdése összefoglalás 004 Horváth Gábor 3

124 Neuráls hálózato tervezése Modell választás neuráls archtetúra választás pl. bázs függvén választás regresszor választás modell foszám választás háló méter választás rétege száma neurono száma Modell paraméter becslés analtus összefüggés tanulás Modell valdácó rtérumo ereszt értéelés 004 Horváth Gábor 4

125 Modell választás A probléma megfogalmazása az optmáls pataméterszám meghatározása a rejtett neurono optmáls számána meghatározása amel ahhoz szüséges hog a mntá által reprezentált rendszert özelíthessü Krtérumfüggvén veszteségfüggvén ocázat tapasztalat ocázat 004 Horváth Gábor 5

126 Modell választás Status vag dnamus Dnamus modell osztálo regresszor választás bázsfüggvén választás Háló méret rétege száma rejtett neurono száma modell foszám 004 Horváth Gábor 6

127 Archtetúra választás A modell mérete Modell választás Modell ompletás modell foszám Általánosítás Mt lehet állítan a megtanított háló általánosítás hbájáról? öölszabál analtus eredméne a VC dmenzón alapuló felső orláto 004 Horváth Gábor 7

128 Elmélet eredméne osztálozásra Modell választás M processzáló elem P tanító pont W súl T teszt pont P ε T ε tanító pontot helesen osztáloz teszt pontot helesen osztáloz 0 < ε 8 regresszóra P W O log ε M ε C MN O f + O log P M P R f fˆ d A N M rejtett neuron N bemenet dmenzója P tanító pont C f a függvén regulartása 004 Horváth Gábor 8

129 Modell választás valdácó Statsztus módszere Kereszt értéelés eghagásos -hagásos Krtérumo: hbatag+büntető tag AIC MDL NIC stb. Statsztus tanuláselmélet VC dmenzó 004 Horváth Gábor 9

130 Modell választás valdácó Kereszt értéelés újramntavételezés A mntaészlet T felbontása tanító észletre P és teszt észletre Q? Nag hálónál a háló paraméterene száma m nag Nagméretű adathalmazra ereszt értéelésre Ha T < 30m Q T m T > 30m nncs szüség a ora leállítás a ereszt értéelés alapján javítja a megoldás általánosító épességét 004 Horváth Gábor 30

131 Modell választás valdácó Kereszt értéelés -hagásos a háló általánosító-épességéne meghatározásához az összes tanítópontot felhasználju a ezdet hálót az összes ponttal tanítju a tanító halmazból választun mntát a hálót újra tanítju a maradé mntával az előzetesen megtanított pontból ndítva értéelés a -elemű teszt észlettel smételjü az eljárást de az előzőtől ülönböző mnta hagása után az értéelése eredménet átlagolju 004 Horváth Gábor 3

132 004 Horváth Gábor 3 Modell választás valdácó Modell választás valdácó Neuráls modell választás NIC Feladat: a paramétere optmáls számána meghatározása a tejtett eleme optmáls számána meghatározása Veszteségfüggvén: a háló menete és a ívánt válasz özött ülönbség Ha van addtív zaj Kocázat függvén a veszteség várható értée ahol p a valód de smeretlen sűrűségfüggvén A tapasztalat sűrűségfüggvén használható: p* Θ Θ f l ξ ξ + Θ + Θ vag specálsan f f ξ var + Θ Θ f l d d p l p R Θ Θ Θ Θ Θ P P f P l P p R

133 Modell választás valdácó Neuráls modell választás NIC Paraméter becslés gradens eljárással A paramétere aszmptotus tulajdonsága meghatározható Az aszmptotus tulajdonságo alapján az eges modelle értéelhető So parametrus neuráls modell M onstruálható eze herarchus rendbe állítható ahol M paraméter m vetora Θ R és m <m <m 3 am azt jelent hog M K M M Horváth Gábor 33

134 Modell választás valdácó Neuráls modell választás NIC Az átlagos ocázat mel a valód eloszlás függvéne fejezhető mnt a tapasztalat ocázat plusz eg büntető tag. NIC p G Q * * ~ ~ P * ~ ~ * p p Θ + tr G Θ Q Θ R Θ var [ l Θ ] ~ p ~ Θ E [ l Θ ] p ~ 004 Horváth Gábor 34

135 VC elmélet Modell választás valdácó S az appromáló függvéne halmaza S eleme egmásbaágazott részhalmazo S véges VC dmenzóval h S S S Rendezés ompletás szernt h h h A pror nformácó alapján S specfálható For a gven data set the optmal model estmaton: selecton of an element of the set model selecton estmatng the model from ths subset tranng the model there s an upper bound on the predcton rs th a gven confdence level 004 Horváth Gábor 35

136 Modell választás valdácó Gaorlat alalmazhatóság túl pesszmsta eloszlásfüggetlen eredméne túl evés tanító mnta nem reprezentatív mntá 004 Horváth Gábor 36

137 Modell foszám dnamus feladat NARX modell NOE modell f [... n... m ] Lpschtz szám Lpschtz hánados p n n q n q / p q j j Horváth Gábor 37

138 Modell foszám dnamus feladat Lpschtz hánados általános nemlneárs bemenet - menet relácó f. foltonos síma többváltozós függvén f [... n ] orlátos derválta Lpschtz hánados q j j j ' f f M... n 0 q j L érzéenség analízs f f f ' ' + + K + n f + f + K n + f ' n n 004 Horváth Gábor 38

139 Modell foszám dnamus feladat Lpschtz szám q n j + + K+ n nm q n j ; + + K K + n q n+ j n+ q n p n n q n q / p ad legnagobb Lpchtz hánados a q p 0.0N L 0. 0N n j j; j... N özött optmáls n mellett n+ n q q n n q >> q 004 Horváth Gábor 39

140 Neuráls hálózato Mért alalmazun neuráls hálózatoat? Egéb függvénappromácós eszözö: a dmenzó áta Pl. N-dmenzós feladatnál M-ed rendű polnom mellett a szabad paramétere száma N M szernt nő. Neuráls háló MLP az appromálandó függvéntől függő bázs függvéneet használna. Az adaptív bázs függvénészlet lehetővé tesz a szabad paramétere számána csöentését. Neuronhálóra az mplct regularzácó jellemző nem nag az érzéenségü a túlparametrzálásra Paramétere értééne meghatározása mntá alapján tanulással 004 Horváth Gábor 40

141 Modulárs háló 004 Horváth Gábor 4

142 Hálóegüttes Modulárs háló háló lneárs ombnácója Szaértő everé Mture of eperts azonos elven műödő szaértő pl. neuráls háló Különböző paradgmá egüttese pl. neuráls háló + szmbólus megözelítés Hbrd megoldáso szaértő rendszere neuráls háló 004 Horváth Gábor 4

143 Egüttműödő háló Háló egüttes osztálozás/regresszó motvácó heursztus ülönböző szaértő egészítő tudás matemata pontos és ülönböző 004 Horváth Gábor 43

144 Hálóegüttes Matemata gazolás Az eredő menet M α α j 0 j j Különbözőség Eged hba a ε j j [ ] α j [ ] d j Egüttes eredő hba ε [ d α ] Feltétele Μ j α j 004 Horváth Gábor 44

145 Hálóegüttes Matemata gazolás Súlozott hba ε M α α j 0 ε j j Súlozott ülönbözőség a Eredő hba Várhatóérté épzés ε α α Megoldás: pontos és ülönböző háló egüttese 004 Horváth Gábor 45 M j 0 a j j [ d α ] ε α a α E ε α f d E ε α f d A a α f d E E A

146 Hálóegüttes Hogan aphatun pontos és ülönböző hálóat eltérő strutúrá: pl. MLP RBF CCN stb. eltérő méret eltérő ompletás rejtett rétege száma eltérő számú rejtett neuron ülönböző nemlneárs függvéne stb. eltérő tanulás stratéga: batch tanítás szevencáls tanítás eltérő tanítás algortmus BP CG véletlen eresésstb. mntasorrend eltérő tanító észlet ülönböző tanítás paramétere ülönböző ezdet értée eltérő leállás feltétele 004 Horváth Gábor 46

147 Háló lnel neárs ombnácója Rögzített egüttható 0 NN NN α α α 0 Σ M α α j 0 j j α M M NN M 004 Horváth Gábor 47

148 Háló lnel neárs ombnácója Optmáls egüttható számítása α... M M α α 0 feltétel j Μ κ j α egszerű átlag bemenettől függően eg háló optmáls értée feltétele nélül Wener-Hopf egenlet * R α P [ T ] P E d R E [ ] 004 Horváth Gábor 48

149 Szaértő egüttes Mture of Eperts MOE Σ µ Kapuzó hálózat g g g M µ. szaértő µ Μ. szaértő M. szaértő 004 Horváth Gábor 49

150 Mture of Eperts MOE Eredő menet: az eges menete súlozott összege M µ g µ µ f Θ g g M Θ az -ed szaértő paramétere Kapuzó háló menete: softma függvén T v g M e j ξ e ξ a apuzó háló -ed paramétere j ξ T v 004 Horváth Gábor 50

151 Mture of Eperts MOE Valószínűség nterpretácó µ Θ ] g P v E[ a valószínűség model a valód paramétereel P Θ g v P Θ a pror valószínűség g 0 0 v P v 004 Horváth Gábor 5

152 Mture of Eperts MOE Tanítás Tanító adato X l l { } L l A menet előállításána valószínűsége adott bement mellett l l l l l P Θ P v P Θ L L l l l l l P Θ P Θ P v P Θ l l A log lelhood függvén mamum lelhood becslés l l l L Θ log P v P Θ l 004 Horváth Gábor 5

153 Tanítás Mture of Eperts MOE Gradens eljárás α Θ 0 v and A szaértő paramétervetora α Θ 0 Θ L l l µ Θ + Θ + η h µ Θ A apuzó hálózat paramétervetora l L l l l l v + v + η h g 004 Horváth Gábor 53

154 004 Horváth Gábor 54 Mture of Eperts MOE Mture of Eperts MOE Tanítás A pror valószínűség A posteror valószínűség j j l l l j l l l l P g P g h Θ Θ l l l P g g v v

155 Tanítás Mture of Eperts MOE EM Epectaton Mamzaton algortmus Általános teratív eljárás a mamum lelhood becslés feladat megoldására Rejtett változó bevezetése log lelhood függvén defnálása Két lépés: A rejtett változó szernt várható érté épzés A log lelhood függvén mamumána eresése 004 Horváth Gábor 55

156 EM Epectaton Mamzaton Egszerű példa: Gauss eloszlás várható értééne becslése f µ f µ Megfgelés 004 Horváth Gábor 56

157 004 Horváth Gábor 57 EM EM algortm algortmus us Egszerű példa: Gauss eloszlás várható értééne becslése Az eges megfgelésehez rendelt rejtett változó l z l zl lelhood függvén Log lelhood függvén Adott a rejtett változó várható értée f and 0 X l l l z z f 0 and X l l l z z l z l l l l f z f f µ µ µ Π log log l l l l f z z f µ µ L l z µ és µ [ ] j j l l l f f z E µ µ µ µ [ ] j j l l l f f z E µ µ µ µ

158 004 Horváth Gábor 58 Mture of Eperts MOE Mture of Eperts MOE Egszerű példa: Gauss eloszlás várható értééne becslése A log lelhood függvén várható értée ahol A várható értée becslő log ]log [ ] [ l j j l l l l f f f f z E E µ µ µ µ µ µ L ] ep[ σ µ πσ µ µ l f log log σ µ πσ µ p l f L l l L l l l z E z E ] [ ] [ ˆµ

159 Feladat deompozíc có A deompozícó és a tanulás vszona tanulás előtt deompozícó részfeladatora bontás deompozícó a tanulás során automatus feladat deompozícó Probléma tér deompozícója bemenet tér bemenet laszterezés bemenet tartománo defnálása menet tér ívánt válasz 004 Horváth Gábor 59

160 Feladat deompozíc có Részfeladatora bontás K-osztálos osztálozás K ét-osztálos feladatra bontás durva deompozícó Komple ét-osztálos feladat egszerűbb ét-osztálos feladatora bontás fnomabb deompozícó Integrálás modul ombnácó 004 Horváth Gábor 60

161 Feladat deompozíc có Példa: eg 3-osztálos feladat 004 Horváth Gábor 6

162 3 osztál Feladat deompozíc có osztál osztál 004 Horváth Gábor 6

163 3 osztál Feladat deompozíc có osztál osztál classes 004 Horváth Gábor 63

164 3 osztál Feladat deompozíc có osztál osztál 004 Horváth Gábor 64

165 Feladat deompozíc có M MIN C Bemenet M 3 MIN C M 3 MIN C 3 INV 004 Horváth Gábor 65

166 Kétosztálos feladat felbontása részfeladatora Feladat deompozíc có 004 Horváth Gábor 66

167 Feladat deompozíc có M M M M AND AND OR 004 Horváth Gábor 67

168 Feladat deompozíc có M MIN Bemenet M MAX C M MIN M 004 Horváth Gábor 68

169 Feladat deompozíc có Tanító észlet deompozícója: Eredet tanító észlet { } L l l l Τ AK étosztálos feladat tanítópontja Τ L { }.. K l l. l l ε ε f f l l C C az ed osztál ed vételével az összes osztál A étosztálos feladat felosztása K- egszerűbb étosztálos feladatra [K-/] Τ j { } { } L L j ε ε j... K és j l l l l 004 Horváth Gábor 69

170 Feladat deompozíc có Eg gaorlat példa: ránítószám felsmerés Jellemző Éldetetálás Normalzálás mátr nput bemenet number horzontáls dagonáls \ vertáls Krsch maszo dagonáls / 004 Horváth Gábor 70

171 Feladat deompozíc có ránítószám felsmerésézírásos arater felsmerés modulárs megoldás 0 AND apu MIN operátor 45 K*K-/ neuron 56+ bemenet 004 Horváth Gábor 7

172 SVM-e everée A hperparaméter választás SVM-nél Különböző SVM-e eltérő hperparamétereel ülönböző szgma A bemenet tér szoft felbontása 004 Horváth Gábor 7

173 Egéb modulárs archtetúrá 004 Horváth Gábor 73

174 Hbrd háló 004 Horváth Gábor 74

175 Hbrd háló Magarázat alapú és megfgelés mntáon alapuló rendszere Doman smeret és mntában meglévő smeret egüttes felhasználása A ét rendszer előnene egesítése Magarázat generálás Létező hbrd archtetúrá EBNN KBANN 004 Horváth Gábor 75

176 Doman smeret Előn: evés adat szüséges elmélet mellett néha egetleneg példa s elég Hátrán: teljes és orret doman elméletet tételez fel nem 'tudás sznten' tanul lénegében csa átfogalmaz a nduló elmélet hbát nem épes javítan a doman elmélete 'töréene' lehetne nem jellemző a 'foozatos romlás a doman elmélet határán a rendszer teljesítő épessége hrtelen roml a doman elmélet túl bonolult lehet gaorlat célora dő/memóra orláto a doman elméletet valane meg ell fogalmazn. 004 Horváth Gábor 76

177 Mntában lévő smeret Előnö ld. neuronhálóról szóló rész Hátráno álorrelácó a példában pl. Japánban mnden feete hajú mnden ember feete hajú a vételes eseteet nem vag nem ellő mértében reprezentáljá a mntá az osztálozás szempontjából léneges vonáso örnezetfüggőe aármel objetum elvleg végtelen so ülönféle attrbútummal írható le a léneg vonáso szűréséhez tudás ell lénegtelen vonáso a példá leírásában negatívan befolásolhatjá az osztálozást tanulás egszerűbb ha ezdet prmtív tulajdonságoból bonolultabb összetettebb tulajdonságoat épezhetün. 004 Horváth Gábor 77

178 Tovább hátráno lassú tanulás Tanulás mntából a háló ezdet paraméterene megválasztása nagban befolásolhatja a tanult oncepcóat háló topológa megválasztásána nehézsége tanulás után eg háló nem más mnt eg 'feete doboz nncs magarázat. 004 Horváth Gábor 78

179 Tudásalapú neuronháló KBANN A KBANN archtetúra 004 Horváth Gábor 79

180 Tudásalapú neuronháló KBANN Lépése Knduló szabálo Horn lóz átírása Kezdet háló strutúra meghatározása Kezdet súlo megállapítása Háló bővítése neuronoal és összeöttetéseel Tanítás mntáal ereszt entrópa alapján Szabálo nerése a megtanított hálóból Subset NofM 004 Horváth Gábor 80

181 Á t í r á s Tudásalapú neuronháló KBANN Szabálo átírása Knduló szabálo Átírt szabálo 004 Horváth Gábor 8

182 Tudásalapú neuronháló KBANN Szabálo és a háló megfeleltetése Tudásbázs Neuráls háló Kapcsolato: vastag vonala Háló összeöttetése súlo vastag vonala 004 Horváth Gábor 8

183 Tudásalapú neuronháló KBANN Tudásalapú neuronháló KBANN Eg egszerű példa 004 Horváth Gábor 83

184 Tudásalapú neuronháló KBANN Szabálo hálóvá neuronná onvertálása onjuntív szabál dszjuntív szabál 004 Horváth Gábor 84

185 004 Horváth Gábor 85 Tudásalapú neuronháló KBANN Tudásalapú neuronháló KBANN Rátanítás mntáal Krtérumfüggvén: eresztetrópa A gardens meghatározása vags + P j j j j j d d E ln ln ahol s s E E ln ln d d E + d d E d d s E

186 Tudásalapú neuronháló KBANN Szabálo nerése: Subset eljárás 004 Horváth Gábor 86

187 Tudásalapú neuronháló KBANN Szabálo nerése NofM 004 Horváth Gábor 87

188 Tudásalapú neuronháló KBANN Módosított változato TopGen Újabb szabálo beépítésére alalmas hálóterjesztés ReGent Genetus algortmuso alalmazásával fnomított KBANN A genetus operátoro a szabálora műödne Új szabálo létrehozása FsKBANN Végesállapotó rendszere reurzív háló 004 Horváth Gábor 88

189 Irodalom C. M. Bshop: "Neural Netors for Pattern Recognton" Clarendon Press Oford 995. C. J. C. Burges: "A Tutoral on Support Vector Machnes for Pattern Recognton" Knoledge Dscover and Data Mnng 998. pp V. Cherass and F. Muler: Learnng from Data John Wle & Sons N.Y J. Van Gorp J. Schouens and R. Pntelon: "Learnng neural netors th nos nputs usng the errors-n-varables approach" IEEE Trans. on Neural Netors Vol.. No. pp S. Han: "Neural Netors A Comprehensve Foundaton" Prentce Hall Ne Jerse 999. He X. Asada H: A Ne Method for Identfng Orders of Input-Output Models for Nonlnear Dnamc Sstems Proc. of the Amercan Control Conference 993. San Francsco CA. USA. pp J. Hertz - A. Krogh and R. G. Palmer: Introducton to the Theor of Neural Computatons Addson-Wesle Publshng Co. 99. G. Horváth ed.: "Neuráls hálózato és műsza alalmazása" Műegetem Kadó Budapest 998. Noboru Murata Shuj Yoshzaa and Shun-Ich Amar Netor Informaton Crteron - Determnng the Number of Hdden Unts for an Artfcal neural netor Model IEEE Trans. on Neural Netors Vol. 5. No. 6. pp J. Rssanen: Modelng b Shortest Data Descrpton Automatca Vol. 4. pp J. Smola B. Schölopf: "A Tutoral on Support Vector Regresson" NeuroCOLT Techncal Report Seres NC-TR J. Smola B. Schölopf: Learnng th KernelsÁ MIT Press 00 Mohamad H. Hassoun: Fundamentals of Artfcal Neural Netors The MIT Press 995 ebcm: J.A.K. Suens: Nonlnear Modellng and Support Vector Machnes Proc. of the IEEE Instrumentaton and Measurement Technolog Conference Budapest 00 Vol. I. pp V. Vapn: "The Nature of Statstcal Learnng Theor" Sprnger N.Y G.G. Toell és J. W. Shavl: Koledge-Based Artfcal Neurla Netors Artfcal Intellgence Vol Horváth Gábor 89