Intellgens Rendszerek Elmélete Dr. Kutor László A mesterséges neuráls hálózatok alapfogalma és meghatározó eleme http://mobl.nk.bmf.hu/tantargyak/re.html Logn név: re jelszó: IRE07 IRE 7/1 Neuráls hálózatok Az nformácó feldolgozás új (?) paradgmája A bológa nsprácójú nformácó feldolgozás, a soft computng egyk területe, ahol modellként az degrendszer struktúráját és működését vesszük alapul. A tudományterület a kezdet stádumban van, mégs számos alkalmazás területen az egyszerűsített modellekkel s jobb eredmények érhetőek el mnt a hagyományos algortmkus megoldásokkal. IRE 7/2
A neuráls hálózatok általános jellemző 1. A neuráls hálózatok nagyon egyszerű processzorokból, az un. neuronokból épülnek fel. A processzorok változtatható súlytényezőjű összeköttetések hálózatán át kommunkálnak egymással. 2. A neuráls hálózatokat nem programozzuk, hanem tanítjuk. 3. A tárolt nformácók a hálózatban elosztottan, a súlytényezők közvetítésével ábrázolódnak. 4. A neuráls hálózatok hbatűrők. Az elosztott párhuzamos tudásreprezentácó matt a súlytényezők egy részének jelentős megváltozása sem befolyásolja alapvetően a hálózat működését. 5. A hálózat működését három fő tényező határozza meg: A processzorok átvtel függvénye, a hálózat összeköttetés sémája és a tanítás módszer IRE 7/3 Az első mesterséges neuráls hálózat: a Perceptron Frank Rosenblatt (1957) Vetített nyomtatott betűk felsmerése tanítás alapján 20 x 20 fotóérzékelő Mc. Culloch-Ptts neuronok Előrecsatolt egyrétegű hálózat I 1 O 1 O 36 I 400 IRE 7/4
Alkalmazás példa 1/1. Masa Péter Cenr 199x IRE 7/5 Osztályozandó mnták: Alkalmazás példa 1/2. IRE 7/6
Alkalmazás példa 1/3. Megkülönböztetendő mnták 3 dmenzó esetén IRE 7/7 Alkalmazás példa 1/3. Megkülönböztetendő mnták: IRE 7/8
A megvalósított áramkör Alkalmazás példa 1/4. IRE 7/9 Alkalmazás példa 1/5. A neuráls megoldás teljesítmény mutató IRE 7/10
Neuráls hálózatok alapfogalma Gyakor elnevezések: Neural Networks Neuráls hálózatok NN Artfcal Neural Networks Mesterséges neuráls hálózatok ANN Artfcal Neural Systems Mesterséges neuráls rendszerek ANS Connectonst Modells Konnekconsta modellek Parallel Dstrbuted Processng Páthozamos elosztott feldolgozás PDP Neural Computers Neuronszámítógépek ANN CNN Cellular Neural Network L.O. Chua, L.Yang, T. Roska 1988 Lokáls kapcsolatok Analóg áramkörök IRE 7/11 Természetes deg hálózatok kapcsolódása IRE 7/12
A természetes deg hálózatok tanulsága A feldolgozás nem unverzáls! (A hálózat típusa határozza meg a működést!) A működés párhuzamos és herarchkus (hagymahéj model) Brodmann agyterületek http://spot.colorado.edu/~dubn/talks/brodmann/brodmann.html IRE 7/13 Az emlékezés kapcsolatrendszere Natonal Geographc 2007 november IRE 7/14
Az agyterületek működésének MRI + PET képe Írott szöveg olvasása Szöveg kmondása Szöveg értelmezése Mark Dubn, U. of Colorado Prncples of Neural Scence E. Kandel, J. Schwartz, T. Jessel IRE 7/15 A McCulloch és Ptts formáls neuron W. Mc Culloch és W. Ptts (1943) Először tekntették az agyat számításokat végző szervnek I 1 I 2 I n-1 I n w j1 w j2 w jn S j j T O j I ngerfelvevők (bemenet) w j súlytényezők T Árvtel (Transzfer) függvény S j = n = 1 w Oj = 0 ha Sj <= 0 Oj = +1 ha Sj > 0 j I I B IRE 7/16
Alapfeltevések a formáls neuron megfogalmazásakor Az degsejt működése mnden vagy semm jellegű Az degsejt ngerületbe hozásához bzonyos dőn belül néhány (legalább 2(!?)) bemenetet ngereln kell Az degrendszerben az egyetlen jelentős késleltetés a sznapszsoknál jön létre Bármely gátló sznapszs működése teljesen megakadályozza az degsejt ngerületbe kerülését Az degrendszer összeköttetés hálózata az dőben nem változk!? IRE 7/17 Logka műveletek McCulloch-Ptts neuronokkal O 1 O 1 O 1 O 2 3 1 2 O 3 2 O O 2 (t) = O 1 (t-1) 2 1 1 O 3 (t) = O 1 (t-1) O O 2 (t-1) 3 O 3 O 2 1 1 O 2 3 O 3 (t) = O 1 (t-1) + O 2 (t-1) O 3 2 2 O 3 (t) = O 1 (t-1) O O 2 (t-1) 1 1 O 3 3 O 3 (t) = O 1 (t-1) O 2 (t-1) 2 O 2 De Morgan!!! serkentés gátlás IRE 7/18
A neuráls hálózatok legfontosabb meghatározó tényező 1. A neuronok (processzorok) (neuron, artfcal neuron, node, unt, cell) 2. A hálózat topológa ( mt mvel kötünk össze, (súlytényező mátrx) 3. A tanító szabályokat alkalmazó algortmus ( súlytényezők beállítása, hangolása ) IRE 7/19 Az alap neuron (processzor) felépítése I 1 I 2 I O I n-1 w j1 w j2 wj w jn S j j T O j S j = W j n = 1 w j j I I n I B I bemenet), w j súlytényezők, T Átvtel (Transzfer) függvény IRE 7/20
Leggyakrabban használt átvtel függvények 1. Ugrás függvény: O j = 0 vagy -1, ha S <= 0, O j = 1 ha S > 0 1 1 S 2. Korlátozott lneárs függvény -1 O j = 0, ha S <= 0, O j = S ha 0 <= S < 1 1 O j = 1 ha S > 1 0 1 3. Szmod függvény O j = 1-1/(1+S) ha S >= 0 O j = 1/(1+e -Sj ) O j = -1 + 1/(1-S) ha S < 0 1 1 S IRE 7/21-1 S S Tpkus neuráls hálózat összeköttetések 1. Előrecsatolt (rétegelt) neuráls hálózat (topológa) Bemenetek bemenet réteg rejtett réteg kmenet réteg Kmenetek súlytényező IRE 7/22
Az előrecsatolt hálóztok alternatív ábrázolása I 1 I 2 I I n-1 I n Súlymátrx w 11 w 12 w 1 w 21 w 22 w 2 w j1 w j2 w j w 1n w 2n w jn O 1 w m1 w m2 w m w mn O 2 O j O m súlytényező O = f (S) S = I * W Mátrx műveletek! IRE 7/23 Vsszacsatolt neuráls hálózat Rétegelt Teljesen összekötött I 1 I 2 I 3 1 2 3 j k IRE 7/24 O O j O k O = I x W1+ O x W2
Benenő adatok A tanító adatok szerkezete Elvárt kmenő adatok célértékek Bemenetek 1-n C 1 C m n NH m c 1 c m Teszt adatok Tanító mnták 1-k IRE 7/25 Tanítás szabályok 1. Tanítás = súlytényezők (ks lépésekkel (?) való) beállítása Tanítás típusok: 1. Felügyelt (felügyeletes) tanítás 2. Felügyelet nélkül (önszerveződő) tanítás Alap tanítás szabályok: j O w j O j j O w j O j C j Hebb szabály (Donald O. Hebb) w j (t+1) = w j (t) + α* O * O j ahol α = tanítás tényező, 0 <= α <= 1 Delta szabály (Wdrow- Hoff) w j (t+1) = w j (t) + α * O * (C j O j ) ahol C j O j = Δ j IRE 7/26
A felügyeletes tanítás lényege, algortmusa Mottó: Addg változtatjuk a súlytényezőket, amíg a bemenő mntákra a hálózat a megfelelő-, előre kszámított válaszokat nem adja. Algortmusa: 1. Kezdet súlytényezők beállítása 2. A tanítómnta bemenet értéke alapján a hálózat kmenet értékének kszámítása. 3. A tanítómnta célértékének összehasonlítása a hálózat célértékével. 4. Szükség esetén a hálózat súlytényezőnek módosítása. 5. A tanítás folytatása mndaddg, amíg a hálózat az összes tanítómntára egy előre rögzített hbahatárnál ksebb hbával a célértéknek megfelelő kmenet értéket nem tudja előállítan. IRE 7/27