Autoasszociatív mesterséges neurális hálózatok dinamikájának összehasonlító vizsgálata

Átírás

1 Autoasszociatív mesterséges neurális hálózatok dinamikájának összehasonlító vizsgálata Mérő László NymE Bolyai János Gyakorló Általános Iskola és Gimnázium

2 dinamikájának összehasonlító vizsgálata TARTALOMJEGYZÉK Kivonat Munkámban arra kerestem a választ, hogy az idegrendszerben elképzelhetőe a klasszikus Hopfield hálózathoz hasonló célú és szerkezetű neuronális hálózat. Ehhez két, a klasszikus Hopfield hálózathoz hasonló, de szerkezetükben egymástól jelentős eltéréseket mutató (eltérő komplexitású) mesterséges neurális háló dinamikus viselkedését vizsgáltam, melyek működése, szerkezetük különbözősége ellenére, nagymértékű hasonlóságot mutatott. Az első egy diszkrét idejű mesterséges neurális háló, amely lényegében ugyanolyan neuronokat használ, mint a Hopfield hálózat, azonban pozitív küszöbértékkel. A második hálózat a FitzHugh-Nagumo neuronmodellen alapul, egy saját szinapszis modellel. Mindkét hálózat, a Hopfield modellel ellentétben, működés közben tanul, a Hebb-féle mechanizmussal. A második háló vizsgálata bizonyítékot adhat a hozzá hasonló, de élő neuronokból álló hálók plauzibilitására. A vizsgált hálók korlátozott hasznosságot mutatnak autoasszociatív memóriaként, A bonyolultabb szerkezet nem eredményezett lényegesen bonyolultabb viselkedést, tehát feltételezhető, hogy az eddig elhanyagolt paraméterek bevitelét először elegendő az első, jóval egyszerűbb hálón kipróbálni. Tartalomjegyzék 1. Bevezetés 3 2. Neuron modellek A valódi neuron Küszöbös neuron Szigmoid átviteli függvényű neuron Integrál és tüzel Hodgkin és Huxley modellje A FitzHugh-Nagumo modell Többrekeszes modellek

3 dinamikájának összehasonlító vizsgálata 1 BEVEZETÉS 3. Célkitűzés Vizsgált rendszerek Hopfield hálózat Diszkrét idejű modell Fiziológiás modell Megfigyelések Teljes minták felismerése Egyértelmű részleges minták helyes felismerése Döntés többértelmű bemeneteknél Új minta tanítása A két háló viselkedésének hasonlósága Összefoglalás Diszkusszió Zárszó Bevezetés Az emberi agy egy lenyűgöző dinamikával rendelkező hatalmas rendszer. Mikroszkopikus szerkezete nagyon hasonló minden részén, de ennek ellenére különböző szerkezeti egységei teljesen más működést mutatnak, más feladatot teljesítenek. Az agy legapróbb alkotó eleme, a neuron maga is lenyűgöző dinamikát tud mutatni, nemhogy neuronok csoportjai, a neurális hálók. Azért választottam munkám témájául ilyen hálókat, mivel a neurális hálók szerkezete és dinamikája erősen összekapcsolódik, és egy nagyon egyszerű, könnyen elemezhető szerkezet is létrehozhat nagyon komplex dinamikai jelenségeket. A szimulált neurális hálók tanulmányozása már sok eredményre vezetett az utóbbi néhány évtizedben. A szimulált neurális hálókat használják programozók 3

4 dinamikájának összehasonlító vizsgálata 1 BEVEZETÉS és mérnökök, de biológusok is, mindegyikük természetesen a saját céljaira. Az egyszerűbb, absztraktabb matematikai modellek, melyek először születtek a neuronokról, hatékonyan használhatónak bizonyultak ahhoz, hogy a számítógépeket tanulásra bírjuk, így születtek meg a mesterséges intelligenciához és gépi tanuláshoz kitalált mesterséges neurális hálók. A legújabb mesterséges neurális hálók már meglepően nagy teljesítménnyel rendelkeznek a mintafelismerés, osztályozás illetve kiegészítés terén. Egy tárgyak felismerésére készített neurális háló közel 50%-os pontosságot ért el 1000 különböző tárgy felismerésében. A hálót az internetről származó képeken tanították és tesztelték. Természetesen az ilyen hálók még mindig messze állnak akár csak egy gerinctelen állat intelligenciájától is, hiszen ezeket egy célra tervezik, és mind a háló szerkezetét, mind pedig a tanulási módszert a célhoz alakították ki. Szintén problémás, hogy ezek a hálózatok nagyon sokoldalú tanítást igényelnek, hogy megfelelően működjenek. Azonban, ha a matematikai absztrakciót részben feladjuk, és több dinamikát viszünk ezekbe, az egyébként viszonylag statikus rendszerekbe, lehetséges, hogy sokkal komolyabb teljesítményt tudunk kihozni ezekből a hálókból. Lehetséges, hogy a mesterséges neurális hálók legnagyobb problémája az, hogy a jelenlegiek arra vannak tervezve, hogy egy irányba kiemelkedő teljesítményt nyújtsanak, nem pedig arra, hogy általánosságban, több terülten, de valamivel kevesebbet. Azt, hogy valamivel kevesebbet nyújtsanak, természetesen nem csak úgy lehet értelmezni, hogy romlik a kérdésekre adott válaszok minősége, hanem úgy is, hogy egy kérdés megválaszolásához több erőforrást vesz igénybe a hálózat, mint egy, a célra tervezett háló venne igénybe. Azonban ennek megvalósításához egy olyan általános tanulási szabályt kéne találni, mint amilyen a valódi neuronoknak van. Ezzel viszont az a probléma, hogy csak egyetlen egy neuron is végtelenül komplexnek tűnik egyelőre, így egy egész, ilyen nagyszerű egységekből álló hálózatot leírni szinte lehetetlen a mai technológiával. Ha csak azt vesszük, hogy egy embernek nagyságrendileg neuronja, és szinapszisa van, egy ekkora hálót szimulálni egyszerűen lehetetlennek tűnik, akár még a legegyszerűbb küszöbös neuronmodellekkel is. 4

5 dinamikájának összehasonlító vizsgálata 1 BEVEZETÉS Mint említettem, biológusok is használnak szimulált neurális hálókat valódi élőlények idegrendszerének tanulmányozására. Ezek a neurális hálók más neuronmodelleket használnak, amelyek sokkal pontosabban leírják egy neuron működését. Ennek a pontosabb leírásnak természetesen ára is van. A szimulációk ilyen neuronokkal sokkal több időt vesznek igénybe a modellek komplexitása miatt, így nagy, több száz neuronból álló hálók szimulálása gyakorlatilag lehetetlenné válik, vagy rendkívül sok időt és erőforrást vesz igénybe. A komplexitás miatt részletes matematikai elemzést is nehezebb adni az ilyen biológiailag pontosabb hálókról. Ennek ellenére fontos felfedezéseket tettek már meg szimulált neuronokkal is, melyek segítik az élőlények idegrendszerének minél alaposabb megértését. Munkámban arra keresem a választ, hogy az idegrendszerben elképzelhető-e a Hopfield hálózathoz hasonló célú és szerkezetű hálózat. A Hopfield hálózat egyszerű szerkezete nagyon komplex dinamikai jelenségeket tud létrehozni az eredeti, kevéssé dinamikus neuronmodellel és fix súlyokkal is. Ahhoz, hogy egy ilyen hálózat működni tudjon a valós idegrendszerben is, sokkal nagyobb dinamikájának kell lennie, mint a Hopfield hálózatnak, hiszen működés közben folyamatosan tanulnia kell. Ez a dinamika létezik a természetben. Ezt a kérdéskört szimulációkkal próbálom megközelíteni, így, mint minden szimulációnál felmerül a kérdés, milyen elemek dinamikáját szükséges belevinni a modellbe, és mi az ami csak a számítási erőforrások pazarlása lesz? Ennél a témánál ezt a kérdést még nehezebb megválaszolni, hiszen nem ismerjük akárcsak egy valódi neuron pontos dinamikáját sem. Egy neuronhálózat dinamikáját még nehezebb megközelíteni, hiszen rengeteg dologtól függ, amelyeket nem feltétlenül jó belevinni egy szimulációba, hiszen úgy megkérdőjelezhető lesz a szimuláció általános érvényűsége. Munkám során próbáltam úgy kiválasztani, illetve megalkotni a használt modelleket, hogy e hármas között egyensúlyoztam: elegendő dinamika, számítási erőforrásigény és az általános érvényűség. Természetesen lehetséges, hogy egy fontos dinamikai elemet kihagytam, vagy valamilyen olyan dinamikát, vagy bonyolultságot vittem a szimulációkba, ami teljesen szükségtelen. 5

6 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK 2. Neuron modellek Nézzük meg, milyen modellek állnak a rendelkezésünkre, ha egy bizonyos hálószerkezet működését akarjuk vizsgálni A valódi neuron Azonban, mielőtt belemélyedünk a neuronmodellek világába, definiáljuk, mi is az a neuron. A neuron vagy idegsejt egy olyan elektromos ingerületbe hozható sejt, amely elektromos, vagy kémiai úton információt szállít, közöl, vagy feldolgoz. Ezt az elektromos ingerelhetőséget a sejtmembránban lévő különböző fehérjék, úgynevezett ioncsatornák, és ionpumpák hozzák létre, melyek csak bizonyos ionok áramlását engedik meg a sejtplazma, és a sejten kívüli tér között. A sejtmembrán maga egy kettős lipidréteg, mely foszfolipidekből áll. Ez a membrán nagyon jó elektromos szigetelő, ez alapján lehet úgy modellezni az ioncsatornák nélküli membránt, mint egy kondenzátort. Erre alapul a később tárgyalt integrál és tüzel modell. Az ionpumpák olyan fehérjék, amelyek aktívan szállítanak ionokat a sejtplazma és az extra-celluláris tér között. Ehhez az aktív szállításhoz energiára van szükségük, amit ATP formájában biztosít nekik a sejt a belső bontó anyagcserefolyamataiból. Az ionpumpák biztosítják a sejt állandó nyugalmi membránpotenciálját, azaz egy állandó feszültséget a sejtplazma, és a sejten kívüli tér között. Nyugalmi helyzetben a sejtplazma negatívabb, mint a külső tér, tehát a membránpotenciál negatív. Ha a membránpotenciál alacsonyabb lesz, tehát a sejtplazma a nyugalmi helyzethez képest negatívabb lesz azt mondjuk, hogy a sejt hiperpolarizálttá vált, ha a membránpotenciál pozitív irányban mozdult el akkor a sejt hipopolarizált lett. Amennyiben a membránpotenciál közel 0 vagy akár pozitív lesz akkor a sejt depolarizálódott. Az ioncsatornák közül van, amelyik a membránon mérhető elektromos feszültség hatására nyit vagy zár, illetve vannak olyanok, amelyek kémiai receptorként működnek, tehát egy hozzájuk kapcsolódott molekula, úgynevezett ligandum 6

7 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK megléte alapján nyitnak vagy zárnak. Általánosságban a feszültségtől függő ioncsatornák hozzák létre a hirtelen membránpotenciál-változásokat, azaz az akciós potenciált, amely a sejt membránpotenciáljának depolarizációval járó rövid idejű, nagy mértékű megváltozása, ami akkor jön létre, ha a nyugalmi állapotban negatív membránpotenciál közelebb kerül a nullához, tehát a sejt hipopolarizált lesz, és a membránpotenciál elér egy bizonyos küszöböt. A ligandumfüggő, azaz receptorként működő ioncsatornák csak jóval kisebb áramokat tudnak létrehozni, így a sejt membránpotenciálját csak lassan, illetve kis mértékben tudják megváltoztatni. Azonban ez a kismértékű változás összeadódik a sejten belül, és el tudja érni a küszöböt az akciós potenciál létrejöttéhez. A neuronok egymással szinapszisokon keresztül kommunikálnak. Kétféle szinapszis létezik, kémiai és elektromos. A kémiai szinapszisok úgy működnek, hogy a preszinaptikus neuron, tehát az, amelyikből a jel érkezik, egy kémiai anyagot, azaz neurotranszmittert szabadít fel az akciós potenciál hatására. A posztszinaptikus neuron, tehát az a neuron, amelyik fogadja a jelet, ligandumfüggő ioncsatornák által érzékeli ezt. A ligandumfüggő ioncsatornákhoz a neurotranszmitter kapcsolódik, így az ioncsatorna kinyílik, és egy olyan áram jön létre, amelyik vagy elősegíti egy akciós potenciál kialakulását, vagy gátolja azt. Aszerint, hogy milyen irányú áram alakul ki a posztszinaptikus neuronban a szinapszis aktiválódásakor, a szinapszisokat két kategóriába tudjuk sorolni: serkentő vagy gátló. A serkentő szinapszisok a posztszinaptikus sejtben egy preszinaptikus akciós potenciál hatására hipopolarizáló áramot hoznak létre, míg a gátló szinapszisok hiperpolarizáló áramot hoznak létre. Az elektromos szinapszisnál a neuronok sokkal közelebb helyezkednek el egymáshoz, és ioncsatornák kötik össze a két sejtet. Az elektromos szinapszisok igaz gyorsabbak, mint a kémiai szinapszisok, de kevésbé flexibilisek. Az elektromos szinapszisnál a két oldalon létrejövő potenciálváltozás mindig azonos előjelű, így egy neuron nem tudja gátolni egy másik működését egy elektromos szinapszison keresztül. Egy másik probléma az, hogy az elektromos szinapszisokon a jel 7

8 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK mindkét irányban áthaladhat. Egy neuron általában három részre osztható. Az első rész a dendritek összessége, a dendritfa. A neuronba innen érkezik a jelek nagy része. Általában a dendriteken alakulnak ki a ligandumfüggő ioncsatornák, ezek alkotják a kémiai szinapszisok egyik részét. A dendritek nem csak szállítják a jeleket, hanem részben fel is tudják dolgozni őket. A második rész a sejttest. Itt helyezkednek el olyan fontos elemei a neuronnak, amik ahhoz szükségesek, hogy fenntartsák a sejt működését. Itt található a sejtmag, amely a működéshez szükséges információt DNS formájában tárolja, a mitokondriumok, a sejt energiaközpontjai, amelyek a sejt gyakorlatilag minden elemének működéséhez szükséges ATP-t állítják elő, és a riboszómák is, amelyek fehérjékké alakítják a DNS-ben tárolt, majd más formában a riboszómák felé közvetített információt. Természetesen a sejttest is ingerelhető, a sejttest felületén is kialakulhatnak szinapszisok. A sejttest egy megnyúlt része az axondomb, innen indul az idegsejt harmadik része, az axon. Az axonon szállítja az idegsejt tovább az információt más sejtek felé. Az axon végénél alakulnak ki a szinaptikus hólyagok, amelyek a kémiai szinapszisokhoz szükséges neurotranszmittert tartalmazzák. Akciós potenciál hatására ezekből a hólyagokból a neurotranszmitter exocitózissal felszabadul, és a szinaptikus résbe jut. A szinaptikus résben lévő transzmitter kötődhet a posztszinaptikus sejten lévő receptorokhoz, a preszinaptikus sejt újra felveheti őket, vagy a sejtek közötti térben jelenlévő enzimek elbonthatják. A neuronokat többféle osztályba sorolják aszerint, hogy a sejttest, a dendritek és az axon hogyan helyezkednek el egymáshoz képest. Minden osztály máshol található meg az idegrendszerben, és más a feladata. Az újabb, részletesebb modellek már számításba veszik a neuronok geometriáját is, hiszen sok folyamatban szerepet játszik, amiket a kevésbé részletes modellek nem tudnak leírni. A neuronok formája szerepet játszik a jelek terjedési sebességében is, például egy vastagabb axonon gyorsabban tud végigfutni egy akciós potenciál. 8

9 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK 2.2. Küszöbös neuron A küszöbös neuron, avagy McCulloch-Pitts neuron egy nagyon egyszerű absztrakt modell, amely egy kétállapotú küszöblogikaként írja le a neuron működését. Annak ellenére, hogy nagyon egyszerű, mégis szolgálhat néhány alapvető információval egy hálózat működését illetően. A neuron viselkedését a következő egyenlet adja meg: 1 ha i W i I i > U o = 0 ha i W i I i < U Ahol o a neuron kimenete, I i az i-edik bemenet, W i az i-edik bemenet súlya és U a küszöb. A bemenetek is kétállapotúak az eredeti modell szerint, 0 vagy 1 lehet az értékük. A súly egy valós szám, ha negatív, akkor hozzátartozó bemenet gátolni fogja a neuron működését, ha pozitív akkor serkenteni. Egy tanulási módszerrel kombinálva olyan gépi tanulási rendszereket tudunk belőle létrehozni, melyek alapvetőek a mesterséges intelligencia sok ágához. Ilyen például a perceptron, egy, a hatvanas években magasztalt modell, amely nagyon hatékonyan tudja megtanulni a bemeneteinek osztályzását, azonban csak akkor, ha egyeltalán képes rá. A perceptron csak akkor képes a bemeneti vektorokat helyesen két osztályra bontani, ha a vektorok által a hipertérben megadott pontokat egy hipersíkkal a két osztályba tudjuk osztani, azaz a bemenetek lineárisan szeparálhatók. Például a perceptron nem tudja elvégezni a kizáró vagy logikai műveletet. Emiatt a gyengeség miatt a perceptronokat ma már ritkán használják, helyettük fejlettebb, és majdnem ugyanolyan gyors algoritmusokat használnak egy kicsit komplexebb modelleken, mint például a backpropagation szigmoid átviteli függvényű neuronokkal. Szintén a McCulloch-Pitts neuronmodellt használja a Hopfield hálózat, az egyik háló, amit felhasználtam a munkámhoz. A Hopfield hálózat abban különbözik a legtöbb McCulloch-Pitts modellt használó hálózattól, hogy a neuronjai nem szinkronizáltan váltanak állapotot, hanem egyesével, véletlenszerű sorrend- 9

10 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK ben azaz Monte Carlo módszerrel. Még egy újdonsága volt a Hopfield hálózatnak az erőteljes visszacsatolás, azaz a hálóban az információ nem a bemenetektől a kimenetek felé terjed, hanem mindig, minden neuronnál egyszerre jelen van, minden neuronra tud hatni az összes többi állapota. A McCoulloch-Pitts modellt használó hálókban közös az, hogy az időt nem folyamatosan írják le, hanem diszkrét lépésekben. Ez abból is látható, hogy a neuron viselkedését egy közönséges egyenlet, nem pedig egy differenciálegyenlet írja le. A Hopfield hálózatnál például egy diszkrét lépés egy neuron vizsgálata, hogy állapotot vált-e. Az általam felállított diszkrét idejű modellben egy ilyen időlépésen belül minden neuron megvizsgálja, hogy váltson-e az állapotok között. Az ilyen diszkrét idejű modellek elhanyagolják a neuronok közötti késleltetés különbségeit is, általában bármely két neuron közti késleltetést egy időegységnek vesznek. Emiatt szintén kiesik az idegrendszer egyik információ-közlő mechanizmusa, az akciós potenciálok fázisa. Azért ezt a modellt választottam az általam készített rendszerek egyikéhez, mert rendkívül egyszerű, illetve a Hopfield hálózat, amelyből kiindultam szintén ezt a modellt használja. A modell rendkívüli egyszerűsége könnyű matematikai elemzést biztosít a kísérletek eredményeihez, illetve gyors szimulációkat, még nagy hálózatokra is Szigmoid átviteli függvényű neuron A szigmoid átviteli függvényű neuron már pontosabban modellezi a valódi neuronokat, mint a küszöbös modell, de még mindig csak a bemenetek súlyozott összegétől függ a kimenet, az időtől nem, tehát nincsenek elkülöníthető akciós potenciálok, a neuron kimenete leginkább az akciós potenciálok átlagos frekven- 10

11 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK ciáját írja le. A neuronmodellt a következő egyenlet írja le: ( ) o = σ W i I i i ahol σ(x) = e βx Ezt a neuronmodellt is főként mesterséges intelligenciához használják. Ilyen neuronokkal már sokkal több művelet elvégezhető, azonban az ezekből álló hálózatok tanítása nehezebb és lassabb a perceptronok tanításánál. Természetesen speciális szerkezetű, úgynevezett előrecsatolt hálózatok tanítására létezik hatékony módszer, a backpropagation, így ezzel a modellel is komoly eredményeket lehet elérni a mesterséges intelligencia terén. Az ilyen neuronokra épülő hálók már meg tudnak tanulni lényeges információkat leszűrni egy egyszerű bemenetből, és ezekből a lényeges információkból akár következtetéseket is le tudnak vonni. A backpropagation algoritmus arra alapul, hogy definiáljuk a kimenet hibáját, mint az elvárt kimenettől való eltérést, vagy még gyakrabban úgy, mint annak négyzetét, majd minden súlyra vonatkozólag a hálózaton belül visszavezetjük a kimenet hibaderiváltját, és egy kicsit változtatunk a súlyokon abba az irányba, hogy csökkentsük a hibát. Ha a hibát így minimalizálni tudjuk, megkapjuk az adott a hálószerkezetre a feladatot legjobban teljesítő súlyokat. Bizonyos feltételek teljesülése mellett bonyolultabb, fiziológiailag pontosabb neuronmodellek is redukálhatók matematikailag ilyen, vagy ehhez hasonló leegyszerűsített modellekké, így az ezzel a modellel megalkotott hálónak is lehet biológiai jelentősége. A neuronok kimenete így olyan mennyiségnek fogható fel, aminek van biológiai értelme, mint például az egymást követő akciós potenciálok frekvenciája. Még ez a modell sem folyamatos idővel, hanem diszkrét időlépésekkel dolgozik, ami egyrészt jó, hiszen sokkal hatékonyabban lehet szimulálni, de másrészt így nem írhatja le annyira pontosan a valóságot, mint egy differenciálegyenleteken alapuló folyamatos idejű modell. 11

12 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK 2.4. Integrál és tüzel Az integrál és tüzel modell már tartalmazza a membránpotenciált, mint változót, azonban még nem ad modellt az akciós potenciál kialakulására és lefutására. Ez a modell az eddigiekkel ellentétben már folyamatos időben dolgozik, így alapvetően jobban le tudja írni a valós rendszereket. Ezt a modellt lehet tekinteni a legegyszerűbb konduktancia-alapú modellnek, mivel a sejthártyát egy kondenzátornak tekinti, és ebből vezeti le a modellt leíró egyenletet. A következő egyenlet írja le a potenciálváltozást az időben: dv dt = I(t) C ahol V a membránpotenciál, I az áram a membránon keresztül, és C a membrán kapacitása. Ez az egyenlet láthatóan a kondenzátorra vonatkozó Q = CV egyenlet időbeli deriváltja. Az integrál és tüzel modell akkor hasznos, ha egy nagy hálót akarunk szimulálni, így nincs erőforrásunk minden akciós potenciál lefutását egyesével modellezni, de mégis szeretnénk a membránpotenciálokat számon tartani. Ezzel a modellel így viszonylag nagy hálózatokat is tudunk modellezni, ami hasznos lehet, például ha egy fiziológiai jelenség modelljét belevisszük a hálózatba. A modell legnagyobb hibája a memóriajelenség, tehát az, hogy egy küszöb alatti stimulusra a következő akciós potenciálig emlékezni fog, mivel a kondenzátorból nem távozik a stimulus által bevitt töltés. Erre a hibára nyújt megoldást a szivárgó integrál és tüzel modell, amely bevisz egy szivárgó áramot is sejtmembrán kapacitásával párhuzamosan. Az így kapott modellt a következő egyenlet írja le: dv dt = I(t) V (t) R C ahol R a membrán ellenállása. Ez a modell csak akkor tüzel, ha a bemeneti áram átlép egy bizonyos küszöbértéket. Mint látható itt a nyugalmi potenciált 0-nak 12

13 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK kell venni. A modellnek még több kiegészítése is létezik, például be lehet vinni egy nyugalmi időt az akciós potenciál után, amikor a neuron nem reagál a stimulusra, vagy csak nem jöhet létre egy újabb akciós potenciál, abból a célból, hogy ezáltal korlátozzuk az akciós potenciálok maximális frekvenciáját. Egy másik kiegészítés az integrál és tüzel vagy börsztöl, amely már a neuronok egy komplexebb viselkedését is modellezi, a börsztölést, amelyet az egyszerűbb, hálózatszimulációra alkalmas modellek nem tudnak reprodukálni Hodgkin és Huxley modellje A Hodgkin-Huxley modell egy rendkívül széles körben ismert és használt modell. Ez volt az első modell, ami pontos leírást adott az akciós potenciál keletkezésére és lefutására. Megalkotói munkájukért 1963-ban Nobel-díjat kaptak. A modell az akciós potenciálok generálását feszültségfüggő Na + és K + ionáramokból vezette le, és ezzel megteremtette a konduktancia-alapú neuronmodellek alapjait. Igaz, a modell eredetileg csak a tintahal óriás axonjában tovább terjedő akciós potenciál leírására szolgált, de egy olyan keretet nyújt, amelybe könnyen be lehet illeszteni új részleteket, mint például a szinapszisok receptorainak áramát. Emiatt ebből a modellből rengeteg új, részletesebb modell származik. Érdekes módon, míg a legtöbb modellben a hipopolarizáló áramok pozitív előjelűek, addig a Hodgkin-Huxley modellben a hiperpolarizáló áramok kaptak pozitív előjelet, és a hipopolarizáló áramoknak negatív előjelük van. Érdemes megemlíteni, hogy a szerzők méréseiket úgy végezték, hogy a sejt membránpotenciálját rögzítették, és az áramokat mérték, ebből vezették vissza a modelljüket. Ennek ellenére főleg a kor technikai szintjét figyelembe véve elég pontosan sikerült reprodukálniuk a kísérletileg kimért akciós potenciál lefutását. Még egy jelentős feltétele van modell valósságának, az, hogy a sejtet a szerzők ekvipotenciálisnak vették. Ez kisebb idegsejtekre teljesül, azonban nagyobb sejteknél a modell csak a sejtmembrán egy kisebb részére érvényes. 13

14 dinamikájának összehasonlító vizsgálata 2 NEURON MODELLEK A modell azonban eléggé komplex ahhoz, hogy megnehezítse a hálózatok szimulációját, emiatt születtek leegyszerűsítései is A FitzHugh-Nagumo modell Richard FitzHugh a matematikai neuronmodellek működésének részleteit kutatva állította fel modelljét, amely a mai napig a neuronhoz hasonló excitálható rendszerek alapmodellje maradt. FitzHugh a Hodgkin-Huxley modell leegyszerűsítéseként alkotta meg a modelljét, azért, hogy részletesen tanulmányozza a Hodgkin- Huxley modell tulajdonságait. Nagumo és munkatársai egy, a modellel ekvivalens áramkört alkottak meg, egy alagút dióda illetve passzív áramköri elemek felhasználásával. A modellnek két időbeli változója van, az egyik egy, a membránpotenciálhoz hasonló mennyiség (V ), a második pedig egy helyreállási változó (W). A FitzHugh-Nagumo modellt a következő egyenletek írják le: dv dt = V V 3 3 W + I dw dt = 0,08(V + 0,7 0,8W) Mint látható, a modellnek két időbeli változója van, és elég egyszerűen függnek össze egymással. Emiatt a FitzHugh-Nagumo modellű neuronokat viszonylag gyorsan lehet szimulálni, érdemest a modellt hálózatok szimulációjára is felhasználni. A modellnek természetesen vannak hibái, de ezekkel meg lehet küzdeni egykét kiegészítést alkalmazva. Ilyen hiba az, hogy nincsen éles küszöb az akciós potenciál kialakulásához, az, hogy csak inhibícióval, annak hirtelen változtatásával is létre lehet hozni egy akciós potenciált, illetve az, hogy túl erős bemeneti áramra a neuron leblokkol, azaz egy folyamatosan magas V értéket vesz fel. Azért ezt a modellt választottam, mert ahhoz képest, hogy milyen egyszerűen, kevés számítási teljesítménnyel szimulálható, viszonylag jó leírást ad a neuronok 14

15 dinamikájának összehasonlító vizsgálata 3 CÉLKITŰZÉS működéséről Többrekeszes modellek A többrekeszes modellek úgy születtek meg, hogy nagyobb sejteket akartak leírni a Hodgkin-Huxley modellel. Mivel a nagyobb sejtek nem tekinthetők ekvipotenciálisnak, a sejteket több rekeszre osztották, amelyek már ekvipotenciálisnak tekinthetők, és amelyeket ohmikus ellenállásokon keresztül kötöttek össze, és a rekeszekre egyesével felírhatták a Hodgkin-Huxley modellt, vagy egy részletesebb variánsát. Az ilyen modellek jelenleg a legrészletesebb modellek egyetlen sejtről. Csak ezek a modellek tudják megjeleníteni az axonból a dendritfába visszaterjedő akciós potenciált, vagy az akciós potenciálok után jelentkező Ca 2 + hullámokat, melyek fontos szerepet játszhatnak a sejtszintű tanulásban, azaz a szinaptikus plaszticitásban. Ilyen modellekkel mutatták ki azt is, hogy bizonyos sejttípusok dendritfája olyan alrégiókra bontható, melyek olyan számításokat is végezhetnek, amelyekről azt gondoltuk eddig, hogy egy teljes sejthálózat szükséges hozzájuk. 3. Célkitűzés A következő célokat tűztem ki munkám során: 1. Két eltérő komplexitású, a klasszikus Hopfield modellhez hasonló szerkezetű, de realisztikusabb folytonos tanulású neurális hálózat modell létrehozása 2. A két modell összehasonlító vizsgálata teljes és részleges memórianyomok tárolása és előhívása szempontjából 3. A két modell összehasonlító vizsgálata a többértelmű bemenetre adott válasz szempontjából 4. A két modell számításigényének összehasonlítása 15

16 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK 5. Az eredmények megvitatása abból a szempontból, hogy milyen szintű leegyszerűsítés engedhető még meg realisztikus neurális háló modellezés folyamán. 4. Vizsgált rendszerek Miután megnéztük, milyen modellek állnak rendelkezésünkre, következzen az általam használt és vizsgált rendszerek részletes leírása Hopfield hálózat A Hopfield hálózatról szóló cikkét 1982-ben publikálta John J. Hopfield. Célja egy olyan rendszer megalkotása volt, amely egyszerű egységekből áll, és egy egyszerű szabály alapján összekötve őket valamilyen számítási teljesítményt mutatnak. Egy autoasszociatív memória hálót készített ebből a célból, jelentősen leegyszerűsített neuronokkal. Ezzel megmutatta, azt hogy egy neurális háló nem csak pontosan a céljára kitalált szerkezettel működhet, hanem egy jóval egyszerűbb, általános szerkezettel is. A hálóban minden neuronnak két állapota lehet: 1 ( aktív, azaz maximális sebességgel tüzel ), vagy 0 ( inaktív, csendes ). A neuronok Monte Carlo módszerrel, azaz véletlenszerű sorrendben, de azonos eséllyel a sorrakerülésre, hasonlítják össze a bemeneteiket az állapotváltáshoz. A Monte Carlo módszerből következik az is, hogy a neuronok átlagosan ugyanolyan frekvenciával hajtják végre az összehasonlításokat az állapotváltáshoz. Ez egy lényeges újdonság volt ebben a hálóban, mivel a régebbi hálókban szinkronizált állapotváltást használtak. Az új állapotot a következő szabály alapján határozzák meg: o i = 0 ha W i j o j < U i j o i = 1 ha W i j o j > U i j 16

17 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK Ahol o i az i-edik neuron kimenete, a W súlymátrix, i-edik sorának j-edik eleme a j-edik neuron által az i-edikre gyakorolt hatást írja le egy szinaptikus súly formájában, illetve U i az i-edik neuron küszöbértéke. 1 E szerint a szabály szerint a pozitív szinaptikus súly két neuron között serkentő, a negatív gátló kapcsolatot jelent. A hálóban minden neuron kapcsolódik minden más neuronhoz, de önmagához nem. A háló szerkezetét mutatja az 1. ábra. Az információ tárolásához a következő algoritmust lehet használni: W i j = (2s i 1)(2s j 1) s Ahol az s vektorok adják meg a mintákat, egy mintavektor i-edik eleme az i-edik neuron kimenetét írja le abban a mintában. Mivel egy neuronnak nincs önmagával kapcsolata W ii mindig nulla, tehát a súlymátrix főátlója csak 0-ákat tartalmaz. Az összes betanított mintavektort tartalmazó halmazt S-el jelölöm. Minden mintát [ lehet természetesen ] egyesek és nullák sorával is jelölni például 0101 jelöli a mintavektort. Ez az algoritmus növeli a szinaptikus súlyt az egy mintában azonos állapotban lévő neuronok között, és csökkenti a súlyt az ellentétes állapotú neuronok között, így ha mutatunk egy részmintát a hálónak, az azzal aktivált neuronok megpróbálják aktiválni azokat a neuronokat, amelyekkel van közös mintájuk, azaz S tartalmaz olyan mintát, amiben a két neuron állapota azonos. Illetve az aktivált neuronok gátolják azok aktiválódását, amelyekkel nincsen közös mintájuk. Hopfield definiál a szimmetrikus súlyokkal rendelkező, 0 küszöbű hálózat állapotához egy energiát a következő módon: E = 1 2 W i j o i o j i j 1 A jelöléseket megváltoztattam, hogy az egymásnak megfeleltethető változóknak ugyanaz az legyen a jele, mint az én modellem leírásában. 17

18 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK Az állapotváltási algoritmusból következik, hogy az energia monoton csökken. Vegyük az egy neuron állapotváltása által okozott energiaváltozást: E = V i W i j V j j i Ha egy neuron 1-esből 0 állapotba vált akkor a V i = 1 lesz. Ez akkor történhet, ha W i j V j < 0 j i az állapotváltási algoritmusból adódóan. Ekkor E beláthatóan negatív lesz, tehát az energia csökken. Ha egy neuron a 0 állapotból az 1-es állapotba vált akkor V i = 1 lesz, ez akkor történhet ha Ekkor is E negatív lesz. W i j V j > 0 j i Ez a monoton csökkenés hátrányos, mivel a háló megakadhat egy magas energiájú állapotban, ami az energiafüggvény egy lokális minimuma. 2 Ilyen magas energiájú, de lokális minimumot képző állapot például az, amikor az összes neuron kimenete nulla. Azonban ha a neuronoknak 0 a küszöbértéke, akkor a nullázott állapot energiája jóval magasabb, mint a felismerendő mintáké, így nem tud kialakulni a nulla állapot, csak ha abból indul a háló. De a neuronok küszöbértékének megemelésével a felismerendő állapotok energiáját is meg tudjuk emelni a nulla állapot energiájához közeli értékekre. Ez azért hasznos, mert ha a háló nem tud felismerni egyetlen tanított mintát sem, akkor a nulla állapotot fogja választani. Természetesen ez csak akkor igaz, ha nincs egy aktív neuronnal rendelkező minta. Ezek a lokális minimum problémák léteznek az általam alkotott hálókban is. Ennek a problémának a megoldására alkották meg a Boltzmann gépet, ahol az 2 A lokális minimumot definiáljuk itt úgy, mint olyan állapotot, amiben ha egy neuron megváltoztatja a kimenetét az energia csak nőhet. 18

19 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK energianövelő állapot váltások megengedettek, de jóval kisebb eséllyel, mint az energiacsökkentő változások. Az időbeli változások az háló állapotában nem teljesen determinisztikusak a Monte Carlo módszer miatt, többértelmű bemenet esetén a háló statisztikus módon választ a tanított állapotok közül, tehát amelyik jobban hasonlít a bemenetre, annak nagyobb esélye van a kialakulásra. Az hogy melyik minta fog kialakulni függ attól, hogy melyik neuront választjuk ki először állapotváltásra. Az eredeti modell nem tartalmaz bemeneteket, ezért úgy lehet autoasszociatív memóriaként használni, ha azoknak a neuronoknak rögzítjük a kimenetét, amelyeknél ismert az érték. Ez a rögzítés nagyjából ekvivalens az én hálózataimban egy erős bemenettel, az 1-hez rögzítést egy erős pozitív, a 0-hoz rögzítést egy erős negatív bemenettel tehetjük meg Diszkrét idejű modell A diszkrét idejű hálót azért hoztam létre, hogy a működés közben tanuló memóriahálók legfontosabb jelenségeivel megismerkedjek. A diszkrét idejű hálózat működésének formális definíciója: Ahol: o(t) = f [W o(t 1) + i] o(0) = [ ] az o(t) oszlopvektor az állapotvektor t időben; W a súlymátrix, aminek i-edik sorának j-edik eleme az i-edik neuronra a j-edik által gyakorolt hatást írja le; az i oszlopvektor a bemeneti vektor; 19

20 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK az f vektorfüggvény pedig a következő: f (v) = [ ] f (v 1 ) f (v 2 ) f (v n ) ahol 1 ha x > 1 f (x) = 0 ha x 1 A fenti egyenletben a W o(t 1) szorzat adja meg a neuronok bemeneteit a hálózaton belülről, ehhez hozzáadjuk a kívülről érkező bemeneteket(i), majd minden neuron bemenetét transzformáljuk a neuronok átviteli függvényével( f (x)), így kapjuk meg a neuronok új kimenetét. A súlymátrix változási szabályához definiáljunk egy W mátrixot, melynek minden eleme kezdetben nulla. A változás szabálya a következő minden W i j- re(i j): W i j(t) = W i j(t 1) + µ o j (2o i 1) Ebből a W súlymátrixot a következőképpen kapjuk: W i j = 2tanhW i j minden i, j-re Ez a transzformáció azért szükséges, mert e nélkül a súlyok abszolútértékei viszonylag gyorsan olyan magas értékekre nőnének, hogy a bemenetek nem befolyásolnák jelentősen a háló működését, egy minta beégne a hálóba. A tanhx egy szigmoid függvény, szigorúan monoton növekvő, és két határértéke van: lim tanhx = 1 x tanhx = 1 lim x Így ezáltal a transzformáció által a súlyokat -2 és 2 közé szorítottuk, nem nőhetnek a végtelenségig. 20

21 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK A háló legfontosabb tulajdonságai: Hopfield szerkezet küszöb függvényes neuronok szinkronizált állapot váltás aszimmetrikus szinapszisok súlymátrix folyamatos változása működés közben A Hopfield szerkezet annyit jelent, hogy W ii = 0 minden i-re, azaz egy neuronnak sincs kapcsolata önmagával. A neuronok kimeneti függvénye( f (x)) is a Hopfield modellre hasonlít, annyi különbséggel, hogy itt nem 0 hanem 1 a küszöb, ezért egy kis súlyú bemenet nem tudja kibillenteni a nyugalmi helyzetből a neuront. Erre szükség van, hogy a modell jobban jósolja meg a fiziológia paraméterekkel rendelkező rendszer viselkedését, mivel annak is viszonylag magas kvázi-küszöbe van. A szinkronizált állapotváltás a gyors és egyszerű szimuláció miatt került a modellbe. Az eredeti Hopfield modellben véletlenszerűen váltanak állapotot a neuronok, és csak az átlagos frekvencia egyenlő minden neuronnál. A szinkronizáció miatt egy időlépés számolását kevés, a számítógép grafikus vezérlőjét kihasználva jelentősen optimalizálható lépésben lehet elvégezni, így egy lépés az időben egy mátrix szorzásra, egy vektor összeadására és az aktivációs függvény számítására egyszerűsödik. Emiatt a diszkrét idejű hálóval végzett tesztek sokkal gyorsabbak, illetve jóval nagyobb hálókon tudok szimulációt végezni a diszkrét idejű modellel. Az aszimmetrikus szinaptikus súlyoktól az egymást átfedő minták könnyebb megkülönböztetését, és a többféleképpen értelmezhető részmintáknál a több értelmezés közti döntést vártam. A folyamatosan változó súlymátrix egy új dimenziót visz a hálózat dinamikájába. Az új, dinamikusabb hálózat feltételezésem szerint hatékonyabban tud majd tanulni, illetve memóriákat felidézni, azaz a bemenet alapján a már tanult állapotok egyikét felvenni. A változási szabály megerősíti a kapcsolatot az 21

22 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK együtt aktív neuronok között, és gyengíti a kapcsolatot, ha csak a preszinaptikus neuron aktív, a posztszinaptikus nem. Így a mintákban együtt előforduló neuronok egymást aktiválhatják. A kapcsolat gyengülése során a súly negatív értéket is felvehet, ilyenkor a szinapszis gátolja a posztszinaptikus neuron aktiválódását. A tanh függvénnyel a súlyértékeket -2 és 2 közé korlátoztam, ez fontos, mivel enélkül tanítás közben rögzülhetne az egyik tanított minta vagy egy, több tanított mintából álló kevert minta, és így a háló alkalmatlanná válna a céljára. Két fontos különbség van a Hopfield által adott tanulási algoritmushoz képest. Az első az hogy a Hopfield-féle módszerrel két inaktív neuron között is megnő a kapcsolat súlya. Ezt azért hagytam el, mert ez beláthatóan hamis minták kialakulásához vezet, vegyük a következő példát: Tanítsunk be egy négyneuronos Hopfield hálót a 0110 és 0011 mintákra. Így a következő W i j súlymátrixot kapjuk: W i j = E szerint a mátrix szerint, ha a küszöb 0, akkor nem csak a 0110 és 0011 állapotok stabilak, hanem az 1100 és az 1001 állapotok is. Ha van küszöb, akkor csak a 0000 állapot lesz stabil. Ellenben az én tanítási algoritmusommal körülbelül ilyen formájú súlymátrix alakul ki(a > b > 0): W i j = b 0 b b a b b b 0 22

23 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK Természetesen ezek csak körül-belüli értékek, az a és b értékek függenek a betanítás hosszától és a µ tanulási sebességtől is, illetve a szekvenciális tanítás miatt nem biztos hogy mindenhol pontosan nulla lesz a súly, csak az hogy 0-hoz közeli érték. Ez a mátrix több információt tartalmaz a mintákról, ha a Hopfield hálózat súlymátrixaként alkalmaznánk, eltűnnének az olyan stabil állapotok, amelyeket nem tanítottunk (kivéve természetesen a 0000 állapotot). A második fő különbség az, hogy a háló működés közben tanul, így lehetségessé válik az, hogy menetközben új mintát tanuljon. A háló abban is különbözik a Hopfield-félétől, hogy vannak bemenetei. Ezek a bemenetek előnyösek lehetnek akkor, ha sejtésünk van arról, hogy milyen állapotot kéne felvenni egy neuronnak, de nem vagyunk biztosak benne. Ilyenkor ha csak egy kis abszolút értékű bemenetet kapcsolunk az adott neuronra, az nem biztos hogy az általunk javasolt állapotot fogja felvenni, de ezzel elősegíthetjük többértelmű bemenetek esetén a lehetséges minták közti döntést. Még egy lényeges különbség a Hopfield hálótól az, hogy az én modellem determinisztikus, tehát egy adott kísérletre mindig ugyan azt az eredményt fogja adni, hiszen nincsen véletlenszerű elem a definícióban, ellentétben a Hopfield hálózattal, ahol a neuronokat Monte Carlo módszerrel választjuk ki az állapotváltáshoz. Ez a különbség megengedi azt, hogy jóval kevesebb kísérletből következtetéseket vonjunk le Fiziológiás modell A fiziológiás modellel azt szerettem volna vizsgálni, hogy elképzelhető-e egy működőképes, hasonló szerkezetű háló egy valós idegrendszerben. A lényeges tulajdonságok: Hopfield szerkezet FitzHugh-Nagumo modellű neuronok saját, paraméterezhető szinapszis modell 23

24 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK aszimmetrikus szinaptikus súlyok szinaptikus súlyok változása egy differenciálegyenlet alapján a bemenetek konstans áramok A FitzHugh-Nagumo(FN) modell a Hogdkin és Huxley által felállított neuron modell egy leegyszerűsített változata. A modellt Richard FitzHugh publikálta először, illetve Nagumo és munkatársai építettek egy ekvivalens áramkört állati axonok modellezésének céljából. Habár FitzHugh nem a neuronok pontos működését leíró modellt keresett, sokkal inkább csak a neuronokat leíró matematikai modellek alapjelenségeit kutatta, modellje mégis hasznossá vált a kutatók kezében, a neuronokhoz hasonló rendszerek alapmodelljévé vált. A modell csak 2 időbeli változót tartalmaz, emiatt gyorsabban lehet szimulálni ezt a modellt. Ez a különbség fontos nagyobb hálók, illetve hosszabb kísérletek esetén. A modell a következő két differenciálegyenlet írja le: dw dt dv dt = V V 3 3 W + I = 0,08(V + 0,7 0,8W) Ahol V a neuron potenciálját írja, és I a bemeneti áram. Amennyiben a bemeneti áram átlép egy bizonyos kvázi-küszöböt, a modell egy jellemző tüskét mutat a potenciálban, egy akciós potenciált(ap). A modellnek vannak hibái, de ezeket a rendszer többi részének megfelelő felépítésével el lehet kerülni. Ilyen hiba az, hogy a modell képes nem teljes akciós potenciálokat produkálni. Ebből következően az akciós potenciálnak nincs egy pontos küszöbértéke, csak egy kvázi-küszöb. Ha a neuron potenciálja a bemeneti áram hatására a kvázi-küszöb közelébe kerül akkor a neuron egy hibás, nem teljes AP-t ad le. Amikor a feszültség teljesen át tudja lépni a kvázi-küszöböt akkor egy teljes akciós potenciál keletkezik. Mivel ez a jelenség a kvázi-küszöb viszonylag szűk környezetében figyelhető meg úgy, hogy jelentős eltérést okoz a az elvárt működéstől, ezért az elkerüléséért nem kell semmilyen változtatást bevezetnem. 24

25 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK Másik hiba a posztinhibíciós AP, ami annyit jelent, hogy ha a neuront folyamatosan inhibitáló áramot hirtelen megszüntetjük, az egy akciós potenciált ad le. Ez azzal magyarázható hogy a neuron nyugalmi állapota olyan (V,W) koordinátára kerül az inhibíciós áram miatt, ami az inhibíció nélküli kvázi-küszöbön túl van, és ha az inhibitáló áram hirtelen szűnik meg, a neuron egy akciós potenciált produkál. Ezek a hamis akciós potenciálok sem zavarják meg a rendszer működését jelentősen, így nem kellet miattuk változtatnom magán a rendszeren, de bizonyos kísérletekben meg kellet változtatnom a minták tanításának módját miatta. A harmadik, és legjelentősebb hiba az, hogy a neuront túl erős serkentő árammal tüzelésből egy folyamatos magas potenciállal rendelkező állapotba lehet billenteni. Ez ellen a hiba ellen a nagyobb hálókkal történő kísérleteknél már védekeznem kellett, ezért minden neuron bemeneti áramát a következő függvénnyel transzformáltam: f (x) = x 1 + e 10(1 x) e 10(x 1) Ez függvény körülbelül lineáris a ] ; 1] intervallumon, 1-nél nagyobb x-ekre pedig körülbelül 1 és 1.3 közé eső értékeket ad, ezek elég kicsik ahhoz, hogy ne jöjjön létre ez a hiba. Azért ilyen függvényt alkalmazok, mert ez nem változtatja meg a háló működését, amíg kis áramok vannak a neuronok bemenetén, csak akkor avatkozik be jelentősen a hálózat működésébe, amikor fellépne a hiba. A FitzHugh-Nagumo modell alapvető működését, és két jelentősebb hibáját mutatja a 2. ábra. A grafikonon látható a modell két időbeli váltózója (V, W) és a bemeneti áram(i). A kísérlet első szakaszában I = 0, 5 bemeneti áramnál a neuron szabályos akciós potenciálokat produkál. A kísérlet második szakaszában a neuron I = 2 bemeneti áramot kap, ami leblokkolja a neuront, az egy folyamatosan magas V értéket vesz fel. A harmadik szakaszban a neuron erős gátló áramot kap (I = 1), majd ezt a gátlást hirtelen visszaveszem(i = 0), így a neuron egy posztinhibíciós akciós potenciált mutat. A neuronokat a modellben ekvipotenciálisnak tekintem, azaz csak egy, egységes potenciáljuk van. Természetesen ez a valódi neuronokban nem így van, 25

26 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK mivel a potenciáloknak utazniuk kell a neuron különböző részei között. Az egységes potenciál azt is jelenti, hogy elhanyagoltam a késleltetéseket a hálózatban a szinaptikus késleltetésen kívül, mivel a sejten belül nem kell utaznia a potenciáloknak. Mivel szinapszisoknak csak a maximális vezetőképességét változtatom, mint szinaptikus súlyt, a késleltetés álladó bármely két neuron között. A saját szinapszis modell szükséges volt, hiszen nem találtam olyan modellt, amelyikben jól paraméterezhető a késleltetés, illetve a hatás hossza, de nem kell hozzá ionkoncentrációkkal számolni, amelyeket a választott neuronmodellem nem tartalmaz. Természetesen ennél a modellnél jóval részletesebb modellek léteznek a szinapszisokra, amelyek már meg különböztetik az is, hogy milyen neurotranszmittert használ a szinapszis, illetve, hogy milyen receptor fehérjék vannak a posztszinaptikus sejtben. Az én modellemben egy szinapszisnak 2 időbeni változója van: c: a transzmitter koncentrációja a szinapszisban (az idéző jelek azért szükségesek, mert a koncentráció értékek mértékegység nélküliek, illetve minden valóságbeli alapot nélkülözőek) és k: a nyitott ioncsatornák aránya. c és k változását a következő differenciálegyenletek írják le: dc dt = p c σ(v pre 1) + k m k p k c (1 k) c m c dk dt = p k c (1 k) k m k Ahol V pre a preszinaptikus neuron potenciálja, és σ(x) = e 50x p c,m c, p k,m k pozitív konstansok, a szinapszis működését írják le, változtatásukkal elérhető rövidebb és hosszabb hatás, illetve meredekebb, vagy kevésbé meredek átmenetek a nyitott ioncsatornák arányában, és ezzel együtt a szinapszis által a posztszinaptikus sejt membránján keltett áramban. p c jelöli a transzmitter felszabadulási sebességét, m c a felszívódási sebességét. p k jelöli a kötödés sebességét 26

27 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK a receptorokhoz, m k pedig a felszabadulás sebességét a receptoroktól. A legtöbb leírt kísérletben a következő értékeket használtam: p c = 1 m c = 0,1 p k = 0,1 m k = 0,1 A szinapszis által keltett bemeneti áramot a következő képlet adja meg: I = gk Ahol g a maximális áram, ami ebben a rendszerben egyenlő a szinaptikus súllyal. Ezzel a megoldással egyszerű, a diszkrét idejű modellhez hasonló dinamikát lehet bevinni a szinaptikus súlyokhoz, mivel a negatív g gátló áramot, a pozitív pedig serkentő áramot jelent. Két neuron és egy szinapszis működéséről ad képet a 3. ábra. A preszinaptikus neuron V paraméterét jelöltem V1-gyel, a posztszinaptikusét V2-vel. A szinapszis időbeli változóit c-vel és k-val jelöltem. Az akciós potenciál utáni hiperpolarizáció megakadályozza, hogy a posztszinaptikus neuron minden akciós potenciált átvegyen a preszinaptikustól, így csak minden második akciós potenciált vesz át, tehát fele akkor frekvencián tüzel. Itt a többi kísérlettel ellentétben az m c paraméterre 0,1 helyett 1-et használtam. A hálónak a diszkrét idejű hálóhoz hasonlóan szüksége van egy súlydinamikára, ami megadja azt, hogyan változzanak a súlyok. Ennél a hálónál nehezebb megadni egy egyszerű súlydinamikát, mivel nehezebb meghatározni azt, hogy egy neuron egy adott időpillanatban tüzel-e. Külön-külön nem lehet hagyatkozni sem a pillanatnyi V értékre a fázis eltolás miatt, sem pedig a V időbeli deriváltjára, mivel a V érték meredeken változhat pulzált gátlás esetén is, nem csak akciós 27

28 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK potenciálok esetén. A súlydinamikát a következő differenciálegyenlet adja meg: dg dt = µ(g max g)σ(v poszt 1)[σ(V poszt V pre 1.25) + 1 σ( V poszt V pre )] µ(g g min )[1 σ(v pre + 0.5)][1 σ( V poszt 0.3)][1 (V poszt 1)] Ez az egyenlet lényegben egy algoritmus elágazásai egyenletbe írva, azzal a különbséggel, hogy itt a σ(x) függvény létrehoz egy átmenetet a feltételek teljesülési határának közelében. Az algoritmus leírása: Ha a posztszinaptikus neuronban kialakul egy akciós potenciál és 1,25-nál nagyobb a különbség a két neuron potenciálderiváltja között, vagy 0,1-nél kisebb a különbség a két neuron potenciálja között növeljük meg a g-t, g max -hoz konvergáló függvény mentén. Ha a preszinaptikus neuron egy akciós potenciál leszálló ágánál tart, és posztszinaptikus neuronban nem alakult ki akciós potenciál, illetve a posztszinaptikus neuron potenciálderiváltjának abszolút értéke kisebb, mint 0,3 csökkentsük a g-t egy g min -hez konvergáló függvény mentén. Az algoritmus, illetve a differenciálegyenlet akkor növeli a g-t ha a két neuron teljesen egy fázisban tüzel, ilyenkor a posztszinaptikus neuronban kialakul egy akciós potenciál, és a két V különbsége kicsi. Az algoritmus akkor is növeli a g-t ha a preszinaptikus neuron akciós potenciálja kiváltja a posztszinaptikusból az akció potenciált, ilyenkor a preszinaptikus akciós potenciál lefutásánál fut fel a posztszinaptikus akciós potenciál, tehát a két V deriváltjának különbsége nagy lesz. g csökkenés akkor történik, ha van preszinaptikus akciós potenciál, de a posztszinaptikus elmarad, azaz a preszinaptikus akciós potenciál leszálló ágánál a posztszinaptikus V nem magas, illetve nem változik jelentősen, tehát a deriváltjának abszolútértéke alacsony. A g min és g max értékek közé korlátozott maximális áram hasznos, mivel ez segít elkerülni a FitzHugh-Nagumo modell azon hibáját, hogy túl erős ingerre nem tüzel a neuron, hanem folyamatosan magas potenciált vesz fel. A bemeneteket a lehető legegyszerűbb formában, konstans áramokként reprezentálom, ennél bonyolultabb definíció ebben az esetben célszerűtlen lenne, vala- 28

29 dinamikájának összehasonlító vizsgálata 4 VIZSGÁLT RENDSZEREK mint lassítaná a szimulációt is. Tehát ezt a modellt az eddigieket összefoglalva a következő egyenletek írják le(i és j jelölik a neuronok sorszámát a hálózatban): dv i dt =V i V i 3 3 W i + I i + j i g i j k i j dw i dt dc i j dt dk i j dt dg i j dt =0,08(V i + 0,7 0,8W i ) =p c σ(v j 1) + k i j m k p k c i j (1 k i j ) c i j m c =p k c i j (1 k i j ) k i j m k =µ(g max g i j )σ(v i 1)[σ(V i V j 1.25) + 1 σ( V i V j )] µ(g i j g min )[1 σ(v j + 0.5)][1 σ( V i 0.3)][1 (V j 1)] A differenciálegyenleteket Euler-féle numerikus módszerrel oldom meg, ez megfelelő pontosságot ad ahhoz, hogy megfigyelhessem a rendszer működését. A módszer lényege az, hogy a differenciálegyenletekre egy közelítő megoldást ad. A megoldandó feladat az, hogy adott egy differenciálegyenlet a következő formában: Illetve tudjuk azt, hogy: y (t) = f (t,y(t)) y(t 0 ) = y 0 Az általam használt modellben ez a t 0 érték mindig a szimuláció kezdetét jelzi. Tudjuk továbbá a következőt: y (t) y(t + h) y(t) h 29