Lovassy Rita okleveles villamosmérnök Multilayer Perceptrons Based on Fuzzy Flip-Flops Ph.D. tézisfüzet Témavezetı: Dr. Kóczy T. László egyetemi tanár, az MTA doktora Széchenyi István Egyetem Mőszaki Tudományi Kar Jedlik Ányos Gépész-, Informatikai és Villamosmérnöki Intézet Multidiszciplináris Mőszaki Tudományi Doktori Iskola Gyır, 2010 1
1. A kutatás tárgya és célkitőzései Az elmúlt évtizedek kutatási, fejlesztési tevékenységeinek köszönhetıen a fuzzy logika, neurális hálózatok, evolúciós algoritmusok és a felsorolt lágy számítási rendszerek hibrid kombinációi egyre fontosabb szerepet játszanak a mőszaki és más alkalmazott tudományok területén. A lágy számítás (soft computing) alapgondolata az emberi gondolkodáshoz hasonlóan rendkívül rugalmas, gyors, hatékony és adaptív rendszerek létrehozását tőzi ki célul. A gyakorlati alkalmazások jelentıs része összetett (komplex) rendszerként kezelhetı. A legtöbb folyamat sokparaméteres, nemlineáris jellegő, nagy bonyolultságú, melyek bemeneti és kimeneti változói közötti összefüggés gyakran nem ismert, nem írható le analitikusan csupán megfigyelés alapján. A fuzzy rendszerek HA-AKKOR szabályokat és matematikai modellezést foglalnak magukban, képesek a probléma terület felosztására és ezáltal csökkentik a feladat nehézségét. Fuzzy rendszereket alkalmaznak akkor is, ha a megoldandó feladat nem igényel egzakt, pontos megoldást és egy megközelítı de gyors végeredmény elérése hasznosabb. A fuzzy logika interdiszciplináris témaköre a matematika, számítástechnika és a villamosmérnöki tudományok határán helyezkedik el. Általánosításra való képessége hatékonyan összevonható a tanulásra alkalmas neurális hálózattal. Képesek adaptív megoldások meghatározására, amikor a hálózat az adatokból kapcsolatokat tud elıállítani, anélkül, hogy az adatok győjtése igényelné azok magyarázatát. Az evolúciós algoritmusok harmonikusan kiegészíthetik az említett párost, például a rendszerek optimális struktúrájának és paramétereinek megkeresésében, a lehetséges megoldások közül az optimális kiválasztásában. Az algoritmus globális optimumkeresési technikával kiegészítve hatékonyan javítja a bonyolult gyakorlati feladatok megoldását. A kombinált neuro-fuzzy, evolúciós-fuzzy és a lágy számítási rendszereknek más hibrid változatai hatékonyan aknázzák ki és egyesítik az egyes rendszerek elınyeit. A számítási intelligencia módszerek fontos szerepet töltenek be, pl. a szabályozás-, vezérlés- és irányítástechnika, az alakfelismerés, képfeldolgozás, függvényközelítés, osztályozás és az optimalizálás jellegő alkalmazásokban. Mind a fuzzy rendszerek, mind a neurális hálózatok bizonyos feltételek mellett, megfelelı struktúrában, alkalmasak függvénybecslésre, azaz tetszıleges függvényt meghatározott pontossággal tudnak közelíteni. A rendszer a közelített függvény modelljeként mőködik, mely tanulásra képes, általánosításra alkalmas és párhuzamosan nagyszámú mőveletet tud elvégezni. A többrétegő elırecsatolt hálózat, a radiális bázisfüggvényes hálózat illetve a fuzzy rendszerek függvényapproximációs tulajdonságait rendszer identifikációs, vezérlési, irányítási és alakfelismerési feladatokban hasznosítják. Az értekezés a fentiekhez kapcsolódóan három problémakör kérdéseivel foglalkozik. Az elsı a szekvenciális áramköri elemek fuzzy logikai mőveletek segítségével történı általánosítása és ezen általánosítások tulajdonságainak vizsgálata. Új típusú fuzzy tárolók bevezetése, melyek az ismerteknél szélesebb felhasználási területtel rendelkeznek, a fuzzy szekvenciális hálózatok alapelemeinek tekinthetık és könnyen implementálhatók hardverben. A második témakör olyan fuzzy neurális hálózatok (FNN) kialakítása a fenti általánosított elemeken alapuló kombinációs hálózatok segítségével, melyek alkalmasak tanuló algoritmusok megvalósítására és lehetıvé teszik a többdimenziós folytonos függvény-approximálást. A harmadik terület a FNN hálózat paramétereinek optimalizálása és tanítása gradiens-alapú és bakteriális memetikus algoritmussal. 2
2. Az alkalmazott módszerek rövid áttekintése Az értekezésemben ismertetett eredményekkel kapcsolatos módszereket mutatom be, a különbözı fuzzy tárolókat, a neurális hálózat függvényapproximációs képességét, a Levenberg-Marquardt és a bakteriális memetikus algoritmust. Az elemi J-K és D tárolók (flip-flopok) a szinkron szekvenciális digitális hálózatok legfontosabb és egyben legáltalánosabb tulajdonságokkal bíró alapelemei. A J-K tárolók fuzzy általánosításának ötletét az 1980-as évek közepén a japán Hirota és Ozawa vetették fel. Ekkor definiálták az aszimmetrikus, de egymással duális reset és set típusú fuzzy tárolók (fuzzy flip-flopok, F 3 ) fogalmát [11]. Késıbb e definíciókat Kóczy Lászlóval közösen további normákra is kiterjesztették és felismerték, hogy a két aszimmetrikus viselkedéső tároló gyakorlati alkalmazása nehézkés és egy olyan egyesített fuzzy J-K tároló karakterisztikus egyenletét javasolták, mely magában foglalja a reset és a set típusú fuzzy tárolók tulajdonságát [18]. A min-max és algebrai fuzzy mőveleteken alapuló fuzzy tárolók elméleti és gyakorlati vizsgálatát is elvégezték az Ohmori által Tokióban megépített analóg és digitális fuzzy flip-flop áramkörökön [19]. Fodor és Kóczy tovább általánosították az fuzzy flip-flop fogalmát nem-asszociatív normák segítségével, rámutatva a preferenciarelációkkal való szoros kapcsolatokra [6]. Értekezésemben a gyakorlati alkalmazásokban legelterjedtebb és ezért talán a legjelentısebb ún. Zadeh-féle komplemenst használtam. Az X alaphalmazon értelmezett A F ( X ) fuzzy halmaz Zadeh-féle komplemense A, melyet az alábbi összefüggés határoz meg ( x X ); A( x) = 1 A( x). A fuzzy mőveletek hardver implementációjának igénye az elmúlt években soha nem látott mértékő növekedést mutatott. Zavala és társai [22] a paraméter nélküli fuzzy mőveletek, Rudas és társai [20] paraméteres fuzzy unió és metszet család hardver implementációját valósították meg. A min-max, algebrai, drasztikus és Łukasiewicz t- és s-normákat 8 bites architektúrával FPGA technológiával implementálták. A min-max normákon alapuló fuzzy D tároló egy lehetséges kialakítása Choi és Tipnis nevéhez főzıdik [4]. Az elsı szerzı neve alapján azt az áramkört fuzzy Choi D tárolónak neveztem el. A szakirodalom alapján ismert tény, hogy mind a neurális hálózat mind a szabály alapú fuzzy rendszerek univerzális approximációs tulajdonsággal rendelkeznek. Az elıbbiekkel kapcsolatban említésre méltók a Cybenko [5], Funahashi [7] és Hecht-Nielsen [10] eredményei. Az utóbbiakra vonatkozóan Wang és Mendel [21] ill. Kosko [15] majd Nguyen és Kreinovich [17] végül általánosan Castro [3] mutatták ki e matematikai tulajdonságot. Megjegyzendı, hogy az univerzális approximációs tulajdonságért általában igen magas árat kell fizetni a számítási bonyolultság tekintetében, mint erre a neurális hálózatok összefüggésében Kurkova [16], a fuzzy rendszereknél pedig Klement és társai [12] mutattak rá. Az értekezésben javasolt FNN hálózat egyik tanuló algoritmusa a Levenberg-Marquardt (LM) másodfokú gradiensalapú módszer. Az algoritmus nemlineáris paraméterek legkisebb négyzetes becslésére alkalmas és hatékonyan alkalmazható közepes mérető neurális hálózatok tanítására és optimalizálására [9]. Az igen hatékony bakteriális algoritmus a LM lokális kereséssel kiegészítve az irodalomból ismert minden hasonló módszernél jobb bakteriális memetikus algoritmust javasoltak Botzheim és társai [2]. E módszert tovább javították, különösen fuzzy szabály alapú rendszerek segítségével történı approximációs alkalmazások céljára Gál és társai [8]. A módszert bakteriális memetikus algoritmus módosított operátor végrehajtási sorrenddel (Bacterial Memetic Algorithm with Modified Operator Execution Order-BMAM) algoritmusnak nevezték el. 3
3. A tudományos eredmények rövid összefoglalása A következıkben röviden bemutatom a saját eredményeimet és az eredmények alapján megfogalmazott téziseimet. 3.1 Új fuzzy tároló típusok 1. tézis. Új fuzzy tárolókat vezettem be és tanulmányoztam mőködésüket. Új típusú fuzzy tárolókat (fuzzy flip-flop) definiáltam, elkészítve az összes irodalomból ismert és új fuzzy flip-flopok egyszerő mőködési modelljét. Új, intervallum alapú fuzzy tárolókat vezettem be, melyek nem a diszjunktív és a konjunktív normál alakokon (hagyományos Türkşen-féle intervallumértékő fuzzy halmazok), hanem az ismert reset és a set kifejezéseken alapulnak. A fuzzy szakirodalomból (elsısorban Klir és Folger [13], valamint Klir és Yuan [14] alapmonográfiáiból) kiindulva több fontos t-norma és s-norma párra definiáltam a megfelelı reset és set típusú fuzzy flip-flopot. Mind a régebben, mind az újabban definiált áramkörök viselkedését elemeztem, ıket egymással összehasonlítottam. Mivel a fuzzy logika axiomatikus tulajdonságai gyengébbek, mint a hagyományos logikáé, külön vizsgáltam a fuzzy tároló definíciójából nyerhetı minterm és maxterm alakokat, melyek nem ekvivalensek egymással. Hét fontos t-norma és s-norma párra új, egyesített fuzzy J-K tárolót definiáltam, továbbá tíz különbözı újfajta fuzzy Choi D tárolót vezettem be. A Choi-féle tárolótól különbözı új fuzzy D tárolót javasoltam, melyet az egyesített fuzzy J-K tárolóból alakítottam ki. Megadtam a fent említett új, egyesített fuzzy J-K és a fuzzy D tároló két megközelítésének karakterisztikus egyenletét és tanulmányoztam ezek tulajdonságait. Mindegyik tároló típus viselkedését elemeztem és egymással összehasonlítottam. Kimutattam, hogy az általam bevezetett fuzzy D tároló más tulajdonságokkal rendelkezik mint a Choi-féle fuzzy D flip-flop, mivel az alkalmazott s-normák nem idempotensek. Ismert, hogy a T t-norma akkor és csakis akkor idempotens, ha T = min és az S s-norma akkor és csakis akkor idempotens, ha S = max, [1]. A következıkben részletezem a bevezetett új tároló típusokat. 1.1. altézis. Bevezettem a következı fuzzy tároló típusokat: új, intervallum alapú fuzzy J-K tárolók, melyek standard és algebrai fuzzy mőveleteken alapulnak, reset és set típusú fuzzy J-K tárolók, melyek Yager és Dombi fuzzy mőveleteken alapulnak, egyesített fuzzy J-K tárolók, melyek Yager, Dombi, Hamacher, Frank, Dubois-Prade, Schweizer-Sklar és módosított Fodor fuzzy mőveleteken alapulnak, új fuzzy D tárolók, melyek standard, algebrai, drasztikus, Łukasiewicz, Yager, Dombi, Hamacher, Frank, Dubois- Prade, Schweizer-Sklar és módosított Fodor fuzzy mőveleteken alapulnak, fuzzy Choi D tárolók, melyek algebrai, drasztikus, Łukasiewicz, Yager, Dombi, Hamacher, Frank, Dubois-Prade, Schweizer-Sklar és módosított Fodor fuzzy mőveleteken alapulnak. Meghatároztam a felsorolt 32 új fuzzy tároló típus karakterisztikus egyenletét és tanulmányoztam mindegyiknek a viselkedését. A következıkben a Fodor által javasolt nem-asszociatív fuzzy flip-flopot vizsgáltam meg és megállapítottam, hogy a reset és set típusú változók definíciós egyenletei nem alkotnak duális párt, sıt a set típusnál a definíció kivezet a 4
definiált értékhalmazból. Megadtam a korrigált set típusú egyenletet, majd az így keletkezett nem-asszociatív fuzzy flipflopra is elvégeztem a fenti vizsgálatokat. Elképzelésem szerint az ilyen, a neurális hálózatok analógiájára felépített fuzzy tároló hálózatók alkalmasak lehetnek, pl. zajos minták felismerésére és más párhuzamos algoritmusok megvalósítására. 1.2. altézis. Esetdiszkussziós technikával bebizonyítottam, hogy a módosított Fodor fuzzy J-K tároló általam adott új definíciója nemcsak szabályos duális párja a reset típusúnak, hanem azzal meglepı módon ekvivalens is. Így az egybeesı set-reset pár segítségével sikerült az elsı olyan fuzzy flip-flopot definiálni, amelyik rendelkezik az eredeti bináris J-K flipflop szimmetrikus viselkedési tulajdonságaival. Elkészítettem a visszacsatolással ellátott (K = 1 Q eset) egyesített fuzzy J-K tárolót. Vizsgálatokat hajtottam végre a visszacsatolt fuzzy J-K tárolóban és a fuzzy D tároló két megközelítésében szereplı bemeneti változók (J, K és D), ill. a kimeneti (régi) Q értékeinek és fuzzy mőveletek paramétereinek kapcsolatának elemzése céljából. Megállapítottam, hogy egyes fuzzy flip-flopok szigmoid alakú transzfer karakterisztikát mutatnak a fuzzy tároló egyes jól meghatározott (régi) Q értékeire. 1.3. altézis. Megmutattam, hogy a tanulmányozott visszacsatolással rendelkezı Łukasiewicz, Yager, Dombi, Hamacher, Frank és Dubois-Prade normákon alapuló fuzzy J-K tárolók J Q( t + 1) transzfer karakterisztikája, továbbá a Łukasiewicz, Yager, Hamacher, Frank és Dubois-Prade normákon alapuló új fuzzy D és Choi D tárolók D Q( t + 1) transzfer karakterisztikája szigmoid jelleget mutat bizonyos jól meghatározott Q értékeknél, míg az összes többi tanulmányozott fuzzy tároló típus (beleértve az irodalomban meghatározottakat és az általam definiáltakat) nem szigmoid transzfer tulajdonságúak. A tézissel kapcsolatos publikációim: [L16-22]. 3.2 Fuzzy tárolókból felépített többrétegő perceptron hálózatok 2. tézis. Új fuzzy tárolóból generált neurális hálózatot vezettem be, mely szigmoid transzfer karakterisztikájú fuzzy flip-flop neuronokból épül fel és amely tanulásra, továbbá függvény-approximálásra alkalmas. Az értekezés második fı témaköre a fuzzy tárolókból kialakított kombinációs hálózat, illetve e hálózatokból felépített neurális hálózatok alkalmazási lehetıségeinek a kérdését vizsgálja. E területen elvégzett kutatásaim során, a különbözı fuzzy tárolókból kialakított neurális hálózatok függvényapproximációs képességét tanulmányoztam. Meghatároztam a fuzzy neuront, melyet fuzzy flip-flopokból generáltam. A háromszintő fuzzy mőveleteket végzı kapuhálózat a bemeneti változók ill. a t-norma, s-norma paramétereinek jól meghatározott értékeinél szigmoid transzfer karakterisztikát nyújt. Vizsgálatokból kitőnt, hogy a fuzzy neuronok transzfer karakterisztikájának jellege a fuzzy mőveletek típusától, a fuzzy mőveletek paraméterétıl és a (régi) Q értékétıl függ, mely a továbbiakban befolyásolni fogja a fuzzy neuron alapú neurális hálózat taníthatóságát. A Łukasiewicz-norma alapú új fuzzy D flip-flopból generált neuron, mint szigmoid függvény generátor 8 bites FPGA implementációját (Xilinx Spartan3E XC3S500E-5FG320 FPGA) társszerzıkkel együtt 2010-ben publikáltam [L3]. 5
2.1. altézis. Kifejlesztettem a fuzzy neuronnak nevezett új egységet. A szigmoid függvény generátor a következı típusú fuzzy tárolókból építhetı fel: fuzzy J-K tároló, melyben a Q kimenet vissza van csatolva a K bementhez, K = 1 Q megközelítés és a (régi) Q konstans értékre van beállítva, új fuzzy D tároló, mely a fuzzy J-K tároló átalakításából ered. A fuzzy J-K tároló J és K bemenetei között egy inverter található, K = 1 J eset és a (régi) Q konstans értékre van beállítva, fuzzy Choi D tároló, melyben a (régi) Q konstans értékre van beállítva. A javasolt fuzzy neurális hálózat elırecsatolt, két rejtett réteggel rendelkezı többrétegő perceptron hálózat (Multilayer Perceptron-MLP). A rejtett rétegek neuronjai szigmoid karakterisztikájú, azonos típusú fuzzy tárolóból generált kombinációs hálózatok, míg a kimeneti réteg lineáris átmeneti függvényt képezı neuron. A fuzzy neuronok bementét a fuzzy kombinációs hálózat J bemenete adja. 2.2. altézis. Megadtam egy új fuzzy neuron alapú neurális hálózat felépítését. A hálózat neuronja bármilyen szigmoid transzfer karakterisztikájú fuzzy tárolóból generált kombinációs hálózat lehet. Az irodalomból ismert hardver implementációk alapján az általam javasolt hálózat a gyakorlati alkalmazásokban könnyen kialakítható fix struktúrájú hálózatot alkot. A FNN hálózat javasolt tanuló algoritmusa a Levenberg-Marquardt másodfokú gradiens-alapú módszer. Szimulációs vizsgálatokat hajtottam végre, melyekben az általam javasolt és az irodalomban található referenciaproblémákon keresztül a fuzzy neurális hálózat többdimenziós függvény-approximálására való alkalmasságát bizonyítottam. Az alkalmazott szimulációs platform adatai: Windows 7, AMD Athlon II X3 435 processzor, Matlab2007. A szimulációs vizsgálatokat a következı tesztfüggvényeken vizsgáltam: Egy dimenziós - egy periódusidejő szinusz függvény ill. két szinuszos függvény kombinációja (100 mintapárra). Kétdimenziós - trigonometrikus ill. polinomiális tesztfüggvények (1600 mintapárra). A referencia feladat az ún. ph probléma, mely egyváltozós. Ennél a feladatnál egy titrálási görbe inverzének a közelítése a cél. Ez a fajta nemlinearitás a kémiai ph értékkel van kapcsolatban. A hálózat tanításához 101 minta lett generálva. A fuzzy neurális hálózat fix struktúrájú, a rejtett rétegek neuronjainak száma a tesztfüggvény bonyolultságától függ. A hálózat tanítása, a fuzzy neurális hálózat súlyainak beállítása megválasztott Q bementi és fuzzy mővelet p paraméter értéke mellett történt. A szimulációs vizsgálatokat hét különbözı t-norma, s-norma pár alapú fuzzy J-K és a két különbözı típusú fuzzy D tárolóból generált neuron alapú FNN hálózatra végeztem el. Megállapítottam, hogy a Łukasiewicz, Yager, Dombi, Hamacher, Frank és Dubois-Prade normák szerinti FNN hálózatok jól betaníthatók. Az említett hálózatok függvényapproximációs képességét a Matlabban beépített tansig (eleve szigmoid alakú) függvény alapú neuronokból összeállított FNN hálózattal hasonlítottam össze. Mivel az elsı hardverbe implementált fuzzy J-K tároló algebrai normákon alapult, az algebrai típusú neuronokból felépített FNN betaníthatóságát is vizsgáltam. Az algoritmus tesztelésére az átlagos négyzetes hiba (Mean Square of Error-MSE) 300 futtatás minimum és medián értékét használtam. 2.3. altézis. A Levenberg-Marquardt algoritmust javasoltam az algebrai, Łukasiewicz, Yager, Dombi, Hamacher, Frank és Dubois-Prade norma szerinti fuzzy J-K és a két különbözı típusú fuzzy D tárolóból generált neuron alapú 21 féle fuzzy neurális hálózat az általam javasolt és az irodalomból ismert referenciaproblémák függvényapproximációs képességének tanulmányozására. 6
Megállapítottam, a ph referencia feladatot alkalmazva, hogy aránylag kis neuronszámú FNN hálózat megbízhatóbban követi a tesztpontokat még azokban a tartományokban is, melyekben azok hiányos eloszlásban vannak. 2.4. altézis. Az irodalomban használatos referenciaproblémák modellezésére szimulációs vizsgálatokat végeztem, melyek segítségével kimutattam, hogy egyszerő függvények approximálására a Dombi típusú 3-3 rejtett neuron számmal rendelkezı FNN hálózat jobban interpolál, mint a hagyományos szoftver implementációval (pl. Matlabból használt tansig alapú neuron) megalkotott fuzzy neurális hálózat. Megállapítottam, hogy a hálózat túltanításának elkerülése végett az általános felhasználásra szánt FNN hardver implementációja alkalmasabb, mint a tansig alapú neurális hálózaté. Szimulációs vizsgálatok alátámasztják, hogy nemcsak a fuzzy D és a fuzzy Choi D tárolók viselkedése különbözı, hanem a segítségükkel felépített FNN hálózatok is különbözı függvényapproximációs tulajdonságúak. 2.5. altézis. Szimulációs vizsgálatokat végeztem, melyek segítségével kimutattam, hogy a fuzzy D flip-flopból generált neuron alapú FNN hálózat jobb függvényapproximációs tulajdonságokkal rendelkezik, mint a fuzzy Choi D tárolóból generált neuron alapú FNN hálózat. A tézissel kapcsolatos publikációim: [L9-15]. 3.3 Fuzzy neurális hálózatok paramétereinek optimalizálása 3. Tézis. Javaslatot tettem többféle modellidentifikációs algoritmus használatára, melyeket a fuzzy neurális hálózat optimális paramétereinek meghatározására alkalmaztam javítva a hálózat függvényapproximációs képességét. Az értekezés harmadik fı témaköre a FNN hálózat paramétereinek optimalizálásával és a hálózat betanításával foglalkozik. Az elsı szimulációs vizsgálatokban a Levenberg-Marquardt (LM) algoritmust javasoltam a FNN egy paraméterének optimalizálására, továbbá a fuzzy neurális hálózat struktúrájának ideális kialakítására. Meghatároztam hét különbözı fuzzy mőveleten alapuló fuzzy J-K ill. a két fuzzy D tárolóból generált neuron alapú FNN optimális Q értékeit, 300 futtatás minimum és medián MSE értékét összehasonlítva. A LM algoritmus gyorsan konvergál, de nagyon érzékeny a keresési tér kezdıpozíciójára. A kvázi-optimális Q intervallumok, melyek a fuzzy neuron és a fuzzy mővelet típusától függnek az 1. táblázatban láthatók. 3.1. altézis. Levenberg-Marquardt algoritmust javasoltam az algebrai, Łukasiewicz, Yager, Dombi, Hamacher, Frank és Dubois-Prade fuzzy mőveleteken alapuló fuzzy J-K, D és Choi D tárolókból generált neuronok alapú fuzzy neurális hálózat kvázi- optimális Q paraméterének meghatározásához. 1. táblázat Kvázi-optimális Q intervallumok Fuzzy tárolóból generált neuron típus Fuzzy mőveletek J-K D Choi D Algebrai 0 0.2 ~0.1; ~0.5; <0.1; ~0.5; ~0.9 >0.8 Łukasiewicz 0.2 0.4 0.1 0.2; 0.8 0.9 0.4 0.5 Yager 0 0.3 ~0.2; ~0.8 ~0.2; ~0.8 Dombi 0.1 0.2 <0.1; ~0.5; <0.1; ~0.5; >0.9 >0.9 Hamacher 0.3 0.4 0.4 0.6 ~0.4; ~0.7 Frank 0.2 0.4 0.4 0.6 0.5 0.7 Dubois-Prade 0 0.1 0.4 0.6 0.4 0.6 7
Egy egydimenziós és két kétdimenziós trigonometrikus tesztfüggvényre és egy az irodalomban használatos referenciaprobléma modellezésére szimulációs vizsgálatokat végeztem, mellyel megmutattam, hogy a kvázi-optimális Q intervallum értékei meghatározott fuzzy mővelet paraméter értéknél nem függnek a tesztfüggvény változó - ill. a fuzzy hálózat neuron számától. Az egydimenziós tesztfüggvény egy nikkel-metál hidrid (NiMH) akkumulátor töltés zajos karakterisztikája, mely töltıáram-, idı- és hımérsékletfüggı. A 2715 tesztpontból ekvidisztánsan 543 bemeneti/kimeneti pontpárt használtam. Az akkumulátor típusa GP 3.6V, 300mAH, 3x1.2V NiMH, 1.5 óráig 300mA - rel töltve 25 C - on. Az irodalomból ismert referenciaprobléma approximálásához a következı hatváltozós függvényt használtam: y x x x x e 2( x x ) 0.5 5 6 = 1 + 2 + 3 4 + 2 (1) ahol x, x [ 1,5 ], x [ 0,4 ], x [ 0,0.6 ], x [ ] x [ ] 1 2 3 4 0,1, 0,1.2. 5 6 A Levenberg-Marquardt algoritmust javasoltam a FNN hálózat struktúrájának optimalizálására. Dombi-norma alapú fuzzy J-K tárolóból generált fuzzy neurális hálózat neuron számának és függvényapproximációs képességének kapcsolatát elemeztem. A hálózat komplexitásának növekedésével csökkent a mért MSE érték. A minimum és medián átlagos négyzetes hiba értékek összehasonlítása mellett a Bayes-i információs kritérium értékét is figyeltem, mely a minél kisebb hibát és minél kisebb bonyolultságú hálózatot figyeli: ( ) ln ( ) BIC = m ln MSE + k m (2) median ahol m a tanítóminták-, k pedig a neuronok száma. Újabb szimulációs vizsgálatokban a FNN hálózat optimális Q változó értékének meghatározásához a bakteriális memetikus algoritmus módosított operátor végrehajtási sorrenddel (BMAM) használtam, mely egy globális és lokális minimumkeresı algoritmus. A bakteriális mutációban beleágyazott LM algoritmus egy hatékonyabb optimum keresı módszerré teszi az algoritmust. Az optimális Q értékek a fuzzy neuron és a fuzzy mővelet típusától függnek és a 2. táblázatban láthatók. 2. táblázat Optimális Q értékek Fuzzy tárolóból generált neuron típus Fuzzy mőveletek J-K D Choi D Algebrai 0.20 0.97 0.13 Łukasiewicz 0.30 0.18 0.48 Yager 0.01 0.22 0.19 Dombi 0.15 0.92 0.06 Hamacher 0.36 0.55 0.36 Frank 0.25 0.51 0.52 Dubois-Prade 0.03 0.49 0.51 3.2. altézis. A BMAM algoritmust javasoltam az algebrai, Łukasiewicz, Yager, Dombi, Hamacher, Frank és Dubois-Prade fuzzy mőveleteken alapuló fuzzy J-K, D és Choi D tárolókból generált neuronok alapú fuzzy neurális hálózat optimális Q paraméterének meghatározásához. A 3. táblázatban a különbözı fuzzy mőveleteken alapuló fuzzy tárolóból generált neuron típus szerint felépített FNN optimális Q és fuzzy mővelet p paraméter optimális párosa szerepel. 8
3.3. altézis. A BMAM algoritmust javasoltam az algebrai, Łukasiewicz, Yager, Dombi, Hamacher, Frank és Dubois-Prade fuzzy mőveleteken alapuló fuzzy J-K, D és Choi D tárolókból generált neuronok alapú fuzzy neurális hálózat minden egyes paraméterének optimalizálásához. 3. táblázat Optimális Q és fuzzy mővelet p paraméter értékek Fuzzy tárolóból generált neuron típus Fuzzy mőveletek J-K D Choi D Q p Q p Q p Algebrai 0.20-0.97-0.13 - Łukasiewicz 0.30-0.18-0.48 - Yager 0.05 1.98 0.26 1.91 0.13 2.02 Dombi 0.24 5.00 0.22 5.73 0.28 5.85 Hamacher 0.29 5.71 0.45 5.45 0.36 2.84 Frank 0.33 6.88 0.52 8.33 0.16 5.46 Dubois-Prade 0.05 0.72 0.53 0.69 0.48 0.71 Szimulációs vizsgálatokat végeztem a FNN egydimenziós duplaszinuszos tesztfüggvény approximációs képességének tanulmányozására. A hálózatot a LM és a BMAM algoritmussal tanítottam be. A LM algoritmussal betanított hálózat pontatlan, de nagyon gyors végeredményt ad, míg a BMAM módszer használata egy lassúbb de annál pontosabb függvény-approximálást eredményez. A LM és a BMAM algoritmusokkal elvégzett 300 ill. 3 futtatás medián átlagos négyzetes hibáját összevetve arra a következtetésre jutottam, hogy a FNN hálózat függvényapproximációs képessége függ a tesztfüggvény komplexitásától, az alkalmazott neuronok számától, továbbá az alkalmazott norma típusától, a paraméterek értékétıl és nem utolsó sorban a betanítási algoritmustól. 3.4. altézis. Megállapítottam, hogy az irodalomban használt összes fontosabb fuzzy mőveleten alapuló fuzzy flip-flopok (J-K, D és Choi D) között a Dombi-norma szerinti fuzzy J-K tárolóból generált neuron alapú és a Łukasiewicz-norma szerinti fuzzy D tárolóból generált neuron alapú fuzzy neurális hálózatok a legjobb függvényapproximációs képességő hálózatok. Tehát, javasolom a Dombi alapú fuzzy J-K és a Łukasiewicz alapú fuzzy D tárolókból generált neuron alapú fuzzy neurális hálózatok hardver implementációját. A Łukasiewicz-norma szerinti fuzzy D tárolóból generált neuron alapú fuzzy neurális hálózat hardver implementációját elkészítettem és publikáltam 2010-ben [L3]. A tézissel kapcsolatos publikációim: [L2-3], [L5-8]. 4. Összefoglalás és kitekintés Az értekezés célkitőzése a fuzzy flip-flopok minél teljesebb körő tanulmányozása ill. az új fuzzy tárolók segítségével történı FNN hálózatok kifejlesztése. Megadtam az új fuzzy flip-flopok karakterisztikus egyenletét és viselkedésüket tanulmányoztam tipikus paraméterértékek mellett. A transzfer karakterisztikájuk jellege szerint két nagy csoportba osztályoztam ıket, aszerint, hogy e karakterisztikák szigmoid vagy nem szigmoid jellegőek. Kifejlesztettem egy olyan újfajta fuzzy neuront, amelyik megfelelı fuzzy tárolókból generálva szigmoid függvény generátorként viselkedik. Megadtam a fuzzy neuron alapú elırecsatolt, két rejtett rétegő neurális hálózat felépítését és megmutattam, hogy ez a rendszer függvényapproximálásra alkalmas. A FNN hálózat paramétereinek optimalizálását és tanítását másodfokú gradiens-alapú (Levenberg- Marquardt - LM) ill. bakteriális memetikus ( bakteriális memetikus algoritmus módosított operátor végrehajtási sorrenddel - BMAM) algoritmussal végeztem. Vizsgálataim kimutatták, hogy megfelelı fuzzy neuront használva olyan tényleges hardverként is egyszerően implementálható újfajta neurális hálózatokhoz juthatunk, melyek approximációs jósága az idealizált szoftverrel implementált 9
neurális hálózatoktól nem marad le jelentısen. Érdekes tény az, hogy az így nyert újfajta hálózatok alkalmazhatósága ismeretlen problémák esetében az idealizált hálózatnál jobb is lehet, mivel ez a fajta hálózat kevésbé érzékeny a rejtett rétegekben található neuronok számára. Az általánosan elterjedt szimulációs neurális hálózat (MATLAB) az adott halmazból kilógó (outlier) adatokhoz túl jól illeszkedett (overfitting), elrontva ezzel az illesztett függvény alapjellegét, amint ezt a referencia - jellegő ph probléma kapcsán láttuk. Az általam javasolt új hálózattípus ebben az esetben is a vártnak megfelelı függvénykarakterisztikát eredményezte. (Ez a példa egyébként felhívja arra a figyelmet, hogy az MSE kritérium nem minden esetben elegendı egy probléma gyakorlati szempontú optimalizálására.) A következıkben tervezem a vizsgálatok kiterjesztését más neurális hálózat struktúrákra is. Irodalomjegyzék [1] R. Bellman and M. Giertz: On the analytic formalism of the theory of fuzzy sets, Information Science, vol. 5, 1973, pp. 149-156. [2] J. Botzheim, C. Cabrita, L. T. Kóczy and A. E. Ruano: Genetic and bacterial programming for B-spline neural networks design, Journal of Advanced Computational Intelligence and Intelligent Informatics, 11(2), 2007, pp. 220-231. [3] J. L. Castro: Fuzzy logic controllers are universal approximators, IEEE Trans. on SMC, 25(4), 1995, pp.629 635. [4] B. Choi and K. Tipnis: New Components for Building Fuzzy Logic Circuits, Proc. of the 4th Int. Conf. on Fuzzy Systems and Knowledge Discovery, 2, 2007, pp. 586-590. [5] G. Cybenko: Approximation by superposition of sigmoidal functions, Math. Contr. Signals. Syst. 2, 1989, pp. 303-314. [6] J. C. Fodor and L. T. Kóczy: Some remarks on fuzzy flip-flops, In: L. T. Kóczy, K. Hirota, eds., Proc. of the Joint Hungarian-Japanese Symposium on Fuzzy Systems and Applications (Technical University, Budapest, 1991), pp. 60-63. [7] K. I. Funahashi: On the approximate realization of continuous mapping by neural networks, Neural Networks, 2, 1989, pp. 183-192. [8] L. Gál, J. Botzheim and L. T. Kóczy: Improvements to the Bacterial Memetic Algorithm used for Fuzzy Rule Base Extraction, in Proc. of Computational Intelligence for Measurement Systems and Applications, CIMSA, Istanbul, Turkey, 2008, pp. 38-43. [9] M. T. Hagan and M. Menhaj: Training feed-forward networks with the Marquardt algorithm, IEEE Transactions on Neural Networks, Vol. 5, No. 6, 1994, pp. 989-993. [10] R. Hecht-Nielsen: Theory of the backpropagation neural network, Proc. of the Neural Networks, International Joint Conference on Neural Networks, IJCNN 1989, pp. 593-605. [11] K. Hirota and K. Ozawa: Concept of fuzzy flip-flop, Preprints of 2nd IFSA Congress, Tokyo, 1987, pp. 556-559. [12] E. P. Klement, L. T. Kóczy and B. Moser: Are fuzzy systems universal approximators? International Journal of General Systems 28 (2 3), 1999, pp. 259-282. [13] G. J. Klir and T. A. Folger: Fuzzy sets, uncertainty, and information, Prentice Hall, Upper Saddle River, NJ, 1988, pp. 37-637. [14] G. J. Klir and B. Yuan: Fuzzy sets and fuzzy logic: Theory and applications, Prentice Hall, Upper Saddle River, NJ, 1995, pp. 50-88. [15] B. Kosko: Fuzzy Systems are Universal Approximators, in Proc. of the IEEE International Conference on Fuzzy Systems, San Diego, CA, 1992, pp. 1153-1162. [16] V. Kurkova: Kolmogorov s theorem and multilayer neural networks, Neural Networks, 5. 1992, pp. 501-506. 10
[17] H. T. Nguyen and V. Kreinovich.:On approximations of controls by fuzzy systems, Technical Report TR 92-93/302, LIFE Chair of Fuzzy Theory, Tokyo Institute of Technology, Tokyo, 1992. [18] K. Ozawa, K. Hirota, L. T. Kóczy and K. Omori: Algebraic fuzzy flip-flop circuits, Fuzzy Sets and Systems 39/2, North Holland, 1991, pp. 215-226. [19] K. Ozawa, K. Hirota and L. T. Kóczy: Fuzzy flip-flop, In: M. J. Patyra, D. M. Mlynek, eds., Fuzzy Logic. Implementation and Applications, Wiley, Chichester, 1996, pp. 197-236. [20] I. J. Rudas, I. Z. Batyrshin, A. H. Zavala, O. C. Nieto, L. Horváth and L. V. Vargas: Generators of Fuzzy Operations for Hardware Implementation of Fuzzy Systems, Proc. of MICAI 2008, Advances in Artificial Intelligence, 7th Mexican International Conference on Artificial Intelligence, Mexico, October 27-31, 2008, pp. 710-719. [21] L. X. Wang and J. M. Mendel: Fuzzy basis functions, universal approximations and orthogonal least-squares learning, IEEE Transactions on Neural Nets, 3, 1992, pp. 807-814. [22] A. H. Zavala, O. C. Nieto, I. Batyrshin and L. V. Vargas: VLSI Implementation of a Module for Realization of Basic t- norms on Fuzzy Hardware, Proc. of FUZZ-IEEE 2009, IEEE Conference on Fuzzy Systems, Jeju Island, Korea, August 20-24, 2009, pp. 655-659. Publikációk [L1] [L2] [L3] [L4] [L5] [L6] [L7] [L8] [L9] E. Koshak, A. Noore and R. Lovassy: Intelligent Reconfigurable Universal Fuzzy Flip-Flop, IEICE Electronics Express, 2010, közlésre elfogadva. L. Gál, R. Lovassy and L. T. Kóczy: Function Approximation Performance of Fuzzy Neural Networks Based on Frequently Used Fuzzy Operations and a Pair of New Trigonometric Norms, Proc. of IEEE World Congress on Computational Intelligence, WCCI 2010, Barcelona, Spain, közlésre elfogadva. R. Lovassy, A. H. Zavala, L. Gál, O. C. Nieto, L. T. Kóczy and I. Batyrshin: Hardware Implementation of Fuzzy D Flip-Flop Neurons Based on Łukasiewicz Norms, in Proc. of the 9th WSEAS Int. Conference on Applied Computer and Applied Computational Science, ACACOS 2010, Hangzhou, China, pp. 196-201. L. Gál, L. T. Kóczy and R. Lovassy: Three Step Bacterial Memetic Algorithm, Proc. of 14th IEEE International Conference on Intelligent Engineering Systems INES 2010, Las Palmas of Gran Canaria, Spain, pp. 31-36. R. Lovassy, L. T. Kóczy and L. Gál: Quasi Optimization of Fuzzy Neural Networks, Proc. of 10th International Symposium of Hungarian Researchers on Computational Intelligence and Informatics, CINTI 2009, Budapest, Hungary, pp. 303-314. R. Lovassy, L. T. Kóczy and L. Gál: Multilayer Perceptrons Constructed of Fuzzy Flip-Flops, Proc. of 4th International Symposium on Computational Intelligence and Intelligent Informatics, ISCIII 2009, Egypt, pp. 9-14. R. Lovassy, L. T. Kóczy and L. Gál: Parameter Optimization in Fuzzy Flip-Flop Based Neural Networks, Proc. of International Symposium on Innovations in Intelligent Systems and Applications, INISTA 2009, Trabzon, Turkey, pp. 205-209. R. Lovassy, L. T. Kóczy and L. Gál: Optimizing Fuzzy Flip-Flop Based Neural Networks by Bacterial Memetic Algorithm, Proc. of International Fuzzy Systems Association European Society for Fuzzy Logic and Technology, IFSA 2009, Lisbon, Portugal, pp. 1508-1513. R. Lovassy, L. T. Kóczy and L. Gál: Function Approximation Capability of a Novel Fuzzy Flip-Flop Based Neural Network, Proc. of International Joint Conference on Neural Networks, IJCNN 2009, Atlanta, USA, pp. 1900-1907. 11
[L10] R. Lovassy, L. T. Kóczy and L. Gál: Applicability of Fuzzy Flip-Flops in the Implementation of Neural Networks, Proc. of 9th International Symposium of Hungarian Researchers on Computational Intelligence, CINTI 2008, Budapest, Hungary, pp. 333-344. (1 Hivatkozás) [L11] Lovassy Rita: Klasszikus és nem-asszociatív normákra épülı fuzzy J-K tárolók, Mőszaki és informatikai rendszerek és modellek I., Széchenyi István Egyetem Mőszaki Tudományi Kar, Gyır, 2008, pp. 89-100. [L12] R. Lovassy, L. T. Kóczy and L. Gál: Analyzing Fuzzy Flip-Flops Based on Various Fuzzy Operations, Acta Technica Jaurinensis Series Intelligentia Computatorica Vol. 1, No. 3, 2008, Gyır, pp. 447-465. (2 Hivatkozás) [L13] R. Lovassy, L. T. Kóczy and L. Gál: Fuzzy Flip-Flop Based Neural Network as a Function Approximator, Proc. of IEEE International Conference on Computational Intelligence for Measurment Systems and Applications CIMSA 2008, Istanbul, Turkey, pp. 44-49. [L14] R. Lovassy, L. T. Kóczy and L. Gál: Multilayer Perceptron Implemented by Fuzzy Flip-Flops, Proc. of IEEE World Congress on Computational Intelligence, WCCI 2008, Hong Kong, pp. 1683-1688. (1 Hivatkozás) [L15] R. Lovassy and L. T. Kóczy: S-Shaped Fuzzy Flip-Flops, Proc. of 8th International Symposium of Hungarian Researchers on Computational Intelligence, CINTI 2007, Budapest, Hungary, pp. 383-391. (1 Hivatkozás) [L16] R. Lovassy and L. T. Kóczy: J-Q Characteristics of Fuzzy Flip-Flops, Proc. of XXV. Internationales Wissenschaftliches Kolloquium Science in Practice Schweinfurt, Germany, 2007, pp. 113-120. [L17] L. T. Kóczy and R. Lovassy: Fuzzy Flip-Flops and Neural Nets?, Proc. of IEEE International Conference on Fuzzy Systems FUZZ 2007 Imperial College, London, England, pp. 605-610. [L18] L. T. Kóczy and R. Lovassy: Fuzzy Flip-Flops Revisited, Proc. of IFSA 2007, World Congress, Cancun, Mexico, pp. 643-652. [L19] R. Lovassy and L. T. Kóczy: A New General Class of Fuzzy Flip-Flop Based on Türkşen s Interval Valued Fuzzy Sets, Proc. of 7th International Symposium of Hungarian Researchers on Computational Intelligence, CINTI 2006, Budapest, Hungary, pp. 121-130. [L20] R. Lovassy and L. T. Kóczy: Non-associative Fuzzy Flip-Flop with Dual Set-Reset Feature, Proc. of 4th Serbian- Hungarian Joint Symposium on Intelligent Systems, SISY 2006, Subotica, Serbia, pp. 289-299. [L21] R. Lovassy and L. T. Kóczy: Fuzzy J-K Flip-Flops Based on Various "Classic" and Non-associative Norms, Buletinul ŞtiinŃific al UniversitaŃii "Politehnica" Vol. 51(65), No.1. Timişoara, Romania, 2006, pp. 11-18. [L22] R. Lovassy and L. T. Kóczy: Comparison of Elementary Fuzzy Sequential Digital Units Based on Various Popular T- norms and Co-norms, Proc. of 3rd Romanian-Hungarian Joint Symposium on Applied Computational Intelligence, SACI 2006, Timişoara, Romania, pp. 164-181. 12