RBF neurális hálózat alalmazása magasság meghatározására 1 Veres Gábor, a Budapesti Mûszai és Gazdaságtudományi Egyetem Általános- és Felsõgeodéziai Tanszé dotorandusza (E-mail: tsoa@sc.bme.hu) Bevezetés 1 A ci apcsolódi az OTKA T 030643 számú projethez A mesterséges neurális hálózato (Artificial Neural Networs ANNs) alalmazásai napjainban egyre szélesebb örben jelentezne. A mesterséges neurális hálózato ötlete, mûödési elve az idegsejtebõl építezõ, biológiai neurális hálózatoból származtatható. Az elsõ neuron modellt 1943-ban publiálta W. S. McCullogh és W. Pitts. A rólu elnevezett egyszerû neuron a beérezõ információat súlyozva összegzi, és ezt az értéet az ativációs függvénnyel vizsgálja. Az utóbbi éveben jelentõs elõrelépése történte a mesterséges intelligencia pl. alafelismerés, hangfelismerés megvalósításában. A neurális hálózato inább egyfajta modell családot jelentene, mint onrét eljárást. A mesterséges neurális hálózatona egy nagyon fontos tulajdonsága az, hogy adaptíva, a problémát nem programozással", hanem a példából, tanulással oldjá meg. [4] Az adatoból nyert információból épezne eredményt, melyne elõnye, hogy a megoldáshoz szüséges öztes információ száma csöenthetõ. Enne megfelelõen neurális hálózatot aor célszerû alalmazni, ha a probléma explicit módon nem írható le; ha valamilyen (sejtett) apcsolat áll fenn a bemenõ (input: x) adato és a imenõ (output: y) adato özött: y=f(x), de az f függvény ismeretlen. A megoldás itt nem az f függvény lesz, hanem egy olyan hálózat, amely hasonló imenõ adatoat szolgál, mint az f függvény, ugyanolyan bemenõ adato mellett. A [] szerint a neurális hálózato három legfontosabb tulajdonsága: a neurono rendezett topológiájú, összeapcsolt rendszerébõl áll; rendelezi tanulási algoritmussal; rendelezi a megtanult információ felhasználását lehetõvé tevõ információ elõhívási algoritmussal. A rendezett topológiában a rétegebe szervezett neurono özött aár a rétegen belül is apcsolato vanna. Ezen apcsolato segítségével adódna át az értée a neurono özött. A neurális hálózato alalmazása a térinformatiában nem újdonság hazánban sem, példa rá Barsi Á. cie [1], és az, hogy isebb moduloént megjelente a térépészeti szoftvereben is (pl. Surfer 7). Feladatu szerint a neurális hálózato egyi nagy csoportját épezi azon hálózato, melyeel adato özötti interpolációt hajthatun végre. A ciben egy választott hálózattípuson és egy egyszerû geodéziai példán eresztül megpróbálom bemutatni egy interpolációt végzõ neurális hálózat elõnyeit, hátrányait. A feladatot lényegében salár tere interpolációjára lehet visszavezetni, ahol a salároat a z oordinátá jelenti. Két behatárolható területen ismert x, y, z oordinátájú pontoból ell meghatároznun tetszõleges vagy ismert x, y oordinátához tartozó z értéeet. A meghatározandó z értée a behatárolt területen (szelvényben) helyezedne el. Kulcsszava: RBF, mesterséges neurális hálózato, interpoláció. Az RBF hálozat felépítése A radiális bázisfüggvény hálózatona (Radial Basis Function networs) egy bemeneti, egy rejtett és egy imeneti rétege van. Az RBF hálózato ét atív réteget tartalmazna, a bemeneti réteget nem szotu atívna nevezni. Az elsõ atív rétegbeli ativáló függvénye (Φ ) általában örszimmetrius függvénye, innen aptá nevüet. Egy hálózatban általában egyfajta örszimmetrius függvényt használna, de azo paraméterei neurononént változhatna. A másodi atív rétegbeli eleme a ráju jutó értée lineáris ombi- 5
nációból épezi a imeneti értéeet (1). A bemeneti réteg neuronjaina száma adja meg a bemeneti halmaz dimenzióját, a imeneti réteg neuronjaina száma a imeneti halmaz dimenzióját. Általános RBF hálózat felépítését az 1. ábra mutatja. 1. ábra. Általános RBF hálózat Egy általános RBF hálózat esetén a imeneti értée a övetezõéppen alaulna: o H () x = w Φ () x i i = 1 ( ) Φ ( x) =Φ x x (1) () ahol a Φ (x) az ativációs függvény; x pedig az ativációs függvény özéppont paramétere. A Φ (x) függvényént alalmazható minden örszimmetrius nemlineáris függvény, amelyben a változó a fent látható távolság függvény az eulideszi távolság: x x. A neurális hálózatoban lehetõség van további távolság definíció használatára is. Az RBF hálózatoban elterjedt örszimmetrius függvény például a multivadratius (3) vagy az inverz multivadratius (4) függvény, azonban legtöbbször a Gauss függvényeet (5) alalmazzá []. Φ ( x) = x + x x Φ ( x) = 1 ( x ) + x x i= l,...,p = l,...,h (3) (4) Φ () x = exp x x σ (5) A Gauss függvénye esetén egy új meghatározandó paraméter is jelentezi, a szélességparaméter (σ ). A szélességparamétere megválasztására Gauss függvénye esetén az interpoláció nem érzéeny, ebbõl adódóan esetleg minden rejtett rétegbeli neuronna ugyanazt a szélesség paramétert is adhatju []. Az RBF hálózat ialaításában alapvetõ fontosságú az ativáló függvénye számána (a rejtett rétegbeli processzáló eleme) és azo helyzeténe megválasztása. A rejtett rétegtõl elvárju, hogy helyileg, azaz egy lehatárolt bemeneti tartományra legyen atív [3]: Φ 0 ha x (6) Az ativáló függvénye helyzetét és szélességét legtöbbször egy laszterezõ eljárással határozzu meg. Itt használhatun algoritmius eljárást (például: K-means) vagy aár nem ellenõrzött tanulású eljárásoat (például: versengõ tanulás). A K-means algoritmus olyan laszter-özéppontoat határoz meg, ahol a tanító ponto és a hozzáju legözelebb esõ laszter-özépponto négyzetes távolságaina összege minimális. Véletlenszerûen meghatározun K laszter-özéppontot, majd az egyes tanítópontoat besorolju a hozzáju legözelebb esõ laszterbe. Eze után az egyes laszterebe sorolt eleme átlagából új laszter-özéppontoat épezün, és újra meghatározzu az eleme laszterbe tartozását. Mindezt addig folytatju, amíg az eleme laszterba sorolása nem változi. A nem ellenõrzött tanítást a neurális hálózatoban szélesörûen alalmazzá. Ilyen eljárás a versengõ tanulás. A nem ellenõrzött tanítás során nem állna rendelezésünre az adott bemenethez tartozó ívánt válaszo []. A versengõ tanulás során a laszterebe sorolás egy súlymátrix meghatározását jelenti. Az elsõ lépésben a véletlenszerûen felvett súlymátrixra iszámítju az egyes imeneti értéeet. A imeneti értée alapján iválasztju a legnagyobb értéel szolgáló elemet, a gyõztest. A gyõztes elem iválasztása után hajtju végre a súlymódosítást. A súlymódosítás csa a gyõztes értéet meghatározó súlyoat érinti (winner-taes-all), és a bemeneti érté felé módosít: S *l (t)=h(x l S * l ), (7) ahol S l a súlymátrix; x l a bementi vetor; t az iteráció száma; h alalmasan választott bátorsági tényezõ, értée 0 és 1 özött van; * a gyõztes e- 6
lem indexe. A ezdeti súlymátrix és a szélességi paraméter megválasztásában alalmazhatun feltételeet is, pl. szórás és várható érté megadása. A szélességi paramétere is változhatna az iteráció során, de használhatun végig állandó paramétereet is. Kellõen nagy számú iteráció után a súlyértée már csa nagyon icsit változna, és egy elõre megadott súlymódosító értéet vagy iteráció számot elérve az eljárás befejezõdi. A versengõ tanulás eljárásai a gyõztes iválasztásban ülönbözne, de mindig az atuális iteráció imeneti értéeibõl erülne meghatározásra. Legegyszerûbb esetben iválasztju a legnagyobb értéet: *=max(b ), (8) ahol b az egyes elemehez tartozó imeneti érté. A teljes hálózat mûödése ét vagy három fõ lépésre bontható. Jelen alalmazásban étlépcsõs mûödést használo. Az elsõ lépcsõ a hálózat tanítása, vagyis az optimális vagy anna vélt súlymátrix megtalálása, a másodi a onrét hálózat használata", mely után megapju a eresett értéeet. A tanítási fázis nagyságrendeel számításigényesebb, mint a hálózat alalmazása. Az alalmazott hálozat Az alalmazott hálózat bemeneti rétegében ét neuron található, mivel a bementi halmaz dimenziója:, a imeneti réteg neuronjaina száma: 1. Az alalmazott RBF hálózat felépítését a. ábra mutatja.. ábra. Az alalmazott RBF hálózat A. ábrán a bemenõ x, y vetoro (az 1. ábrán x 1 és x ) az adatállomány x, y oordinátáit reprezentáljá, a imenõ z vetor (az 1. ábrán o 1 ) a z oordinátáat. A bemenõ oordinátá özéppontohoz való rendelése és a özépponto szélességparaméteréne meghatározása nem ellenõrzött tanítású módszerrel (versengõ tanulás) történt. A maximális iteráció száma 1000 volt, a súlymódosítás minimuma pedig 0,001. A szélesség-paramétere állandóa (valamennyi neuronra 0,707), a ezdeti súlyoat véletlenszerûen vettem fel. A felügyelt tanítást a másodi, imenõ réteg végzi. A súlymódosítási módszer (Momentum) iválasztása után ez ét paraméter meghatározását igényli: a tanulási aránytényezõét és a momentum együtthatóét. A súlymódosítás a övetezõ összefüggéssel írható le: w(+1)=µ[ ()]+ηw() (9) ahol w() a -adi iteráció súlymátrixa; µ a tanulási aránytényezõ; η a momentum együttható, amelyne értée 0 és 1 özött van; () a gradiens módszerrel meghatározott súlymódosító érté. A gradiens módszer során a hibafelület minimumát eressü. A szüséges paramétere megválasztása (µ:,0 ; η: 0,9) után azo állandóa maradta valamennyi ésõbb alalmazott hálózat esetén. A µ tanulási aránytényezõ megválasztása fontos pontja a hálózat ialaításána. Szélsõ esteben: nagy érté esetén a onvergenciát ocáztatju; is érté esetén a hálózat lassú és számításigényes lesz. A paramétere iválasztása a mintatér segítségével, tapasztalati úton történt. A mintatere Az elsõ mintatér iválasztásánál az adathalmaz ellõ változéonysága volt az elsõdleges szempont. Az egyes interpolációs eljáráso használhatósága nyilván jobban megmutatozi egy változéony felszín esetén. Ezért a Szilás-hegység egy is szelvényébõl indultam i. A szelvény 31x31, azaz 961 pontot tartalmazott, a ponto egymástól egy 30 m-es négyzetrács rácspontjain helyezedne el. A legalacsonyabb magasságú pont 767, a legmagasabb 9 méter volt, az értée (torzítatlan) szórása: 38,1. A mintatérbõl véletlenszerûen iválasztott 81, 181, 81, 381, 481, 580, 680, 780, 880 pontoat ivéve a halmazból aptam a 880, 780, 680, 580, 480, 381, 81, 181, 81 tanítópontot tartalmazó halmazoat. A 880 tanítópontot tartalmazó hálózatohoz a iválasztott 81 pontot tesztpontént használju fel, ugyanígy a 780 tanítópontot tartalmazó hálózatohoz a iválasztott 181 pont lesz a teszt alapja. Az x és y oordinátá esetén a valós értéeet a halmazban elõforduló minimum értéel csöentettem, tehát a mintateret a síban eltoltam. 7
Enne célja a felesleges számításo elerülése volt. A hat és hétjegyû síoordinátá csa a számítási apacitást növeli, jelen esetben érdemi jelentésü nincs. Nyilván a eresett érté, a magasság teintetében már nem tehetjü meg, hogy iválasztju a magasság értées és optimális intervallumát. Alalmazhatun durva becslést, azonban az interpoláció finomítása", az értées régió ihasználása ellentétben van azzal, hogy a lehetõ legevesebb feltevést szeretnén tenni a feladat megoldása során. A z értée határo özé szorításával elveszthetjü a hálózat azon tulajdonságát, hogy esetleg a tanítóponto özött nem található minimumot vagy maximumot elérje hálózatun, ami a valóságban is elõfordulhat. Az RBF hálózato alalmazása esetén célszerû mindig az értée valamilyen normalizált alajával (0 és 1 vagy -1 és 1 özé esõ számoal) dolgozni. Ezzel tovább csöenthetõ a számítási igény, és az eulideszi távolság definíciójából levezethetõ hibáat is iüszöbölhetjü. Eredménye A hálózat használata során a számítási igénye teintetében beigazolódott, hogy a rejtett rétegben található eleme számána növelése alapvetõen megnöveli a számítási igényt, míg a 3. ábrán feltüntetett optimum határt (a 3. ábrán is öröel jelöltem) túllépve a tesztponto alapján mért eltérése értée érdemben nem csöen, sõt romli []. A valós és a tesztpontora apott z értée eltérését a értéel jellemezve: = i=l...n(z Σ i z RBF i ) n (10) 3. ábra. Hibafelület az elsõ mintatérre ahol n a tesztponto száma az egyes hálózato esetén, így a 3. ábrán látható hibafelületet apju. A hibáat ( ) a tanítóponto számána (Tpsz.) és a rejtett rétegbeli neurono számána (H) függvényében ábrázoltam. Tanítópont-halmazonént is örrel jelöltem a legedvezõbb értéet adó hálózatot. Az ábrából azt az alapvetõ trendet figyelhetjü meg, hogy minél több tanítópontun van, annál isebb lesz a rejtett rétegbeli neuronszámtól függõ legedvezõbb érté. Érdemes megfigyelni azonban, hogy ez nem mindig igaz (pl. a 680 és a 780 tanítóponthoz tartozó legedvezõbb értée: 6,6; 6,53), itt evesebb adatból iindulva jobb eredményhez jutun! Ez azzal magyarázható, hogy az egyi bemenõ adathalmaz jobban laszterizálható. Szintén a laszterizálással függ össze egy tanítópont-halmaz rejtett rétegbeli neuronszámtól függõ, felvett értée jelleggörbéje. Az ábrán a 880, 780, 680, 580 tanítóponthalmazhoz tartozó jelleggörbébõl hasonlóság figyelhetõ meg. A 3. ábrán, ahol a tanítóponto száma megegyezi a rejtett rétegben található neurono számával, valójában egy lineáris egyenletrendszer megoldásait eressü, ahol az egyenlete száma megegyezi az ismeretlene számával. Ez a megoldás fõleg evés tanítópont esetén indoolt. Nagy számú tanítópont esetén, ha minden tanítópont egyben egy függvényözéppont, aor a számítási igényt óriásira növelhetjü, tulajdonéppen feleslegesen, ahogy azt nemsoára látju. Ilyenor a hálózat tanító ponto özött végez interpolációt, úgy, hogy a tanító pontoban pontosan elõállítja a betanított értéet []. A rejtett rétegbeli neurono számána megválasztására bizonyos becsléseet tehetün, azonban általában próbálgatással, tapasztalati úton határozzá meg a feladatra optimális értéet. A rejtett rétegbeli neurono számána növelésével egyéb hálózati paraméter változatlanul hagyásával a tanítás számítási igénye gép idõben mérve jelentõsen nõtt, míg a érté másfélszeresére emeledett. A 880, 780 tanítópontú hálózatora a számítási igényt (t) és a rejtett rétegbeli neurono növelésével elért értéeet az 1. táblázat mutatja. (A számítási igény a övetezõ onfiguráció mellett értendõ, gépidõben: PIII, 900MHz, 18 Mb RAM) A 1. táblázatból megfigyelhetjü, hogy a legedvezõbb értéet szolgáltató rejtett rétegbeli neurono száma mellett a legrosszabbhoz épest a 8
Tanítóponto Rejtett rétegbeli t [m:s] száma neurono száma (H) 880 100 3:0 8,1 880 04:306,64 880 300 6:15 6,05 880 400 8:18 7,05 880 500 10:6 8,77 8806 013:15 8,7 1. táblázat számítási igény mintegy háromszorosára, illetve étszeresére változi. Hozzá ell tenni, hogy a hálózato tanítása után a teszte lefutása (a hálózat alalmazása) mindig 1 másodperc alatt volt! Felmerül a érdés, hogy mennyire jó az 1. táblázatban található értée. A apott eredmény nagyságrendileg nem jobb, mint egyes, már ismert interpolációs eljáráso, azonban mindenéppen életépese". A feladatra például rigeléssel apott eredményeet megvizsgálva tapasztalju, hogy egyes eseteben a neurális hálózatoal apott értée icsivel edvezõbbe, azonban ez nem általános, sõt szélsõ esetben a rigeléssel apott érté aár a fele is lehet az RBF hálózat eredményéne. Az RBF hálózatra apott értée a nagy ismeretlenszámú feladat esetén alaulna inább edvezõbben. Míg például a rigelésnél egyértelmûen megfogalmazható az eljárás [5], ugyanolyan bemenetnél, ugyanolyan lesz a imenet, addig a neurális hálózatonál ez legtöbbször nem igaz, a véletlenszerû iindulás miatt. A hálózat alalmazása a másodi mintatéren (sína teinthetõ területen) egy mási tulajdonságra hívja fel figyelmünet. A szelvény 30x30, azaz 900 pontot tartalmazott, a ponto egymástól egy 30 m-es négyzetrács rácspontjain helyezedne el. A sína teinthetõ mintatér z értéeine (torzítatlan) szórása 1,77 volt. Az így vizsgált RBF hálózato azt mutattá, hogy a tanítópontona az egyes özéppontohoz való rendelése jóval gyorsabb és hatéonyabb. A sí mintatérre alalmazott hálózato a megadott hibahatárt jóval hamarabb érté el. A 3. ábra analógiájára a sí területre a tanítóponto számána (Tpsz.) és a rejtett rétegbeli neurono számána (H) függvényében ábrázolt értéeet a 4. ábra mutatja. Tanítópont 8808 017:308,31 880 880 19:4 10,54 7801 0:43 7,65 780 00 4:08 6,89 7803 05:35 6,6 7804 07:7 6,53 7805 09:107,55 780 600 10:5 7,61 7807 01:46 7,91 780 780 14:19 9,11 4. ábra. Hibafelület a másodi mintatérre 8807 015:46 8,40csoportonént a legedvezõbb értéeet itt is is örö jelöli. A 4. ábrán látható, hogy az igen edvezõ értée evés özépponthoz tartozna, szemben az elõzõ mintatérnél mutatott átlagos 300 özéppont számhoz. A 4. ábrán a 400 rejtett rétegbeli neuron szám felett már nem ábrázoltam a értéeet. Az egyes hálózatona a ívánt pontosság mellett legtöbbször sierült az értéeet 30-50 özépponthoz hozzárendelni, ami a számítási igényt is csöenti. Közel azonos tanítópont és azonos rejtett rétegbeli neuron szám mellett a számítási igény evesebb, mint hetede, míg a érté evesebb, mint harmincada az elõzõ (hegyvidéi) mintatérben tapasztalt értéene. A bevezetõben említett behatárolható területrõl érdemes megemlíteni, hogy az interpoláció a területtõl csa nagy távolságban (b. 3000 m) szûni meg és alaul síá. Tapasztalatom szerint ezen sí magassága a magasság oordinátá számtani átlaga felé özelít. Összefoglalás Az adato özötti interpoláció megvalósítására a neurális hálózato új eszözzel szolgálta. Az egyi ilyen edvezõ tulajdonsággal rendelezõ mesterséges neurális hálózat az RBF (Radial Ba- 9
sis Function). A neurális hálózato adaptív módon oldjá meg az interpolációs feladatoat is. A hálózato ialaítása során számos eljárási lehetõség özül választhatun. A bemutatott tanított hálózato paramétereine száma 3*H+3, melybõl 4 paramétert ell meghatároznun, a többi az eljárás során adódi. Az RBF hálózat paramétereine megválasztására becsléseet tudun alalmazni, de azo függne a bemenõ adathalmaztól. A paraméterezés, iteratívan, tapasztalati úton történt. Két eltérõ jellegû mintatéren eresztül bemutattam az RBF hálózat fõbb tulajdonságait. Megfelelõ paraméterezéssel a hálózato interpolációs és extrapolációs épessége jó. A szüséges pontossági paramétereet néha evesebb tanítóponttal is el lehet érni, ami a jobb laszterbesorolás eredménye. Összességében megfogalmazható, hogy az RBF neurális hálózat interpolációs épessége alalmassá teszi magasság oordinátá meghatározására. IRODALOM [1] Barsi Árpád: Koordinátatranszformáció megoldása neurális hálózattal, Geodézia és Kartográfia, Budapest, LI, No. 10 pp. 1 18., 1999 [] Horváth Gábor (szeresztõ): Neurális hálózato és mûszai alalmazásai, egyetemi jegyzet, Mûegyetem Kiadó, Budapest, 1998 [3] Michael Bertold, David J. Hand (editors): Intelligent Data Analysis An Introduction, Springer-Verlag, 1999 [4] Mohamad H. Hassoun: Fundamentals of Artificial Neural Networs, MIT Press, 1995 [5] Steiner Ferenc: A geostatisztia alapjai, Tanönyviadó, Budapest, 1990 Using RBF neural networ for determining altitude coordinates G. Veres Summary For performing interpolation among data, neural networs have developed a new tool. A major feature of Artificial Neural Networs is that they are adaptive by nature, solving problems not by using algorithms but through a learning process using examples. Radial Basis Function is considered to be one of the artificial neural networs having such favourable features. It is a characteristic feature of neural networs to perform tass of interpolation in an adaptive way. When setting up networs you have the possibility to choose from among several approaches. A major feature of the said RBF networ is that it can determine the parameters, namely the centre of location and spread of the corresponding Gauss function by competitive learning. In the hidden layer you can find Gauss functions from which you can get the output values by weighting and adding the values obtained. For selecting the parameters for RBF networ you can use estimation, but the outcome of such estimations depends, of course, on the input data mass. Parameters are normally determined by experience, in an iterative way. So, what I really wanted to do in this short description was to demonstrate, through two sample spaces of different feature, the major characteristics of RBF networ. By properly selected parameters the interpolation and extrapolation capacities of such networs are considered to be good. Sometimes the required precision parameters can be achieved even by a lower number of teaching points a result attributable to better clustering. In summary, it can be concluded that RBF neutral networ, by its favourable interpolation capacity, can be applied as a suitable method for determining altitude coordinates. Hatályba lépett a 13.69/00. FVM FTF számú új F. Szabályzat. A 00. március 18-tól érvényes szabályzat ingyenesen letölthetõ a www.fomi.hu címrõl, illetve beszerezhetõ a Földmérési és Távérzéelési Intézetnél. 30