DIPLOMATERV. Neurális hálózatok alkalmazása a geodéziában. Zaletnyik Piroska

Átírás

1 Budapesti Műszaki és Gazdaságtudománi Egetem Építőmérnöki Kar Általános és Felsőgeodézia Tanszék DIPLOMATERV Neurális hálózatok alkalmazása a geodéziában Készítette: Zaletnik Piroska földmérő- és térinformatika szakos hallgató Konzulensek: Dr. Völgesi Lajos Dr. Paláncz Béla egetemi docens egetemi docens Általános és Felsőgeodézia Tanszék Fotogrammetria és Térinformatika Tanszék Budapest 003.

2 TARTALOMJEGYZÉK ELŐSZÓ BEVEZETÉS Geoidfelület közelítése EOV-WGS84 koordináta-transzformáció... 8 NEURÁLIS HÁLÓZATOK Kialakulás, definíció A neuronok felépítése A hálózatok felépítése Hálózatok tanítása Ellenőrzött tanulás Backpropagation hálózatok Radiál Bázis Függvénű (RBF) hálózatok Túltanulás Nem ellenőrzött tanulás Szoftverek a neurális hálózatokhoz Összefoglalás GEOIDFELÜLET KÖZELÍTÉSE Bevezetés Geoidfelület közelítése polinomokkal Közelítés neurális hálózattal Az alkalmazott hálózat A tesztelés eredméne Új neurális hálózat Eredmének, további lehetőségek A polinomos közelítés összehasonlítása a neurális hálózatokkal EOV WGS-84 KOORDINÁTA-TRANSZFORMÁCIÓ Bevezetés A feladat ismertetése A közelítés minősítésének kérdése Általános sorokkal történő transzformáció Általános sorokkal történő transzformáció segédvetületi rendszer (SVR) közbeiktatásával Átszámítás WGS-84-ből EOV-ba (transzformációs polinom egütthatóinak a meghatározása) EOV-ból WGS-84-be történő átszámítás (transzformációs polinom egütthatóinak a meghatározása) Eredmének értékelése Általános sorokkal történő transzformáció segédvetületi rendszer nélkül Transzformáció neurális hálózatokkal Alkalmazott hálózatok... 45

3 4.5. Transzformáció RBF hálózattal Transzformáció Backpropagation (BPN) hálózattal Skálázás Polinomok közelítése neurális hálózattal ÖSSZEFOGLALÁS HIVATKOZÁSOK MELLÉKLETEK M8 Polinom közelítésének tanuló- és tesztpontjai CD melléklet a számításokkal 3

4 ÁBRAJEGYZÉK 1. ábra, Neuron felépítése ábra Lépcsőfüggvén és telítéses lineáris aktivációs függvén ábra, Tangens hiperbolikusz és szigmoid aktivációs függvén ábra, RBF neuron felépítése ábra RBF aktivációs függvén ábra Neurális hálózat szerkezete ábra Ábrázolás gráffal ábra Túltanulás ábra Példa alultanításra (a), megfelelő tanításra (b) és túltanításra (c) ábra Polinomos közelítés hibáinak hisztogramja ábra A geoidfelület közelítésére alkalmazott hálózat ábra A geoidfelület közelítése 1. rendű neurális hálózattal ábra A geoidfelület közelítése 4. rendű neurális hálózattal ábra 1. és 4. rendű hálózatok hibáinak hisztogramja ábra A 4. rendű neurális hálózattal közelített felület eltérései a geoidfelülettől ábra A romániai nag eltérésű területet levágó egenes ábra Az új 1. és 4. rendű hálózatok hibáinak hisztogramja ábra Eltérések az eredeti (HGTUB000) geoid magasságok és a neurális hálózattal közelített magasságok között ábra Polinomos (a) és neurális hálózatokkal való közelítés (b) hibáinak a hisztogramja ábra Ellipszoidi földrajzi koordináta rendszer (Krauter, 1995) ábra Egséges Országos Vetület (EOV) (Krauter, 1995) ábra Azonos pontok az EOV rendszerben ábra A tesztpontok elhelezkedése az oda-vissza transzformációhoz ábra Polinom és a közelítéséhez használt neurális hálózat meghatározandó paramétereinek a száma

5 Előszó Előszó A dolgozatomban eg viszonlag új informatikai eszköznek, a mesterséges intelligencia témakörébe tartozó neurális hálózatoknak a geodéziai alkalmazhatóságát vizsgáltam meg. Ezekre a hálózatokra jellemző, hog tanulás útján képesek megoldást találni különböző problémákra, pl. osztálozás, függvénközelítés. Ez utóbbi tulajdonságát használtam fel én is a geodéziai problémák megoldása során és hasonlítottam össze ezt az új módszert a hagomános megoldási eljárásokkal. A dolgozatom bevezetésében röviden ismertetem a neurális hálózatok jelentőségét és a lehetséges geodéziai alkalmazások területeit. A második részében áttekintést adok a neurális hálózatok kialakulásáról, felépítéséről, működéséről és fajtáiról, különös tekintettel az általam is alkalmazott hálózattípusokra. A harmadik részben megvizsgálom milen pontossággal illeszthető a rendelkezésre álló magarországi geoid adatbázisra felületdarab polinomos közelítéssel, illetve neurális hálózatok felhasználásával. Ez tulajdonképpen eg felület közelítése, adattömörítéssel. Az itt leírt módszert uganíg lehet alkalmazni akár digitális domborzat modellezésre is, melnek a térinformatika szempontjából van nag jelentősége. A negedik részben pedig az EOV és a WGS-84 rendszerek közötti koordináta-transzformáció megoldását vizsgálom meg különböző neurális hálózatokkal és hasonlítom össze ezt a hagomános hatvánpolinomos eljárással, a rendelkezésemre álló 43 azonos pont alapján. Végül összefoglalom az eredméneket és elemzem, hog milen esetekben érdemes ezt az új módszert használni, mikor lehet a segítségével a pontosságot jelentősen megnövelni. Uganakkor azt is ismertetetem, hog milen veszélei lehetnek a neurális hálózatok alkalmazásának (pl. kevés adatnál a túltanulás veszéle), és mikor jobb, ha a hagomános módszereknél maradunk. Szeretném megköszönni a két konzulensemnek a szakmai támogatását és segítségét a munkám során, Paláncz Béla egetemi docensnek a Fotogrammetria és Térinformatika Tanszékről és Völgesi Lajos egetemi docensnek az Általános és Felsőgeodézia Tanszékről. 5

6 Bevezetés 1 Bevezetés Az informatika fejlődése nag hatással van az összes tudománterület, íg a geodézia fejlődésére is. Napjainkban egre modernebb számítógépek jelennek meg, melekkel korábban megoldhatatlannak látszó problémák is kezelhetővé válnak. Az utóbbi évszázadban a geodéziának minden szakterülete tökéletesen átalakult az új technológiáknak köszönhetően. A hagomános teodolitokat felváltották az elektronikus teodolitok. Ezzel jelentősen lecsökkent mind a mérés, mind a feldolgozás ideje. Már nincs szükség a terepen kézzel írott jegzőkönvekre, hiszen a műszer rögzít minden mérési adatot, melek azután egszerűbben és hatékonabban feldolgozhatóak számítógéppel. Egre nagobb teret hódítanak a digitális térképek is, szemben a hagomános papír alapú térképekkel. Egszerűbb lett a térképek tárolása, sokszorosítása, különböző méretaránban történő megjelenítése. A földhivatalokban az adatokat már digitálisan tartják nilván, nincs szükség hatalmas irattárakra, egszerűbb az adatok lekérdezése, ellenőrzése, aktualizálása. Egre jobban terjednek a térinformatikai rendszerek, meleket a legkülönbözőbb területeken lehet felhasználni (pl. közművek nilvántartása, körnezetvédelem, mérnöki tervezés, közigazgatás, turizmus stb.) Sorolhatnám még sokáig ezeket a változásokat, de célom ezekkel a példákkal most csak az volt, hog felhívjam a figelmet arra mennire fontos figelemmel kísérni az informatika fejlődését, lépést tartani az új módszerekkel és eljárásokkal, hiszen ezek forradalmasíthatják a geodéziát. Ennek a fontosságát szem előtt tartva igekeztem ebben a dolgozatban megvizsgálni eg viszonlag új számítástechnikai eszköznek, a mesterséges intelligencia körébe tartozó neurális hálózatoknak a geodéziai felhasználhatóságát, összehasonlítva hagomános módszerekkel. A mesterséges intelligencia egfelől egfajta műszaki tudomán, amelnek feladata eg adott működés létrehozása minél jobb minőségben, mesterségesen megvalósítható és reprodukálható eszközökkel. Jobb híján erre a célra jelenleg a számítógépet használjuk. Másfelől a mesterséges intelligencia a természettudomános megismerés eg újfajta eszközének is tekinthető, amenniben lehetőséget ad arra, hog az ember gondolkodási mechanizmusairól szóló ismereteinket modellezzük a segítségével. (Mérő, 1989) A tisztán műszaki gondolkodásmód alapján készített mesterséges intelligencia programok (pl. társalkodó programok) képtelenek voltak átlépni eg bizonos határt, amit az emberi gondolkodás können túlszárnalt. Ez késztette a kutatókat arra, hog tanulmánozzák az emberi gondolkodás mechanizmusait. Íg alakultak ki a mesterséges neurális hálózatok is. A nagon egszerű felépítésű idegsejtet tanulmánozva feltűnt, hog uganolan ill. hasonló sejtek különböző hálózatokba szerveződve nagon sokféle feladatot képesek megoldani. Ennek az informatikai megvalósítása a mesterséges neurális hálózat, amel, akárcsak az ember, tanulás útján képes megoldást találni különböző problémákra. 6

7 Bevezetés Ezek a rendszerek képesek olan feladatokat megoldani, amelek csak igen nehezen algoritmizálhatóak bonolultságuk, vag az összefüggések ismeretének a hiána miatt. Megoldhatóak velük pl. olan feladatok, ameleknél nem ismerjük a kapcsolatot a bemenő és a kimenő adatok között csak sejtjük, hog van valami összefüggés. Jellegzetes felhasználási területei pl. a szöveg-, beszéd- és hangfelismerés és optimalizálás. Felhasználása a geodézián belül is igen széleskörű. Neurális hálózatokat osztálozási feladatok megoldására is kiválóan lehet használni. A geodéziában például multispektrális távérzékelési képek feldolgozására, ahol a hálózat képes megtanulni, hog mi tartozik az eges osztálokba (pl. szántó, erdő, vízfelület stb), és képes az egész képet önállóan osztálokba sorolni. Persze az osztálozás pontosságának a minősítéséhez tesztterületekre is szükség van. Igen fontos jellegzetessége még ezeknek a hálózatoknak az approimációs vag leképzést közelítő tulajdonság. Ennek segítségével bármilen foltonos függvént közelíthetünk velük ill. meghatározhatunk összetartozó be és kimeneti értékek (tanuló adatok) alapján ismeretlen leképzési függvéneket pl. a legkisebb négzetek módszerét alkalmazva. Ezt a tulajdonságát lehet felhasználni a koordináta-transzformációk meghatározása során, ill. valamilen felület, jelen esetben pl. a geoid felület közelítése esetén is, de a térinformatikában is igen hasznos lehet ez a digitális domborzatmodellek előállításakor. Ezenkívül igen jól használhatók még optimalizálásra, alak és hangfelismerésre is. Ez a fotogrammetriában is alkalmazható a légi felvételeken az illesztőpontok, pl. az útkereszteződések felismerése során. Már több geodéziai célú alkalmazás is készült. Pl. térbeli derékszögű koordináta-transzformáció meghatározására (Barsi 1999), osztálozási feladatra (Barsi, 1997), magasságok meghatározására (Veres 00), és készült vizsgálat a neurális hálózatok térinformatikai (GIS) függvénként történő alkalmazására is (Sárköz, 1998). Látható, hog a geodézián belül is igen sokrétűen lehet felhasználni a neurális hálózatokat, azonban ügelnünk kell arra, hog ne tekintsük ezt a módszert eg univerzálisan mindenre használható eszköznek, mivel bizonos esetekben előfordulhat, hog olan feladatnál alkalmazzuk, melekre sokkal jobb, hagomános módszerek is léteznek. Én két aktuális problémán keresztül vizsgáltam meg a neurális hálózatok alkalmazását, és arra kerestem választ, hog ténlegesen jobb eredmént érhetünke el ezzel az új módszerrel, mint a hagomános megoldásokkal. Illetve, hol és mikor érdemes ezt a módszert alkalmazni és milen veszéleket rejthet magában, amire oda kell figelni. A vizsgált két probléma a magarországi geoidfelület közelítése illetve EOV- WGS-84 koordináta-transzformáció volt. 7

8 1.1 Geoidfelület közelítése Bevezetés Manapság egre jobban terjednek a GPS mérések. Ezekből a mérésekből ellipszoid feletti magasságot tudunk meghatározni. A mérnöki gakorlatban azonban többnire tengerszint feletti (vagis geoid feletti) magassággal dolgozunk. A kettő közötti átszámításhoz ismerni kell a geoid-ellipszoid távolságát, vagis a geoid unduláció értékét. Rendelkezésünkre áll korábbi kutatások eredméneként eg Magarország területére meghatározott (HGTUB000) gravimetriai geoidmegoldás (Tóth, Rózsa 000). Ez a ϕ 49, 16 λ < 3 nagságú területen tartalmazza a geoidellipszoid távolságokat ϕ=0 30 λ= 0 50 felbontással. A geoidunduláció értéke a mérés helén meghatározható interpolálással az ismert rácsháló pontjait felhasználva. Ez az adatbázis viszont igen sok adatot tartalmaz (11680 pont), és íg nem túl egszerű a használata terepen. Sokkal könnebb, ha csak egetlen függvént kell helette alkalmazni, ami bármilen programozási nelven können leírható és beprogramozható akár eg GPS vevőbe is. Íg a feladat tulajdonképpen eg felület közelítése regresszióval. Ez történhet a már ismert módon polinomokkal, vag akár neurális hálózatokkal is. Ezeknek az alkalmazhatóságát, pontosságát vizsgáltam. Munkám célja az volt, hog olan függvént állítsak elő, amel megfelelő pontossággal közelíti meg a geoid felületét Magarország területén. Eg ilen függvénnek igen jelentős gakorlati haszna lehet. Ezt a problémát eg TDK dolgozat keretében kezdtem el vizsgálni 00-ben, Völgesi Lajos és Paláncz Béla vizsgálatait foltatva (Paláncz, Völgesi 00). 1. EOV-WGS84 koordináta-transzformáció Magarországon ma egszerre több koordináta rendszert is használnak. A két leggakrabban alkalmazott rendszer a GPS mérések koordináta rendszere, a WGS- 84 és az EOV (Egséges Országos Vetületi) rendszer. Éppen ezért a két koordináta rendszer közötti átszámításokra gakran van szükség. Szabatos vetületi átszámítást lehet végezni két vetületi rendszer között, ha azonos az alapfelület és mindkét vetületen uganaz az egséges háromszögelési hálózat ill. annak eg-eg része van ábrázolva. Jelen esetben azonban erre nincs lehetőségünk, mivel a GPS mérések alapfelülete a WGS-84 ellipszoid, az EOV alapfelülete pedig az IUGG/1967 ellipszoidhoz simuló új magarországi Gaussgömb. Eltérő háromszögelési hálózatok vag az alapfelületek különbözősége esetén az átszámítás azonos pontok (melek koordinátái mindkét vetületi rendszerben ismertek) alapján történhet, pl. általános sorokkal (ill. eg másik elnevezés szerint hatvánpolinomokkal). Jelen esetben 43 azonos pont állt rendelkezésemre. Ezek alapján határoztam meg az 5. fokú polinommal való közelítés egütthatóit, illetve 8

9 Neurális hálózatok vizsgáltam meg a transzformációt neurális hálózatokkal, remélve, hog ezzel az utóbbival jobb transzformációt tudok előállítani. Neurális hálózatok A következőkben a teljesség igéne nélkül a dolgozatban alkalmazott, felhasznált fogalmakat ismertetetem..1 Kialakulás, definíció A mesterséges neurális hálózatok megalkotásához a biológiai ismeretek, illetve az idegsejt működésének a pontosabb megismerése vezetett. Az első mesterséges neuront a Perceptron-t Rosenblatt alkotta meg 1958-ban. Eleinte nagon ígéretesnek tűntek a kutatási eredmének, de eg elismert szaktekintél téves vélekedése miatt a kutatások minteg húsz évre szüneteltek a témában. A nolcvanas évek második felétől indultak be újra a vizsgálódások a neurális hálózatokkal kapcsolatban, amikor eg nagon fontos tanulási algoritmust (a backpropagation algoritmust) felfedezték. Azóta a neurális hálózatokkal kapcsolatos tudománterületek igen gors ütemben fejlődnek. Mivel ez eg viszonlag új terület, még ma is sok kérdés vár válaszra, íg a kutatókra még fontos feladatok várnak. Neurális hálózatnak nevezzük azokat a párhuzamos információfeldolgozásra alkalmas eszközöket, melek (Horváth 1995): azonos vag hasonló műveleti elemekből, ún. neuronokból állnak, rendelkeznek tanulási algoritmussal és rendelkeznek a megtanult információt előhívó algoritmussal. A neurális hálózatok működése két szakaszra bontható, az első a tanulás, a második a megtanult információ előhívása, alkalmazása. Az első szakasz eg lassú folamat, amel többnire sok iterációs lépésen keresztül történik, esetleg többszöri inicializálással az optimum elérése érdekében. A második szakasz sokkal gorsabb, ennek köszönhető a hálózatok jó alkalmazhatósága.. A neuronok felépítése A neurális hálózatok alapelemei a neuronok, meleket neveznek még műveleti elemeknek ill. csomópontoknak is. Ezek párhuzamos információfeldolgozásra képes elemek. Eg neuron több bemenettel és eg kimenettel rendelkezik. A neuron meghatározza a bementi komponensek súlozott összegét és ezen végrehajt valamilen nem lineáris leképzést. Ez utóbbit nevezik aktivációs, transzfer vag aktiváló függvénnek. A végeredmén a neuron kimeneti jele. Ez eg általános 9

10 Neurális hálózatok neuron működése. Eg másik változat a lineáris összegzést megvalósító neuron, amikor nem történik nemlineáris leképzés. Amit tekinthetünk úg is, hog az aktivációs függvén az identitás. Ezt általában csak eg nagobb hálózat kimeneteinek az előállítására használják. 1 w w 1 s f(s) w n n 1. ábra, Neuron felépítése A fenti ábrán a neuron bemeneteit i jelöli, a kimeneti jel pedig. Először a bemeneti jelek súlozott összegei kerülnek meghatározásra: N s = wi i i=0 = w T Lineáris összegzést megvalósító neuron esetében ez már egben a neuron kimeneti jele is: = s = w T Nem lineáris esetben a neuron kimeneti jele a következő: = f ( s) = f ( w T ) ahol f(s) az aktivációs függvén. Erre a célra többféle függvéntípus használata is elterjedt. A nég leggakrabban alkalmazott függvén a lépcső- vag szignumfüggvén, a telítéses lineáris függvén, a tangens hiperbolikusz függvén és a szigmoid függvén. 10

11 Neurális hálózatok. ábra Lépcsőfüggvén és telítéses lineáris aktivációs függvén 3. ábra, Tangens hiperbolikusz és szigmoid aktivációs függvén Eg másik elterjedt neuron típust használnak az ún. RBF (Radial Basis Function =radiál bázisú függvén) hálózatokban. 1 f(1,,...n) n 4. ábra, RBF neuron felépítése 11

12 Neurális hálózatok Ennél a típusnál elmarad a lineáris összegzés, az összes bemenet közvetlenül az aktivációs függvénbe kerül, mel több bemenet esetén többváltozós függvén lesz. Az itt alkalmazott függvéntípus a Gauss-féle haranggörbe. 5. ábra RBF aktivációs függvén A kimenet ebben az esetben eg a neuronra jellemző paraméter, a c vektor (középpont) és a bemeneti vektor távolságának (u) ill. a másik paraméter a görbe lapultságára/szélességére jellemző σ függvéne. Szoktak más távolságfogalmakat is használni a függvénben, nemcsak az euklideszi metrikát..3 A hálózatok felépítése A neurális hálózatok az előzőekben ismertetett neuronokból épülnek fel. Közöttük eg meghatározott szerkezeti kapcsolat, topológia szerint összeköttetések vannak. Ezek az összeköttetések az ún. feedforward típusú hálózatok (FFN) esetén egiránú kapcsolatot jelentenek a bemenetek felől a kimenetek felé. Ezeket a hálózatokat úg lehet szemléltetni, mint eg több rétegből álló rendszert, ahol a rétegekben a csomópontok, azaz a neuronok helezkednek el. Ezek a rétegek a következők: bemeneti réteg, eg vag több rejtett réteg és eg kimeneti réteg. Az azonos rétegekben elhelezkedő neuronok nincsenek kapcsolatban egmással (ez ad lehetőséget a már korábban említett párhuzamos feldolgozásra). A következő ábra eg általános, eg rejtett réteget tartalmazó hálózatot ábrázol. 1

13 Neurális hálózatok 1 n Bemeneti réteg Rejtett réteg 1 Kimeneti réteg 6. ábra Neurális hálózat szerkezete A bemeneti réteg eltér a többitől, mivel ez nem eg aktív réteg, itt a neuronokban nincs átalakítás, ezek csupán mindenféle változás nélkül bemenetként szolgálnak az első aktív réteg neuronjai számára. Az ábrán az első aktív réteg a rejtett réteg. Itt megtörténik az előzőekben ismertetett jelátalakítás a neuron típusától függően. A kimeneti réteg szintén eg aktív réteg, itt általában csak lineáris összegzés történik, de itt is lehet nemlineáris kimenetet használni, pl. szigmoid aktivációs függvént vag telítéses lineáris függvént. Rejtett rétegből több is lehet, sőt akár el is maradhat, ami mindenképpen része a hálózatnak, az a bemeneti és a kimeneti réteg. Az RBF hálózat szerkezete kötöttebb ennél, itt uganis csak eg rejtett réteget lehet használni. A bemeneti rétegen szoktak még eg konstans bemenetet (eltolást) biztosító plusz neuront is alkalmazni ( 0 ), ezt nevezzük bias -nak. A hálózat kapcsolatainak a leírása történhet iránított gráffal, vag mátri segítségével. Nézzük meg ezt a kétféle ábrázolást eg példán bemutatva, ahol 1 bemeneti neuron van, 3 rejtett rétegbeli neuron, 1 kimeneti neuron és eg plusz neuron, a konstans bemenetet biztosító bias. 13

14 Neurális hálózatok w 0 0=1 0 1 w 3 4 w 5 w w 50 5 w 53 1 w w1 w31 41 w 54 w w W = w w w W R = w w w w w w w w w w w ábra Ábrázolás gráffal W K = w 50 w5 w53 w54 A fenti ábrán w ij jelöli az eges súlokat. Ez az i-edik neuron bemenetét a j- edik neuron kimenetével összekapcsoló súl. Általános jelölés szerint az első inde mindig a követő neuronra utal, a második pedig a megelőző neuron indee. Ezt lehet eg nag mátriban (W) is ábrázolni (ahol 0 elem található a mátriban, azok a neuronok nincsenek összekapcsolva), de lehet rétegek szerint szétbontva is (W R a rejtett réteghez tartózó súlok mátria, W K a kimeneti réteghez tartozó súlok mátria). 0 =1 a konstans bemenetet biztosító plusz neuron, a bias. Az íg meghatározandó súlok száma 10 (*3 súl tartozik a rejtett réteghez, az eg bemenő csomópontot és a bias-t a 3 rejtett rétegbeli neuronnal összekapcsoló súlok alapján, és 31 tartozik a kimeneti réteg neuronjához, 3 súl a rejtett rétegbeli neuronok és 1 a bias alapján). Nézzük meg, hog mi lesz a neurális hálózat kimenete, ha a rejtett rétegben szigmoid aktivációs függvént alkalmazunk, a kimeneti rétegben pedig eg lineáris összegzést megvalósító neuront. Először a bemeneti jelek s súlozott összegei kerülnek meghatározásra a rejtett réteg neuronjaiban: s =w 1 1 w 0 s 3 =w 31 1 w 30 s 4 =w 41 1 w 40 vag s = w R 0 1, ahol = = 1 1 Ezután az aktivációs függvénnel történik meg a nemlineáris leképzés az előzőekben meghatározott s értékekkel. Jelen esetben az aktivációs függvén f,a szigmoid függvén. 14

15 Neurális hálózatok A rejtett réteg kimeneti jelei íg a következők lesznek: = 1 e 1 R w w 1 = w 1 e 1 1 R 3 w = 1 e R 4 w w vag R = f () s A kimeneti rétegben csak lineáris összegzés történik, íg hálózat kimeneti értéke, a biast is figelembe véve a következő lesz: = w w w 1 e w w w 11 w0 w311 w30 1 e 1 w e A neurális hálózat tanítási algoritmusa ezeket a w ij súlokat állítja elő eg konvergens iteratív eljárással a rendelkezésre álló, összetartozó, értékpárok, a tanító adatok alapján, úg, hog a hálózat bemenethez tartozó kimenete minél jobban megközelítse a tanító értékpárok kimeneti értékét..4 Hálózatok tanítása A neurális hálózatok fontos tulajdonsága a tanulási vag adaptációs képesség. Ez azt jelenti, hog a hálózat a tanulás során képes módosítani a paramétereit, annak érdekében, hog eg kívánt célt, működést elérjen. A neurális hálózatok tervezése több lépésben történik. 1) Hálózat szerkezetének megtervezése (rétegszám, neuronok száma, aktivációs függvén típusának megválasztása) ) Tanító és tesztpontok kiválasztása 3) Hálózat tanítása 4) Tesztelés A hálózat szerkezetének jó kialakítása fontos feladat, mert később a tanulás során a rendszer ezt nem változtatja, csak a neuronokhoz tartozó súlokat, paramétereket módosítja. Tehát tulajdonképpen eg általunk meghatározott modellt próbál meg minél jobban illeszteni eg adott feladathoz. Ám arra, hog mekkora (hán rétegből és rétegenként hán neuronból álló) hálózatot válasszunk, hogan 15

16 Neurális hálózatok vegük fel a kezdeti súlokat és válasszuk ki a tanító és tesztpontokat jelenleg nincs egértelmű szabál. Ezekre leginkább csak tapasztalati válasz adható. Az RBF hálózatoknál csak eg rejtett réteget lehet alkalmazni, és itt a neuronszámot lehet változtatni. Az adott feladat igéneit legjobban kielégítő hálózati szerkezetet kétféle módon határozhatjuk meg. Ki lehet indulni eg nagobb hálózatból, amiről bizonos tapasztalatok alapján tudjuk hog elegendő lesz, és ezután csökkentjük a neuronszámot amennire lehet. Vag megpróbálhatjuk kisebb hálózattal megoldani a feladatot, és ha ez nem meg, akkor növelni a neuronszámot. Szerintem először érdemes kisebb neuronszámmal próbálkozni, mert túl sok esetében nagon nag lesz a memória igén és a számítások is lassúak lesznek, sőt fennáll a hálózatok túltanulásának a veszéle. Ha a felvett hálózat nem képes megfelelő pontossággal megtanulni az adott problémát, akkor érdemes próbálkozni a neuronok számának a növelésével. Törekedni kell a lehető legnagobb pontosságra, a lehető legegszerűbb hálózatszerkezet mellett. A tanulás lehet: ellenőrzött vag felügelt tanulás, nem ellenőrzött vag felügelet nélküli tanulás..4.1 Ellenőrzött tanulás Ebben az esetben rendelkezésünkre állnak összetartozó be és kimeneti értékpárok, vag tanító adatok. Ezek alapján próbálunk meg kialakítani eg olan hálózat szerkezetet, amivel a lehető legjobban tudjuk közelíteni az adatokat. A tanulás eg konvergens iteratív eljárás alapján történik, amikor a rendszer meghatározza a legkedvezőbb súlokat, paramétereket a tanító adatok alapján úg, hog a hálózat kimeneti értékei minél jobban közelítsék meg a ténleges kimeneti értékeket. Itt tulajdonképpen eg optimum vag szélsőérték (minimum) meghatározásról van szó, többnire a legkisebb négzetek módszere alapján, mivel a tanító adatok száma általában jóval meghaladja az ismeretlen paraméterek számát (regresszió). A hálózat tanulása nagmértékben függ a súlok kezdeti értékétől, íg érdemes többszöri inicializálással felvenni ezeket és megismételni a tanítási folamatot. A tanítás iterációs lépései során az aktuális súlokat valamilen korrekcióval módosítják, a megfigelt hálózati hibák alapján. Ez a folamat addig tart, amíg a hálózat elér eg hiba minimumot. Ekkor befejeződik a tanítás. Mivel itt eg minimum kereséséről van szó, ezért érdemes a többszöri inicializálás és újra tanítás, mert lehetséges, hog eg másik kezdeti súlfelvétel után jobb eredmént ér el a hálózat Backpropagation hálózatok A leggakrabban alkalmazott tanítási algoritmus a backpropagation (hibavisszaterjesztéses) algoritmus és ennek különböző változatai. Ezt lehet általánosan 16

17 Neurális hálózatok alkalmazni többrétegű (multilaer perceptron, MLP) hálózatok tanítására. Az alkalmazott aktivációs függvén itt leggakrabban a szigmoid függvén, de lehet használni nemlinearitásként a tangens hiperbolikusz függvént is. Az alap algoritmusnak számos változata alakult ki, melek a konvergencia gorsítását ill. a lokális hibaminimumokba való beragadás elkerülését szolgálják. Ilen változatok például a momentum módszer és a Kalman szűrőn alapuló eljárás Radiál Bázis Függvénű (RBF) hálózatok A backpropagation (BPN) hálózatok hátrána a viszonlag lassú tanulás. Ez főleg nag adatmenniség esetén okoz nehézségeket. A radiális bázis függvénű (RBF) hálózatok előne, hog kevesebb iteráció szükséges a tanulás során, íg lénegesen gorsabb a folamat. Ezeknek a hálózatoknak egszerű a felépítése, csak két aktív rétegük van: eg rejtett réteg és a kimeneti réteg. A rejtett rétegben alkalmazott aktivációs függvén valamilen forgásszimmetrikus függvén, melnek a két paramétere a középpont- és a szélesség vag lapultság paramétere. Leggakrabban a Gauss-féle haranggörbét alkalmazzák a rejtett rétegben aktivációs függvénként: A hálózat kompleitása a rejtett rétegbeli neuronok számától függ. A kimeneti réteg neuronjai már csak az RBF függvének lineáris kombinációját valósítják meg. Az RBF hálózatoknál nagon fontos a középpontok számának és helének meghatározása. Az RBF hálózatokkal történő függvénközelítés a hálózatok szélességparaméterére kevésbé érzéken, íg sokszor ezt minden neuronnál azonos értékűnek veszik fel. Ennek a két paraméternek a meghatározására több módszer is elterjedt. Nag számú tanítópont esetén a pontokat csoportokba foglalják és minden eges csoportnak meghatároznak eg-eg reprezentatív középpontot. Ez a csoportosítás v. klaszterizálás történhet nem ellenőrzött tanítással, melről a következő részben lesz szó, ill. egéb algoritmussal, pl. az ún. K-átlagképző (K-means) eljárással. A K-átlagképző eljárás lénege, hog úg határoz meg K darab klaszterközéppontot, hog a tanítópontok távolságának a négzetösszege a hozzájuk legközelebb eső klaszterközéppontoktól minimális legen. Először felveszünk véletlenszerűen K darab középpontot, majd meghatározzuk minden tanítópontra, hog melikhez vannak legközelebb, ezek fognak eg csoportot vag klasztert alkotni. Ezután új klaszterközéppontokat határozunk meg az eg csoportba tartozó tanítópontok átlagaként, az eljárást addig ismételjük, amíg a tanítópontok klaszterba sorolása már nem változik Túltanulás Eg neurális hálózattól azt várjuk el, hog ne csak a tanítópontokban, hanem a tanítópontok között is jó közelítést adjon. A tanítópontok mellett ezért szükség van tesztpontokra is, hog minősíteni tudjuk a hálózatokat. A tesztpontok olan pontok, meleket nem használtunk fel a tanítás során, de ismertek az összetartozó be és kimeneti értékeik. Megfelelően sok neuron felvétele esetén mind az MLP, mind az RBF hálózatok alkalmasak interpolációra, vagis tökéletesen meg tudják tanulni a 17

18 Neurális hálózatok tanítópontok adatait. Ha nincsenek tesztpontjaink az ellenőrzéshez, akkor viszont können túltaníthatjuk a hálózatot. A túltanítás azt jelenti, hog míg a tanítópontok hibája egre csökken, addig a tesztpontok hibája egre nagobb lesz, a hálózat túlzottan illeszkedik a tanítópontokra. Ezt úg lehet elképzelni, mint polinomos regressziónál, ha kevés pontra illesztünk nag fokszámú polinomot. Kimenet Túlzott illeszkedés Tanítópontok 8. ábra Túltanulás Bemenet Nézzünk meg eg egszerű egváltozós példát a hálózatok alul és túltanulására. 9. ábra Példa alultanításra (a), megfelelő tanításra (b) és túltanításra (c) Ebben a példában 0 tanító adat állt rendelkezésre. Az első képen neuront alkalmaztam a tanításra, a másodikon 3-at a harmadikon pedig 40-et. Látszik, hog túl kevés neuron esetében még nem tudta megtanulni a hálózat a kapcsolatot 18

19 Neurális hálózatok megfelelő pontossággal. 3 neuron esetében kis eltéréseket kaptunk a tanítópontokban és nagon jó a hálózat általánosító képessége. Túl sok neuron esetében pedig a tesztpontokra tökéletesen illeszkedik a görbe, viszont rossz az általánosító képessége, különösen az intervallum szélein és íg nem túl jól alkalmazható a tanítópontokon kívül..4. Nem ellenőrzött tanulás A neurális hálózatok tanításának másik módja a nem ellenőrzött vag nem felügelt tanítás. Ellenőrzött vag felügelt tanításnál összetartozó értékpárok voltak adottak és ezek alapján határoztuk meg a hálózat súlait, hog minél jobban közelítsék meg a kívánt kimeneteket. A nem felügelt tanításnál nem ismerjük a bemenetekhez tartozó kívánt válaszokat. Nincs ellenőrzési lehetőségünk, hog jól működik-e a hálózat. A bemenetek alapján kell kideríteni, hog van-e közöttük valami hasonlóság, ami alapján osztálokba vag klaszterekbe lehetne sorolni őket. Hasonlóan az előzőekben ismertetett K-means algoritmushoz, itt is klasztereket és klaszterközéppontokat kell meghatározni. Először meg kell határozni, hog hán osztálba szeretnénk sorolni az adatokat, majd mindegik osztálhoz meg kell határozni eg középpontot és a hozzájuk legközelebb eső adatok esnek ebbe a klaszterbe. Ezek után módosulnak a klaszterközéppontok és ismétlődik az eljárás amíg már nem történik változás. Előfordulhat, hog a szükségesnél több osztált adtunk meg, és üres osztálok jönnek létre. Az ezekhez tartozó középpontok, a halott csomópontok, vag kódvektorok. Nem felügelt tanítású hálózatoknál lehetőség van ezeknek a halott csomópontoknak az eltávolítására is. Ezt a módszert is lehet alkalmazni az RBF hálózatok középpontjainak a meghatározására..5 Szoftverek a neurális hálózatokhoz Neurális hálózatok felépítéséhez több szoftver is létezik. Vannak kifejezetten neurális hálózatokra kifejlesztett szoftverek, mint például a Statistica Neural Networks, Neural Works II. És vannak korábbi szoftverekhez készített neurális hálózat kiegészítő modulok. Ilen például a Braincel For Ecel, a Matlab ill. a Mathematica szoftverek kiegészítő modulja. A geodéziai feladatok neurális hálózatokkal való megoldása során én a Mathematica szoftvert és az ehhez tartozó neurális hálózatok kiegészítő modult használtam. A Mathematica előne, hog nem csak numerikus, hanem szimbolikus számításra is képes. A legtöbb rendszer úg működik, hog meg kell adni a bemenő számadatokat, és a rendszer kiadja az eredmént szám formában, anélkül, hog tudnánk közben pontosan mi is történt a hálózatban, mint eg fekete dobozban. Ezzel szemben a Mathematica-ban a bemenő adatok lehetnek változók is (pl.,) és ilenkor eredménként a leképzés függvénét kapjuk meg (f(,)), amit később máshol is közvetlenül felhasználhatunk. 19

20 Geoidfelület közelítése.6 Összefoglalás Az előzőekben igekeztem ismertetni a neurális hálózatok főbb tulajdonságait, a neuronok felépítését, a hálózatok szerkezetét, főbb fajtáit. Ez persze csak eg rövid ismertető, sok egéb hálózattípusról nem esett szó íg például a dinamikus hálózatokról sem. De mivel dolgozatom elsődleges célja a geodéziai alkalmazások vizsgálata, íg legfőképp csak azokra a hálózatokra tértem ki, meleket én is alkalmaztam a vizsgálataim során. Ezeknek a megértéséhez szerettem volna eg áttekintést nújtani. A tanítás pontos folamatát sem ismertetem, de ezekről bőséges információk állnak rendelkezésre a kifejezetten neurális hálózatokról szóló könvekben. Leginkább persze angol nelven, de van néhán magar nelvű tankönv is hozzá(horváth 1995, Paláncz 003). 3 Geoidfelület közelítése 3.1 Bevezetés Most térjünk át a neurális hálózatok geodéziai alkalmazásaira. Az első probléma, mellel foglalkoztam a magarországi geoidfelület közelítése volt. Kétféle földalakról beszélünk a geodéziában. Az egik a Föld fizikai (valóságos) alakja, a tengerek és szárazföldek felülete, a másik a Föld elméleti v. matematikai alakja. Ez utóbbi a szabad foladékfelszín egensúli alakja, ha arra csak a gravitáció hat. Az ilen felület a nehézségi erő potenciáljának szintfelülete. Azt a szintfelületet, amel valamel tenger középszintje közelében kijelölt ponton halad át, geoidnak nevezzük, és ezt tekintjük a Föld matematikai (elméleti) alakjának. (Krauter, 1995) A geoid meghatározása történhet fizikai-geodéziai módszerekkel. Ezeknek a meghatározásoknak közös jellemzője, hog a meghatározást fizikai feladatként oldják meg, vagis meghatározzák a földi nehézségi erőtér egik kiválasztott szintfelületét. Ehhez fel lehet használni a nehézségi gorsulás méréseken alapuló gravimetriai módszereket, vag a Föld mesterséges holdjainak észleléseit. (Bíró, 1996). Ilen geoidmegoldást többet is készítettek Magarország területére, egre jobban finomítva, pontosítva a meghatározást. Az általam felhasznált HGTUB000 gravimetriai geoidmegoldás (Tóth, Rózsa 000) a ϕ 49, 16 λ < 3 nagságú területen tartalmazza a geoid-ellipszoid távolságokat ϕ=0 30 λ= 0 50 felbontással, összesen pontban. A hagomános geodéziai mérésekkel tengerszint feletti magasságokat tudtak meghatározni, ami tulajdonképpen a geoid feletti magasság. A napjainkban egre 0

21 Geoidfelület közelítése jobban terjedő GPS (műholdas helmeghatározó) mérésekből viszont csak ellipszoid feletti magasságokat tudunk meghatározni. Sokszor szükséges a kettő között átszámítást végezni, ehhez viszont ismerni kell e kettő távolságát, a geoidundulációt. Mint említettem rendelkezésre áll hazánk területén eg geoidmegoldás, ami több mint pontban tartalmazza ezeket az értékeket. Ám a méréseket nem pont ezekben a rácsháló pontokban végezzük, íg szükség van valamilen interpolációs vag regressziós módszerre, hog az adott mérési helen is ki tudjuk számítani a geoidunduláció értékét. Végezhetünk hagomános lineáris interpolációt ezek között a pontok között, ezzel csupán a nag adatmenniség a probléma, a tárolás és számítás nehézkessége. Csökkenteni lehetne az adatok menniségét, ha approimációt végeznénk, és előállítanánk valamilen a felületet közelítő függvént. Erre eg hagomános megoldás, ha polinomokkal közelítjük a felületet, de ugancsak megoldást jelenthetnek a neurális hálózatok is a már megismert approimációs tulajdonságaik miatt. 3. Geoidfelület közelítése polinomokkal A geodéziában gakori feladat, hog valamilen általános felületet matematikai módszerekkel szeretnénk leírni. Általában a meghatározni kívánt felületről diszkrét pontokban rendelkezünk információval, pl. eg magasságmodell előállításakor sok terepi pontban a megmért magasság értékeivel. Ha az előállított felület átmeg a megadott pontokon, akkor interpolációról van szó, ha csak közelíti a pontbeli értékeket, akkor approimációról vag regresszióról. Regresszió esetén felveszünk valamilen függvéntípust, és ezt illesztjük az adatokra, úg választva a függvének paramétereit, hog minél kisebb hibával illeszkedjenek a felületre. A regresszió egik hagomános módszere az n-ed fokú polinom illesztése. n= esetben a polinom a következő alakban írható fel: z = a 0 a1 a a3 a4 a5 Itt hat egüttható (a i ) meghatározására van szükség. Ha hat darab pontban áll rendelkezésünkre a magasságérték vag az egéb keresett paraméter és ezek lineárisan függetlenek, akkor ez a feladat egértelműen megoldható. Fel lehet írni hat egenletet hat ismeretlennel. Ebben az esetben interpolációról beszélhetünk, mert az ismert pontokban visszakapjuk a kívánt függvénértékeket. Ha hatnál több pont áll rendelkezésünkre, akkor kiegenlítésre van szükség, ebben az esetben már regresszióról beszélünk, ill. ha lehetőség van rá, akkor magasabb fokszámú polinomot is illeszthetünk az adatokra. A geoidfelület közelítésénél geoid-ellipszoid távolságok álltak a rendelkezésemre összesen pontban. Elvileg erre már eg elég magas fokszámú polinomot is lehetne illeszteni, de bizonos fokszám fölött már rosszul kondicionált lesz az egenletrendszer egüttható mátria, és nem egértelmű a meghatározás. 1

22 Geoidfelület közelítése A regressziót a Mathematica szoftver segítségével végeztem. A közelítésben hatodfokú polinomig tudtam elmenni, utána az egenletek már nem oldhatóak meg egértelműen, mert a rendelkezésre álló mátri rangja kevesebb, mint a meghatározandó ismeretlenek száma. N = a a a a Az alkalmazott hatodfokú regressziós polinom a következő: a ϕ a 1 4 ϕ a 11 3 ϕ λ a 19 4 ϕ λ a 6 λ a 3 3 ϕ λ a 1 4 ϕ λ a 5 ϕ λ a ϕ a ϕ λ a 5 λ a 6 λ ϕ λ a ϕ λ a 6 ϕ a λ a ϕ a 4 λ a 15 5 ϕ λ a 3 7 ϕ λ a 5 ϕ a 16 4 ϕ λ a 8 4 ϕ λ a 4 ϕ λ a ϕ λ 9 3 λ 3 ϕ λ A meghatározott paraméterek pedig a következők: a 0 = ,61036 a 15 = 18, a 1 = , a 16 = 7, a = , a 17 = - 5, a 3 = , a 18 = - 1, a 4 = , a 19 = - 0, a 5 = , a 0 = 0, a 6 = , a 1 = - 0, a 7 = 19 59, a = - 0, a 8 = , a 3 = 0, a 9 = , a 4 = 0, a 10 = - 94, a 5 = a 11 = - 544, a 6 = 0, a 1 = 448, a 7 = - 0, a 13 = 77, a 14 = 10, Vizsgáljuk meg ennek a közelítésnek a pontosságát két jellemző adat, a szórás (vag a geodéziában középhiba) és a hibák maimális értékei alapján! σ (szórás) Pozitív hiba Negatív hiba 18 cm 7, cm -81,16 cm

23 Geoidfelület közelítése 10. ábra Polinomos közelítés hibáinak hisztogramja Ezek a hibák elég nagra adódtak. Célszerű valamilen más megoldást is kipróbálni, amivel esetleg csökkenteni lehet a hibákat. Eg lehetséges alternatíva lehet ebben az esetben a neurális hálózattal való közelítést. 3.3 Közelítés neurális hálózattal Az alkalmazott hálózat A geoidfelület közelítéséhez RBF (Radial Basis Function = radiális bázisú függvén) hálózatot alkalmaztam. Ennek a hálózatnak, mint arról korábban már szó volt, előne a backpropagation hálózattal szemben a tanulás viszonlagos gorsasága, a kevesebb iterációs lépés miatt. A gakorlat azt mutatja, hog ezekkel a hálózatokkal jól lehet szabáltalan felületek közelíteni, mint amilen a geoidfelület is. Az alkalmazott hálózat szerkezete a következő: 11. ábra A geoidfelület közelítésére alkalmazott hálózat 3

24 Geoidfelület közelítése Két bemenő adatunk van: φ,λ, eg rejtett réteg RBF aktivációs függvénnel és 35 neuronnal és eg neuron a kimeneti rétegben, ami lineáris összegzést valósít meg. A hálózat kimeneti jele a geoidunduláció értéke (N). A Mathematica szoftverben az alkalmazott RBF függvén alakja a következő: f ( ) = e λ ( c ), ahol λ a függvén szélességparamétere és c a függvén középpontja. Mivel jelen esetben eg kétváltozós függvént szeretnénk közelíteni, íg két bemenő adatunk van. A kétváltozós (alap)függvén alakja a következő: f ( 1, ) = e λ [( c ) ( c 1 1 ) ] A hálózat tanításához a ~00000 pontból ~8000 pontot használtam fel egenletesen elosztva a vizsgált tartománon. Ez a 8000 pont megfelelően reprezentálja a pontos hálózatot, mint azt a későbbiekben látni fogjuk a tesztelés során. Összesen 35 darab neuront alkalmaztam. Minél több neuront alkalmazunk, annál bonolultabb felületeket tudunk leírni. Azonban nem érdemes a neuron számot túlságosan megnövelni, mert ez túl bonolult hálózatot eredménez. Különösen jelen esetben, amikor a nagon sok tanító adat miatt a tanulási folamat eg nagon lassú iterációs eljárás. A tanulás időszükséglete a neuronszám növelésével többszörösére nő, uganakkor a rendszer pontossága eg idő után már nem nő tovább aránosan, és a tanítás túl lassúvá, gazdaságtalanná válik. Az ideális neuronszámot próbálgatással lehet meghatározni az eges hálózatokhoz, figelembe véve a pontossági követelméneket és a rendelkezésre álló időt, számítógép kapacitást. Próbálkoztam a tanítópontok számának a növelésével is, de ez is nag mértékben növeli a számítási idő szükségletét, ami íg is meglehetősen hosszú volt. Másik fontos jellegzetessége ennek a közelítző módszernek, hog nem eg neurális hálózattal közelíti a felületet, hanem neurális hálózatok sorozatával. Ezt a módszert Paláncz Béla javasolta, és én ezt a modellt teszteltem le és igekeztem tovább pontosítani. Abban a korábbi kutatásban, amit ő és Völgesi Lajos végeztek, a már korábban említett rácsháló pontot tartalmazó adatbázisból a területen egenletes eloszlásban kiválasztott kb ponttal dolgoztak (Paláncz, Völgesi 00). Ez azt jelenti, hog minden huszonötödik pont került bele a tanítópontok közé. Az eredeti adatok a ϕ 49, 16 λ < 3 nagságú területre voltak megadva ϕ=0 30 λ= 0 50 felbontással, a kiválasztott 8484 pont uganezen a területen helezkedik el ϕ= 30 λ= 4 10 felbontással. Ezekkel a pontokkal készült el a neurális hálózat tanítása, majd a szimbolikus kiértékeléssel a leképzési függvént ki is fejezték. A kész függvén a 35 neuronnak 4

25 Geoidfelület közelítése λ [( 1 c1 ) ( c ) ] megfelelően 35 ( w e ) alakú tagból áll, ehhez jön még eg lineáris tag (a*b*) és eg konstans eltolásérték, a bias. Mintaként álljon itt az egik alapfüggvén, ahol a bemenő adatok 1 és voltak: f ( 1, ) = e ( ) ( 1.95 ) Maga a tanítási folamat ilen nagszámú (kb. 8000) pontnál igen hosszadalmas feladat, ami igen sok órát, esetleg több napot is igénbe vehet, a számítógép kiépítettségének (memória, processzor) függvénében. Az iterációk számát megadhatjuk mi is, illetve eg bizonos minimumhatárt elérve a program magától leáll és befejezi a tanítást. Célszerű megadni eg iterációs számot, mivel nem tudhatjuk előre, hog a gép magától hán iteráció után állna le. Persze ilenkor is lehet az iterációt tovább foltatni, ha még nem értük el a hibák minimumát, de legalább nem szükséges egszerre az egész tanítást végrehajtani. Az általam készített hálózatnál ezt az iterációs határt 00-ra állítottam és ezt a 00 iterációt a gép 3 óra alatt hajtotta végre (a gép adatai: 1 GHz processzor, 56 Mb RAM, ami jelenleg nem számít lassú gépnek). A hivatkozásban szereplő hálózatnál összesen kb. 90 iterációra volt szükség a minimumhatár eléréséhez, az általam továbbfejlesztett hálózatnál pedig kb. 350-re. Ezekből az adatokból is látszik, hog ez az egész tanulási folamat mennire időigénes, viszont, ha már egszer kész a hálózat azaz a leképzési függvént előállítottuk, akkor ennek a kiértékelése már rendkívül gors. A közelítés javításának persze lehetnek más módjai is, nemcsak a neuronszám vag a tanítópontok számának a növelése. Példa erre az alkalmazott neurális hálózat sorozat. Ez azt jelenti, hog miután elkészítettük az első hálózatot a 8000 pont alapján, ki lehet számítani uganezekre a pontokra a hibákat, levonva a ténleges értékekből a leképzési függvénnel előállított értékeket. Ha következő lépésként megpróbáljuk megtanítani a rendszert ezekre a hibákra, és utána hozzáadjuk az első neurális hálózat hibás értékeihez a hibákat, akkor elvileg a heles értékeket kapjuk. Persze ez a gakorlatban nem íg van, mivel az új, a hibákat tanuló hálózat sem lesz száz százalékig tökéletes, lesznek ennek is hibái, amikre persze újabb hálózatokat készíthetünk. Ennek a sorozatnak a határértéke a ténleges kimeneti érték. Persze annak is megvan a határa, hog meddig érdemes elmenni ilen hálózat sorozat kialakításánál, mivel egre hosszabb és bonolultabb függvéneket fogunk kapni, összeadva a sok neurális hálózat leképzési függvénét. Mivel célunk elsősorban az, hog csökkentsük a felhasznált adatok menniségét, hog ne kelljen mindig a több mint adatot használnunk, ez megszabja azt is, hog lehetőleg a függvénünk se legen ilen bonolult, mivel akkor semmivel sem jutottunk előbbre, mintha az interpolációs eljárást választottuk volna. A korábbi kutatások során eg nég tagból álló neurális hálózat sorozatot alkalmaztak, ahol látszik, hog a hibák nagsága jelentősen csökkent az első és a negedik hálózat után. Jellemző adatai e kétféle hálózatnak a szórása és a hiba maimális értéke, mint láthatjuk mind a két adat jelentősen lecsökkent a 4. fokú hálózatnál: σ (szórás) Maimális hiba 1. fok 9.77 cm cm 5

26 4. fok 6.58 cm 36.3 cm Geoidfelület közelítése Ha azonban figelembe vesszük, hog maga az adatbázis ±3-4 cm pontosságú, akkor nekünk is ezen a pontosságon belül kellene maradnunk, és szükséges még tovább csökkenteni a középhibákat, a szórást. Ez az egik megoldandó feladat, amivel én tovább próbálkoztam, illetve teszteltem az elkészült hálózatokat a összes (11680) pontra, és megvizsgáltam, hog ez a kiválasztott 8000 pont megfelelően reprezentálja-e az eredeti kétszázezres adathalmazt A tesztelés eredméne A hálózat pontosságát mutató adatok közül a legfontosabbak: a maradék hibák szórása, maimális értékei (pozitív, negatív ok), és a várható értéke. Ezeknek az alakulását ismertetem a különböző tesztelések során. Az eredeti pontból a tanításhoz összesen 8484 pont került felhasználásra. A következőkben látni fogjuk, hogan alakultak a fent említett értékek az elsőrendű neurális hálózat tanítása után, ill. a nég tagból álló neurális hálózat sorozat alkalmazása után. Az előbbi eredméneként kapott függvént f1-nek neveztem el, az utóbbit F-nek (F=f1ff3f4). Továbbá a későbbiekben alkalmazható javításokhoz ábrázolom a fenti függvéneket, illetve a hibákat. Ha az elsőrendű ill. a negedrendű neurális hálózatok leképzési függvénét ábrázoljuk a tanítópontokra, akkor a következő felületeket kapjuk: 1. ábra A geoidfelület közelítése 1. rendű neurális hálózattal 6

27 Geoidfelület közelítése 13. ábra A geoidfelület közelítése 4. rendű neurális hálózattal A 1., 13. ábrából is látszik, hog a negedrendű neurális hálózattal eg sokkal bonolultabb felületet lehet ábrázolni, ami sokkal közelebb áll a ténleges geoidfelülethez. Ha elvégezzük a tesztelést a 8484 tanítópontra, akkor a következő eredméneket kapjuk: σ (szórás) Pozitív hiba Negatív hiba A hiba várható értéke 1. fok 9.77 cm cm cm 0.00 cm 4. fok 6.58 cm 36.3 cm cm 0,00 cm Az eltérések hisztogramjai a következők: ábra 1. és 4. rendű hálózatok hibáinak hisztogramja A tesztelést elvégezve a pontra a következő eredmének adódnak: 7

28 Geoidfelület közelítése σ (szórás) Pozitív hiba Negatív hiba A hiba várható értéke 1. fok 9.87 cm cm cm 0.01 cm 4. fok 6.76 cm cm cm 0,0 cm A két adatsor összehasonlításából látszik, hog a szórás közel változatlan maradt a 8000 és a pontra végzett teszteléskor is. A várható érték pedig mindkét esetben nullának tekinthető. Tehát úg tűnik, hog a kiválasztott 8000 pontos mintaállomán megfelelően reprezentálja az összes adatot. Persze a maimális értékek nagobbak lettek a teljes állománra végzett teszteléskor, de magának az eloszlásnak, a haranggörbének az alakja változatlan maradt. Persze ezek az eredmének még igen távol állnak pontosságban a kívánatos 3-4 cm-es értéktől. Ezért ki kellett találni valamit, amivel tovább lehetne csökkenteni a közelítés hibáját. Először felmerül, hog el kellene végezni a tanítást eg nagobb adathalmazra, nem csak 8000 pontra. Íg a javítás érdekében először ezzel próbálkoztam. Nem minden 5., hanem minden 4. pontot vettem bele a tanítópontok közé, azaz összesen 590 pontot. Azonban ez a módszer nem vezetett eredménre a futási idők nagságrendekkel történő megnövekedése miatt. A 00 iterációt a számítógép a 8000 pontra 3 óra alatt hajtotta végre, uganez a 00 iteráció az pontra már legalább eg hétig tartott volna, és persze ez valószínűleg nem is lett volna elég, hanem jóval több iterációt kellett volna alkalmazni. Íg kéntelen voltam ezt a kutatási iránt abbahagni. Eg másik javítási lehetőség kínálkozik, ha megfigeljük a nag hibák eloszlását. 8

29 Geoidfelület közelítése 15. ábra A 4. rendű neurális hálózattal közelített felület eltérései a geoidfelülettől Az 15. ábrán észrevehetjük, hog a legnagobb hibák, nem is Magarország területére esnek, hanem a romániai részen találhatóak. Ezt a részt eg egenessel le lehet vágni. Meghatároztam annak az egenesnek az egenletét, amel a levágandó adatokra vonatkozó feltételt reprezentálja φ λ, 16. ábra A romániai nag eltérésű területet levágó egenes 3 9

30 Geoidfelület közelítése Ennek az egenesnek az egenlete igen egszerű lett: ϕ = λ 5. Ezután a Mathematica programmal kiválogattam azokat az adatokat, amelek e fölött az egenes felett találhatóak, és a továbbiakban csak ezekkel dolgoztam. Kiválogatás után a 8484 pontos állománból 7438 pont maradt, a pontos állománból pedig Ez után elvégeztem ezekre az állománokra is a tesztelést, hog megvizsgáljam, mekkora mértékben javulnak ettől az eredmének, illetve, hog egáltalán javulnak-e. Most a tesztelést már csak az F függvénnel (a negedrendű hálózattal) végeztem el. Összehasonlításképpen megadtam a korábbi, levágás előtti hálózatok eredméneit is. Tesztelés 8484 ill pontra σ (szórás) Pozitív hiba Negatív hiba A hiba várható értéke 8484 pont 4. fok 6.58 cm 36.3 cm cm 0,00 cm 7438 pont 4. fok 5.63 cm 6.80 cm cm 0,01 cm Tesztelés ill pontra σ (szórás) Pozitív hiba Negatív hiba A hiba várható értéke pont 4. fok 6.76 cm cm cm 0,0 cm pont 4. fok 5.68 cm 9.14 cm cm 0,00 cm Ha a fenti eredméneket összevetjük a korábbi 4. fokú eredménekkel, akkor láthatjuk, hog ténleg igen jelentős mértékben javultak. A hibák maimális értékei például cm-rel lettek kisebbek, és a sok nagon nag hibájú adat levágásának eredméneképpen a szórás is kb. 1 cm-rel kevesebb lett Új neurális hálózat A korábbi vizsgálatokból megállapítható tehát, hog a legnagobb hibák nem is Magarország területére esnek, hanem Romániában találhatóak. Érdemes lenne készíteni eg új neurális hálózatot, annak az adatállománnak a felhasználásával, amel nem tartalmazza az ezeken a területeken levő adatokat, és íg valószínűleg jobb eredméneket kaphatnánk. Hog ezt a feltevést kipróbáljam újra elvégeztem a 4. rendű neurális hálózat tanítását, ezekkel a leválogatott adatokkal. Az új f1, f, f3, f4 függvének megtalálhatók a mellékletekben (M1,M,M3,M4). 30

31 Geoidfelület közelítése Az új neurális hálózatok hisztogramjai a következők: 17. ábra Az új 1. és 4. rendű hálózatok hibáinak hisztogramja Az új hálózat eredménei a következők lettek, a 7438 tanítópontra vonatkoztatva: σ (szórás) Pozitív hiba Negatív hiba A hiba várható értéke 1. fok 7.96 cm 55.1 cm -6.1 cm 0.00 cm 4. fok 4.97 cm 8.37 cm cm 0,00 cm A könnebb összehasonlításhoz összefoglalom a korábbi 8484 tanítópontra készített hálózat 7438 pontra tesztelt eredméneit. σ (szórás) Pozitív hiba Negatív hiba A hiba várható értéke 4. fok 5.63 cm 6.80 cm cm 0,01 cm Itt is némi javulás figelhető meg a szórásban a korábbi hálózathoz képest (5.63 cm-ről lecsökkentek 4.97 cm-re), a hibák maimális értékei viszont maradtak körülbelül uganazok. Ez a jelenség a hálózat robosztusságára utal, azaz néhán rossz adat a tanulóhalmazban csak csekél mértékben befolásolja a tanulás minőségét. 31

32 Geoidfelület közelítése 3.4 Eredmének, további lehetőségek Surfer program segítségével ábrázoltam az eltéréseket, az eredeti (HGTUB000) geoidmodell adataiból levonva az új neurális hálózattal kapott eredméneket. 18. ábra Eltérések az eredeti (HGTUB000) geoid magasságok és a neurális hálózattal közelített magasságok között A 18. ábrán már csak a leválogatott adatokat ábrázoltam, kihagva az általam levágott romániai részt. Ha megnézzük ezt az ábrát, látható, hog a nag hibák eg jó része ismét csak az országhatáron kívülre esik, illetve az is feltűnő, hog nagobb hibákat elsősorban a hegvidékeken találunk, Magarországon a Mátra, Bükk és az Alpokalja területén. Az elérni kívánt pontosság 3-4 cm volt. Az ábrán fehérrel jelöltem a 4 cm alatti eltéréseket. Ugan ezt nem sikerült mindenütt elérni, de az ország jelentős részén már igen. Ebből az a következtetés vonható le, hog érdemes még ezzel a témával a későbbiekben is foglalkozni, és tovább pontosítani a közelítést, mivel az eddigi eredmének bíztatóak. A fentiek alapján igen valószínű, hog a magarországi hegvidéki területeken a tanítópontok sűrítése javíthat az eredméneken. Érdemes lenne kipróbálni ezt eg új neurális hálózat elkészítésével. 3

33 Geoidfelület közelítése 3.5 A polinomos közelítés összehasonlítása a neurális hálózatokkal Hasonlítsuk most össze a kétféle módszerrel történő közelítést. Először a hagomános polinomos regressziót végeztem el. Itt szembesülnöm kellett azzal a ténnel, hog hiába a nag menniségű adat, a polinommal való közelítésnek (akárcsak persze a neurális hálózatoknak) korlátai vannak. A polinom esetében a fokszám növekedésével a rosszul kondicionáltság miatt a regressziós feladathoz tartozó pszeudoinverz előállítása nehézségekbe ütközik. Több mint adat állt rendelkezésemre a felület közelítéséhez, de csak hatodfokú polinomot tudtam rájuk illeszteni. Ennek az illesztésnek a hibái a következők lettek: Polinomos regresszió σ (szórás) Pozitív hiba Negatív hiba 18 cm 7, cm -81,16 cm Uganezek az adatok a neurális hálózat sorozattal való közelítésnél a következők lettek: Regresszió neurális hálózatokkal σ (szórás) Pozitív hiba Negatív hiba 4,97 cm 8,37 cm -3,36 cm 19. ábra Polinomos (a) és neurális hálózatokkal való közelítés (b) hibáinak a hisztogramja 33