Palácz Béla - Soft Computig - 11-1. Adatok közelítése 1. Adatok közelítése Bevezetés A természettudomáyos feladatok megoldásához, a vizsgált jeleségek, folyamatok főbb jellemzői közötti összefüggések ismeretére, azaz modelljére va szükség. Gyakra ezek az összefüggések az általáos természeti törvéyek alapjá, elméleti alapo levezethetők. Vaak azoba olya esetek is, amikor ilye összefüggések közvetleül em, vagy csak részbe ismertek. Ilyekor közvetle, tapasztalati ismeretekre kell támaszkoduk. A tapasztalati ismeretekből törtéő iformáció kiyerésével és eek alapjá törtéő modell alkotással a mesterséges taulás elmélete foglakozik. Ide tartozik a mitáko törtéő taulás módszerével törtő modellalkotás, az az eset amikor agyszámú mérési vagy egyéb tapasztalati adat áll redelkezésükre és eze adatok közötti kapcsolatokat kell modell formájába meghatározi. A keresett modellt egy függvéyel reprezetáljuk. A függvéy típusát, formáját felvesszük, kiválasztjuk, majd a függvéybe szereplő paramétereket úgy határozzuk meg az adatok alapjá, hogy azok legjobb közelítését kapjuk. 1-1 A közelítő függvéy Matematikailag a taulás problémáját úgy fogalmazhatjuk meg, hogy keresük egy olya, a valóságos modellt közelítő f függvéyt, amely f : X Ø Y ahol redelkezésükre állak a felállítadó modell bemeeti-kimeeti változóira voatkozó adatok {x HiL, y HiL }, i = 1,...,m és x HiL œx és y HiL œy. Mivel a valódi modell, azaz a közelítedő függvéy ismeretle, az f közelítő függvéyek olyaak kell leie, hogy bármilye függvéyt, bármilye mértékbe -másszóval tetszőlegese kicsiy hibával -képes legye közelítei. Azt modjuk, hogy a közelítő függvéyek uiverzális approximátorak kell leie. A legismertebb ilye függvéy típus a poliom. A klasszikus Weierstrass- tétel szerit az összes poliomok [a, b] itervallumo értelmezett halmaza P @a,bd,a p HxL = w i x i alakú algebrai poliomok sűrűek az [a, b] itervallumo folytoos függvéyek C[a, b] halmazá. Más szóval egy adott f œ C[a, b] függvéy és egy e > érték eseté létezik egy poliom pœ P @a,bd, úgy, hogy i = p (x) - f (x) < e
Adatok_közelítése_1_11.b mide x œ [a, b] eseté. Vaak azoba más függvéy típusok is, amelyek szité uiverzális approximátorok. A későbbiekbe a eurális hálózatok megismerése sorá ezekre látuk majd példákat. A modell típusáak megválasztása utá a modell paramétereit kell meghatározuk a redelkezésre álló adatok alapjá. 1- A közelítés mértéke Figyelembevéve, hogy a mérési adatok hibával terheltek, em kívájuk meg, hogy f Ix HiL M - y HiL = legye, hisze em akarjuk megtaítai a modellek a mérési hibákat (túltaulás jelesége), de megkívájuk, hogy f Ix HiL M º y HiL azaz a modell jól közelítse a mérési adatokat. A közelítés miőségéek kvatitatív jellemzésére a külöböző ormákat alkalmazhatuk. Többváltozós függvéy eseté azaz ha pl. Y Õ legáltaláosabb az ú. Hölder- vagy p- orma, amely alapjá a közelítés hibája: f j - y j p j=1 1 p ahol a j idex a vektorok j-edik kompoesére utal. A leggyakrabba alkalmazott az Euklideszi orma, azaz p =, f j - y j j=1 Ha a mérési potokba ezekek a hibákak a számtai átlaga, az ú. rezidium (maradék) kicsi akkor a függvéy jól közelít a mérési potokba. 1-3 A közelítés általáosítása A keresett f függvéyek azoba még egy másik agyo fotos tulajdosággal is redelkezie kell. Nevezetese, jó közelítést váruk el tőle olya xœx potokba is, amelyek em mérési potok, azaz ahol x x HiL egyetle i-re sem. Ez persze természetes, hisze éppe ebből a célból alkalmazuk közelítő függvéyt. Mikét elleőrizzük a függvéy eze tulajdoságát, amikor ebbe az esetbe em redelkezük adatokkal?! A megoldás az, hogy a redelkezésre álló adatok halmazát két részhalmazra botjuk, agyjából /3-1/3 aráyba. A agyobb részhalmazt tauló halmazak evezzük és eek segítségével határozzuk meg a paramétereket, majd az így előállított közelítő függvéyt elleőrizzük a kisebb ú. validációs halmazo. Abba az esetbe, ha a hiba (rezidium) a tauló és a validációs halmazo közelítőe megegyezik, akkor a közelítő függvéy jó geeralizácós (általáosító) képességgel redelkezik. Nézzük egy egyszerű poliomiális közelítést. 1.1. Példa Ebbe az esetbe a fokszám övelésével csökkethetjük a hibát a tauló halmazo (szélső esetbe iterpolációvá alakul a közelítés). Azoba ezzel egyidejűleg ő a közelítés hibája a validációs halmazo. Az alábbi ábrák az alultaulás, a megfelelő taulás és a túltaulás esetét szemléltetik.
Adatok_közelítése_1_11.b 3 6 4-4 4 1.1. ábra A tauló () és a validációs () halmaz potjai Lieáris közelítés y =.67188 +.7815 x 6 4-4 4 1.. ábra Alul taulás esete. A rezidium a tauló halmazo (), Q T = 1.36, a validációs halmazo ( ), Q V =.79 Másodfokú közelítés y =.61 +.78761 x +.1655 x
4 Adatok_közelítése_1_11.b 6 4-4 4 1.3. ábra Megfelelő taulás esete. A rezidium a tauló halmazo (o), Q T = 1.16, a validációs halmazo ( ), Q V =.97 Harmadfokú közelítés y =.1863 + 1.46114 x +.1171 x -.793749 x 3 6 4-4 4 1.4. ábra Túltaulás esete. A rezidium a tauló halmazo (), Q T = 1.6, a validációs halmazo ( ), Q V = 1.97 Megjegyzés A feti példáál a függvéy a keresett paraméterekbe lieáris volt, azaz például másodredű közelítést tekitve, y HxL = w x + w 1 x + w ahol a w i paramétereket direkt módo meghatározhatjuk, hisze eek érdekébe egy túlhatározott lieáris egyeletredszert kell csak megoldauk, y 1 = w x 1 + w 1 x 1 + w...................................... y i = w x i + w 1 x i + w.................................... y = w x + w 1 x + w ahol (x i, y i ) az i-edik adatpár. Vagyis az együtthatókra voatkozó lieáris egyeletredszer,
Adatok_közelítése_1_11.b 5 A w w 1 w ahol A egy 3 méretű mátrix és y egy elemű vektor. A direkt megoldás azt jeleti, hogy a keresett együtthatókat véges számú aritmetikai művelettel - a kerekítési hibáktól eltekitve- potosa meghatározhatjuk. = y 1-4 A paraméterek meghatározása, mit globális optimalizáció Mit láttuk, a függvéy típusáak megválasztása utá, aak paramétereit úgy kell meghatározi, hogy a közelítés hibája, azaz a rezidiuma kicsi legye. Ez egy optimalizációs feladat megoldását jeleti. Abba az esetbe ha a paraméterekbe (w i L a függvéy lieáris, f HxL = w i g i HxL j=1 ahol a g i (x) ú. bázisfüggvéyek akár emlieárisak - a feladat egy lieáris regresszióra egyszerűsödik, amely direkt módo megoldható (lásd korábbi Megjegyzés). Azoba ha a közelítő függvéy a paramétereket emlieáris formába tartalmazza, a feladat, mit emlieáris optimalizáció csak iterációval oldható meg, közelítő potossággal. Ezzel kapcsolatba a probléma kettős. Egyrészt általába em ismerjük az iteráció megfelelő kezdőértékeit, így az iterációs eljárás esetleg em lesz koverges. Másrészt, mivel több lokális miimum is lehetséges, még kovergecia eseté sem biztosított, hogy a globális miimumot találtuk meg. 1.. Példa Tekitsük az f (x) =.5 si (1.5 x) függvéyt. Állítsuk elő zajos "mérési" potokat az xœ[, 8] itervallumba! 3 1-1 -3 4 6 8 1.5 ábra A függvéy és a "zajos mérési adatok" Keressük a közelítő függvéyt az alábbi alakba, f (x) = a si (b x) A paraméterek meghatározása a közelítő függvéy és a mérési adatok közötti eltérés miimalizációjá alapul. Az
6 Adatok_közelítése_1_11.b A paraméterek meghatározása a közelítő függvéy és a mérési adatok közötti eltérés miimalizációjá alapul. Az eltérés agyságáak meghatározása, mit láttuk külöböző mértékek alkalmazásával lehetséges: a) a legkisebb égyzetek módszere értelmébe, azaz G Ha, bl = H f i - a si Hb x i LL i=1 Ezt p ormáak evezik és akkor célszerű alkalmazi, ha a hibák eloszlása ormális HGaussL eloszlást követ. b) az abszolút értékek összege alapjá, G Ha, bl = H f i - a si Hb x i LL Ezt p 1 ormáak evezik és akkor célszerű alkalmazi, ha kieső, hibás méréseik vaak HlehetekL. c) a legagyobb eltérés alapjá Ezt p ormáak HCsebisevL evezik. G Ha, bl = i=1 max H f i - a si Hb x i LL iœ1,..., Ha a hibák eloszlása egyeletes eloszlást követ, akkor ezt célszerű haszáli Hmi- max feladatl. Alkalmazzuk most a legkisebb égyzetek módszerét. Ekkor a miimalizáladó függvéy, G Ha, bl = H f i - a si Hb x i LL i=1 1.6 ábra A miimalizáladó hibafüggvéy az p orma eseté A szitvoalas ábrázolási módba jól kivetők a lokális miimumok helyei,
Adatok_közelítése_1_11.b 7 Látjuk, hogy több lokális miimum is va! 1.7 ábra A hibafüggvéy lokális miimumai 1.1 Táblázat Kezdő érték 8a, b < Miimumhely 8a, b< A hibafüggvéyértéke f Ha, bl 81.,.5< 8.967419,.55785< 63.31 81.,.5< 8.691571,.4137< 67.1169 8.5, 1.5< 8.57973, 1.4974<.1497 Attól függőe más-más miimumot kapuk, hogy hoa idult a lokális miimumkereső módszer iterációja!
8 Adatok_közelítése_1_11.b A globális miimum helye a =.57973 és b =1.4974. 1.8 ábra A hibafüggvéy globális miimuma (æ) A globális miimum meghatározása ehéz feladat! A következőkbe olya globális optimalizációs módszereket ismertetük, amelyek algoritmusai maguk is valamilye mesterséges taulási módszerre vezethetők vissza és hatékoya alkalmazhatók még agyszámú paraméter eseté is aélkül, hogy igéyelék a paraméterek közelítő értékeit, mit kezdeti értéket.