Adatmodellezés, függvényillesztés 2018. március 12.
Adatmodellezés Fizikai törvény: Egy elmélet, valamilyen idea a világról Matematikai összefüggéseket adunk a mennyiségek között Az összefüggések konstansokat, paramétereket tartalmaznak Példa: feldobott kő F = mẍ = g m A differenciálegyenlet megoldása: x(t) = g 2 t2 + v 0 t + x 0
Kísérlet Kísérlet: Cél: bizonyos mennyiségeket mérünk sokszor más mennyiségek függvényében más, független mennyiség pl. az idő vagy hely az elméleti törvény összefüggéseket feltételez a mérhető mennyiségek között ellenőrizni a fizikai törvény helyességét, megadni a konstansok és paraméterek értékét, továbbá megmondani, hogy a kísérlet alapján mennyire lehetünk abban bizonyosak, hogy a megalkotott törvény a valóságot írja le
Egy kísérlet eredménye 1.5 x [m] 1.0 0.5 0.0 0.0 0.5 1.0 1.5 2.0 t [s] Az elmélet szerint a pontok az x(t) = g 2 t2 + v 0 t + x 0 görbén vannak, de mi g, v 0 és x 0 értéke?
Adatmodellezés Adatmodellezés: Választunk egy elméletileg megfelelő függvényalakot A függvény paramétereit úgy álĺıtjuk be, hogy az valamilyen szempont szerint a lehető legjobban illeszkedjen a mért adatokra Problémák: a mért adatok sosem pontosan a valóságot adják vissza az adatokat torzítás, zaj és mérési hiba terheli milyen szempont szerint optimalizálunk? mennyire lehetünk biztosak az eredményben?
Mérési adatok A méréseket műszerrel végezzük, aminek van mérési tartománya mérési pontossága A mért értékek emiatt lehetnek valódi mért értékek (hibával!) felső korlátok (ha a műszer nem elég érzékeny) alsó korlátok (ha a műszer túl érzékeny) A mért értékek hibákkal terheltek a műszer kalibrációjából eredő szisztematikus hiba a műszer véletlenszerű működéséből eredő statisztikus hiba a külső környezetből származó zaj a műszer felbontásából eredő leolvasási hiba a fizikai folyamat jellegéből adódó zaj
Egy kísérlet eredménye becsült hibával 1.5 x [m] 1.0 0.5 0.0 0.0 0.5 1.0 1.5 2.0 t [s] Mivel itt bejön a képbe a valószínűség, biztos, hogy egzakt értéket nem fogunk kapni az illesztett paraméterekre. Azoknak is lesz hibája.
A szisztematikus hiba A szisztematikus hibát nehéz kezelni a műszer kalibrációjának pontossága nem véletlenszerű mindig hozzáadódik a méréshez lehet állandó: ekkor nullponti hibáról van szó de függhet a mért értéktől is statisztikus módszerekkel nem lehet tőle megszabadulni Csökkentéséhez a műszert kalibrálni kell. Példa: egy rosszul tárázott mérleg mindig 1 g-mal kevesebbet mér egy gyenge minőségű voltmérő mindig a valós érték 1,01-szeresét méri
A statisztikus hiba Megismételt méréskor mindig már és más értéket mérünk. A statisztikus hiba a mérés jellegéből adódóan véletlenszerű tökéletlen műszer a műszer érzékeny lehet külső, random tényezőkre ezek valamilyen háttérzaj jellegű tényezők, sosem közvetlenül a mért folyamatból erednek akkor is jelentkeznek, ha a műszer be van kapcsolva, de nem mérünk vele semmit termikus, elektromágneses stb. random zajok Csökkentéséhez a műszert hűteni, elektromágnesesen árnyékolni, stb. kell.
A leolvasási hiba A leolvasási hiba a műszer számábrázolásából adódik A mutató megállhat két érték között is A digitális kijelzőn véges sok tizedesjegy van A digitális kijelző utolsó számjegye ugrálhat Csökkenteni jobb felbontású műszerrel lehet. Példa: Egy műszer két tizedes jegyet ír ki, ekkor a leolvasási hiba ±0,005
Kvantumjelenségek határozatlansága Heisenberg-féle határozatlansági reláció: E t ħ Ha energiát mérünk nagy felbontással, akkor sosem kapunk egy jól definiált értéket, hanem a mért érték egy adott energia körül fog szórni. ez a fizikai folyamat sajátja nem mérési hiba vagy zaj Példa: Egy spektrométer az izotóp emissziós gamma-vonalait kiszélesedettnek méri. A vonalak valóban szélesek a természetes vonalkiszélesedés jelensége miatt.
A Poisson-zaj A mérési hiba és a zaj nem feltétlenül ugyanaz a mérési hiba a műszer tökéletlensége a zaj lehet a mért fizikai folyamat saját tulajdonsága CCD detektor sörétzaja egy távcső kamerája nagyon halvány galaxisokat rögzít a CCD detektor képes megszámolni a beérkező fotonokat egy perc alatt nagyon kevés foton érkezik a fotonok nem azonos időközönként érkeznek emiatt a percenként detektált fotonok száma minden percben más és más
A Poisson-eloszlás Kiindulás: egységnyi idő alatt érkező fotonok száma: λ a fotonok egymástól függetlenül követik egymást Mi a valószínűsége annak, hogy egy adott egységnyi időintervallum alatt éppen k darab fotont detektálunk? Poisson-eloszlás 1 : p(k) = λk e λ k! Várható értéke és szórása: k = σ 2 = λ 1 levezetése: binomiális eloszlásból p = λ/n, n határesetben
A Poisson-eloszlás különböző k-kra
A Poisson-eloszlásból adódó mérési hiba A Poisson-eloszlás λ 1 esetben átmegy a Gauss-eloszlásba ahol µ = λ és σ = λ. p(x) = 1 σ (x µ) 2 2π e 2σ 2, Keressük annak a várható értékét, hogy egy rövid mérés mennyire tér el a nagyon hosszú időre vett átlagtól. Ezt jól jellemzi a σ szórás. A jel zaj arány 2 a várható érték és a random eltérések aránya: A relatív hiba ennek reciproka. 2 signal to noise ratio (SNR) SNR = λ λ
A statisztikus hiba eloszlása Ismételjük meg ugyanazt a mérést sokszor egymás után, majd tekintsük az átlagtól való eltérést. Az átlagtól való eltérést jellemezze a négyzetes eltérés (szórás vagy variancia) Lehetne pl. abszolút érték is, de látni fogjuk, hogy a négyzetes eltérés jobb Ha a mérési hiba sok független valószínűségi változó átlagaként áll elő. akkor érvényes rá a centrális határeloszlás tétel, azaz a hiba eloszlása Gauss-eloszlást követ a hiba nagyságát az Gauss-eloszlás σ szórása jellemzi. Ha modellillesztéskor nekünk csak egy-egy mért érték van a mérési pontokban, akkor ezekhez becsült hiba tartozik.
A normális, vagy Gauss-eloszlás 0,0 0,1 0,2 0,3 0,4 0,1% 2,1% 3σ 34,1% 34,1% 13,6% 13,6% 2,1% 0,1% 2σ 1σ µ 1σ 2σ 3σ
A mérési hiba kifejezése Relatív hiba a hiba mértékét leosztjuk a mért értékkel: megadható százalékban is nincsen mértékegysége Abszolút hiba δy = y y a hibát a valós értéktől való eltérésként adjuk meg: van mértékegysége az ábrára ezt rajzoljuk fel y = y y 0
Megismételt mérések hibája Egy mérést N alkalommal, egymástól függetlenül elvégzünk. Hogy állapítjuk meg ebből a mérés hibáját? A mért értékek: y 1, y 2,..., y N Végeredményként a sok mérés átlagát tekintjük: y = yi N A szórás a négyzetes eltérés átlaga: (yi y ) σ = 2 N Viszont mi hibának nem az egyes mérések szórását akarjuk tekinteni, hanem az N-szer megismételt mérésből származó átlag hibájára vagyunk kíváncsiak.
Az átlag standard hibája Ha egy mérést sokszor egymás után megismétlünk, valamint a mérések egymástól függetlenek, a hiba normális eloszlást követ, a hiba becsült nagysága minden mérésnél azonos, akkor a relatív hiba csökkenthető. Az átlag standard hibája 3 a mérések számának gyökével csökken: SEM = σ N 3 standard error of the mean (SEM)
Az átlag standard hibája - szemléltetés 0.40 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0.00 4 3 2 1 0 1 2 3 4
Az átlag standard hibája - szemléltetés 0.45 0.40 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0.00 4 3 2 1 0 1 2 3 4
Elméleti modell Az elméleti modell bizonyos x i változók és a paraméterek függvényében becslést ad a mérhető fizikai mennyiségek értékeire. A modell sokféle lehet: tisztán matematikai: függvényillesztés ilyenkor az x i értékeket adottak, és az a paramétereket kell variálni úgy, hogy a modell által adott y(x i a) becslések jól illeszkedjenek az y i mért értékekre. y(x i a) = f (x i, a) szimulációs: numerikus algoritmus, stb. (ld. később) Kérdések: mennyire jó egy modell? a mérések alapján melyik a legjobb modell? hogyan találjuk meg a legjobb modellt?
Melyik a legjobban illeszkedő modell? Ha a modell szerint a mérési eredmények egymástól függetlenek, és kizárólag az x i értékektől és az ismeretlen a paraméterektől függenek, akkor használhatjuk a legnagyobb valószínűség 4 módszerét. A mért y i értékek sosem pontosak. Konkrét mérés esetében egy adott mért érték mindig csak valamilyen P(y i ) valószínűséggel fordul elő. a hibáról magáról is felteszünk valamit, ez is a modell része a P(y i ) valószínűség eloszlása megismételt mérésekkel elvileg megbecsülhető standard hiba esetében ez normális eloszlás a mérési hibának megfelelő σ szórással 4 angolul: maximum likelihood
A likelihood-függvény Kérdés: Mi annak a valószínűsége, hogy a modell egy adott a paraméterezése mellett a méréssorozat pont a mért y i értékeket adja? Legyen p(y i x i, a) annak a valószínűségnek az eloszlása, hogy egy konkrét paraméterezés esetén az i. mérés éppen y i értéket ad. Ha a méréssorozat N független mérés egymásutánjából áll össze, akkor a méréssorozat megvalósulásának teljes valószínűségi eloszlása adott a paraméterek esetén: L(a) = N p(y i x i, a) i Ez az ún. likelihood-függvény, aminek a maximumát keressük az a paraméterek variálása mellett.
A likelihood-függvény normális eloszlású hiba esetén Tegyük fel, hogy p(y i x i, a) a Gauss-eloszlás, azaz a mért érték normális eloszlású a modell által becsült érték körül σ i szórással: [ p(y i x i, a) = 1 exp 1 ( ) ] yi y(x i a) 2 σ i 2π 2 σ i Ezzel pedig a likelihood-függvény: L(a) = { [ 1 exp 1 ( ) ]} yi y(x i a) 2 σ i i 2π 2 σ i Keressük a likelihood-függvény maximumát, azaz: arg max a L(a) =?
A likelihood-függvény logaritmusa L(a) kifejezésében a produktum hasában csak pozitív számok állnak. Vegyük az egész kifejezés logaritmusát. Mivel a logaritmus monoton, ln L maximuma ugyanott lesz, ahol L maximuma. ln L(a) = [ 1 ( ) ] yi y(x i a) 2 + C, 2 σ i i ahol a C konstans tartalmaz minden olyan tagot, ami nem függ az a paraméterektől. Definiáljuk a következő mennyiséget: χ 2 = i σ 2 i [y i y(x i a)] 2 Ez az ún. khi-négyzet, amiről látszik, hogy a minimuma pontosan olyan a paramétereknél van, ahol L(a) maximális.
A legkisebb négyzetek módszere Konstans, normális eloszlású hiba esetén σ kiemelhető a χ 2 kifejezéséből, így végső soron a maximum likelihood módszer átmegy a legkisebb négyzetek módszerébe: arg min a [y i y(x i a)] 2 =? i A számolás során x i -ket végig ismertnek vettük. Általános esetben ezeknek is lehet hibájuk. Eddig a modellről nem tettünk fel semmit: lehet matematikai formula lehet algoritmus a bemenő paraméterekkel
A χ 2 minimalizálása Általános esetben a χ 2 bonyolult kifejezés. ha ismert is zárt alakban, analitikusan nehéz kezelni ha a modell csak algoritmikusan adott, akkor a minimum is csak algoritmikusan kezelhető Függvények minimumának keresésére majd nézünk módszereket. Pár érdekes eset: a függvény kvadratikus ha a függvénynek lokális minimumai vannak ha nagyon sok lokális minimum van
Kvadratikus kifejezés minimuma Ha egy kifejezés az a paraméterek pozitív definit kvadratikus kifejezése, akkor létezik a paraméterek egy olyan kombinációja, ahol a kifejezés minimális. Ebben a pontban az a szerinti parciális deriváltak értéke 0. A konkrét esetben a következőre vezet: arg min a [y i y(x i a)] 2 =? i σ 2 i 0 = 2 i [y i y(x i a)] y(x i...a k...) σi 2 a k minden k-ra, ahol k a paraméterek számáig futó index. Kérdés persze, hogy a parciális deriváltakat mennyire könnyű kiszámolni.
Az illesztett paraméterek hibája Eddig arról volt szó, hogy a mért értékeknek van valamilyen hibájuk. Most: elvégeztünk egy optimalizációs eljárást, ami a mérési adatok alapján megadott bizonyos a modellparamétereket. Kérdés, hogy ezek a paraméterértékek mennyire tekinthetők pontosnak. Két különböző dolgot vizsgálhatunk: hibaterjedés: a mérési hibából következően mekkora az illesztett paraméterek bizonytalansága konfidencia intervallumok: mennyire lehetünk biztosak abban, hogy a mérés alapján a valódi paramétereket sikerült megilleszteni? szemléletesen: mennyire romlik el az illesztés, ha a legjobban illeszkedő paramétereket egy kicsit megvariáljuk
Hibaterjedés Adott egy mért x mennyiség, aminek ismerjük a x hibáját. Mekkora y = f (x) hibája, ha f egy differenciálható függvény? y = f(x) Δy Δx x y = df dx x
Hibaterjedés több változó esetén Az x i változók hibája normális eloszlású, melyet δx i relatív hiba, illetve σ x szórás jellemez. Mekkora lesz az f (x 1, x 2,..., x i ) minden változójában differenciálható függvény által kifejezett mennyiség hibája. Tekintsük f Taylor-sorát az x i változók átlaga körül: f f i f x i (x i x i ) +... A szórás a Taylor-sor négyzete: ( f ) 2 (x i x i ) 2 + σ 2 f = i + 2 i<j x i ( ) ( f f x i x j ) (x i x i )(x j x j ) +...
Hibaterjedés több változóra A Taylor-sor négyzetében felfedezhetők a szórások és a kovarianciák kifejezései, vagyis: σ 2 f = i ( f x i ) 2 σx 2 i + 2 ( ) ( ) f f cov ij x i x j i<j Példa: Két független változó u = x + y összegének hibája: σ 2 u = σ 2 x + σ 2 y Példa: Két független változó u = x y szorzatának hibája: ( ) σu 2 = u 2 σx 2 x 2 + σ2 y y 2