Geostatsztka BSc műszak földtudomáy alapszak hallgatóak Dr. Szabó Norbert Péter egyetem adjuktus Mskolc Egyetem Geofzka Itézet Taszék e-mal: orbert.szabo.phd@gmal.com
Ajálott rodalom Steer Ferec, 990. A geostatsztka alapja. Taköyvkadó, Budapest Lukács Ottó, 987. Matematka statsztka (Bolya köyvek). Műszak Köyvkadó, Budapest Ferec Steer, 997. Optmum methods statstcs. Akadéma Kadó, Budapest Edward H. Isaacs, R. Moha Srvastava, 989. A troducto to appled geostatstcs. Oford Uversty Press Szabó Norbert Péter, 006. Geoformatka szoftverfejlesztés. Oktatás segédlet Stoya Gsbert, 005. Matlab, frssített kadás. Typote Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Mlye kérdésekre ad választ a geostatsztka? Isaaks ad Srvastava, 989 Mlye gyakra fordul elő egy bzoyos adat az adatredszerbe? Egy bzoyos érték alatt háy adat fordul elő? Hogya modellezhető matematkalag az adatok gyakorsága? M a legjellemzőbb érték a területe? Mlye mértékbe szórak az adatok? Hogya kezeljük a hbás adatokat? Hogya becsülhetjük be em mért potok értéket a több mérés smeretébe? Mlye kapcsolatba va egy bzoyos adat a többvel? Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Mlye kérdésekre ad választ a geostatsztka? Isaaks ad Srvastava, 989 M az adatok együttes előfordulásáak a valószíűsége? Mutat-e kapcsolatot a két adatredszer vagy függetleek egymástól? Mlye erős az adatredszerek közt kapcsolat és m az előjele? Hogya írjuk le matematkalag ezt a függvéykapcsolatot és terpolálhatjuk az eredméyeket be em mért tartomáyokra? Sok adat eseté hogya osztályozhatjuk az adatokat? Hogya következtethetük az adatokból a földta modell jellemzőre? M a következtetés hbája? Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Tematka Adatredszerek, hsztogramok és sűrűségmodellek A legjellemzőbb érték meghatározása Az adatredszerbe rejlő bzoytalaság jellemzése Statsztka becslések, becslések határeloszlása Statsztka próbák és lleszkedés-vzsgálatok A kovaraca és a korrelácó fogalma A leárs és emleárs függés mérőszáma Következtetés be em mért térrészek jellemzőre krgeléssel Kegyelítések, leárs és emleárs regresszó Klaszterelemzés Bevezetés a MATLAB programyelvbe. A Statstcs Toolbo éháy eleme Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
. Adatredszerek, hsztogramok, sűrűségmodellek Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Adatredszer ábrázolása számegyeese Ábrázoljuk adatak mdegykét rövd voalkét a számegyeese! Adatredszer: smételt radoaktív mérés azoos kőzetmtá, azoos műszerrel, azoos körülméyek között Megfgyelés: azoos dőtartam alatt külöböző számú részecskét érzékelt a műszer Steer, 990 Oka: atommagok bomlása sorá a kbocsájtott ɣ-részecskék száma azoos dő alatt em álladó Jeleség: a mért értékek egy jellemző érték (várható érték) körül szórak. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Adatredszer ábrázolása számegyeese Tapasztalat: ha I az adott dő alatt mért beütésszámok középértéke, akkor ± I a statsztkus gadozás mértéke. A ± I/I relatív hba értéke I övelésével csökke, ezért a hba úgy csökkethető, hogy a megfgyelést hosszú dőre (agy beütésszám) terjesztjük k Steer, 990 Megfgyelhető: a számegyeese balról jobbra ő az adatsűrűség, majd a mamum elérése utá smét csökke. Az [a,b] tervallum helyétől függő gyakorsággal várhatuk adatokat. Mérés smétlésekor az adatszám változk az egyes tervallumokba, a teljes adatsűrűség-változás azoba em. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Adatok előfordulás számáak ábrázolása Fgyelem: a mérés sorá többször s előfordulhat ugyaaz az adat! Ábrázoljuk az előfordulás számot az adat értékek függvéyébe! Steer, 990 Példa: Borsod II. szételep Múcsoy területére voatkozó vastagság adata (: telepvastagság, y: előfordulás darabszámba megadva). Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Adatredszer ábrázolása hsztogrammal Jelöljük -el az összes adatszámot, -vel pedg az -edk résztervallumba eső adatszámot! Ábrázoljuk a darabszámot h hosszúságú résztervallumokét! Módszer: az y tegelye az adott darabszámak megfelelő magasságba tegellyel párhuzamos egyeest húzzuk mde egyes résztervallumo. A kapott lépcsős függvéyt hsztogramak (tapasztalat sűrűségfüggvéyek) evezzük Steer, 990. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Adatredszer ábrázolása hsztogrammal Ábrázoljuk az ordátá az / aráyt, ez a relatív gyakorság! Ekkor a hsztogram adatszámtól függetle lesz (adatsűrűség-eloszlás sem változk). A 00* / megadja, hogy az összes adat háy százaléka esk az -edk résztervallumba Ábrázoljuk az ordátá /(*h) aráyt! Ekkor a hsztogram oszlopaak összterülete lesz. Az -edk téglalap területe aráyos az -edk résztervallumra eső adatszámmal A h rossz megválasztása. Nagy h eseté torzul a globáls adatsűrűség kép, ks h eseté agy ampltúdójú fluktuácók zavarják az adatelemzést Steer, 990. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Példa: Walker Lake, Nevada Isaaks ad Srvastava, 989. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
A sűrűségfüggvéy Illesszük függvéygörbét a hsztogram (, y ) adatpárjaak potjahoz! A legjobba lleszkedő f() függvéyt az adott adateloszlás sűrűségfüggvéyéek evezzük Helyparaméter (T): kjelöl a sűrűségfüggvéy helyét az -tegelye, a mamáls sűrűség helye. Szmmetrkus eloszlásál a szmmetrapotot jelöl (aszmmetrkus adateloszlásál em) Skálaparaméter (S): a sűrűségfüggvéy szélességét jellemz. Növekvő S-ekél agyobb az adatok bzoytalasága Steer, 990. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
A sűrűségfüggvéy tulajdosága A teljes görbe alatt terület (bztos eseméy) - f()d Aak valószíűsége, hogy az adat a mérés sorá az [a,b] tervallumba esk P(a b) f()d b a Steer, 990 Stadard alak: a szmmetrapot T=0-ál va, a szélességet szabályzó paraméter pedg S= Általáos alak: a stadard alakból (-T)/S és f() f()/s traszformácóval képezzük. Ekkor a szmmetrapot =T-be kerül, ahol a sűrűségfüggvéy S-szerese yújtott függvéy lesz az - tegely ráyába. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Nevezetes sűrűségfüggvéyek Egyeletes eloszlás: az adatok L hosszúságú tervallumba egyeletes valószíűséggel helyezkedek el (pl. lottóhúzás) A sűrűségfüggvéy f u (), S 0, S T egyébkét T S A sűrűségfüggvéy teljes számegyeesre vett tegrálja (görbe alatt területe) = Steer, 990 Példa: egyeletes eloszlású sűrűségfüggvéy llesztése a Borsod II. szételep telepvastagság adatredszerére (gyege közelítés). Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Nevezetes sűrűségfüggvéyek Gauss-eloszlás: más éve ormáls eloszlás, a mérés hbák tpkus (elfogadott) eloszlása A sűrűségfüggvéy stadard alakja f G () e A sűrűségfüggvéy általáos alakja f G () S e (T) S Steer, 990 Példa: Gauss sűrűségfüggvéy llesztése a Borsod II. szételep telepvastagság adatredszerére (jobb közelítés az egyeletes eloszláshoz képest). Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Nevezetes sűrűségfüggvéyek Laplace-eloszlás: a Gauss-eloszlásál szélesebb száryú sűrűségfüggvéy jellemz ( -es gyors csökkeés helyett szert csökkeek zérusra a függvéy értékek) A sűrűségfüggvéy stadard alakja f L () A sűrűségfüggvéy általáos alakja e f L () S e T S Steer, 990 Példa: Laplace sűrűségfüggvéy llesztése a Borsod II. szételep telepvastagság adatredszerére (legjobb lleszkedés, bár a hegyes mamum kevésbé reáls). Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Nevezetes sűrűségfüggvéyek Cauchy-eloszlás: Laplace sűrűségfüggvéyhez képest kevésbé hegyes csúcs, valamt súlyosabb száryak jellemzk A sűrűségfüggvéy stadard alakja f C () A sűrűségfüggvéy általáos alakja f C () S T S S S T Steer, 990 Példa: Cauchy sűrűségfüggvéy llesztése a Borsod II. szételep telepvastagság adatredszerére (majdem a legjobb lleszkedés, vszot reálsabb a Laplace-eloszlásál). Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Sűrűségfüggvéy llesztése az adatredszerre Az llesztés követelméye: a hsztogram potja (összességükbe) a lehető legközelebb legyeek a sűrűségfüggvéy görbéjéhez Jelölések: az -edk adat, y = /(h) az -edk relatív gyakorság (hsztogtam potok), f(,t,s) a kegyelítő (aaltkus) sűrűségfüggvéy Legksebb égyzetek elve (Least Squares Method): az lleszkedés aál a [T,S] értékpárál a legjobb, ahol a mérésből (hsztogramból) meghatározott y -k és az f(,t,s) modellből számított relatív gyakorság értékek eltéréseek égyzetösszege mmáls (N számú hsztogram pot eseté) N y f,t,s A feladatot alkalmas mmumhely-kereső (optmalzácós) eljárással oldhatjuk meg, mely adott eloszlásál megadja az f() sűrűségfüggvéy T és S paraméteret m. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Szmmetrkus szupermodellek A sűrűségfüggvéyeket modellcsaládokba redezhetjük, ezeket szupermodellekek evezzük. A sűrűségfüggvéy aaltkusa felírható és a típusparaméter (pl. a vagy p) változtatásával más-más sűrűség-függvéyt kapuk. A szupermodellek szmmetrkusak vagy aszmmetrkusak s lehetek f a f p Steer, 990. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Aszmmetrkus szupermodellek Webull Logorm Gamma F Steer 990. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Kumulatív gyakorság jellemzése Adjuk meg mlye aráyba várhatók egy ktütetett 0 -ál ksebb adatok! Kumulatív gyakorság hsztogram (tapasztalat eloszlásfüggvéy): az a lépcsős függvéy, mely mde -él megadja háy eél ksebb adatuk va. Egy új mérés adat megjeleése eseté az ordátá a gyakorság ugrásszerűe megő Steer, 990. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Példa: Walker Lake, Nevada Isaaks ad Srvastava 989. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Az eloszlásfüggvéy Eloszlásfüggvéy: agy adatszám eseté számítható aaltkus függvéy, mely megadja, hogy mekkora valószíűséggel vesz fel a valószíűség változó ksebb értéket, mt 0. Adatok mlye aráyba ksebbek valamely 0 értékél? 0 F(0) f () d http://evoluto-tetbook.org. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Az eloszlásfüggvéy tulajdosága Az eloszlásfüggvéy a sűrűségfüggvéy prmtív függvéye df() d f () Mvel f() -re ormált, ezért F() értékkészlete 0 F() Az f()0 matt F() mooto övekvő, azaz F( ) F( ), ha < Mlye aráyba fordulak elő -él agyobb adatok? -F() Mlye aráyba fordulak elő [a,b] tervallumo adatok? F(b)-F(a) Adatak háy százaléka ksebb, mt? 00*F(). Adatredszerek, hsztogramok, sűrűségmodellek ME 0
Példa: szemeloszlás görbék Sűrűségfüggvéy: egy adott méretű szemcséből mey va a kőzetmtába Eloszlásfüggvéy: egy adott szemcseméretél mey ksebb szemcse va a kőzetmtába Freudlud et al., 000. Adatredszerek, hsztogramok, sűrűségmodellek ME 0
. A legjellemzőbb érték meghatározása Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Idkátor térképek Isaaks ad Srvastava,989. A legjellemzőbb érték meghatározása ME 0
A mta legjellemzőbb értéke Számta átlag (mtaátlag): azoos súllyal vesz fgyelembe az adatokat Súlyozott átlag: az adatokat a pror súlyokkal (w) vesz fgyelembe Medá: eél agyobb és ksebb elem ugyaay va a mtába k k k k k k k,w w w w w w w w w páros, páratla, med )/ ( / )/ (. A legjellemzőbb érték meghatározása ME 0
Példa: átlagok és medá >> =[-. 3.6 4 9.8]' = -.0000.000 3.6000 4.0000 9.8000 >> mea() as = 3.700 >> meda() as = 3.6000 >> =[-. 3.6 4 9.8]' = -.0000.000 3.6000 4.0000 9.8000 >> w=[0.5 0.5]' w = 0.5000.0000.0000.0000 0.5000 >> (w'*)/sum(w) as = 3.5600. A legjellemzőbb érték meghatározása ME 0
Példa: kugró adatok súlyozása >> =[-. 0 3.6 4 9.8]' = -.0000.000 0.0000 3.6000 4.0000 9.8000 >> w=[0.5 00 0.5]' w = 0.5000.0000 00.0000.0000.0000 0.5000 >> w=[0.5 0.000 0.5]' w = 0.5000.0000 0.000.0000.0000 0.5000 >> (w'*)/sum(w) as = 3.563 >> (w'*)/sum(w) as = 4.455. A legjellemzőbb érték meghatározása ME 0
Példa: átlag és medá algortmus clc; clear all; =[-. 3.6 4 9.8]', w=[0.5 0.5]', =legth(); atl=0; for k=: atl=atl+(k); ed atl=atl/; sulyatl=0; seg=0; for k=: sulyatl=sulyatl+(w(k)'*(k)); seg=seg+w(k); ed sulyatl=sulyatl/seg; =sort(); f mod(,)==0 med=0.5*((/)+((+)/)); else med=((+)/); ed atl, sulyatl, med, = -.0000.000 3.6000 4.0000 9.8000 w = 0.5000.0000.0000.0000 0.5000 atl = 3.700 sulyatl = 3.5600 med = 3.6000. A legjellemzőbb érték meghatározása ME 0
Példa: Walker Lake, Nevada Isaaks ad Srvastava,989 V 00 00 k V k V V V 00 00 97.55ppm V V5 med 50 00.50 ppm. A legjellemzőbb érték meghatározása ME 0
A dhézó Képezzük súlyozott átlagot a φ() szmmetrkus súlyfüggvéyel! Az adatok zömétől távol eső potokak ks súlyt, a agyobb adatsűrűség helyeke agyobb súlyt aduk. Az M helye ma (M)= M, ε ε M Nagy : mde adathoz közel ugyaakkora súlyt redel (. és. eset), keső (kugró) adatok (outler-ek) elrotják az M jellemző érték becslését Steer,990 Ks : a cetrumhoz közel potok s fgyelme kívül maradak (4. eset) Dhézó (): skálaparaméter jellegű meység (súlyfüggvéy alakját meghatározza). Az adatok tömörödésével (kohézó) fordította aráyos. A legjellemzőbb érték meghatározása ME 0
A leggyakorbb érték Leggyakorbb érték (M ): terácós eljárással számítható helyparaméter jellegű meység (a mta legjellemzőbb értéke) Pg-pog terácós eljárás: általáos esetbe M-et és -t együttese határozzuk meg (j: terácós lépésszám). Első közelítés-be M -re a mtaátlagot vagy a medát fogadjuk el, valamt a dhézó első közelítését a mtaterjedelemből becsüljük (j= esetbe) ezutá a több terácós lépésbe M-et és ε-t egymásból származtatjuk m ma 3 j, j j, j j, j M M M 3 j, j j j, j j,j M M M. A legjellemzőbb érték meghatározása ME 0
Dhézó () Leggyakorbb érték (M) Példa: pg-pog terácós eljárás =[-.5-6.7 - -.5 0..4 6.8 9.8 5 3.5 30] 0 8 6 M()=mea() M()=meda() 4 0 5 0 5 0 5 30 Iterácós lépésszám (j) 40 30 0 0 0 5 0 5 0 5 30 Iterácós lépésszám (j) Szabó, 00. A legjellemzőbb érték meghatározása ME 0
Dhézó () Leggyakorbb érték (M) Példa: M számítása kugró adat eseté =[-.5-6.7 - -.5 0..4 6.8 9.8 5 3.5 30 00] 0 5 M()=mea() M()=meda() 0 5 0 5 0 5 0 5 30 Iterácós lépésszám (j) 0 00 80 60 40 0 0 5 0 5 0 5 30 Iterácós lépésszám (j) Szabó, 00. A legjellemzőbb érték meghatározása ME 0
Példa: leggyakorbb érték algortmus clear all; =[-.5-6.7 - -.5 0..4 6.8 9.8 5 3.5 30 00]; M=mea(); epslo=0.5*sqrt(3)*(ma()-m()); terma=30; for j=:terma szaml=0; szaml=0; ev=0; ev=0; seg=0; seg=0; f j== epslo(j)=epslo; M(j)=M; else for =:legth() seg=(()-m(j-))^; szaml=szaml+3*((seg)/(((epslo(j-)^)+seg)^)); ev=ev+(/((epslo(j-)^)+seg)^); ed epslo(j)=sqrt(szaml/ev); for =:legth() seg=(epslo(j-)^)/((epslo(j-)^)+((()-m(j-))^)); szaml=szaml+(seg*()); ev=ev+seg; ed M(j)=szaml/ev; ed ed >> mea() as = 3.747 >> meda() as = 4.6000 >> M() as = 3.747 >> M(terma) as = 3.485 >> epslo() as = 97.479 >> epslo(terma) as = 0.380. A legjellemzőbb érték meghatározása ME 0
A várható érték Relatív gyakorság: az A eseméy (adat) bekövetkezéséek száma aráyítva az összes kísérlet (mérés) számához ( A /). Valószíűség: egyre több kísérlet eseté a relatív gyakorság a P(A) számérték körül gadozk, mely megadja, hogy az A eseméy az összes kísérletek várhatóa háyad részébe következk be. Valószíűség változó: olya meység, amelyek számértéke valamlye véletle eseméy kmeetelétől függ. A p k valószíűség k (k=,,,) dszkrét valószíűség változó eseté ( a lehetséges eseméyek száma) p k P( k ), pk k Várható érték (E ): az a szám, amely körül a valószíűség változó megfgyelt értékeek (mérés adatok) átlagértéke gadozk E k k p k p p p E(c) ce(), E(y) E()E(y), E( y) E() E(y), E(a b) ae() b, c : kostas és y :függetle és y :em függetle a és b :kostas. A legjellemzőbb érték meghatározása ME 0
Várható érték a sűrűségfüggvéy smeretébe Mekkora a valószíűsége, hogy az adat [ 0, 0 +h] tervallumba esk? P(0 0 P(0 0 h) f(0) h f (0) h h) Lukács 987 Az tervallumba esés valószíűsége közelítőleg egyelő a relatív gyakorsággal ( 0 és az tervallumba eső ll. az összes adat száma) f ( 0 0 0) h f (0) h k f ( k ) k pk E h k k. A legjellemzőbb érték meghatározása ME 0
A legjellemzőbb értékek összehasolítása Tektsük az alább hat adatból álló mtát, melybe egy kugró adat s szerepel! Kugró adatok forrása lehet a hbás műszer, elrotott mérés, adattovábbítás vagy rögzítés stb. Megállapítható: a mtaátlag ge érzékey a kugró adat jelelétére, a medá és a leggyakorbb érték reálsabb becslést adott a legjellemzőbb értékre Steer,990 Rezszteca: a becslés eljárás kugró adatra szte teljese érzéketle Robusztusság: a becslés eljárás tág eloszlástípus-tartomáyo megbízható eredméyt ad. A legjellemzőbb érték meghatározása ME 0
3. Az adatredszerbe rejlő bzoytalaság jellemzése Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
A hba megjeleése az adatredszerbe Szsztematkus hba: Determsztkus oka vaak, redszeres hba. Azoos körülméyek között végzett mérésekél agysága és előjele em változk. Ilyeek a mérőeszköz tökéletleségéből származó hbák (a működés ll. htelesítés potatlasága), mérés módszerek specfkus hbá, vagy az elhayagolt külső hatásokból (yomás, hőmérséklet, páratartalom) eredő bzoytalaság. Legutóbbt kvéve jól korrgálható Véletle hba: A mérést befolyásoló külső okok együttes következméyekét lép fel és mde egyes mérésél másképp jeletkezk. Előjele egatív és poztív egyarát lehet. Véletleszerűe fellépő köryezet hatások, mérőműszer működés hbája, beállítás- és leolvasás potatlaságok. Nem küszöbölhető k teljes mértékbe, csak az átlagos hatásuk becsülhető Statsztkus hba: Nagyszámú egymástól függetle eseméy megfgyelésekor lép fel. Ilye például a részecskeszámlálásál észlelt hba (statsztkus gadozás). A mérés adatszám övelésével csökkethető 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Az adatredszer távolság defícó Ha smerék valamely meység potos értékét ( potos ), majd egyetle mérést végezék erre a meységre, akkor mérésük eredméyéek a valód hbája - potos lee. Mvel a meység potos értéket em smerjük, így azt az E, med vagy M -el helyettesítjük. Ezek eltérése matt a hbajellemzők értéke s külöbözk Defáljuk egyetle adat távolságát az 0 legjellemzőbb értéktől! 0 (p 0) Az =[,,, ] adatredszer 0 -tól való távolsága 0 p p : p 0 vagy p : 0 Látható, hogy ha az távol va a leggyakrabba előforduló -ek tartomáyától a távolságok agyok. A agy eltérések hatását csökkethetjük alkalmasa választott -el és szorzással 0 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Függetleítsük a jellemző távolságot -től és a mértékegységét azoosítsuk mértékegységével! A fet vektor-ormák 0 -szert mmumhelyet az adatredszer jellemző értékekét fogadjuk el. L -orma 0 -szert mmumhelye a medá, L -orma 0 -szert mmumhelye a számta átlag, valamt P -orma 0 -szert mmumhelye a leggyakorbb érték 0 0 0 k 0 0 p / p 0 p P : k P : k k P L : p L : p L Az adatredszer távolság defícó 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Hbaformulák Ha a mmumhely értékét 0 helyébe írjuk, egyetle távolságjellegű adatot kapuk, mely az adatokak a mmumhelytől való távolságát jellemz. A fet meység a bzoytalasággal áll kapcsolatba (agy átlagos távolság eseté agy a bzoytalaság, ks átlagos távolság eseté ksebb, azaz kevésbé szórak az adatok) Ha egyetle adatot fogaduk el jellemző értékek, akkor a távolság a hba mértékéek tekthető. Nem a med, E vagy M jellemzőkek, haem az egyes adatok (adatredszer bzoytalaságáról) beszélük Hbaformulák: - Közepes eltérés (L -orma) - Emprkus szórás (L -orma) - Emprkus határozatlaság (P -orma) Folytoos eloszlás (tegrál formulák) eseté elmélet szórásról stb. beszélük d U emp emp emp med 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0 E M
Hbaformulák összehasolítása Számítsuk k az (=,,,6) adatsorra az L -, L - és P-ormák értékváltozásat külöböző 0 -akra ( 0 =4-től kezdve)! Az adott orma mmumhelyé az ordátáról leolvashatjuk az adatredszerre jellemző hba mértékét. Megállapítható, hogy a kugró adat élkül a hba értékek közel esek egymáshoz, míg aak jelelétébe agy eltérés tapasztalható. A L -orma ge érzékey a kugró adatra, míg a P-orma rezsztes ( értéke szte változatla) Steer,990 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Valószíűség változó varacája A szóráségyzet (varaca) a valószíűség változó várható értékétől való eltérését jellemz (a várható értéktől való átlagos égyzetes eltérés mértéke). Dszkrét valószíűség változó eseté k E k p k A szóráségyzetre voatkozó tételek () E (a b) a ( y) E() () (), E( (y), ) E a és b : álladó és y : függetle Csebsev-egyelőtleség: a valószíűség változó várható érték körül szóródására ad felvlágosítást P E() () 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0 (),
Gauss-eloszlás és bzoytalaság Mamum lkelhood becsléssel bzoyítható (ld. 4. fejezet), hogy a Gauss-eloszlás skálaparamétere (S) megegyezk a szórással (σ) (varaca égyzetgyöke) és helyparamétere (T) a várható érték (E) f f G G () () S e e (T) S (E) Szabó,00 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Korrgált emprkus hbaformulák Az emprkus szórás ( ) torzított becslése az elmélet szórásak (), mvel E( ): A korrgált emprkus szórás defícója A korrgált emprkus szórás már torzítatla becslése az elmélet szórásak, mvel E( - )=. Bzoyítás Megjegyzés: a korrgált emprkus szórás evezőjébe (-) szerepel, mvel meghatározása (-) függetle adatból törték (a számta közép függ a mtaelemektől és egy adatot kszámíthatóvá tesz),, E E E E 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Példa: szórás algortmus clc; clear all; =[-. 3.6 4 9.8.6 5 6.7 7 8.]', =legth(); atl=0; for =: atl=atl+(); ed atl=atl/; szoras=0; for =: szoras=szoras+(()-atl)*(()-atl); ed Szoras=sqrt(szoras/), KorrSzoras=sqrt(szoras/(-)), Varaca=szoras/, KorrVaraca=szoras/(-), = -.0000.000 3.6000 4.0000 9.8000.6000 5.0000 6.7000 7.0000 8.000 Szoras = 6.6708 KorrSzoras = 7.037 Varaca = 44.5000 KorrVaraca = 49.4444 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Példa: Walker Lake, Nevada V f G 00 00 00 k 00 00 k V k V 00 k (V) (V) 97.55ppm k V V k V e 688ppm (VE(V)) (V) 688ppm 6.3 6.3ppm e (V97.55) 6.3 Isaaks ad Srvastava,989 Szabó, 00 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Kofdeca-tervallumok A dhézó agysága a leggyakorbb előfordulás tervallumát s jellemz. Arról formál, hogy az adatok háy százaléka várható a dhézó valamlye többszörösét ktevő hosszúságú tervallumo Kofdecaszt: százalékos előfordulás gyakorság. Kofdecatervallum: a kofdecaszthez tartozó tervallum Steer,990 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Kofdeca-tervallumok Az terszetls tervallumba [-Q,Q] az adatok /3-ada (66% kofdecaszt), az terkvartls tervallumba [-q,q] azok fele (50% kofdecaszt) várható. Hbajellemző meységek az terkvartls félterjedelem (q) és az terszetls félterjedelem (Q) A q az alsó kvartls (adatok ¼-e eél ksebb), q a felső kvartls (adatok ¼-e eél agyobb). A Q az alsó szetls (adatok /6-a eél ksebb), Q a felső szetls (adatok /6-a eél agyobb) Steer,990 Isaaks ad Srvastava,989 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Példa: f G () kofdeca-tervalluma Stadard Gauss-eloszlás sűrűségfüggvéye http://www.mfk.udeb.hu 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
A ferdeség A k-adk cetráls mometum: E(( E()) k ), ahol k poztív egész. A szóráségyzet azoos a másodk cetráls mometummal (k=) Ferdeség (skewess): a szmmetrától való eltérés mérőszáma (3-adk cetráls mometum és a szórás köbéek háyadosa) 3 3 Mart H. Trauth, 006 A =0 eseté a sűrűségfüggvéy szmmetrkus, >0 eseté aak alakja a szmmetrkushoz képest jobbra, <0 eseté balra yúlk el 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
A lapultság Lapultság (kurtoss): a vzsgált sűrűségfüggvéy csúcsossága hogya vszoyul a Gauss sűrűségfüggvéyéhez képest (4-edk cetráls mometum és a szóráségyzet égyzetéek háyadosa) A =0 eseté a sűrűségfüggvéy Gauss-eloszlású, >0 eseté a ormál eloszlástól csúcsosabb, <0 eseté a ormál eloszlástól lapultabb 3 4 Mart H. Trauth, 006 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
Példa: adateloszlások emprkus jellemző clc; clear all; =ufrd(-,,00,); y=ormrd(0,/sqrt(3),00,); subplot(,,); t=ormpdf([-.5:.:.5],0,/sqrt(3)); plot([-.5:.:.5],t); subplot(,,); k=ufpdf([-:.:],-,); plot([-:.:],k); z=[,y]; szkozep=mea(z), med=meda(z), empva=var(z), szor=std(z), terj=rage(z), lap=kurtoss(z)-3, szkozep = empvar= terjed= 0.070-0.03 0.309 0.3457.9703 3.460 Szabó, 00 med = szoras= lapult= 0.0957-0.00 0.5560 0.5880 -.0855 0.658 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
A mérés hba terjedése Ha a q meység függ más meységektől azaz q=q(,y, ), akkor,y, mérésével és Δ, Δy, mérés (véletle) hbák smeretébe q átlagértéke és aak Δq mamáls abszolút hbája (q leárs közelítéséből) meghatározható q q q, ahol q q q q(, y, ) és q y y Függetle valószíűség változók eseté érvéyes c c c A Gauss-féle hbaterjedés törvéy kvadratkus abszolút hbája q q q y y q q,y, q y,y, y 3. Az adatredszerbe rejlő bzoytalaság jellemzése ME 0
4. Mamum lkelhood becslés, becslések határeloszlása Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Sűrűségeloszlás paramétereek becslése Tegyük fel: smerjük az f() sűrűségfüggvéy típusát és skálaparaméterét (S). Határozzuk f() helyparaméterét (T)! Keressük meg az a T-t, melyél az db adat bekövetkezése a legagyobb valószíűséggel megy végbe. A paraméterbecslés eljárást mamum lkelhood módszerek evezzük Tektsük egy S= skálaparaméterű Cauchy-eloszlásból származó 0 elemű adatsort! Válasszuk ks -et és képezzük az adathelyeke az f( ) valószíűségeket! A teljes adatsorra képzett valószíűségek szorzatáak mamumáál adódk a keresett (optmáls) T érték Steer,990 4. Mamum lkelhood becslés, becslések határeloszlása ME 0
A lkelhood és log-lkelhood függvéy A mamum lkelhood elv szert optmum feltétele (ahol az f( ) valószíűségek -szeres szorzatába megjeleő szorzótéyezőt elhagyhatjuk, mvel az T-től függetle kostas) L,T f,tf,t f,t ma Vegyük az L célfüggvéy logartmusát! f L * l f,t ma Az L * célfüggvéy mamáls, ahol az smeretle paraméterek szert parcáls derváltak zérus értékűek A fet feltételből származó egyeletek megoldásával kapjuk a keresett paramétereket Szabó, 009 4. Mamum lkelhood becslés, becslések határeloszlása ME 0
Példa: Gauss-eloszlás paraméterbecslése A mamum lkelhood függvéy (alkalmazzuk a hatváyozás azoosságat!) Vegyük az L célfüggvéy logartmusát! Képezzük a parcáls derváltakat és fejezzük k T-t és S-et! T S e S e S,S,T f L T S G ma T S l l S l L L * 3 * T S 0 T S S S L * E T 0 T T T 0 T S T L 4. Mamum lkelhood becslés, becslések határeloszlása ME 0
Becslések határeloszlása Becslések eloszlása övekvő mta elemszám ( ) eseté az ú. határeloszláshoz tart. Tetszőleges eloszlásból származó mtából meghatározott számta átlagok (mtaátlagok) határeloszlásáak hely- és skálaparamétere (T=E és S=σ) σ... E E... E E E E E E...... σ A cetráls határeloszlástétel alapjá kmodható, hogy az átlagok (mt becslések) eloszlása határesetbe, véges szórás eseté a fet paraméterekkel jellemzett Gauss-eloszlást közelít. Ha egy becslés eloszlása A / szórású Gauss-eloszlás, akkor A -t aszmptotkus szórásak evezzük Nagy számok törvéye alapjá szté kmodható, hogy az átlagképzés agy -ek és véges szórás eseté -el aráyos potosságövekedést mutat 4. Mamum lkelhood becslés, becslések határeloszlása ME 0 σ
Példa: mta és mtaátlagok eloszlása Szabó, 009 4. Mamum lkelhood becslés, becslések határeloszlása ME 0
5. Statsztka próbák és lleszkedés-vzsgálatok Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Statsztka próbák Statsztka próba: olya teszt eljárás, amely valamlye statsztka feltevések az elleőrzését tesz lehetővé a mta alapjá Paraméteres próbák: smert eloszlástípus eseté a mtából származó formácók alapjá dötük az eloszlás smeretle paraméterere tett feltevés elfogadásáról. Fajtá: egymtás (egy adatsor), kétmtás próbák (két adatsor) és többmtás próbák (varacaaalízs) Nemparaméteres próbák: smeretle eloszlástípus eseté alkalmazzuk. Vzsgálhatjuk, hogy a mérés adatokból előállított emprkus sűrűségfüggvéy (hsztogram) egy adott elmélet sűrűségfüggvéyel leírható-e vagy sem (lleszkedésvzsgálat). Vzsgálhatjuk, hogy két külö mérés eljárásból származó adatsor függetleek tekthető-e vagy sem (függetleség vzsgálat). Vzsgálhatjuk, hogy két külö mérés eljárásból származó adatsor azoos eloszlású-e vagy sem (homogetás vzsgálat) 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
A statsztka hpotézs Statsztka hpotézs: a megfgyelt meység eloszlásáak a típusára vagy az eloszlás paraméterere tett feltevés (mvel statsztkába az gazságot abszolút bzoyossággal em tudjuk megállapíta, az állításokat hpotézsekek evezzük). Nullhpotézs (H 0 ): az előzetes feltevést gazak tételezzük fel (azaz a vzsgált eltérés 0). Ellehpotézs (H ): a ullhpotézssel szembeálló más feltételezés Példa: legye smert az meység eloszlása (pl. ormáls) és szórása. A változóra vett mtába az átlag. Igaz, hogy az egész sokaság várható értéke T 0? Vzsgáljuk meg: a mtabel tapasztalat alátámasztja a következő ullhpotézst? H : E() T H 0 Mvel cs a teljes sokaság a brtokukba, ezért kevés mérésre tudjuk csak a ullhpotézs feállását vzsgál 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0 0 : E() T 0
Az egymtás u-próba Statsztka függvéy (statsztka): számítás utasítás, mely egyetle adatot számít db adat alapjá. A statsztka próba feladata megtalál a statsztka függvéyt, amelyek eloszlását H 0 feállása eseté smerjük Válasszuk statsztka függvéyek a következőt, mely előállítja az u véletle változót! Az u s Gauss-eloszlást követ ( stadardzáltja) u / Megbízhatóság tervallum: [-u, u ], ahol u agy valószíűséggel esk ahol a krtkus tartomáyra esés valószíűsége és (-) a szgfkaca-szt T T0 T u u P u / / P 0 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0 0
Az egymtás u-próba Ha H 0 ullhpotézs gaz, akkor u agy (-) valószíűséggel esk a megbízhatóság tartomáyba, azaz ks () valószíűséggel a krtkus tartomáyba Ha u a krtkus tartomáyba va, akkor H 0 ullhpotézst elvetjük, ha azoba u a megbízhatóság tartomáyo belül va, akkor elfogadjuk Steer,990 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
Statsztka próba hbafogalma Elsőfajú hba: ha u a krtkus tartomáyba esk és H 0 t elvetjük akkor valószíűséggel követük el hbát, ha H 0 mégs gaz. Másodfajú hba (): ha elfogadjuk H 0 -t valószíűség mellett, azoba H 0 em gaz Steer,990 Vgyázat: H 0 elfogadása aál agyobb kockázattal jár, mél agyobb az (-), ezért em célszerű a bztoság sztet túl magasra állíta! 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
Grafkus lleszkedés-vzsgálat Grafkus ormaltásvzsgálat: a mta Gauss-eloszlásból származk? A Gauss-papír abszcsszájá az változó értéke, az ordátá a () stadard Gauss eloszlásfüggvéy átskálázott értéke szerepelek. Ábrázoljuk úgy a potokat, hogy () 0.5-től egy távolságegységgel feljebb, (-) egy távolságegységgel lejjebb, () kettővel feljebb, (-) kettővel lejjebb stb. legye! Képezzük ()-ből F()-et az - tegely met egységek -ra változtatásával és az ordátategely -m eltolásával! A Gauss-papíro az m várható értékű, szórású F() ormáls eloszlású adatsor képe egyees F F Lukács,987 m m 0, Fm 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
Példa: ɣ-teztás és telepvastagság adatok F a (), a=5 Steer,990 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
Példa: ɣ-teztás mérés, Mály 965 906 309 983 985 939 3046 309 986 308 3069 306 97 beutes 959 304 890 3007 968 95 3035 777 843 749 8 Pethő és Szabó, 00 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
Példa: ɣ-teztás mérés, Mály clc; fgure(); stem([:legth(beutes)]',beutes(:,)); label('mérés sorszáma'); ylabel('gamma beütés/perc'); fgure(); ormplot(beutes); fgure(3); subplot(,,); [,a]=hst(beutes,(600:30:300)); bar(a,/8); label('\gamma'); ylabel('f(\gamma)'); grd o; hold o; [m,szgma,kof_m,kof_szgma]=ormft(beutes); lapultsag=kurtoss(beutes)-3, ferdeseg=skewess(beutes), m, szgma, kof_m, kof_szgma, prob=ormpdf((600:30:300),m,szgma); plot((600:30:300),30*prob,'r'); subplot(,,); s=cumsum(); bar(a,s/8); label('\gamma'); ylabel('f(\gamma)'); grd o; hold o; eloszfgv=ormcdf((600:30:300),m,szgma); plot((600:30:300),eloszfgv,'r'); Szabó, 009 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
Példa: ɣ-teztás mérés, Mály lapultsag = -0.694 ferdeseg = f ( ) e 84 ( 944) 4-0.36 m = 944. szgma = 84.0745 kof_m (95%) =.99.4.958.8 kof_szgma (95%) = 74.884 95.8567 Szabó, 009 5. Statsztka próbák és lleszkedés-vzsgálatok ME 0
6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Korrelálatla adatok eloszlása Legye (, ) -dmezós valószíűség változó! Az f(, ) együttes valószíűség-sűrűség függvéy megadja, hogy az első mérés mlye valószíűséggel esk, a másodk pedg köryezetébe Az együttes sűrűségfüggvéy korrelálatla adatok eseté f (,) f () f () Nézzük az ábrát! Látható, hogy pl. agy értékek eseté ugyaaz a valószíűsége, hogy értéke kcs vagy agy. Ncs együttváltozás, ekkor azt modjuk, hogy az adatok korrelálatlaok Meke,984 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
Korrelált adatok eloszlása Korrelált adatok együttes eloszlása eseté bzoyos agyságú értékek köryezetébe csak bzoyos értékek szerepelek azoos valószíűséggel. Ekkor az adatok együttváltozása fgyelhető meg Nézzük az ábrát! Látható, hogy pl. agy értékekhez csak agy értékek tartozak (ahol a korrelácó mértékével aráyos szög) Meke,984 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
Az együttváltozás mérőszáma Osszuk fel az síkot égy síkegyedre! Ezutá képezzük az adatokból az függvéyt! Szorozzuk össze ezt a függvéyt a sűrűségfüggvéy értékekkel, majd adjuk össze előjelese a területeket. Az így kapott kovaraca a két valószíűség változó együttváltozásáak a mérőszáma Meke,984 Korrelálatla változókál cov=0, mvel a égy síkegyedre azoos agyságú értékek esek. Korrelált változók eseté cov 0 és poztív (azoos ráyú) vagy egatív (elletétes ráyú) előjelű a változás 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
A kovaraca tulajdosága A kovaraca valószíűség-elmélet formulája és tulajdosága cov(, y) E E() y E(y) cov(, y) E(y ) E() E(y) y y cov, y, y y cov cov(, ) A kovaraca emprkus (tapasztalat kovaraca) formulája cov y y k Látható, hogy =y eseté a kovaraca megegyezk az emprkus szóráségyzettel k k 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
A leárs függés mérőszáma Korrelácós együttható: két változó között (leárs) kapcsolat szorosságát mérő szám (ormált kovaraca) r(, y) cov(, y) () (y), r k k y y y y k k k k k Az r egy - és között szám. Ha r= teljes korrelácóról, r=0 eseté leárs függetleségről beszélük. A korrelácó erőssége 0 < r < 0.4: gyege korrelácó 0.4 r < 0.7: közepes korrelácó 0.7 r : erős korrelácó A korrelácós együttható előjele a két változó együttváltozásáak az ráyáról tájékoztat 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
Példa: egy fország fúrás Szabó, 009 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
Példa: Walker Lake, Nevada r 00 U k UV k V 00 00 U k U Vk V k k k 0.84 Isaaks ad Srvastava,989 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
Tektsük az (,,, ) -dmezós valószíűség vektorváltozót, ahol tételezzük fel hogy smerjük az változók várható értéket és szórásat! A kovaraca mátr a változók párokét együttváltozását adja meg. A kovaraca mátr szmmetrkus, mvel COV(, j )=COV( j, ) A korrelácós mátr a változók párokét (leárs) kapcsolatáak az erősségét adja meg. Szmmetrkus mátr, mvel R(, j )=R( j, ) σ ), cov( σ ), cov( ), cov( ), cov( σ COV ), r( ), r( ), r( ), r( R Többváltozós leárs kapcsolatok 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
Példa: korrelácós mátr számítás clc; clear all; =[ 3 4 5], y=[- 3 5 6 9.4], N=legth(); atls=0; for =:N atls=atls+(); ed atl=atls/n; yatls=0; for =:N yatls=yatls+y(); ed yatl=yatls/n; s=0; for k=:n s=s+(((k)-atl)^); ed kov=s/(n-); szor=sqrt(kov); s=0; for k=:n s=s+(((k)-atl)*(y(k)-yatl)); ed kov=s/(n-); kov=s/(n-); s3=0; for k=:n s3=s3+((y(k)-yatl)^); ed kov=s3/(n-); szory=sqrt(kov); kovaraca=[kov kov;kov kov], korr=kov/(szor*szor); korr=kov/(szor*szory); korr=korr; korr=kov/(szory*szory); korrelaco=[korr korr;korr korr], = y = 3 4 5-3 5 6 9.4 kovaraca = szoras_ =.5000 5.9500.58 5.9500 4.750 korrelaco = szoras_y =.0000 0.9798 3.8408 0.9798.0000 Szabó, 009 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
Példa: a földmágeses mérés elve http://www.scfu.ed.ac.uk http://www.earthsc.umelb.edu.au/es304 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
P T[T] P Példa: mágeses adatok korrelácója 0.35 y=5m 0.3 0.5 0. 0.5 m 0. 0.05 0 4.83 4.84 4.85 4.86 4.87 4.88 4.89 4.9 4.9 T [T] 0 4 4.9 04 Szabó, 004 4.9 4.89 kovaraca = szoras_= 0.5 y=8m 4.88 3099 635 5.98 635 304 0. 0.5 4.87 4.86 korrelaco = szoras_y= 0. 4.85.0000 0.780 4.9 0.780.0000 0.05 0 4.83 4.84 4.85 4.86 4.87 4.88 4.89 4 T [T] 0 4.84 4.83 0 5 0 5 0 5 30 35 40 45 50 [m] 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
A korrelácós együttható korláta A korrelácós együttható megadja a leárs kapcsolat ráyát, agysága fordította aráyos a zaj mértékével, de egyértelműe em adja meg az egyees meredekségét Vzsgáljuk meg a következő égy külöböző függvéykapcsolat eseté az r(,y) értékét! Az és y változók átlagértéke 9.0 és 7.5, szórásuk.0 és 4.. A korrelácós együttható értéke mde esetbe 0.86. Md a égy regresszós egyees egyelete: y=3+0.5 http://e.wkpeda.org 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
A emleárs kapcsolat mérőszáma Redezzük az (=,,,) adatokat övekvő sorredbe! A legksebb érték kapjo -es ragot a legagyobb pedg -et. Végezzük el ugyaezt y (=,,,) adatsoro s! Számítsuk k a rag értékek átlagértékét és szórását! Rag korrelácós együttható: két változó között emleárs kapcsolat erősségét jellemző mérőszám ρ k rag rag rag y ragy k σ rag Nemleárs függvéykapcsolat eseté ρ alkalmasabb a korrelácó jellemzésére, mt r. A rag korrelácós együtthatót kevésbé befolyásolják a kugró értékű adatpárok, mt a hagyomáyos korrelácós együtthatót Mél agyobb az ρ értéke, y változó aál potosabba becsülhető változó segítségével 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0 σ rag y k
y Példa: rag korrelácó számítás 50 00 50 r = 0.64 = 0.95 00 50 0-50 -3 - - 0 3 4 5 Szabó, 00 6. A kovaraca és a korrelácó fogalma. A leárs és emleárs függés mérőszáma ME 0
7. Következtetés be em mért térrészek jellemzőre krgeléssel Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Problémafelvetés Feladat: legye Z vzsgált meység smert a Z (=,,,7) mérés potokba. Határozzuk meg ugyaeze meység értékét a Z 0 potba! Hagyomáyos terpolácós eljárással meghatározható Z 0 értéke, ahol a Z 0 -tól való távolság szert súlyozzuk a köryező Z értékeket Z 0 w Z, ahol w d d Zhag, 009 A Z 4 és Z 6 potokak agyobb súlyt kellee ad, mt Z és Z -ek, mvel Z 0 -al azoos földta egységbe (homok) tartozak. Hogya érvéyesítheték a geológa formácót s az terpolácó sorá? 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
A térbel korrelácó Bohlg, 005 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
A varogram Tételezzük fel, hogy az adatok Gauss-eloszlást követek és gadozásuk szórással jellemezhető! Feladat: A kérdéses meység potbel értékét a köryező (smert) adatok súlyozott átlagakét számítjuk. Válasszuk olya súlyokat, mellyel az eredméy szórása mmáls lesz (ez a krgelés alapja)! Félvarogram: (h) görbe, mely a h távolság függvéyébe megadja a vzsgált Z meység értékkülöbség égyzetösszegéek a felét h h Zr h ahol h: a két vzsgált pot távolsága (az eltolás mértéke) h (h): az egymástól h távolságba lévő összes potpár száma Z(r ): a vzsgált meység értéke az r helyzetű potba Z(r +h): a vzsgált meység értéke az r pottól h távolságra r : az -edk pot helyzete (térbe a helyvektora) 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0 Z r
A varogram tulajdosága Megfgyelhető: [Z(r )-Z(r +h)] (-)-szeres értékre vált, amkor a két pot helyet cserél a térbe. A külöbségek átlagértéke ezért zérus. Az egyes külöbségek így az átlagértéktől való eltéréskét foghatók fel, azaz a varogram megegyezk az emprkus szóráségyzet értékéek a felével h VARZ r Zr h A varogram aszmptotkusa tart egy bzoyos γ(h) értékhez. Ez h=0 eseté kjelöl a Z(r) szóráségyzetét VAR Zr COVZ r,z r H ahol H a hatástávolság. A korrelácó két pot között csak eze távolságo belül áll fe (eze belül lehet potot választa az terpolácóhoz) COV Zr,Z r h H h Bohlg 005 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
A varogram ráyfüggése zotrop Isaaks ad Srvastava,989 azotrop 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
Varogram modellek A mérés eredméyekből számított tapasztalat varogram potjara elmélet függvéyek ú. varogram modellek lleszthetők Az epoecáls, szférkus és Gauss modelleket alkalmazzák leggyakrabba SZ E h h C.5 C, C e h H h H 0.5, h h H h H C e A ɣ(h) elmélet görbék C-hez tartaak, ahol H-t kegyelítéssel számítjuk k C H G h H 3, VAR Z r h H A kregeléshez szükséges kovaracát a varogramból számíthatjuk k COV Zr,Z r h C h Bohlg, 005 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
A krgelés Krgelés: robusztus, súlyozott becslés eljárás be em mért potok jellemzőek a meghatározására (em érzékey a varogram modellre, valamt tektetbe vesz aak ráyfüggését s) Közelítsük P 0 potba az smeretle Z(P 0 ) értéket db közel P pot smert Z(P ) értékéek súlyozott átlagával! w Z Z P 0 P A w súlyok összege legye, így a becslés torzítatla (mert ha pl. mde köryező érték egyforma lee, csak ebbe az esetbe kapák a kérdéses potba s ugyaazt az értéket) Kössük a w súlyok meghatározását a becslés szóráségyzetéek (valód és becsült érték eltéréséek a varacája) mmumához! VAR Z P 0 w ZP m 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
A krgelés A mmalzálás a KW=D leárs egyeletredszerre vezet (ahol K az ú. Krge-mátr és μ a Lagrage-féle multplkátor) c c c c A K mátrba található kovaracákat a varogramból számítjuk k (smertek!) c c c 3 j 0 c c c c 3 c c c c 3 3 33 3 COV Z P VAR Z P COV Z P, ZP C h(p,p ) C, ZP C h(p,p ) 0 j Az smeretle súlyokat a W=K - D egyeletredszerből határozzuk meg, mellyel előállítható az smeretle Z(P 0 ) érték. A becslés hbát (becslés szóráségyzetét) a =W T D segítségével kapjuk c c c c 3 w c0 w c0 w 3 c03 w c 0 0 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0 0 j
Példa: Walker Lake, Nevada Isaaks ad Srvastava,989 epoecáls 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
Példa: Walker Lake, Nevada Isaaks ad Srvastava,989 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
Példa: mágeses mérés, Nyékládháza m m Szabó 004 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
Példa: mágeses adatok terpolácója krgeléssel Varogram Iterpolácó eredméye Szabó, 004 7. Következtetés be em mért térrészek jellemzőre krgeléssel ME 0
8. Kegyelítések, leárs és emleárs regresszó Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
A leárs regresszó Regresszó számítással függvéykapcsolatot keresük az és y tapasztalat úto megfgyelt meységek között, azaz keressük az y=f() regresszós függvéyt A legegyszerűbb egyváltozós feladat a leárs regresszó. Keressük meg az ( (m),y (m) ) (=,,,) mérés potpárokra legjobba lleszkedő egyeest és határozzuk meg az egyeletét! y m a A képletbe m a regresszós egyees meredeksége ( változó értékéek egységy megváltozása mekkora változást déz elő y változóba) és a az egyees ordáta-metszete A fet egyelet (regresszós modell) segítségével ( (sz),y (sz) ) (=,,,) számított adatsort állíthatuk elő, melyek a mért adatoktól való eltérése az m ll. a paraméterek megválasztásától függ A mérés és a számított adatok eltéréséek mmumáál kapjuk a mérés adatokra legjobba lleszkedő egyeest 8. Kegyelítések, leárs és emleárs regresszó ME 0
A leárs regresszó Szabó, 00 8. Kegyelítések, leárs és emleárs regresszó ME 0
A leárs regresszó Számítsuk k az y (sz) adatokat az (m) (=,,,) abszcssza értékekél a regresszós modell segítségével! y (sz) m Határozzuk meg az m és a paraméterek optmáls értékét a legksebb égyzetek módszerével! Az lleszkedés a mért és számított adatok között ott a legjobb, ahol az E(m,a) célfüggvéy értéke mmáls (m) a E (m) (sz) y y y m a m A mmalzálást végrehajtva kapjuk az m és a regresszós koeffcesek optmáls értékét, mely kfejezhető az és y változó korrelácós együtthatója (r y ) és szórása ( és y ) segítségével m r y y, a y m 8. Kegyelítések, leárs és emleárs regresszó ME 0
Példa: a polyft függvéy clc; clear all; =[0:0]; y_mert=[- 0.56.3 3.4 4 5.6 7.8 7.9 8.3 9 9.8]; eh=polyft(,y_mert,); y_szam=polyval(eh,); plot(,y_mert,'*'); hold o; plot(,y_szam); label(''); ylabel('y'); ttle('leárs regresszó'); m=eh(), a=eh(), R=corrcoef(,y_mert), Szgma=std(), Szgmay=std(y_mert), m_r=r(,)*std(y_mert)/std(), a_atl=mea(y_mert)-m*mea(), Szabó, 009 R = Szgma = Szgmay =.0000 0.98 3.366 3.737 0.98.0000 m = a = m_r = a_atl =.05-0.3745.05-0.3745 8. Kegyelítések, leárs és emleárs regresszó ME 0
A legksebb égyzetes (L -ormá alapuló) kegyelítések jeletős hátráya az, hogy ge érzékeye reagál a kugró adatokra és az adatok eloszlás típusáak változására s Az L -ormá vagy P-ormá alapuló kegyelítés eljárások kevésbé érzékeyek a kugró adatokra. Pl. L -orma célfüggvéye R számú A(p)=0 mellékfeltétel előírása mellett (ahol p smeretleek vektora, Lagrage multplkátorok) Rezsztes kegyelítő eljárások R r r (m) m A p,p f y E (m) (m) (m) p / p (m) p f y ma L : p f y L : p f y L : p f y L Szabó, 005 8. Kegyelítések, leárs és emleárs regresszó ME 0
Nemleárs regresszó Nemleárs regresszó számítást akkor alkalmazuk, ha az adatokra legjobba lleszkedő függvéy em leárs. Gyakra alkalmazzuk a polomok (pl. hatváyfüggvéyek) szert kegyelítést N y (m) f (,p) f (,p) f (,p,p Learzál s lehet az y=f() függvéykapcsolatot. Az eredet változók helyett, velük összefüggő, de egymással leárs kapcsolatba lévő változókat vezetük be y ae Y l y, X a e A b, b B (Többváltozós adat-modell összefüggésekkel az MSc taayagba foglalkozuk),...,p J ) m J j0 l y l a b p j Y A BX 8. Kegyelítések, leárs és emleárs regresszó ME 0 j
Példa: kőzetfzka alkalmazás Dobróka és Szabó, 007 l( K) 3.088 4.3756POR - 0.0776SWIRR 6.8436POR 6.739PORSWIRR -.5573SWIRR 5.0006 POR SWIRR -.6079 PORSWIRR.9346 POR 7.4378 POR SWIRR 4 9.87 POR 3 9.695 SWIRR 3 SWIRR 0.69 POR 4 44.055POR 3 5.870SWIRR 3 SWIRR 8. Kegyelítések, leárs és emleárs regresszó ME 0
Példa: mágeses alkalmazás (Nyékládháza) Szabó, 006 8. Kegyelítések, leárs és emleárs regresszó ME 0
9. Klaszterelemzés Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0
Az adatmátr Rögzített értékek formájába redelkezésre álló megfgyelés eredméyeket adatokak evezzük. Földta szerkezetkutatás sorá az adatredszer többféle mérésfajtát ll. agy kterjedésű területe (felszíe vagy felszí alatt) elhelyezkedő agyszámú geológa objektumot foglalhat magába Az adatokak két jellemzőjük va. Objektum: a földta képződméyek sokaságáak egy eleme, amt megfgyelük. Tulajdoság: a sokaság eleméhez tartozó jellemző (változó) Redezzük az I számú objektum J külöböző tulajdoságára voatkozó adatokat a D adatmátrba! D d d d I d d d j j Ij d d d J J IJ 9. Klaszterelemzés ME 0
Csoportosítás Klaszterelemzés: feladata, hogy az objektumokat közös tulajdoságak alapjá csoportokba redezzük. A csoportosítás alapja egy adott metrka szert közelség. Két objektum hasoló, ha távolságuk kcs, vagy eltérőek, ha távolságuk agy Klaszter (csoport): olya objektumok együttese, melyek egy jól defált szempot szert tektve hasolóak Az X tulajdoságmátr részhalmazokra való botása sorá teljesüle kell: mde elem tartozzo bele egy klaszterbe, egy elem csak egy klaszterbe tartozzo, e legye olya klaszter, amely em tartalmaz elemet Kugró adatokra érzékey eljárás, az eltérő agyságredű (és dmezójú) adatok torzíthatják a becslést www.cse.ur.edu 9. Klaszterelemzés ME 0
Pl. fúrás geofzka cross-plotok MOL, 004 9. Klaszterelemzés ME 0
A csoportok jellemzése Átmérő: a csoport két legtávolabb eleméek a távolsága. Súlypotvektor: megadja a csoport helyét a térbe. Sugár: a csoportsúlypot és az attól legtávolabb elem távolsága. Cetrod: a K-adk csoport c K súlypotja a csoport elemszáma ( K ) smeretébe Csoportok között távolság defálása: () Mkowsk-távolság: L p -orma () Eukldesz-távolság: L -orma (3) Ctyblock-távolság: L -orma (4) Mahalaobs-távolság: amkor és y változók em függetleek egymástól, akkor a korrelácó mértékét s be kell ve a számításba (osztauk kell a kovaracákkal). Előye: ha a változók külöböző agyságredje és dmezója matt a távolságok em összemérhetők, akkor (4) kedvezőe ormál () () (3) (4) c K y d(, y) d(, y) d(, y) d(, y), y, y p K y K,,,, y y y p (K) T y COV y 9. Klaszterelemzés ME 0 T T
A távolságmátr Távolságmátr: elem eseté ()-es mátr, ahol a d j elem megadja az -edk és j-edk adatpotok között távolságot D 0 d d d d 0 d d 0 www.emeraldsght.com A klaszterképzés krtéruma az, hogy az osztálybel elemek között a távolság mmáls és az osztályok között távolság mamáls legye http://zooek.free.fr/unix/48_r 9. Klaszterelemzés ME 0
Herarchkus klaszterező eljárások Az egymásba ágyazott ú. herarchkus klaszterezés előye, hogy em kell előre smerük a létrehozadó klaszterek számát. Hátráya az dőgéyesség, ezért csak ks mtaelemszám eseté haszáljuk őket (tárol kell a mtaelemek egymástól mért távolságaak D mátrát). Zaj és kugró adatokra érzékey eljárás Agglomeratív eljárás: kezdetbe számú klaszterük va (aháy adat ay klaszter va). Az első lépésbe a két legközelebb álló klasztert egyesítjük, így eggyel csökke a klaszterek száma. Lépésekét csökketjük a klaszterek számát. Az utolsó lépésél mde adat egy csoportba gyűjtve egyetle klasztert alkot. Az eljárás herarchkus, mert egyszerre csak két klaszter egyesítése törték, és ezek már együtt maradak az utolsó lépésg Dvzív eljárás: kduláskor egy klaszterük va, amely az összes adatot tartalmazza. A folyamat sorá külöválasztjuk azokat az eseteket, amelyek a legjobba külöbözek a több által alkotott csoporttól 9. Klaszterelemzés ME 0
Herarchkus klaszterező eljárások A klaszterezés algortmusa: először kszámítjuk a kezdet kofgurácóra a távolságmátrot. Ekkor még mde adat ömaga alkot egy egyelemű klasztert. Ezutá összevojuk a két legközelebb álló adatot. A távolságmátrot újraszámoljuk. A fet lépéseket addg smételjük, amíg már csak egy klaszter marad Dedrogram: A herarchkus klaszterező eljárás az adatelemeket ú. fastruktúrába redez. A fa mde belső ága megfelel egy-egy klaszterek, melyek vége találhatók az összetartozó elemek. A módszer az elemek egymáshoz tartozását szemléltet, de em alkalmas a csoportok térbel elhelyezkedéséek szemléltetésére Ta, 006 9. Klaszterelemzés ME 0
Klaszterek egyesítése Nézzük a felső ábrát! Kduló helyzetbe külöálló elem látható (p-p). Számítsuk k a távolságmátrot, majd egyesítsük a legközelebb elhelyezkedő elemeket! Tektsük az alsó ábrát, mely egy köztes állapotot tükröz! Az aktuáls lépésbe a C és a C5 klaszter egyesítése törték. E két klaszter helyezkedk el a legközelebb egymáshoz. A fő kérdés az, hogya defáljuk a klaszterek hasolóságát? Ta, 004 9. Klaszterelemzés ME 0
Klaszterek hasolósága A csoportok egyesítésére többféle klaszterező eljárás smeretes, melyek külöböző jellemzők alapjá értelmezk a klaszterek között hasolóságot Egyszerű lác módszer (smple lkage): a csoportok legközelebb elemeek a távolságát vzsgálja. Teljes lác módszer (complete lkage): a legtávolabb elemek távolságát fgyel. Csoportátlag módszer (average lkage): a két csoport eleme között távolságok átlagát tekt alapul. Súlypot módszer (cetrod lkage): a csoportok súlypotjaak távolságát éz. Ward-módszer (Ward lkage): az új, g-edk csoporto belül az ( -c g ) eltérések égyzetösszegét mmalzálja (ahol c g a csoport súlypotja) Ta, 006 9. Klaszterelemzés ME 0
Példa: herarchkus klaszterezés Cetrod módszer Obádovcs, 009 Dedrogram: függőleges tegelye az adatok sorszáma szerepel az összekapcsolódás sorredjébe. A vízsztes tegelye követhetjük a klaszterezés lépéset valamt a cetrodok között távolságértéket 9. Klaszterelemzés ME 0
Példa: MATLAB program 0 elemre clc; clear all; subplot(,,); X = 0*rad(0,); Y = pdst(x,'mahalaobs'); Z = lkage(y,'sgle'); [H,T] = dedrogram(z,'colorthreshold','default'); set(h,'lewdth',); label('elemszám'); ylabel('cetrodok távolsága'); subplot(,,); Y = pdst(x,'mahalaobs'); Z = lkage(y,'average'); [H,T] = dedrogram(z,'colorthreshold','default'); set(h,'lewdth',); label('elemszám'); ylabel('cetrodok távolsága'); subplot(,,3); Y = pdst(x,'mahalaobs'); Z = lkage(y,'cetrod'); [H,T] = dedrogram(z,'colorthreshold','default'); set(h,'lewdth',); label('elemszám'); ylabel('cetrodok távolsága'); subplot(,,4); Y = pdst(x,'mahalaobs'); Z = lkage(y,'ward'); [H,T] = dedrogram(z,'colorthreshold','default'); set(h,'lewdth',); label('elemszám'); ylabel('cetrodok távolsága'); 6.8.34 4.56 3.85 5.39 9.9 Szabó, 00 7.55 9.80.35 5.9 T 9. Klaszterelemzés ME 0
Példa: MATLAB program 30 elemre Szabó, 00 7.4 0.59 3.33 4.5 7.90 9.59 4.60.0 0.5 8.7 7.0 8.05 5.5 4.5 4.60.08 4.0 5.3 0.35 4.48 6.00 6.03 5.80.30 6.30 3.6 4.66 0.5 8.49 9.79 9. Klaszterelemzés ME 0
Cetrodok távolsága AT [s/ft] Példa: mélyfúrás geofzka adatok csoportosítása Szabó, 0 Dedrogram (Mkowsk-távolság, Ward módszer) 06 Eukldesz-távolság és Ward módszer 500 04 400 300 00 00 0 00 98 96 94 9 0 904 64 3 4 5 66 73530 8903789578 Elemszám 90 88 30 40 50 60 70 80 90 00 0 0 30 GR [API] 9. Klaszterelemzés ME 0
Nem herarchkus klaszterezés Az terácós elve működő, partícoáló vagy más éve em herarchkus klaszterezés fő jellemzője, hogy előre meg kell ad a kalakítadó klaszterszámot. Gyors eljárás, vszot zajérzékey és az eredméyt befolyásolja a cetrodok kezdet megadása K-középpotú klaszterezés: válasszuk k a klaszterek számát és K db kezdő cetrodot! Alakítsuk k K db csoportot úgy, hogy mde egyes elemet soroljuk a hozzá legközelebb eső cetrodú klaszterbe! Számoljuk k az új klaszter középpotokat! Kovergeca krtérum teljesüléség teráljuk! Számítsuk k az elemek és a legközelebb cetrodok között távolságok égyzetösszegét! SSE K Az optmáls klaszterszám relatve kcs, melyhez ks SSE érték (szóródás) tartozk j d c, j Ta, 006 9. Klaszterelemzés ME 0
y y y Példa: em herarchkus klaszterezés 0 Kdulás állapot 0 Klaszterezés utá (Eukldesz távolság) 9 8 7. csoport. csoport 3. csoport. cetod. cetrod 3. cetrod 9 8 7 6 6 5 3 5 4 4 3 3 3 4 5 6 7 8 9 0 3 4 5 6 7 8 9 Klaszterezés utá (Cty-block távolság) 9 8 7 6 5 4 3 3 4 5 6 7 8 9 9. Klaszterelemzés ME 0
y y y y Példa: em herarchkus klaszterezés 0 Kdulás állapot 0 Klaszterezés utá (Eukldesz távolság) 9 8 7. csoport. csoport 3. csoport. cetod. cetrod 3. cetrod 9 8 7 6 6 5 3 5 4 4 3 3 3 4 5 6 7 8 9 3 4 5 6 7 8 9 0 Kdulás állapot 0 Klaszterezés utá (Eukldesz távolság) 9 9 8 8 7 7 6 6 5 5 4 4 3 3 3 4 5 6 7 8 9 3 4 5 6 7 8 9 9. Klaszterelemzés ME 0
Köszööm a fgyelmet! Jó szerecsét! Geostatsztka c. tárgy a műszak földtudomáy alapszak hallgatóak ME 0