Lineáris regressziós modellek 1
|
|
- Benedek Bognár
- 5 évvel ezelőtt
- Látták:
Átírás
1 Lineáris regressziós modellek 1 Ispány Márton és Jeszenszky Péter szeptember Az ábrák C.M. Bishop: Pattern Recognition and Machine Learning c. könyvéből származnak.
2 Tartalom Bevezető példák Polinom-illesztés Lineáris bázis függvény modellek Normális eloszlás Sztochasztikus görbeillesztés Regularizáció 2 / 37
3 Mintázatfelismerés Mintázatok felismerése adatokban hosszú múltra tekint vissza. Tycho Brahe asztronómiai megfigyelései vezették Keplert a bolygómozgás törvényeinek felismerésére. Az atomi spektrumokbeli szabályosságok felfedezése alapján fejlődött ki a kvantummechanika a XX. század elején. A fenti problémáknál a mintázat felismerését (felfedezését) emberek végezték el. A XX. század végére olyan mennyiségű adat és hozzá kapcsolódó probléma gyűlt fel, hogy ez már humán erővel kezelhetetlenné vált. Ugyanekkora tette lehetővé az informatika fejlődése, hogy ezek a problémák megoldhatóvá váltak automatikus módszerek alkalmazásával. (alakfelismerés adatbányászat) 3 / 37
4 Karakterfelismerés (1) Kézzel írt számjegyek felismerése: minden számjegy megfeleltethető egy pixelű képnek, amely egy 748 dimenziós valós vektorral (input vektor) reprezentálható. Feladat: olyan gép (szoftver) készítése, amely egy x input vektorhoz meghatározza a 0, 1,..., 9 számjegyek valamelyikét mint outputot. A feladat nehézsége a kézírás változatosságában van. 4 / 37
5 Karakterfelismerés (2) Az adhoc megoldások helyett érdemes a gépi tanulás megközeĺıtését alkalmazni. Ennek során egy nagyméretű N számjegyből álló {x 1,..., x N } tanító adatállományt használunk egy adaptív modell paramétereinek meghatározására. Ennél az adatállománynál, pl. szakértői annotálás után, ismerjük az output vagy célváltozó értékeit: {t 1,..., t N }. A gépi tanulás eredménye egy olyan y(x) függvényben foglalható össze, amely egy új x digitális képhez generál egy y célértéket. Ezen függvény pontos alakja a tanulási fázis után határozódik meg. A számítások sokszor felgyorsíthatóak előfeldolgozás révén, ún. jellemző kinyerés alkalmazásával, ami az eredeti input változók alkalmas transzformációját jelenti. A példa a felügyelt tanítás egy speciális esete, egy osztályozási feladat (diszkrét a célváltozó). Ha a célváltozó folytonos, akkor regressziós feladatról beszélünk. 5 / 37
6 Példa: polinom illesztése Mesterséges példa az (x, t) függvénykapcsolat gépi tanulással való vizsgálatára. Legyen az ismert kapcsolat t = sin(2πx). Tekintsünk egy N elemű tanító állományt x = (x 1,..., x N ) és t = (t 1,..., t N ) értékekkel. Legyen a közeĺıtő függvény polinom alakú, legfeljebb M fokszámú, amelyet a következő alakban írhatunk fel y(x, w) := M w j x j ahol w := (w 0, w 1,..., w M ) az ismeretlen paraméterek vagy súlyok, amelyeket a tanító adatállomány segítségével szeretnénk meghatározni. j=0 6 / 37
7 A szinusz görbe és 10 tanító pont 7 / 37
8 Négyzet-összeg hibafüggvény (1) A súlyok meghatározása egy alkalmasan megválasztott célfüggvény (rizikófüggvény) minimalizálása révén történik. A leggyakrabban hasaznált rizikófüggvény az alábbi E(w) := 1 2 N (y(x n, w) t n ) 2 n=1 négyzet-összeg hiba vagy négyzetes rizikó, melyet a négyzetes hibából kapunk. A négyzetes hiba az y predikció és a t célérték között az (y t) 2. 8 / 37
9 Négyzet-összeg hibafüggvény (2) 9 / 37
10 0-ad fokú polinom 10 / 37
11 Első fokú polinom 11 / 37
12 Harmad fokú polinom 12 / 37
13 9-ed fokú polinom 13 / 37
14 Túlillesztés 14 / 37
15 Polinom együtthatók Súly M = 0 M = 1 M = 3 M = 9 w w w w w w w w w w / 37
16 Adatállomány mérete (N = 15, M = 9) 16 / 37
17 Adatállomány mérete (N = 100, M = 9) 17 / 37
18 Lineáris bázis függvény modellek (1) A polinom illesztés feladata általánosítható olyan alakban, amely már jóval flexibilisebb függvényekkel való közeĺıtést is megenged. Legyen y(x, w) := M 1 j=0 w j φ j (x) = w φ(x) ahol φ j, j = 0, 1,..., M 1, az ún. bázis függvények. Rendszerint φ 0 (x) = 1, így w 0 a torzítás. A legegyszerűbb esetben lineáris bázisfüggvényeket használunk, ekkor φ j (x) = x j, ahol x j az x vektor j-edik koordinátája. További bázis függvények: polinomiális bázis függvény: φ j (x) = x j Gauss-féle bázis függvény: φ j (x) = exp { (x µ j ) }, 2 ahol µ 2s 2 j ún. hely míg s pedig skála paraméter Szigmoid bázis függvény: φ j (x) = σ ( x µj s ), ahol µ j ún. hely míg s pedig skála paraméter, σ(x) = 1 1+exp( a) a logisztikus függvény 18 / 37
19 Polinom bázis függvény Globális: kis x-beli változás kihat az összes bázis függvényre 19 / 37
20 Gauss-féle bázis függvény Lokális: kis x-beli változás csak a közeli (µ-ben) bázis föggvényekre hat ki 20 / 37
21 Szigmoid bázis függvény Lokális: kis x-beli változás csak a közeli (µ-ben) bázis föggvényekre hat ki 21 / 37
22 A normális eloszlás A legszélesebb körben használt eloszlás folytonos adatok modellezésére. Sűrűségfüggvény: N (x µ, σ 2 ) := 1 (2πσ 2 exp ) 1/2 { 1 } (x µ)2 2σ2 22 / 37
23 Normális eloszlás paramétereinek becslése A maximum likelihood módszer alkalmazása. Maximalizáljuk az alábbi ún. likelihood függvényt ismert x megfigyelés vektor mellett a µ és σ 2 paraméterekben: L(x µ, σ 2 ) := N N (x n µ, σ 2 ) n=1 23 / 37
24 (Log)Likelihood függvény maximalizálása ln L(x µ, σ 2 ) = 1 2σ 2 N (x n µ) 2 N 2 ln σ2 N 2 ln(2π) n=1 Ez µ-ben a N n=1 (x n µ) 2 négyzetösszeg minimalizálását jelenti, ami deriválással az alábbi egyenletre vezet: Ennek megoldása: N (x n µ) = 0 n=1 N µ = 1 N n=1 Ezután µ-be µ-t helyettesítve és σ 2 -ben maximalizálva kapjuk x n σ 2 = 1 N N (x n µ) 2 n=1 24 / 37
25 A becslés tulajdonságai (zöld-igazi, piros-becsült) 25 / 37
26 Sztochasztikus görbeillesztés 26 / 37
27 Maximum likelihood (1) Legyenek adottak (x n, t n ), n = 1, 0ldots, N, megfigyelések egy determinisztikus függvény és egy normális eloszlású hiba összegéből: t n = y(x n, w) + ɛ n ɛ n N (0, β 1 ) ahol β a szórásnégyzet reciproka az ún. pontosság. Ez megegyezik azzal, hogy t n N (y(x n, w), β 1 ) Az X = {x 1,..., x N } input és t = (t 1,..., t N ) output esetén az alábbi likelihood függvényt kapjuk L(t X, w, β) := N N (t n w φ(x n ), β 1 ) n=1 27 / 37
28 Maximum likelihood (2) Ismét a loglikehood függvényt tekintve az alábbit kapjuk ahol ln L(t X, w, β) = N 2 ln β N 2 ln(2π) βe D(w) E D (w) := 1 2 N (t n w φ(x n )) 2 n=1 A loglikelihood maximalizálása ekvivalens az E D (w) hiba négyzet-összeg minimalizálásval, amit deriválással tudunk elvégezni: w E D (w) = N (t n w φ(x n ))φ(x n ) = 0 n=1 28 / 37
29 Maximum likelihood (3) Az ún. normálegyenletet megoldva az alábbi OLS-nek (ordinary least squares) nevezett becslés adódik a w paraméterre: ahol ŵ = (Φ Φ) 1 Φ t = Φ t φ 0 (x 1 ) φ 1 (x 1 ) φ M 1 (x 1 ) φ 0 (x 2 ) φ 1 (x 2 ) φ M 1 (x 2 ) Φ := φ 0 (x N ) φ 1 (x N ) φ M 1 (x N ) egy N M-es mátrix. Φ az ún. Moore-Penrose pszeudo-inverz. Ha a β paraméterre is maximalizálunk, akkor kapjuk, hogy β 1 = 1 N N (t n ŵ φ(x n )) n=1 29 / 37
30 A legkisebb négyzetek geometriája Legyen y = Φŵ = [φ 0,..., φ M 1 ]ŵ y S T t T S M-dimensional, T N-dimensional (M N) Az S síkot a φ 0,..., φ M 1 vektorok (Φ oszlopai) feszítik fel 30 / 37
31 Regularizált legkisebb négyzetek (1) Tekintsük az alábbi hiba (rizikó) függvényt: E D (w) + λe w (w), ahol λ a regularizációs együttható. Négyzetes hibafüggvénnyel és kvadratikus regulátorral kapjuk, hogy az alábbi kifejezést kell minimalizálni: A megoldás: 1 2 N (t n w φ(x n )) 2 + λ 2 w w n=1 ŵ λ = (λi + Φ Φ) 1 Φ t Ridge regresszió, segít ha az OLS-beli inverz nem létezik. 31 / 37
32 Regularizáció 32 / 37
33 Regularizáció 33 / 37
34 Regularizáció 34 / 37
35 Polinom együtthatók Súly lnλ = lnλ = 18 lnλ = 0 w w w w w w w w w w / 37
36 Regularizált legkisebb négyzetek (2) Általánosabb regularizálót is használhatunk (q > 0): 1 2 N (t n w φ(x n )) 2 + λ 2 n=1 M 1 j=0 w j q Elnevezés: q = 1 lasso, q = 2 kvadratikus 36 / 37
37 Regularizált legkisebb négyzetek (3) A lasso hajlamosabb ritkább (sparse) megoldásokat előálĺıtani mint a kvadratikus regularizáló. 37 / 37
Least Squares becslés
Least Squares becslés A négyzetes hibafüggvény: i d i ( ) φx i A négyzetes hibafüggvény mellett a minimumot biztosító megoldás W=( d LS becslés A gradiens számítása és nullává tétele eredményeképp A megoldás
RészletesebbenAlap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )
Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar Hidrodinamikai Rendszerek Tanszék, Budapest, Műegyetem rkp. 3. D ép. 334. Tel: 463-6-80 Fa: 463-30-9 http://www.vizgep.bme.hu Alap-ötlet:
RészletesebbenA maximum likelihood becslésről
A maximum likelihood becslésről Definíció Parametrikus becsléssel foglalkozunk. Adott egy modell, mellyel elképzeléseink szerint jól leírható a meghatározni kívánt rendszer. (A modell típusának és rendszámának
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 8 VIII. REGREssZIÓ 1. A REGREssZIÓs EGYENEs Két valószínűségi változó kapcsolatának leírására az eddigiek alapján vagy egy numerikus
RészletesebbenOptimalizálás alapfeladata Legmeredekebb lejtő Lagrange függvény Log-barrier módszer Büntetőfüggvény módszer 2017/
Operációkutatás I. 2017/2018-2. Szegedi Tudományegyetem Informatikai Intézet Számítógépes Optimalizálás Tanszék 9. Előadás Az optimalizálás alapfeladata Keressük f függvény maximumát ahol f : R n R és
RészletesebbenGauss-Jordan módszer Legkisebb négyzetek módszere, egyenes LNM, polinom LNM, függvény. Lineáris algebra numerikus módszerei
A Gauss-Jordan elimináció, mátrixinvertálás Gauss-Jordan módszer Ugyanazzal a technikával, mint ahogy a k-adik oszlopban az a kk alatti elemeket kinulláztuk, a fölötte lévő elemeket is zérussá lehet tenni.
RészletesebbenBiomatematika 12. Szent István Egyetem Állatorvos-tudományi Kar. Fodor János
Szent István Egyetem Állatorvos-tudományi Kar Biomatematikai és Számítástechnikai Tanszék Biomatematika 12. Regresszió- és korrelációanaĺızis Fodor János Copyright c Fodor.Janos@aotk.szie.hu Last Revision
Részletesebbene (t µ) 2 f (t) = 1 F (t) = 1 Normális eloszlás negyedik centrális momentuma:
Normális eloszlás ξ valószínűségi változó normális eloszlású. ξ N ( µ, σ 2) Paraméterei: µ: várható érték, σ 2 : szórásnégyzet (µ tetszőleges, σ 2 tetszőleges pozitív valós szám) Normális eloszlás sűrűségfüggvénye:
RészletesebbenLegkisebb négyzetek módszere, Spline interpoláció
Közelítő és szimbolikus számítások 10. gyakorlat Legkisebb négyzetek módszere, Spline interpoláció Készítette: Gelle Kitti Csendes Tibor Somogyi Viktor Vinkó Tamás London András Deák Gábor jegyzetei alapján
RészletesebbenLikelihood, deviancia, Akaike-féle információs kritérium
Többváltozós statisztika (SZIE ÁOTK, 2011. ősz) 1 Likelihood, deviancia, Akaike-féle információs kritérium Likelihood függvény Az adatokhoz paraméteres modellt illesztünk. A likelihood függvény a megfigyelt
RészletesebbenOsztályozás, regresszió. Nagyméretű adathalmazok kezelése Tatai Márton
Osztályozás, regresszió Nagyméretű adathalmazok kezelése Tatai Márton Osztályozási algoritmusok Osztályozás Diszkrét értékkészletű, ismeretlen attribútumok értékének meghatározása ismert attribútumok értéke
RészletesebbenPrincipal Component Analysis
Principal Component Analysis Principal Component Analysis Principal Component Analysis Definíció Ortogonális transzformáció, amely az adatokat egy új koordinátarendszerbe transzformálja úgy, hogy a koordináták
RészletesebbenSzámítógépes döntéstámogatás. Statisztikai elemzés
SZDT-03 p. 1/22 Számítógépes döntéstámogatás Statisztikai elemzés Werner Ágnes Villamosmérnöki és Információs Rendszerek Tanszék e-mail: werner.agnes@virt.uni-pannon.hu Előadás SZDT-03 p. 2/22 Rendelkezésre
RészletesebbenKabos: Statisztika II. t-próba 9.1. Ha ismert a doboz szórása de nem ismerjük a
Kabos: Statisztika II. t-próba 9.1 Egymintás z-próba Ha ismert a doboz szórása de nem ismerjük a doboz várhatóértékét, akkor a H 0 : a doboz várhatóértéke = egy rögzített érték hipotézisről úgy döntünk,
RészletesebbenLNM folytonos Az interpoláció Lagrange interpoláció. Lineáris algebra numerikus módszerei
Legkisebb négyzetek módszere, folytonos eset Folytonos eset Legyen f C[a, b]és h(x) = a 1 φ 1 (x) + a 2 φ 2 (x) +... + a n φ n (x). Ekkor tehát az n 2 F (a 1,..., a n ) = f a i φ i = = b a i=1 f (x) 2
RészletesebbenA mérési eredmény megadása
A mérési eredmény megadása A mérés során kapott értékek eltérnek a mérendő fizikai mennyiség valódi értékétől. Alapvetően kétféle mérési hibát különböztetünk meg: a determinisztikus és a véletlenszerű
Részletesebben[Biomatematika 2] Orvosi biometria
[Biomatematika 2] Orvosi biometria 2016.02.22. Valószínűségi változó Véletlentől függő számértékeket (értékek sokasága) felvevő változókat valószínűségi változóknak nevezzük(jelölés: ξ, η, x). (pl. x =
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 3 III. VÉLETLEN VEKTOROK 1. A KÉTDIMENZIÓs VÉLETLEN VEKTOR Definíció: Az leképezést (kétdimenziós) véletlen vektornak nevezzük, ha Definíció:
RészletesebbenGyakorló feladatok I.
Gyakorló feladatok I. a Matematika Aa Vektorüggvények tárgyhoz (D D5 kurzusok) Összeállította: Szili László Ajánlott irodalmak:. G.B. Thomas, M.D. Weir, J. Hass, F.R. Giordano: Thomas-féle KALKULUS I.,
RészletesebbenLine aris f uggv enyilleszt es m arcius 19.
Lineáris függvényillesztés 2018. március 19. Illesztett paraméterek hibája Eddig azt néztük, hogy a mérési hiba hogyan propagál az illesztett paraméterekbe, ha van egy konkrét függvényünk. a hibaterjedés
RészletesebbenLINEÁRIS MODELLBEN május. 1. Lineáris modell, legkisebb négyzetek elve
BECSLÉS ÉS HIPOTÉZISVIZSGÁLAT LINEÁRIS MODELLBEN Móri Tamás ELTE TTK Valószínűségelméleti és Statisztika Tanszék 2008 május Lineáris modell, legkisebb négyzetek elve Tegyük fel, hogy egy bizonyos pl fizikai)
RészletesebbenGazdasági matematika II. vizsgadolgozat megoldása, június 10
Gazdasági matematika II. vizsgadolgozat megoldása, 204. június 0 A dolgozatírásnál íróeszközön kívül más segédeszköz nem használható. A dolgozat időtartama: 90 perc. Ha a dolgozat első részéből szerzett
RészletesebbenLineáris algebra Gyakorló feladatok
Lineáris algebra Gyakorló feladatok. október.. Feladat: Határozzuk meg a, 4b, c és a b c vektorokat, ha a = (; ; ; ; b = (; ; ; ; c = ( ; ; ; ;.. Feladat: Határozzuk meg a, 4b, a, c és a b; c + b kifejezések
RészletesebbenLineáris algebra numerikus módszerei
Hermite interpoláció Tegyük fel, hogy az x 0, x 1,..., x k [a, b] különböző alappontok (k n), továbbá m 0, m 1,..., m k N multiplicitások úgy, hogy Legyenek adottak k m i = n + 1. i=0 f (j) (x i ) = y
Részletesebben5. előadás - Regressziószámítás
5. előadás - Regressziószámítás 2016. október 3. 5. előadás 1 / 18 Kétváltozós eset A modell: Y i = α + βx i + u i, i = 1,..., T, ahol X i független u i -től minden i esetén, (u i ) pedig i.i.d. sorozat
RészletesebbenMÉSZÁROS JÓZSEFNÉ, NUMERIKUS MÓDSZEREK
MÉSZÁROS JÓZSEFNÉ, NUmERIKUS módszerek 9 FÜGGVÉNYKÖZELÍTÉSEK IX. SPLINE INTERPOLÁCIÓ 1. SPLINE FÜGGVÉNYEK A Lagrange interpolációnál említettük, hogy az ún. globális interpoláció helyett gyakran célszerű
RészletesebbenRegresszió. Csorba János. Nagyméretű adathalmazok kezelése március 31.
Regresszió Csorba János Nagyméretű adathalmazok kezelése 2010. március 31. A feladat X magyarázó attribútumok halmaza Y magyarázandó attribútumok) Kérdés: f : X -> Y a kapcsolat pár tanítópontban ismert
RészletesebbenGyakorló feladatok. Agbeko Kwami Nutefe és Nagy Noémi
Gyakorló feladatok Agbeko Kwami Nutefe és Nagy Noémi 25 Tartalomjegyzék. Klasszikus hibaszámítás 3 2. Lineáris egyenletrendszerek 3 3. Interpoláció 4 4. Sajátérték, sajátvektor 6 5. Lineáris és nemlineáris
RészletesebbenELTE TáTK Közgazdaságtudományi Tanszék GAZDASÁGSTATISZTIKA. Készítette: Bíró Anikó. Szakmai felelős: Bíró Anikó június
GAZDASÁGSTATISZTIKA GAZDASÁGSTATISZTIKA Készült a TÁMOP-4.1.2-08/2/A/KMR-2009-0041pályázati projekt keretében Tartalomfejlesztés az ELTE TátK Közgazdaságtudományi Tanszékén az ELTE Közgazdaságtudományi
RészletesebbenRegressziós vizsgálatok
Regressziós vizsgálatok Regresszió (regression) Általános jelentése: visszaesés, hanyatlás, visszafelé mozgás, visszavezetés. Orvosi területen: visszafejlődés, involúció. A betegség tünetei, vagy maga
RészletesebbenFeladatok és megoldások a 13. hétre
Feladatok és megoldások a. hétre Építőkari Matematika A. Az alábbi függvények melyike lehet eloszlásfüggvény? + e x, ha x >, (a F(x =, ha x, (b F(x = x + e x, ha x, (c F(x =, ha x, x (d F(x = (4 x, ha
RészletesebbenA valószínűségszámítás elemei
A valószínűségszámítás elemei Kísérletsorozatban az esemény relatív gyakorisága: k/n, ahol k az esemény bekövetkezésének abszolút gyakorisága, n a kísérletek száma. Pl. Jelenség: kockadobás Megfigyelés:
RészletesebbenGépi tanulás a gyakorlatban. Lineáris regresszió
Gépi tanulás a gyakorlatban Lineáris regresszió Lineáris Regresszió Legyen adott egy tanuló adatbázis: Rendelkezésünkre áll egy olyan előfeldolgozott adathalmaz, aminek sorai az egyes ingatlanokat írják
RészletesebbenÁltalánosan, bármilyen mérés annyit jelent, mint meghatározni, hányszor van meg
LMeasurement.tex, March, 00 Mérés Általánosan, bármilyen mérés annyit jelent, mint meghatározni, hányszor van meg a mérendő mennyiségben egy másik, a mérendővel egynemű, önkényesen egységnek választott
RészletesebbenAbszolút folytonos valószín ségi változó (4. el adás)
Abszolút folytonos valószín ségi változó (4. el adás) Deníció (Abszolút folytonosság és s r ségfüggvény) Az X valószín ségi változó abszolút folytonos, ha van olyan f : R R függvény, melyre P(X t) = t
RészletesebbenStatisztikai következtetések Nemlineáris regresszió Feladatok Vége
[GVMGS11MNC] Gazdaságstatisztika 10. előadás: 9. Regressziószámítás II. Kóczy Á. László koczy.laszlo@kgk.uni-obuda.hu Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet A standard lineáris modell
RészletesebbenNumerikus matematika. Irodalom: Stoyan Gisbert, Numerikus matematika mérnököknek és programozóknak, Typotex, Lebegőpontos számok
Numerikus matematika Irodalom: Stoyan Gisbert, Numerikus matematika mérnököknek és programozóknak, Typotex, 2007 Lebegőpontos számok Normák, kondíciószámok Lineáris egyenletrendszerek Legkisebb négyzetes
RészletesebbenVektorok, mátrixok, lineáris egyenletrendszerek
a Matematika mérnököknek I. című tárgyhoz Vektorok, mátrixok, lineáris egyenletrendszerek Vektorok A rendezett valós számpárokat kétdimenziós valós vektoroknak nevezzük. Jelölésükre latin kisbetűket használunk.
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 10 X. SZIMULÁCIÓ 1. VÉLETLEN számok A véletlen számok fontos szerepet játszanak a véletlen helyzetek generálásában (pénzérme, dobókocka,
RészletesebbenBabeş Bolyai Tudományegyetem, Kolozsvár Matematika és Informatika Kar Magyar Matematika és Informatika Intézet
/ Babeş Bolyai Tudományegyetem, Kolozsvár Matematika és Informatika Kar Magyar Matematika és Informatika Intézet / Tartalom 3/ kernelek segítségével Felügyelt és félig-felügyelt tanulás felügyelt: D =
Részletesebben1. Generátorrendszer. Házi feladat (fizikából tudjuk) Ha v és w nem párhuzamos síkvektorok, akkor generátorrendszert alkotnak a sík vektorainak
1. Generátorrendszer Generátorrendszer. Tétel (Freud, 4.3.4. Tétel) Legyen V vektortér a T test fölött és v 1,v 2,...,v m V. Ekkor a λ 1 v 1 + λ 2 v 2 +... + λ m v m alakú vektorok, ahol λ 1,λ 2,...,λ
RészletesebbenFeladatok a Gazdasági matematika II. tárgy gyakorlataihoz
Debreceni Egyetem Közgazdaságtudományi Kar Feladatok a Gazdasági matematika II tárgy gyakorlataihoz a megoldásra ajánlott feladatokat jelöli e feladatokat a félév végére megoldottnak tekintjük a nehezebb
RészletesebbenAdatbányászati szemelvények MapReduce környezetben
Adatbányászati szemelvények MapReduce környezetben Salánki Ágnes salanki@mit.bme.hu 2014.11.10. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Felügyelt
RészletesebbenStatisztikai módszerek a skálafüggetlen hálózatok
Statisztikai módszerek a skálafüggetlen hálózatok vizsgálatára Gyenge Ádám1 1 Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar Számítástudományi és Információelméleti
RészletesebbenLineáris egyenletrendszerek
Lineáris egyenletrendszerek Lineáris egyenletrendszernek nevezzük az a 11 x 1 + a 12 x 2 +... +a 1n x n = b 1 a 21 x 1 + a 22 x 2 +... +a 2n x n = b 2.. a k1 x 1 + a k2 x 2 +... +a kn x n = b k n ismeretlenes,
Részletesebben5. elıadás március 22. Portfólió-optimalizálás
5. elıadás 203. március 22. Portfólió-optimalizálás Alapfeladat Cél: minél nagyobb várható hozam elérése De: közben a kockázat legyen minél kisebb Kompromisszum: elvárt hozamot érje el a várható érték
RészletesebbenBIOMATEMATIKA ELŐADÁS
BIOMATEMATIKA ELŐADÁS 9. Együttes eloszlás, kovarianca, nevezetes eloszlások Debreceni Egyetem, 2015 Dr. Bérczes Attila, Bertók Csanád A diasor tartalma 1 Bevezetés, definíciók Együttes eloszlás Függetlenség
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 9 IX. ROBUsZTUs statisztika 1. ROBUsZTUssÁG Az eddig kidolgozott módszerek főleg olyanok voltak, amelyek valamilyen értelemben optimálisak,
RészletesebbenVéletlen jelenség: okok rendszere hozza létre - nem ismerhetjük mind, ezért sztochasztikus.
Valószín ségelméleti és matematikai statisztikai alapfogalmak összefoglalása (Kemény Sándor - Deák András: Mérések tervezése és eredményeik értékelése, kivonat) Véletlen jelenség: okok rendszere hozza
RészletesebbenA szimplex algoritmus
A szimplex algoritmus Ismétlés: reprezentációs tétel, az optimális megoldás és az extrém pontok kapcsolata Alapfogalmak: bázisok, bázismegoldások, megengedett bázismegoldások, degenerált bázismegoldás
RészletesebbenA többváltozós lineáris regresszió III. Főkomponens-analízis
A többváltozós lineáris regresszió III. 6-7. előadás Nominális változók a lineáris modellben 2017. október 10-17. 6-7. előadás A többváltozós lineáris regresszió III., Alapok Többváltozós lineáris regresszió
RészletesebbenLeíró és matematikai statisztika el adásnapló Matematika alapszak, matematikai elemz szakirány 2016/2017. tavaszi félév
Leíró és matematikai statisztika el adásnapló Matematika alapszak, matematikai elemz szakirány 2016/2017. tavaszi félév A pirossal írt anyagrészeket nem fogom közvetlenül számon kérni a vizsgán, azok háttérismeretként,
RészletesebbenEgyenletek, egyenletrendszerek, matematikai modell. 1. Oldja meg az Ax=b egyenletrendszert Gauss módszerrel és adja meg az A mátrix LUfelbontását,
Egyenletek egyenletrendszerek matematikai modell Oldja meg az A=b egyenletrendszert Gauss módszerrel és adja meg az A mátri LUfelbontását ahol 8 b 8 Oldja meg az A=b egyenletrendszert és határozza meg
RészletesebbenAdatok statisztikai értékelésének főbb lehetőségei
Adatok statisztikai értékelésének főbb lehetőségei 1. a. Egy- vagy kétváltozós eset b. Többváltozós eset 2. a. Becslési problémák, hipotézis vizsgálat b. Mintázatelemzés 3. Szint: a. Egyedi b. Populáció
RészletesebbenÖkonometria. Logisztikus regresszió. Ferenci Tamás 1 Nyolcadik fejezet. Budapesti Corvinus Egyetem. 1 Statisztika Tanszék
Ferenci Tamás 1 tamas.ferenci@medstat.hu 1 Statisztika Tanszék Budapesti Corvinus Egyetem Nyolcadik fejezet Tartalom V. esettanulmány 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése
RészletesebbenKernel gépek vizsgálata
Kernel gépek vizsgálata Kooperáció és gépi tanulás laboratórium (VIMIMB02) 2018. március 5. Elméleti alapok A mérés során újabb kernel gépeket fogunk megismerni: a szupportvektor-gépek (SVM) regressziós
RészletesebbenAdatmodellez es, f uggv enyilleszt es m arcius 12.
Adatmodellezés, függvényillesztés 2018. március 12. Adatmodellezés Fizikai törvény: Egy elmélet, valamilyen idea a világról Matematikai összefüggéseket adunk a mennyiségek között Az összefüggések konstansokat,
RészletesebbenMegoldások. ξ jelölje az első meghibásodásig eltelt időt. Akkor ξ N(6, 4; 2, 3) normális eloszlású P (ξ
Megoldások Harmadik fejezet gyakorlatai 3.. gyakorlat megoldása ξ jelölje az első meghibásodásig eltelt időt. Akkor ξ N(6, 4;, 3 normális eloszlású P (ξ 8 ξ 5 feltételes valószínűségét (.3. alapján számoljuk.
RészletesebbenTöbbváltozós lineáris regresszió 3.
Többváltozós lineáris regresszió 3. Orlovits Zsanett 2018. október 10. Alapok Kérdés: hogyan szerepeltethetünk egy minőségi (nominális) tulajdonságot (pl. férfi/nő, egészséges/beteg, szezonális hatások,
RészletesebbenLoss Distribution Approach
Modeling operational risk using the Loss Distribution Approach Tartalom»Szabályozói környezet»modellezési struktúra»eseményszám eloszlás»káreloszlás»aggregált veszteségek»további problémák 2 Szabályozói
RészletesebbenGépi tanulás a gyakorlatban. Kiértékelés és Klaszterezés
Gépi tanulás a gyakorlatban Kiértékelés és Klaszterezés Hogyan alkalmazzuk sikeresen a gépi tanuló módszereket? Hogyan válasszuk az algoritmusokat? Hogyan hangoljuk a paramétereiket? Precízebben: Tegyük
RészletesebbenMatematika A3 Valószínűségszámítás, 6. gyakorlat 2013/14. tavaszi félév
Matematika A3 Valószínűségszámítás, 6. gyakorlat 2013/14. tavaszi félév 1. A várható érték és a szórás transzformációja 1. Ha egy valószínűségi változóhoz hozzáadunk ötöt, mínusz ötöt, egy b konstanst,
RészletesebbenStatisztika - bevezetés Méréselmélet PE MIK MI_BSc VI_BSc 1
Statisztika - bevezetés 00.04.05. Méréselmélet PE MIK MI_BSc VI_BSc Bevezetés Véletlen jelenség fogalma jelenséget okok bizonyos rendszere hozza létre ha mindegyik figyelembe vehető egyértelmű leírás általában
Részletesebbenc adatpontok és az ismeretlen pont közötti kovariancia vektora
1. MELLÉKLET: Alkalmazott jelölések A mintaterület kiterjedése, területe c adatpontok és az ismeretlen pont közötti kovariancia vektora C(0) reziduális komponens varianciája C R (h) C R Cov{} d( u, X )
Részletesebben6. előadás - Regressziószámítás II.
6. előadás - Regressziószámítás II. 2016. október 10. 6. előadás 1 / 30 Specifikációs hibák A magyarázó- és eredményváltozók kiválasztásának alapja: szakirányú elmélet, mögöttes viselkedés ismerete, múltbeli
Részletesebben3. Fuzzy aritmetika. Gépi intelligencia I. Fodor János NIMGI1MIEM BMF NIK IMRI
3. Fuzzy aritmetika Gépi intelligencia I. Fodor János BMF NIK IMRI NIMGI1MIEM Tartalomjegyzék I 1 Intervallum-aritmetika 2 Fuzzy intervallumok és fuzzy számok Fuzzy intervallumok LR fuzzy intervallumok
RészletesebbenMatematika A2 vizsga mgeoldása június 4.
Matematika A vizsga mgeoldása 03. június.. (a (3 pont Definiálja az f(x, y függvény határértékét az (x 0, y 0 helyen! Megoldás: Legyen D R, f : D R. Legyen az f(x, y függvény értelmezve az (x 0, y 0 pont
RészletesebbenNemlineáris programozás 2.
Optimumszámítás Nemlineáris programozás 2. Többváltozós optimalizálás feltételek mellett. Lagrange-feladatok. Nemlineáris programozás. A Kuhn-Tucker feltételek. Konvex programozás. Sydsaeter-Hammond: 18.1-5,
Részletesebben1. Görbe illesztés a legkisebb négyzetek módszerével
1 GÖRBE ILLESZTÉS A LEGKISEBB NÉGYZETEK MÓDSZERÉVEL 1. Görbe illesztés a legkisebb négyzetek módszerével Az el z gyakorlaton megismerkedtünk a korrelációs együttható fogalmával és számítási módjával. A
RészletesebbenJanuary 16, ψ( r, t) ψ( r, t) = 1 (1) ( ψ ( r,
Közelítő módszerek January 16, 27 1 A variációs módszer A variációs módszer szintén egy analitikus közelítő módszer. Olyan esetekben alkalmazzuk mikor ismert az analitikus alak amelyben keressük a sajátfüggvényt,
RészletesebbenGépi tanulás a gyakorlatban. Bevezetés
Gépi tanulás a gyakorlatban Bevezetés Motiváció Nagyon gyakran találkozunk gépi tanuló alkalmazásokkal Spam detekció Karakter felismerés Fotó címkézés Szociális háló elemzés Piaci szegmentáció analízis
Részletesebbeny = y 0 exp (ax) Y (x) = exp (Ax)Y 0 A n x n 1 (n 1)! = A I + d exp (Ax) = A exp (Ax) exp (Ax)
III Az exp (Ax mátrixfüggvény módszere Ha y = ay, y( = y, a = állandó y = y exp (ax d dx [exp (Ax] = Y = AY, Y ( = Y, Y (x = exp (AxY exp (Ax = I + n= A n x n (n! = A A n x n, n! ] A n x n I + = A exp
RészletesebbenTöbbváltozós lineáris regressziós modell feltételeinek
Többváltozós lineáris regressziós modell feltételeinek tesztelése I. - A hibatagra vonatkozó feltételek tesztelése - Petrovics Petra Doktorandusz Többváltozós lineáris regressziós modell x 1, x 2,, x p
RészletesebbenBiometria az orvosi gyakorlatban. Regresszió Túlélésanalízis
SZDT-09 p. 1/36 Biometria az orvosi gyakorlatban Regresszió Túlélésanalízis Werner Ágnes Villamosmérnöki és Információs Rendszerek Tanszék e-mail: werner.agnes@virt.uni-pannon.hu Logisztikus regresszió
RészletesebbenGépi tanulás. Hány tanítómintára van szükség? VKH. Pataki Béla (Bolgár Bence)
Gépi tanulás Hány tanítómintára van szükség? VKH Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Induktív tanulás A tanítás folyamata: Kiinduló
RészletesebbenA valószínűségszámítás elemei
Alapfogalmak BIOSTATISZTIKA ÉS INFORMATIKA A valószínűségszámítás elemei Jelenség: minden, ami lényegében azonos feltételek mellett megismételhető, amivel kapcsolatban megfigyeléseket lehet végezni, lehet
RészletesebbenFraktálok. Kontrakciók Affin leképezések. Czirbusz Sándor ELTE IK, Komputeralgebra Tanszék. TARTALOMJEGYZÉK Kontrakciók Affin transzformációk
Fraktálok Kontrakciók Affin leképezések Czirbusz Sándor ELTE IK, Komputeralgebra Tanszék TARTALOMJEGYZÉK 1 of 71 A Lipschitz tulajdonság ÁTMÉRŐ, PONT ÉS HALMAZ TÁVOLSÁGA Definíció Az (S, ρ) metrikus tér
RészletesebbenLineáris algebra zárthelyi dolgozat javítókulcs, Informatika I. 2005.márc.11. A csoport
Lineáris algebra zárthelyi dolgozat javítókulcs, Informatika I. 2005.márc.11. A csoport 1. Egy egyenesre esnek-e az A (2, 5, 1), B (5, 17, 7) és C (3, 9, 3) pontok? 5 pont Megoldás: Nem, mert AB (3, 12,
RészletesebbenBevezeto Least-squares es variansai Globalis modszerek Lokalis modszerek. Implicit Fitting. Vaitkus Márton. 3D Számítógépes Geometria 2 (2016)
Implicit Fitting Vaitkus Márton 3D Számítógépes Geometria 2 (2016) Miről lesz szó 1 Bevezeto 2 Least-squares es variansai Least-squares Simitas, sulyozas Buntetofuggvenyek 3 Globalis modszerek RBF Poisson
RészletesebbenVektorterek. =a gyakorlatokon megoldásra ajánlott
Vektorterek =a gyakorlatokon megoldásra ajánlott 40. Alteret alkotnak-e a valós R 5 vektortérben a megadott részhalmazok? Ha igen, akkor hány dimenziósak? (a) L = { (x 1, x 2, x 3, x 4, x 5 ) x 1 = x 5,
RészletesebbenKauzális modellek. Randall Munroe
Kauzális modellek Randall Munroe A kauzalitás reprezentációi Determinisztikus Sztochasztikus Feltételes valószínűség < > hipergráf Irányított gráf: több ok, egy okozat < > Bayes-háló Cirkuláris kauzalitás
RészletesebbenNorma Determináns, inverz Kondíciószám Direkt és inverz hibák Lin. egyenletrendszerek A Gauss-módszer. Lineáris algebra numerikus módszerei
Indukált mátrixnorma Definíció A. M : R n n R mátrixnormát a. V : R n R vektornorma által indukált mátrixnormának nevezzük, ha A M = max { Ax V : x V = 1}. Az indukált mátrixnorma geometriai jelentése:
RészletesebbenSaj at ert ek-probl em ak febru ar 26.
Sajátérték-problémák 2018. február 26. Az alapfeladat Adott a következő egyenlet: Av = λv, (1) ahol A egy ismert mátrix v ismeretlen, nem zérus vektor λ ismeretlen szám Azok a v, λ kombinációk, amikre
RészletesebbenIrányításelmélet és technika II.
Irányításelmélet és technika II. Legkisebb négyzetek módszere Magyar Attila Pannon Egyetem Műszaki Informatikai Kar Villamosmérnöki és Információs Rendszerek Tanszék amagyar@almos.vein.hu 200 november
RészletesebbenMátrixok 2017 Mátrixok
2017 számtáblázatok" : számok rendezett halmaza, melyben a számok helye két paraméterrel van meghatározva. Például lineáris egyenletrendszer együtthatómátrixa 2 x 1 + 4 x 2 = 8 1 x 1 + 3 x 2 = 1 ( 2 4
Részletesebben1. Példa. A gamma függvény és a Fubini-tétel.
. Példa. A gamma függvény és a Fubini-tétel.. Az x exp x + t )) függvény az x, t tartományon folytonos, és nem negatív, ezért alkalmazható rá a Fubini-tétel. I x exp x + t )) dxdt + t dt π 4. [ exp x +
RészletesebbenGPK M1 (BME) Interpoláció / 16
Interpoláció Matematika M1 gépészmérnököknek 2017. március 13. GPK M1 (BME) Interpoláció 2017 1 / 16 Az interpoláció alapfeladata - Példa Tegyük fel, hogy egy ipari termék - pl. autó - előzetes konstrukciójának
Részletesebben4/24/12. Regresszióanalízis. Legkisebb négyzetek elve. Regresszióanalízis
1. feladat Regresszióanalízis. Legkisebb négyzetek elve 2. feladat Az iskola egy évfolyamába tartozó diákok átlagéletkora 15,8 év, standard deviációja 0,6 év. A 625 fős évfolyamból hány diák fiatalabb
RészletesebbenPélda: Tartó lehajlásfüggvényének meghatározása a Rayleigh Ritz-féle módszer segítségével
Példa: Tartó lehajlásfüggvényének meghatározása a Rayleigh Ritz-féle módszer segítségével Készítette: Dr. Kossa Attila (kossa@mm.bme.hu) BME, Műszaki Mechanikai Tanszék 2013. szeptember 23. Javítva: 2013.10.09.
Részletesebbenegyetemi jegyzet Meskó Balázs
egyetemi jegyzet 2011 Előszó 2. oldal Tartalomjegyzék 1. Bevezetés 4 1.1. A matematikai statisztika céljai.............................. 4 1.2. Alapfogalmak......................................... 4 2.
RészletesebbenTanulás az idegrendszerben. Structure Dynamics Implementation Algorithm Computation - Function
Tanulás az idegrendszerben Structure Dynamics Implementation Algorithm Computation - Function Tanulás pszichológiai szinten Classical conditioning Hebb ötlete: "Ha az A sejt axonja elég közel van a B sejthez,
RészletesebbenDiszkréten mintavételezett függvények
Diszkréten mintavételezett függvények A függvény (jel) értéke csak rögzített pontokban ismert, de köztes pontokban is meg akarjuk becsülni időben mintavételezett jel pixelekből álló műholdkép rácson futtatott
RészletesebbenBiometria az orvosi gyakorlatban. Korrelációszámítás, regresszió
SZDT-08 p. 1/31 Biometria az orvosi gyakorlatban Korrelációszámítás, regresszió Werner Ágnes Villamosmérnöki és Információs Rendszerek Tanszék e-mail: werner.agnes@virt.uni-pannon.hu Korrelációszámítás
Részletesebben6. Előadás. Megyesi László: Lineáris algebra, oldal. 6. előadás Bázis, dimenzió
6. Előadás Megyesi László: Lineáris algebra, 37. 41. oldal. Gondolkodnivalók Lineáris függetlenség 1. Gondolkodnivaló Legyen V valós számtest feletti vektortér. Igazolja, hogy ha a v 1, v 2,..., v n V
RészletesebbenA Markowitz modell: kvadratikus programozás
A Markowitz modell: kvadratikus programozás Losonczi László Debreceni Egyetem, Közgazdaság- és Gazdaságtudományi Kar Debrecen, 2011/12 tanév, II. félév Losonczi László (DE) A Markowitz modell 2011/12 tanév,
RészletesebbenA következő feladat célja az, hogy egyszerű módon konstruáljunk Poisson folyamatokat.
Poisson folyamatok, exponenciális eloszlások Azt mondjuk, hogy a ξ valószínűségi változó Poisson eloszlású λ, 0 < λ
RészletesebbenTovábbi sajátértékek. 10. előadás, május 3. Megjegyzések. A szűrés hatása a portfólió optimalizálásra
További sajátértékek 10. előadás, 2017. május 3. Zempléni András Valószínűségelméleti és Statisztika Tanszék Természettudományi Kar Eötvös Loránd Tudományegyetem Áringadozások előadás Keressük azt az alacsonyabb
RészletesebbenKvadratikus alakok és euklideszi terek (előadásvázlat, október 5.) Maróti Miklós, Kátai-Urbán Kamilla
Kvadratikus alakok és euklideszi terek (előadásvázlat, 0. október 5.) Maróti Miklós, Kátai-Urbán Kamilla Az előadáshoz ajánlott jegyzet: Szabó László: Bevezetés a lineáris algebrába, Polygon Kiadó, Szeged,
RészletesebbenKonjugált gradiens módszer
Közelítő és szimbolikus számítások 12. gyakorlat Konjugált gradiens módszer Készítette: Gelle Kitti Csendes Tibor Vinkó Tamás Faragó István Horváth Róbert jegyzetei alapján 1 LINEÁRIS EGYENLETRENDSZEREK
Részletesebbenbiometria II. foglalkozás előadó: Prof. Dr. Rajkó Róbert Matematikai-statisztikai adatfeldolgozás
Kísérlettervezés - biometria II. foglalkozás előadó: Prof. Dr. Rajkó Róbert Matematikai-statisztikai adatfeldolgozás A matematikai-statisztika feladata tapasztalati adatok feldolgozásával segítséget nyújtani
Részletesebben