Függetlenaltér-analízis
|
|
- Ottó Fülöp
- 8 évvel ezelőtt
- Látták:
Átírás
1 Függetlenaltér-analízis Póczos Barnabás Témavezető: Dr. Lőrincz András Eötvös Loránd Tudományegyetem Információs Rendszerek Tanszék Neural Information Processing Group
2 Tartalomjegyzék Függetlenkomponens-analízis (ICA) Függetlenaltér-analízis (ISA) FastISA-algoritmus Többdimenziós entrópiabecslések Kölcsönös információ kernel becslése ISA szeparációs tétel Numerikus szimulációk ISA innovációs folyamatokon
3 Függetlenkomponens-analízis
4 Függetlenkomponens-analízis Az ICA célja, hogy lineárisan összekevert független jelek megfigyeléseiből az eredeti jeleket megbecsüljük. Források s(t) Keverés Megfigyelés Becslés A x(t) = As(t) y(t)=wx(t)
5 Függetlenkomponens-analízis Két független jel A két jel keveréke A becslés ICA alkalmazása után
6 Néhány ICA alkalmazás Koktélparti probléma Képek zajtalanítása Orvosi jelfeldolgozás fmri, MEG, EEG Hippocampus modellezés Látókérgi sejtek modellezése Arcfelismerés Pénzügyi idősorok elemzése
7 Többértelműség az ICA feladatban Bizonyítás:
8 Az i.i.d. források esete
9 A fehérítés már félsiker Bizonyítás:
10 ICA egyenletes val. változók keverékére
11 A normális eloszlások keverőmátrixa nem becsülhető A standard többdimenziós normális eloszlás minden ortogonális keveréke ugyanúgy néz ki. Ez az egyetlen szférikusan szimmetrikus eloszlás, ahol a koordináták függetlenek. p(x,y) ~ exp(-0.5*(x2+y2))
12 Centrális határeloszlás tétel A független valószínűségi változók összege egyre közelebb kerül a normálishoz. A normális eloszlás pedig normális marad.
13 ICA feladatban a páronkénti függetlenség kényszerítése együttes függetlenséghez vezet Általában: Páronkénti függetlenség ; Együttes függetlenség Az ICA modellben viszont: Páronkénti függetlenség ) Együttes függetlenség
14 ICA költségfüggvények 1.
15 ICA költségfüggvények 2.
16 ICA költségfüggvények 3. Az előbb az együttes függőséget minimalizáltuk, de Darmois-Skitovich, Comon tételei miatt tudjuk, hogy a komponensek közötti páronkénti függőségeket is elég lett volna minimalizálni. ) Nemlineáris kersztkorreláció minimalizáció Centrális határeloszlás tétele: Független val. változók keveréke közelebb kerül a normális eloszláshoz. Ezért, ha szeparálni akarunk, akkor távolodjunk a normális eloszlástól. )Negentrópia maximalizálás, kurtózis maximalizálás
17 Különböző ICA algoritmusok Magasabb rendű momentumok és kumulánsok [Comon 94, Hyvarinen 97] Nemlineáris PCA [Karhunen 94; Oja 97] Információátvitel maximalizálás [Bell & Sejnowski 95; Amari 96; Lee 97-98] Maximum likelihood, EM [MacKay 96; Pearlmutter & Parra 96; Cardoso 97] Negentrópia maximalizálás [Girolami & Fyfe 97] Nemlineáris kersztkorreláció minimalizáció [JuttenHerault, Cardoso]
18 Függetlenaltér-analízis
19 Függetlenaltér-analízis (ISA) Források Megfigyelés Becslés s 1 2 Rd x1 2 Rd y1 2 Rd s 2 2 Rd x2 2 Rd y2 2 Rd s m 2 Rd xm 2 Rd y m 2 Rd A 2 Rmd md W 2 Rmd md s s T ; : : : ; sm T T 2 Rdm x x T ; : : : ; xm T T 2 Rdm x As y y T ; : : : ; ym T T 2 Rdm y Wx
20 Többértelműség az ISA feladatban C 0 B C C B C C B C 2 Rmd C A 0 C 0 0 Ci 2 Rd d i : : : m x AC Cs Ci si Cj sj Tehát az ISA modellben: A AC si Cisi
21 Többértelműség az ISA feladatban A források csak tetszőleges permutáció tetszőleges invertálható transzformáció erejéig állíthatók vissza. Az alterek páronkénti függetlensége az alterek együttes függetlensége. Proof: Legyen fs ; s ; s g; fs ; s ; s g; fs ; s ; s g 3 db 3 dimenziós független forrás, ahol az alterekben lévő koordináták már páronként függetlenek. Ekkorfs ; s ; s g; fs ; s ; s g; fs ; s ; s g egy rossz ISA megoldás.
22 ISA költségfüggvények
23 FastISA algoritmus
24 Függvénycsalád, melynek az ismeretlen szeparáló mátrix stacionárius pontja Tétel:
25 Bizonyítás vázlat
26 FastISA algoritmus A stacionárius pontok Newton-módszerrel meghatározhatók:
27 FastISA előnyök, hátrányok Előnyök: Gyors Nagydimenziós problémákon is alkalmazható. Sok mintára is számolható. Hátrányok: A Newton-módszer konvergenciája bizonytalan. A stacionárius pontok közt csak kevés ISA megoldás van, sokszor kell véletlen kezdőpontból újraindítani az algoritmust. Valódi problémákon nem tudhatjuk, hogy jó megoldást kaptunk e.
28 FastISA 2D numerikus szimuláció Performancia Eredeti Kevert Becsült
29 FastISA 3D numerikus szimuláció Performancia Eredeti Kevert Becsült
30 Entrópia becslések
31 Egydimenziós entrópia becslések Először becsüljük meg a sűrűségfüggvényt: Edgeworth-sorfejtés Hermite-polinomok és magasabb rendű kumulánsok Mixture of Gaussians becslés (EM-módszer) B-spline becslés (Pham) Parzen-ablakok, és kernel sűrűségfüggvény becslések Közvetlen entrópia becsés: Spacing-módszer (Wasicek, Learned-Miller)
32 Többdimenziós entrópia becslések, Kozahenko és Leonenko fz ; : : : ; z n g n z 2 Rd Nk;j z j k Ekkor a Kozahenko és Leonenko féle entrópiabecslés: n P P H z nkv z j k CE n j v2n ;j 1 R t CE e t dt Ez a becslés means-square konzisztens. Érdemes lehet megpróbálni több szomszédot is használni!
33 Többdimenziós Shannon-entrópia becslések a Rényi-entrópia segítségével R Alkalmazzuk a Rényi H f z dz entrópia becslését a Shannon-entrópia H f z f z dz! becslésére: R A Rényi-féle α-entrópia a Beadword - Halton - Hammersley tétel alkalmazásával becsülhető.
34 Rényi-entrópia becslés euklideszi k-szomszédsági gráffal Nk;j z j k d d n P P! H z c k v z j k n j v2nk;j n! 1 A becslés aszimptotikusan torzítatlan és erősen konzisztens (Yukich, 1998).
35 Rényi-entrópia becslés euklideszi feszítőfákkal Definiáljuk az alábbi kifejezéseket: euklideszi gráf a mintahalmazon: E fe e p; q z p z q 2 Rd ; p 6 qg A minimális (γ-súlyú) euklideszi feszítőfa súlya: P L z kek T2T e2t ahol T az össze γ-súlyú euklideszi feszítőfa halmaza.
36 Beadword - Halton - Hammersley tétel euklideszi feszítőfákon d d d L z! H z c n! 1 n Ez a becslés - aszimptotikusan torzítatlan és erősen konzisztens (Yukich, 1998). - érzékeny az outlier-ekre ha a feszítőfának hosszú élei vannak.
37 Robusztusabb becslés készítése Töröljük a leghosszabb k élt a feszítőfából, és csak a maradék éleket vegyük figyelembe a becsléshez (Banks et al, 1992) Keressük meg azt a k elemű ponthalmazt, melyen a legkisebb az élhosszak összege. NP teljes feladat Mohó módszer létezik (Hero & Michel, 1998) Használjunk geodezikus feszítőfákat.
38 Geodezikus feszítőfák Készítsünk először egy euklideszi szomszédsági gráfot használjuk a k legközelebbi csúcsot minden csúcshoz Használjuk az ε sugarú gömbön belül lévő csúcsokat Keressünk geodezikus feszítőerdőt (minimális feszítő erdő az euklideszi szomszédsági gráfon) Egyéb alkalmazások: Manifold learning, ISOMAP algoritmus (Tenenbaum et al, 2000) Ponthalmaz belső dimenziójának becslése (Costa & Hero, 2004)
39 Geodezikus feszítőfák
40 A Shannon-entrópia becslése geodezikus feszítőfákkal
41 A kölcsönös információ becslése
42 Reprodukáló magvú kernel Hilbert tér (RKHS)
43 Moore-Aronszajn tétel Moore-Aronszajn tétel:
44 Mercer tétele
45 RKHS készítése sajátfüggvényekkel
46 Az előbbivel izomorf RKHS készítése
47 RKHS készítése x,y val. változóhoz
48 Kernel kovariancia (KC) A minimalizálandó célfüggvény:
49 Kernel kovariancia (KC) Sőt, rövid számolgatás után adódik, hogy:
50 Kernel kovariancia (KC)
51 Kernel Kanonikus Korreláció Analízis (KCCA) Az előzőek kovariancia helyett korrelációra is végig vihetők: Ennek empirikus becslése:
52 Kernel Kanonikus Korreláció Analízis (KCCA)
53 Kernel Kanonikus Korreláció Analízis (KCCA)
54 Szeparációs tétel
55 Szeparációs tétel
56 Költségfüggvény optimalizálás
57 Optimalizálási stratégiák Amikor a szeparációs tétel igaz: -ICA előfeldolgozás után permutácókeresés Mohó koordináta cserélgetés Cross-entropy (CE) módszer Amikor a szeparációs tétel nem igaz: -ICA előfeldolgozás után Jacobi-forgatások -Globális optimalizálás (DIRECT-módszer)
58 Optimalizálás Jacobi-forgatásokkal Jacobi-forgatásmátrix: 0 B B B B : B G p; q; µ B B B B ::: ::: ::: ::: µ µ : : : µ : : : µ : :: : :: 1 ::: C C C : : : C C C 2 Rmd md C : : : C C C A ::: H y µ : : : H ym µ : y µ T ; : : : ; ym µ T T G p; q; µ y
59 Pszeudó kód
60 Numerikus szimulációk
61 Numerikus szimulációk 2D betűk (i.i.d.) Források Megfigyelés Becsült források Performancia mátrix
62 Numerikus szimulációk 3D görbék (i.i.d.) Források Megfigyelés Becsült források Performancia mátrix
63 Numerikus szimulációk Arcképek (i.i.d.) Források Megfigyelés Becsült források Performancia mátrix
64 Numerikus szimulációk Videók
65 Páronként független koordináták
66 Függetlenaltér-analízis autoregresszív folyamatokon
67 ISA AR folyamatok innovációján Az előbbi módszerek i.i.d. forrásokon működnek. Mit tehetünk τ-rendű AR források esetén? si t F si t : : : F si t ¹ t Ezek innovációja i.i.d. folyamat: si t si t E si t jsi t ; si t : : : ¹ t Továbbá a keverőmátrix ugyanaz marad az innováción is: A s t x t E x t jx t ; x t : : : x t
68 Numerikus szimulációk AR folyamatokon Eredeti AR források Kevert források ISA-val becsült források ISA Performancia Innovációkon ISA-val becsült források Performancia innovációs folyamatokon
69 Referenciák Noncombinatorial estimation of independent auto-regressive sources. B. Póczos and A. Lőrincz Neurocomputing (to appear). Independent Subspace Analysis on Innovations B. Póczos, B. Takács and A. Lőrincz Proc. of. ECML/PKDD 2005, Porto, LNAI 3720: , Springer-Verlag Independent subspace analysis using geodesic spanning trees B. Póczos and A. Lőrincz Proc. of ICML 2005, Bonn, ICML: Independent subspace analysis using k-nearest neighborhood distances B. Póczos and A. Lőrincz Proc. of ICANN 2005, Warsaw, LNCS 3697: , Springer-Verlag Cross-Entropy Optimization for Independent Process Analysis Z. Szabó, B. Póczos and A. Lőrincz Proc. of ICA 2006, Charleston, SC: LNCS 3889, , Springer Verlag, Separation Theorem for Independent Subspace Analysis Z. Szabó, B. Póczos and A. Lőrincz ELU, Budapest, Technical Report
70
71
72 ISA költségfüggvények Kölcsönös Információ: I y ; : : : ; yd R p y dy d p y p y R Shannon-entrópia: H y p y p y dy y Wx H Wx H x jwj I y ; : : : ; yd H x jwj A költség függvény: d P i H yi J W H y : : : H yd
73 Független Komponens Analízis Kölcsönös Információ minimalizálása x = As (+ n), P(s) = P(s1 )...P(sn ), y = Wx I ( y1,..., ym ) = H ( yi ) H (x ) log det W W i min f (ζ ) = ϕ (ζ )(1 + κ3 ( y )h3 (ζ ) / 6 + κ 4 ( y )h4 (ζ ) / ) Kis számolgatá s után az algoritmus : [ ] ΔW = W T 1 2 tanh( Wx) xt ΔW = ( I 2 tanh( y ) yt ) W
Principal Component Analysis
Principal Component Analysis Principal Component Analysis Principal Component Analysis Definíció Ortogonális transzformáció, amely az adatokat egy új koordinátarendszerbe transzformálja úgy, hogy a koordináták
RészletesebbenA maximum likelihood becslésről
A maximum likelihood becslésről Definíció Parametrikus becsléssel foglalkozunk. Adott egy modell, mellyel elképzeléseink szerint jól leírható a meghatározni kívánt rendszer. (A modell típusának és rendszámának
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 10 X. SZIMULÁCIÓ 1. VÉLETLEN számok A véletlen számok fontos szerepet játszanak a véletlen helyzetek generálásában (pénzérme, dobókocka,
RészletesebbenAdatelemzési eljárások az idegrendszer kutatásban Somogyvári Zoltán
Adatelemzési eljárások az idegrendszer kutatásban Somogyvári Zoltán MTA KFKI Részecske és Magfizikai Intézet, Biofizikai osztály Az egy adatsorra (idősorra) is alkalmazható módszerek Példa: Az epileptikus
RészletesebbenNem-paraméteres predikció, Lasso közelítés
Problémamegoldó Szeminárium 2009. nov. 12 Motiváció Pénzügyi idősorok elemzése (Morgan-Stanley): Fedezési eljárások optimalizációja Lasso, Opció árazás: nem-paraméteres úton kernel regresszió. Funkcionális
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 8 VIII. REGREssZIÓ 1. A REGREssZIÓs EGYENEs Két valószínűségi változó kapcsolatának leírására az eddigiek alapján vagy egy numerikus
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 3 III. VÉLETLEN VEKTOROK 1. A KÉTDIMENZIÓs VÉLETLEN VEKTOR Definíció: Az leképezést (kétdimenziós) véletlen vektornak nevezzük, ha Definíció:
RészletesebbenDiverzifikáció Markowitz-modell MAD modell CAPM modell 2017/ Szegedi Tudományegyetem Informatikai Intézet
Operációkutatás I. 2017/2018-2. Szegedi Tudományegyetem Informatikai Intézet Számítógépes Optimalizálás Tanszék 11. Előadás Portfólió probléma Portfólió probléma Portfólió probléma Adott részvények (kötvények,tevékenységek,
Részletesebbene (t µ) 2 f (t) = 1 F (t) = 1 Normális eloszlás negyedik centrális momentuma:
Normális eloszlás ξ valószínűségi változó normális eloszlású. ξ N ( µ, σ 2) Paraméterei: µ: várható érték, σ 2 : szórásnégyzet (µ tetszőleges, σ 2 tetszőleges pozitív valós szám) Normális eloszlás sűrűségfüggvénye:
RészletesebbenGépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)
Gépi tanulás Féligellenőrzött tanulás Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Féligellenőrzött tanulás Mindig kevés az adat, de
RészletesebbenMatematikai statisztika c. tárgy oktatásának célja és tematikája
Matematikai statisztika c. tárgy oktatásának célja és tematikája 2015 Tematika Matematikai statisztika 1. Időkeret: 12 héten keresztül heti 3x50 perc (előadás és szeminárium) 2. Szükséges előismeretek:
RészletesebbenA lineáris programozás alapjai
A lineáris programozás alapjai A konvex analízis alapjai: konvexitás, konvex kombináció, hipersíkok, félterek, extrém pontok, Poliéderek, a Minkowski-Weyl tétel (a poliéderek reprezentációs tétele) Lineáris
RészletesebbenSzalai Péter. April 17, Szalai Péter April 17, / 36
Szociális hálók Szalai Péter April 17, 2015 Szalai Péter April 17, 2015 1 / 36 Miről lesz szó? 1 Megfigyelések Kis világ Power-law Klaszterezhetőség 2 Modellek Célok Erdős-Rényi Watts-Strogatz Barabási
RészletesebbenRegresszió. Csorba János. Nagyméretű adathalmazok kezelése március 31.
Regresszió Csorba János Nagyméretű adathalmazok kezelése 2010. március 31. A feladat X magyarázó attribútumok halmaza Y magyarázandó attribútumok) Kérdés: f : X -> Y a kapcsolat pár tanítópontban ismert
RészletesebbenNagy számok törvényei Statisztikai mintavétel Várható érték becslése. Dr. Berta Miklós Fizika és Kémia Tanszék Széchenyi István Egyetem
agy számok törvényei Statisztikai mintavétel Várható érték becslése Dr. Berta Miklós Fizika és Kémia Tanszék Széchenyi István Egyetem A mérés mint statisztikai mintavétel A méréssel az eloszlásfüggvénnyel
RészletesebbenBevezetés. 1. előadás, 2015. február 11. Módszerek. Tematika
Bevezetés 1. előadás, 2015. február 11. Zempléni András Valószínűségelméleti és Statisztika Tanszék Természettudományi Kar Eötvös Loránd Tudományegyetem Áringadozások előadás Heti 2 óra előadás + 2 óra
Részletesebbenazonosságot minden 1 i, l n, 1 j k, indexre teljesítő együtthatókkal, amelyekre érvényes a = c (j) i,l l,i
A Cochran Fisher tételről A matematikai statisztika egyik fontos eredménye a Cochran Fisher tétel, amely a variancia analízisben játszik fontos szerepet. Ugyanakkor ez a tétel lényegét tekintve valójában
RészletesebbenNemkonvex kvadratikus egyenlőtlenségrendszerek pontos dualitással
pontos dualitással Imre McMaster University Advanced Optimization Lab ELTE TTK Operációkutatási Tanszék Folytonos optimalizálás szeminárium 2004. július 6. 1 2 3 Kvadratikus egyenlőtlenségrendszerek Primál
RészletesebbenAlap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )
Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar Hidrodinamikai Rendszerek Tanszék, Budapest, Műegyetem rkp. 3. D ép. 334. Tel: 463-6-80 Fa: 463-30-9 http://www.vizgep.bme.hu Alap-ötlet:
RészletesebbenMatematikai statisztika I. témakör: Valószínűségszámítási ismétlés
Matematikai statisztika I. témakör: Valószínűségszámítási ismétlés Elek Péter 1. Valószínűségi változók és eloszlások 1.1. Egyváltozós eset Ismétlés: valószínűség fogalma Valószínűségekre vonatkozó axiómák
Részletesebben17. előadás: Vektorok a térben
17. előadás: Vektorok a térben Szabó Szilárd A vektor fogalma A mai előadásban n 1 tetszőleges egész szám lehet, de az egyszerűség kedvéért a képletek az n = 2 esetben szerepelnek. Vektorok: rendezett
RészletesebbenStatisztika - bevezetés Méréselmélet PE MIK MI_BSc VI_BSc 1
Statisztika - bevezetés 00.04.05. Méréselmélet PE MIK MI_BSc VI_BSc Bevezetés Véletlen jelenség fogalma jelenséget okok bizonyos rendszere hozza létre ha mindegyik figyelembe vehető egyértelmű leírás általában
RészletesebbenMatematikai geodéziai számítások 6.
Nyugat-magyarországi Egyetem Geoinformatikai Kara Dr. Bácsatyai László Matematikai geodéziai számítások 6. MGS6 modul Lineáris regresszió számítás elektronikus távmérőkre SZÉKESFEHÉRVÁR 2010 Jelen szellemi
Részletesebben(Independence, dependence, random variables)
Két valószínűségi változó együttes vizsgálata Feltételes eloszlások Két diszkrét változó együttes eloszlása a lehetséges értékpárok és a hozzájuk tartozó valószínűségek (táblázat) Példa: Egy urna 3 fehér,
Részletesebben5. előadás - Regressziószámítás
5. előadás - Regressziószámítás 2016. október 3. 5. előadás 1 / 18 Kétváltozós eset A modell: Y i = α + βx i + u i, i = 1,..., T, ahol X i független u i -től minden i esetén, (u i ) pedig i.i.d. sorozat
RészletesebbenOptimalizálás alapfeladata Legmeredekebb lejtő Lagrange függvény Log-barrier módszer Büntetőfüggvény módszer 2017/
Operációkutatás I. 2017/2018-2. Szegedi Tudományegyetem Informatikai Intézet Számítógépes Optimalizálás Tanszék 9. Előadás Az optimalizálás alapfeladata Keressük f függvény maximumát ahol f : R n R és
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 9 IX. ROBUsZTUs statisztika 1. ROBUsZTUssÁG Az eddig kidolgozott módszerek főleg olyanok voltak, amelyek valamilyen értelemben optimálisak,
Részletesebben2014/2015. tavaszi félév
Hajder L. és Valasek G. hajder.levente@sztaki.mta.hu Eötvös Loránd Tudományegyetem Informatikai Kar 2014/2015. tavaszi félév Tartalom Geometria modellezés 1 Geometria modellezés 2 Geometria modellezés
RészletesebbenStrukturált Generátorrendszerek Online Tanulása és Alk-ai
Strukturált Generátorrendszerek Online Tanulása és Alkalmazásai Problémamegoldó Szeminárium 2010. nov. 5 Tartalomjegyzék Motiváció, példák Regressziós feladatok (generátorrendszer fix) Legkisebb négyzetes
RészletesebbenKözösség detektálás gráfokban
Közösség detektálás gráfokban Önszervező rendszerek Hegedűs István Célkitűzés: valamilyen objektumok halmaza felett minták, csoportok detektálása csakis az egyedek közötti kapcsolatok struktúrájának a
RészletesebbenBozóki Sándor. MTA SZTAKI, Budapesti Corvinus Egyetem. Vitaliy Tsyganok
A feszítőfákból számolt súlyvektorok mértani közepének optimalitása a logaritmikus legkisebb négyzetes célfüggvényre nézve Bozóki Sándor MTA SZTAKI, Budapesti Corvinus Egyetem Vitaliy Tsyganok Laboratory
RészletesebbenMatematikai geodéziai számítások 6.
Matematikai geodéziai számítások 6. Lineáris regresszió számítás elektronikus távmérőkre Dr. Bácsatyai, László Matematikai geodéziai számítások 6.: Lineáris regresszió számítás elektronikus távmérőkre
Részletesebbenc adatpontok és az ismeretlen pont közötti kovariancia vektora
1. MELLÉKLET: Alkalmazott jelölések A mintaterület kiterjedése, területe c adatpontok és az ismeretlen pont közötti kovariancia vektora C(0) reziduális komponens varianciája C R (h) C R Cov{} d( u, X )
RészletesebbenA független komponens analízis és empirikus vizsgálata*
A független komponens analízis és empirikus vizsgálata* Kapelner amás, okleveles villamosmérnök, egészségügyi mérnök E-mail: kapimail@zoho.com Madarász László, okleveles közgazdász, kockázatkezelő E-mail:
RészletesebbenSTATISZTIKA. A maradék független a kezelés és blokk hatástól. Maradékok leíró statisztikája. 4. A modell érvényességének ellenőrzése
4. A modell érvényességének ellenőrzése STATISZTIKA 4. Előadás Variancia-analízis Lineáris modellek 1. Függetlenség 2. Normális eloszlás 3. Azonos varianciák A maradék független a kezelés és blokk hatástól
RészletesebbenStatisztikai következtetések Nemlineáris regresszió Feladatok Vége
[GVMGS11MNC] Gazdaságstatisztika 10. előadás: 9. Regressziószámítás II. Kóczy Á. László koczy.laszlo@kgk.uni-obuda.hu Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet A standard lineáris modell
RészletesebbenMiért fontos számunkra az előző gyakorlaton tárgyalt lineáris algebrai ismeretek
Az november 23-i szeminárium témája Rövid összefoglaló Miért fontos számunkra az előző gyakorlaton tárgyalt lineáris algebrai ismeretek felfrissítése? Tekintsünk ξ 1,..., ξ k valószínűségi változókat,
RészletesebbenLineáris regressziós modellek 1
Lineáris regressziós modellek 1 Ispány Márton és Jeszenszky Péter 2016. szeptember 19. 1 Az ábrák C.M. Bishop: Pattern Recognition and Machine Learning c. könyvéből származnak. Tartalom Bevezető példák
RészletesebbenHipotézis STATISZTIKA. Kétmintás hipotézisek. Munkahipotézis (H a ) Tematika. Tudományos hipotézis. 1. Előadás. Hipotézisvizsgálatok
STATISZTIKA 1. Előadás Hipotézisvizsgálatok Tematika 1. Hipotézis vizsgálatok 2. t-próbák 3. Variancia-analízis 4. A variancia-analízis validálása, erőfüggvény 5. Korreláció számítás 6. Kétváltozós lineáris
RészletesebbenElliptikus eloszlások, kopuláik. 7. előadás, 2015. március 25. Elliptikusság tesztelése. Arkhimédeszi kopulák
Elliptiks eloszlások, kopláik 7. előadás, 215. márcis 25. Zempléni András Valószínűségelméleti és Statisztika Tanszék Természettdományi Kar Eötös Loránd Tdományegyetem Áringadozások előadás Sűrűségfüggényük
RészletesebbenProbabilisztikus funkcionális modellek idegrendszeri adatok elemzésére
Probabilisztikus funkcionális modellek idegrendszeri adatok elemzésére Bányai Mihály! MTA Wigner FK! Computational Systems Neuroscience Lab!! KOKI-VIK szeminárium! 2014. február 11. Struktúra és funkció
RészletesebbenKÖZELÍTŐ INFERENCIA II.
STATISZTIKAI TANULÁS AZ IDEGRENDSZERBEN KÖZELÍTŐ INFERENCIA II. MONTE CARLO MÓDSZEREK ISMÉTLÉS Egy valószínűségi modellben a következtetéseinket a látensek vagy a paraméterek fölötti poszterior írja le.
RészletesebbenOsztályozás, regresszió. Nagyméretű adathalmazok kezelése Tatai Márton
Osztályozás, regresszió Nagyméretű adathalmazok kezelése Tatai Márton Osztályozási algoritmusok Osztályozás Diszkrét értékkészletű, ismeretlen attribútumok értékének meghatározása ismert attribútumok értéke
RészletesebbenGépi tanulás. Hány tanítómintára van szükség? VKH. Pataki Béla (Bolgár Bence)
Gépi tanulás Hány tanítómintára van szükség? VKH Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Induktív tanulás A tanítás folyamata: Kiinduló
RészletesebbenHipotéziselmélet - paraméteres próbák. eloszlások. Matematikai statisztika Gazdaságinformatikus MSc szeptember 10. 1/58
u- t- Matematikai statisztika Gazdaságinformatikus MSc 2. előadás 2018. szeptember 10. 1/58 u- t- 2/58 eloszlás eloszlás m várható értékkel, σ szórással N(m, σ) Sűrűségfüggvénye: f (x) = 1 e (x m)2 2σ
Részletesebben2 (j) f(x) dx = 1 arcsin(3x 2) + C. (d) A x + Bx + C 5x (2x 2 + 7) + Hx + I. 2 2x F x + G. x
I feladatsor Határozza meg az alábbi függvények határozatlan integrálját: a fx dx = x arctg + C b fx dx = arctgx + C c fx dx = 5/x 4 arctg 5 x + C d fx dx = arctg + C 5/ e fx dx = x + arctg + C f fx dx
RészletesebbenBlind Source Separation. Kiváltott agyi jelek informatikai feldolgozása
Blind Source Separation Kiváltott agyi jelek informatikai feldolgozása 1 Bevezetés Az EEG jelek elemzése során egyik fő nehézség a különböző források szuperponálásából kapott többcsatornás jelből az egyes
RészletesebbenKeresés képi jellemzők alapján. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék
Keresés képi jellemzők alapján Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék Lusta gépi tanulási algoritmusok Osztályozás: k=1: piros k=5: kék k-legközelebbi szomszéd (k=1,3,5,7)
RészletesebbenAlgoritmuselmélet. Katona Gyula Y. Számítástudományi és Információelméleti Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem. 13.
Algoritmuselmélet NP-teljes problémák Katona Gyula Y. Számítástudományi és Információelméleti Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem 13. előadás Katona Gyula Y. (BME SZIT) Algoritmuselmélet
RészletesebbenKonjugált gradiens módszer
Közelítő és szimbolikus számítások 12. gyakorlat Konjugált gradiens módszer Készítette: Gelle Kitti Csendes Tibor Vinkó Tamás Faragó István Horváth Róbert jegyzetei alapján 1 LINEÁRIS EGYENLETRENDSZEREK
RészletesebbenGráfelmélet jegyzet 2. előadás
Gráfelmélet jegyzet 2. előadás Készítette: Kovács Ede . Fák Tétel. : A következők ekvivalensek a T gráfra: (i) T összefüggő, e E. T e már nem összefüggő (ii) T összefüggő és körmentes. (iii) x, y V T!
RészletesebbenSajátértékek és sajátvektorok. mf1n1a06- mf1n2a06 Csabai István
Sajátértékek és sajátvektorok A fizika numerikus módszerei I. mf1n1a06- mf1n2a06 Csabai István Lineáris transzformáció Vektorok lineáris transzformációja: általános esetben az x vektor iránya és nagysága
RészletesebbenÚj típusú döntési fa építés és annak alkalmazása többtényezős döntés területén
Új típusú döntési fa építés és annak alkalmazása többtényezős döntés területén Dombi József Szegedi Tudományegyetem Bevezetés - ID3 (Iterative Dichotomiser 3) Az ID algoritmusok egy elemhalmaz felhasználásával
RészletesebbenNormák, kondíciószám
Normák, kondíciószám A fizika numerikus módszerei I. mf1n1a06- mf1n2a06 Csabai István Lineáris egyenletrendszerek Nagyon sok probléma közvetlenül lineáris egyenletrendszer megoldásával kezelhetı Sok numerikus
RészletesebbenNGB_IN040_1 SZIMULÁCIÓS TECHNIKÁK dr. Pozna Claudio Radu, Horváth Ernő
SZÉCHENYI ISTVÁN EGYETEM Műszaki Tudományi Kar Informatika Tanszék BSC FOKOZATÚ MÉRNÖK INFORMATIKUS SZAK NGB_IN040_1 SZIMULÁCIÓS TECHNIKÁK dr. Pozna Claudio Radu, Horváth Ernő Fejlesztői dokumentáció GROUP#6
RészletesebbenFEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 4 IV. MINTA, ALAPsTATIsZTIKÁK 1. MATEMATIKAI statisztika A matematikai statisztika alapfeladatát nagy általánosságban a következőképpen
Részletesebben1. feladatsor: Vektorterek, lineáris kombináció, mátrixok, determináns (megoldás)
Matematika A2c gyakorlat Vegyészmérnöki, Biomérnöki, Környezetmérnöki szakok, 2017/18 ősz 1. feladatsor: Vektorterek, lineáris kombináció, mátrixok, determináns (megoldás) 1. Valós vektorterek-e a következő
RészletesebbenCentrális határeloszlás-tétel
13. fejezet Centrális határeloszlás-tétel A valószínűségszámítás legfontosabb állításai azok, amelyek független valószínűségi változók normalizált összegeire vonatkoznak. A legfontosabb ilyen tételek a
RészletesebbenSzámítógépes képelemzés 7. előadás. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék
Számítógépes képelemzés 7. előadás Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék Momentumok Momentum-alapú jellemzők Tömegközéppont Irányultáság 1 2 tan 2 1 2,0 1,1 0, 2 Befoglaló
Részletesebben1. Generátorrendszer. Házi feladat (fizikából tudjuk) Ha v és w nem párhuzamos síkvektorok, akkor generátorrendszert alkotnak a sík vektorainak
1. Generátorrendszer Generátorrendszer. Tétel (Freud, 4.3.4. Tétel) Legyen V vektortér a T test fölött és v 1,v 2,...,v m V. Ekkor a λ 1 v 1 + λ 2 v 2 +... + λ m v m alakú vektorok, ahol λ 1,λ 2,...,λ
RészletesebbenTöbb valószínűségi változó együttes eloszlása, korreláció
Tartalomjegzék Előszó... 6 I. Valószínűségelméleti és matematikai statisztikai alapok... 8 1. A szükséges valószínűségelméleti és matematikai statisztikai alapismeretek összefoglalása... 8 1.1. Alapfogalmak...
RészletesebbenDiszkrét matematika 2.C szakirány
Diszkrét matematika 2.C szakirány 2017. tavasz 1. Diszkrét matematika 2.C szakirány 11. előadás Nagy Gábor nagygabr@gmail.com nagy@compalg.inf.elte.hu compalg.inf.elte.hu/ nagy Komputeralgebra Tanszék
RészletesebbenSzámítógépes döntéstámogatás. Statisztikai elemzés
SZDT-03 p. 1/22 Számítógépes döntéstámogatás Statisztikai elemzés Werner Ágnes Villamosmérnöki és Információs Rendszerek Tanszék e-mail: werner.agnes@virt.uni-pannon.hu Előadás SZDT-03 p. 2/22 Rendelkezésre
Részletesebbenx, x R, x rögzített esetén esemény. : ( ) x Valószínűségi Változó: Feltételes valószínűség: Teljes valószínűség Tétele: Bayes Tétel:
Feltételes valószínűség: Teljes valószínűség Tétele: Bayes Tétel: Valószínűségi változó általános fogalma: A : R leképezést valószínűségi változónak nevezzük, ha : ( ) x, x R, x rögzített esetén esemény.
RészletesebbenDiszkrét matematika 2. estis képzés
Diszkrét matematika 2. estis képzés 2018. tavasz 1. Diszkrét matematika 2. estis képzés 9. előadás Nagy Gábor nagygabr@gmail.com nagy@compalg.inf.elte.hu compalg.inf.elte.hu/ nagy Komputeralgebra Tanszék
RészletesebbenOptimalizálási eljárások MSc hallgatók számára. 11. Előadás
Optimalizálási eljárások MSc hallgatók számára. Előadás Előadó: Hajnal Péter Jegyzetelő: Bajusz Barbara 203. április 24.. Vektorerelációk és SDP.. A maximális vágás probléma Adott egy w : E(G) R + elsúlyozott
RészletesebbenIntelligens adatelemzés
Antal Péter, Antos András, Horváth Gábor, Hullám Gábor, Kocsis Imre, Marx Péter, Millinghoffer András, Pataricza András, Salánki Ágnes Intelligens adatelemzés Szerkesztette: Antal Péter A jegyzetben az
RészletesebbenKÖZELÍTŐ INFERENCIA II.
STATISZTIKAI TANULÁS AZ IDEGRENDSZERBEN KÖZELÍTŐ INFERENCIA II. MONTE CARLO MÓDSZEREK ISMÉTLÉS Egy valószínűségi modellben a következtetéseinket a látensek vagy a paraméterek fölötti poszterior írja le.
RészletesebbenElméleti összefoglaló a Sztochasztika alapjai kurzushoz
Elméleti összefoglaló a Sztochasztika alapjai kurzushoz 1. dolgozat Véletlen kísérletek, események valószín sége Deníció. Egy véletlen kísérlet lehetséges eredményeit kimeneteleknek nevezzük. A kísérlet
RészletesebbenVektorterek. =a gyakorlatokon megoldásra ajánlott
Vektorterek =a gyakorlatokon megoldásra ajánlott 40. Alteret alkotnak-e a valós R 5 vektortérben a megadott részhalmazok? Ha igen, akkor hány dimenziósak? (a) L = { (x 1, x 2, x 3, x 4, x 5 ) x 1 = x 5,
RészletesebbenKIEGYENLÍTŐ SZÁMÍTÁSOK II.
KIEGYENLÍTŐ SZÁMÍTÁSOK II. SÍK ILLESZTÉSE Olvassuk be a domborzatmodellezéskor már használt mérési állományunkat (meres_coo.txt)! Korábban láttuk a szintvonalas domborzatnál, hogy a terep meglehetősen
RészletesebbenOpkut deníciók és tételek
Opkut deníciók és tételek Készítette: Bán József Deníciók 1. Deníció (Lineáris programozási feladat). Keressük meg adott lineáris, R n értelmezési tartományú függvény, az ún. célfüggvény széls értékét
RészletesebbenBiomatematika 12. Szent István Egyetem Állatorvos-tudományi Kar. Fodor János
Szent István Egyetem Állatorvos-tudományi Kar Biomatematikai és Számítástechnikai Tanszék Biomatematika 12. Regresszió- és korrelációanaĺızis Fodor János Copyright c Fodor.Janos@aotk.szie.hu Last Revision
RészletesebbenCHT& NSZT Hoeffding NET mom. stabilis. 2011. november 9.
CHT& NSZT Hoeffding NET mom. stabilis Becslések, határeloszlás tételek Székely Balázs 2011. november 9. CHT& NSZT Hoeffding NET mom. stabilis 1 CHT és NSZT 2 Hoeffding-egyenlőtlenség Alkalmazása: Beengedés
RészletesebbenHeckman modell. Szelekciós modellek alkalmazásai.
Heckman modell. Szelekciós modellek alkalmazásai. Mikroökonometria, 12. hét Bíró Anikó A tananyag a Gazdasági Versenyhivatal Versenykultúra Központja és a Tudás-Ökonómia Alapítvány támogatásával készült
RészletesebbenNem-lineáris programozási feladatok
Nem-lineáris programozási feladatok S - lehetséges halmaz 2008.02.04 Dr.Bajalinov Erik, NyF MII 1 Elég egyszerű példa: nemlineáris célfüggvény + lineáris feltételek Lehetséges halmaz x 1 *x 2 =6.75 Gradiens
RészletesebbenGEOSTATISZTIKA. Földtudományi mérnöki MSc, geofizikus-mérnöki szakirány. 2018/2019 I. félév TANTÁRGYI KOMMUNIKÁCIÓS DOSSZIÉ
GEOSTATISZTIKA Földtudományi mérnöki MSc, geofizikus-mérnöki szakirány 2018/2019 I. félév TANTÁRGYI KOMMUNIKÁCIÓS DOSSZIÉ Miskolci Egyetem Műszaki Földtudományi Kar Geofizikai és Térinformatikai Intézet
RészletesebbenStatisztika elméleti összefoglaló
1 Statisztika elméleti összefoglaló Tel.: 0/453-91-78 1. Tartalomjegyzék 1. Tartalomjegyzék.... Becsléselmélet... 3 3. Intervallumbecslések... 5 4. Hipotézisvizsgálat... 8 5. Regresszió-számítás... 11
RészletesebbenGyakorló feladatok I.
Gyakorló feladatok I. a Matematika Aa Vektorüggvények tárgyhoz (D D5 kurzusok) Összeállította: Szili László Ajánlott irodalmak:. G.B. Thomas, M.D. Weir, J. Hass, F.R. Giordano: Thomas-féle KALKULUS I.,
RészletesebbenAlgoritmuselmélet 18. előadás
Algoritmuselmélet 18. előadás Katona Gyula Y. Budapesti Műszaki és Gazdaságtudományi Egyetem Számítástudományi Tsz. I. B. 137/b kiskat@cs.bme.hu 2002 Május 7. ALGORITMUSELMÉLET 18. ELŐADÁS 1 Közelítő algoritmusok
RészletesebbenSztochasztikus folyamatok alapfogalmak
Matematikai Modellalkotás Szeminárium 2012. szeptember 4. 1 Folytonos idejű Markov láncok 2 3 4 1 Folytonos idejű Markov láncok 2 3 4 Folytonos idejű Markov láncok I Adott egy G = (V, E) gráf Folytonos
RészletesebbenAlgoritmusok bonyolultsága
Algoritmusok bonyolultsága 5. előadás http://www.ms.sapientia.ro/~kasa/komplex.htm 1 / 27 Gazdaságos faváz Kruskal-algoritmus Joseph Kruskal (1928 2010) Legyen V = {v 1, v 2,..., v n }, E = {e 1, e 2,...,
RészletesebbenIrányításelmélet és technika II.
Irányításelmélet és technika II. Modell-prediktív szabályozás Magyar Attila Pannon Egyetem Műszaki Informatikai Kar Villamosmérnöki és Információs Rendszerek Tanszék amagyar@almos.vein.hu 2010 november
RészletesebbenHiszterézises káoszgenerátor vizsgálata
vizsgálata Csikja Rudolf 2007. november 14. 1 / 34 Smale-patkó Smale-patkó Smale-patkó Cantor-halmaz A végtelen sorozatok tere 2 / 34 Smale-patkó L S R L R T B 3 / 34 Smale-patkó f(x, y) = A [ ] [ ] x
RészletesebbenDiszkrét matematika 2.C szakirány
Diszkrét matematika 2.C szakirány 2015. ősz 1. Diszkrét matematika 2.C szakirány 3. előadás Nagy Gábor nagygabr@gmail.com nagy@compalg.inf.elte.hu compalg.inf.elte.hu/ nagy Komputeralgebra Tanszék 2015.
RészletesebbenLineáris algebra. =0 iє{1,,n}
Matek A2 (Lineáris algebra) Felhasználtam a Szilágyi Brigittás órai jegyzeteket, néhol a Thomas féle Kalkulus III könyvet. A hibákért felelosséget nem vállalok. Hiányosságok vannak(1. órai lin algebrai
RészletesebbenHibajavító kódolás (előadásvázlat, 2012. november 14.) Maróti Miklós
Hibajavító kódolás (előadásvázlat, 2012 november 14) Maróti Miklós Ennek az előadásnak a megértéséhez a következő fogalmakat kell tudni: test, monoid, vektortér, dimenzió, mátrixok Az előadáshoz ajánlott
RészletesebbenFeladatok a Gazdasági matematika II. tárgy gyakorlataihoz
Debreceni Egyetem Közgazdaságtudományi Kar Feladatok a Gazdasági matematika II tárgy gyakorlataihoz a megoldásra ajánlott feladatokat jelöli e feladatokat a félév végére megoldottnak tekintjük a nehezebb
RészletesebbenKvadratikus alakok és euklideszi terek (előadásvázlat, október 5.) Maróti Miklós, Kátai-Urbán Kamilla
Kvadratikus alakok és euklideszi terek (előadásvázlat, 0. október 5.) Maróti Miklós, Kátai-Urbán Kamilla Az előadáshoz ajánlott jegyzet: Szabó László: Bevezetés a lineáris algebrába, Polygon Kiadó, Szeged,
RészletesebbenNemlineáris programozás 2.
Optimumszámítás Nemlineáris programozás 2. Többváltozós optimalizálás feltételek mellett. Lagrange-feladatok. Nemlineáris programozás. A Kuhn-Tucker feltételek. Konvex programozás. Sydsaeter-Hammond: 18.1-5,
RészletesebbenDiszkrét matematika 2.C szakirány
Diszkrét matematika 2.C szakirány 2017. ősz 1. Diszkrét matematika 2.C szakirány 2. előadás Nagy Gábor nagygabr@gmail.com nagy@compalg.inf.elte.hu compalg.inf.elte.hu/ nagy Komputeralgebra Tanszék 2017.
RészletesebbenA Statisztika alapjai
A Statisztika alapjai BME A3c Magyar Róbert 2016.05.12. Mi az a Statisztika? A statisztika a valóság számszerű információinak megfigyelésére, összegzésére, elemzésére és modellezésére irányuló gyakorlati
Részletesebben6. Előadás. Vereb György, DE OEC BSI, október 12.
6. Előadás Visszatekintés: a normális eloszlás Becslés, mintavételezés Reprezentatív minta A statisztika, mint változó Paraméter és Statisztika Torzítatlan becslés A mintaközép eloszlása - centrális határeloszlás
RészletesebbenGráfalgoritmusok és hatékony adatszerkezetek szemléltetése
Gráfalgoritmusok és hatékony adatszerkezetek szemléltetése Készítette: Bognár Gergő Témavezető: Veszprémi Anna Eötvös Loránd Tudományegyetem Informatikai Kar Algoritmusok és Alkalmazásaik Tanszék Budapest,
RészletesebbenSTATISZTIKA. Egymintás u-próba. H 0 : Kefir zsírtartalma 3% Próbafüggvény, alfa=0,05. Egymintás u-próba vagy z-próba
Egymintás u-próba STATISZTIKA 2. Előadás Középérték-összehasonlító tesztek Tesztelhetjük, hogy a valószínűségi változónk értéke megegyezik-e egy konkrét értékkel. Megválaszthatjuk a konfidencia intervallum
RészletesebbenMódszertani hozzájárulás a Szegénység
Módszertani hozzájárulás a Szegénység Többváltozós Statisztikai Méréséhez MTA doktori értekezés főbb eredményei Hajdu ottó BCE KTK Statisztika Tanszék BME GTK Pénzügyek Tanszék Hajdu Ottó 1 Egyváltozós
RészletesebbenAlgoritmuselmélet. Katona Gyula Y. Számítástudományi és Információelméleti Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem. 12.
Algoritmuselmélet NP-teljes problémák Katona Gyula Y. Számítástudományi és Információelméleti Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem 12. előadás Katona Gyula Y. (BME SZIT) Algoritmuselmélet
RészletesebbenVillamosmérnök A4 11. hét Kétdimenziós normális eloszlás, cht - Megoldások
Villamosmérnök A 11. hét Kétdimenziós normális eloszlás, cht - Megoldások Kétdimenziós normális összefoglalás Egy kétdimenziós X, Y valószínűségi változó kovariancia mátrixa: VarX CovX, Y CovX, Y VarY
RészletesebbenLoss Distribution Approach
Modeling operational risk using the Loss Distribution Approach Tartalom»Szabályozói környezet»modellezési struktúra»eseményszám eloszlás»káreloszlás»aggregált veszteségek»további problémák 2 Szabályozói
Részletesebben