A magánélet védelme az elosztott adatbányászatban
|
|
- Klaudia Halász
- 8 évvel ezelőtt
- Látták:
Átírás
1 Információs Technológiák és a Jövő Társadalma (FuturICT.hu) TÁMOP C-11/1/KONV A magánélet védelme az elosztott adatbányászatban Jelasity Márk Szegedi Tudományegyetem
2 2
3 3
4 Aggodalom a magánéletért Az okos mérőórák érzékeny információkat ismernek Az okostelefonok az egész életünket követik Mikor vagyunk otthon, sőt, mit nézünk a tévében, stb. Szenzorok (gps, hang, kamera), alkalmazások (facebook, google, stb.) Ugyanakkor hasznos adatalapú alkalmazások 4
5 A magánélet védelmének problémái Személyes adatokat sanitized (tisztított) formában sem biztonságos közzétenni: kapcsolásos támadás (linkage attack) Netflix and IMDB [Narayanan and Smatikov] MGIC and voting register [Latanya Sweeney] Stb. Bizonságos lekérdezés-végrehajtás kell, és kontrollálni kell a megengedett lekérdezéseket ill. az eredményük publikálását 5
6 Rendszermodell Nagyon nagyszámú eszköz (sok millió) Minden eszközön adat keletkezik Viszonylag kis mennyiségű, azonos típusú adat van minden eszközön (horizontális adateloszlás) Csomagkapcsolt hálózati kommunikáció Minden eszköznek címe van Közvetlenül üzenhetnek egymásnak Ez nem teljesen igaz (NAT, tűzfalak) 6
7 Magánélet védelmének problémái Lekérdezések végrehajtása Ha nincs megbízható központ, magánéletvédő algoritmus kell Van megbízható központ Magánéletvédő algoritmusok Nincs megbízható központ Kriptográfiai terület, secure multiparty computation algoritmusok 7
8 Magánélet védelmének problémái Lekérdezések kimenetének publikálása Kimenetből is lehet rekordokra következtetni min, max Több (jól megtervezett) lekérdezés elemzése Differenciál-magánélet Van megbízható központ Magánéletvédő algoritmusok Nincs megbízható központ 8
9 Magánélet védelmének problémái Lekérdezés-kimenetek publikálása Differenciál-magánélet Van megbízható központ Nincs megbízható központ Lekérdezések végrehajtása Magánéletvédő algoritmusok 9
10 Elosztott hatványiteráció sajátvektor alkalmazásai n fontossági rangsor, gráfvizualizáció, bizalom mértéke, stb. A hatványiteráció az egyik legegyszerűbb módszer (a normalizálást nem mutatjuk) x i a ij x j i=1 m 1 xi = n i=1 m a ij x j 10
11 Elosztott adatok gráf alakban x2 x3 w12 x6 w16 x5 w13 x1 w15 w14 x4 m 1 xi = n i=1 m a ij x j 11
12 Ötlet Az xi csúcs minden j be-szomszédja titokmegosztó (secret sharing) algoritmussal megosztja a wijxj értéket a többi be-szomszéddal A megkapott titokrészletekből egy aggregált értéket elküldenek xi-nek, amely ezekből rekonstruálja az összeget Milyen titokmegosztó algoritmus kell? Robusztus, hatékony, olcsó, egyszerű, és ahol a fenti aggregálás megoldható 12
13 K-ból k titokmegosztás véletlen összeggel A titok s F. k-1 véletlen számot húzunk F-ből: ezek s 2,...,sk. s1=s-s2-...-sk. A titok részei s1,...,sk, ezeket osztjuk szét Rekonstruálás: mind a k részösszeg kell, s=s1+...sk. Vannak n-ből k módszerek, pl Shamir módszere (polinomok konstans együtthatója) 13
14 Alkalmazás a hatványiterációban Az xj csúcs a wijxj értékhez tartozó s2,..,sk értéket elküldi k-1 be-szomszédnak Az xj csúcs a megkapott titokrészleteket összeadja és elküldi xi-nek Az xi csúcs összeadja az összes bejövő üzenetet, ami a keresett összeget adja 14
15 Tulajdonságai Biztonságos a semi-honest adversary modellben Üzenetek száma O(kn+k) egy csúcs egy iterációjában Véletlen részek maradhatnak több iteráción át (O(nk/m+n) ha m iteráción át) K lehet különböző minden be-szomszédra Kaotikus iterációt is lehetővé tesz A hibatűréshez még számos részlet kell amit most nem tárgylunk 15
16 Magánélet védelmének problémái Lekérdezés-kimenetek publikálása Differenciál-magánélet Van megbízható központ Nincs megbízható központ Lekérdezések végrehajtása Magánéletvédő algoritmusok 16
17 differenciál-magánélet Rögzítsünk egy D adatbázist Legyen M(D) a lekérdezés kimenete M(D) véletlen változó, a véletlen bitek a az M() függvényből jönnek, D konstans Legyen D' olyan adatbázis, amely D-től csak egy rekordban különbözik M ε-differenciáltan magán (ε-differentially private), ha P(M (D) S ) exp(ε)p (M (D ' ) S ) 17
18 differenciál-magánélet P( M (D)) P( M (D ' )) Az arányuk korlátos 18
19 Kompozicionalitás Ha M1 és M2 ε1- illetve ε2-differenciáltan magán és független, akkor M1 és M2 publikálása ε1+ε2differenciáltan magán privacy budget : vagy véges lekérdezés, vagy növekvő pontatlanság Ha a budget kimerül, több lekérdezés nem megengedett (az adatot el kell dobni) 19
20 A differenciál-magánélet egy megvalósítása Globális érzékenység: Δ g= Laplace eloszlás: x μ 1 f (x μ,β)= exp( ) 2b b max g (D) g ( D ') D, D ' szomszéd Adding noise to deterministic query (Y ~ Laplace(0,Δg/ε)): M (D)=Y + g (D) 20
21 Okos mérőórák Okos mérőórák hálózata Feladat: Összfogyasztás folyamatos követése Fogyasztás vezérlése az árak manipulációjával Probléma: Nem bízunk a szolgáltatóban (sem) A folyamatos megfigyelés során a fogyasztás eloszlásának statikus paraméterei kiderülnek, még ha minden mérés differenciálisan magán is M (D)=Y + x i 21
22 Valószínűségi modell Xij: az i. óra j. időpontban Feltesszük, hogy az időben szomszédos mérések függetlenek! 22
23 Eloszlási differenciálmagánélet Az eloszlásparaméterek felett értelmezzük a differenciál-magánélet fogalmát A konkrét lekérdezés helyett végtelen számú lekérdezést (illetve a lekérdezés eloszlását) vesszük A korábbi valószínűségi modellt tesszük fel 23
24 Normális eloszlás Ha xij normális eloszlású, az összeg is az Stabil eloszlásokra általában igaz Globális érzékenység a paraméterek terében 24
25 Normális eloszlás De xij nem normális eloszlású Az eloszlást transzformálhatjuk Normálissá Vagy Bernoullivá 25
26 Transzformáció normális eloszlássá Ha θi ismert lokálisan, az új normális eloszlású változót xij eloszlásával azonos várható értékkel és szórással, xij-vel azonos kvantilist reprezentálva számoljuk 26
27 Eredeti eloszlás Viszony a transzformált eloszlással 27
28 Transzformálás Bernoulli eloszlássá Θi-t nem kell ismerni az új Bernoulli eloszlású változó xijével azonos várható értékű A várható érték nem védett 28
29 Hozzáadott zaj Ez a módszer több zajt eredményez Nem szükségképpen extra zaj! Pl. a korábbi eloszlásra alkalmazva n=1000 mérőórára 1.9-szeresére növekszik a zaj 29
30 Megjegyzések Felhasznált fekete doboz komponensek Elosztott biztonságos összeglekérdezés Elosztott biztonságos zaj generálás Fontos feltevés: időbeli függetlenség Egy órát csak elegendő késleltetés után olvasunk le (mintavételezés) Ez segíti a vezérlési hurok stabilitását is 30
31 Konklúziók Nem elég anonimizálni Nem elég, ha csak aggregált információt adunk közre Jelenlegi módszerek nagyon jelentősen korlátozzák a felhasználást (privacy budget) Pedig már ezt sem triviális megvalósítani (privacy preserving data mining) Valószínűleg túlbiztosítottak A folyamatos megfigyelés nagyon fontos de további problémákat vet fel A hozzájárulásunk erre vonatkozik 31
32 Publikációk Márk Jelasity, Geoffrey Canright, and Kenth Engø-Monsen. Asynchronous distributed power iteration with gossip-based normalization. In Anne-Marie Kermarrec, Luc Bougé, and Thierry Priol, editors, Euro-Par 2007, volume 4641 of Lecture Notes in Computer Science, pages Springer-Verlag, (doi: / _55) Juan A. M. Naranjo, Leocadio G. Casado, and Márk Jelasity. Asynchronous privacy-preserving iterative computation on peerto-peer networks. Computing, 94(810):763782, (doi: /s ) Márk Jelasity and Kenneth P. Birman. Distributional Differential Privacy for Large-Scale Smart Metering. submitted 32
Kollektív tanulás milliós hálózatokban. Jelasity Márk
Kollektív tanulás milliós hálózatokban Jelasity Márk 2 3 Motiváció Okostelefon platform robbanásszerű terjedése és Szenzorok és gazdag kontextus jelenléte, ami Kollaboratív adatbányászati alkalmazások
Teljesen elosztott adatbányászat alprojekt
Teljesen elosztott adatbányászat alprojekt Hegedűs István, Ormándi Róbert, Jelasity Márk Big Data jelenség Big Data jelenség Exponenciális növekedés a(z): okos eszközök használatában, és a szenzor- és
Teljesen elosztott adatbányászat pletyka algoritmusokkal. Jelasity Márk Ormándi Róbert, Hegedűs István
Teljesen elosztott adatbányászat pletyka algoritmusokkal Jelasity Márk Ormándi Róbert, Hegedűs István Motiváció Nagyméretű hálózatos elosztott alkalmazások az Interneten egyre fontosabbak Fájlcserélő rendszerek
Principal Component Analysis
Principal Component Analysis Principal Component Analysis Principal Component Analysis Definíció Ortogonális transzformáció, amely az adatokat egy új koordinátarendszerbe transzformálja úgy, hogy a koordináták
Nagy számok törvényei Statisztikai mintavétel Várható érték becslése. Dr. Berta Miklós Fizika és Kémia Tanszék Széchenyi István Egyetem
agy számok törvényei Statisztikai mintavétel Várható érték becslése Dr. Berta Miklós Fizika és Kémia Tanszék Széchenyi István Egyetem A mérés mint statisztikai mintavétel A méréssel az eloszlásfüggvénnyel
Készítette: Fegyverneki Sándor
VALÓSZÍNŰSÉGSZÁMÍTÁS Összefoglaló segédlet Készítette: Fegyverneki Sándor Miskolci Egyetem, 2001. i JELÖLÉSEK: N a természetes számok halmaza (pozitív egészek) R a valós számok halmaza R 2 {(x, y) x, y
Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )
Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar Hidrodinamikai Rendszerek Tanszék, Budapest, Műegyetem rkp. 3. D ép. 334. Tel: 463-6-80 Fa: 463-30-9 http://www.vizgep.bme.hu Alap-ötlet:
Kísérlettervezés alapfogalmak
Kísérlettervezés alapfogalmak Rendszermodellezés Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Kísérlettervezés Cél: a modell paraméterezése a valóság alapján
Biomatematika 12. Szent István Egyetem Állatorvos-tudományi Kar. Fodor János
Szent István Egyetem Állatorvos-tudományi Kar Biomatematikai és Számítástechnikai Tanszék Biomatematika 12. Regresszió- és korrelációanaĺızis Fodor János Copyright c Fodor.Janos@aotk.szie.hu Last Revision
Monte Carlo módszerek a statisztikus fizikában. Az Ising modell. 8. előadás
Monte Carlo módszerek a statisztikus fizikában. Az Ising modell. 8. előadás Démon algoritmus az ideális gázra időátlag fizikai mennyiségek átlagértéke sokaságátlag E, V, N pl. molekuláris dinamika Monte
Véletlenszám generátorok és tesztelésük. Tossenberger Tamás
Véletlenszám generátorok és tesztelésük Tossenberger Tamás Érdekességek Pénzérme feldobó gép: $0,25-os érme 1/6000 valószínűséggel esik az élére 51% eséllyel érkezik a felfelé mutató oldalára Pörgetésnél
Pletykaalapú gépi tanulás teljesen elosztott környezetben
Pletykaalapú gépi tanulás teljesen elosztott környezetben Hegedűs István Jelasity Márk témavezető Szegedi Tudományegyetem MTA-SZTE Mesterséges Intelligencia Kutatócsopot Motiváció Az adat adatközpontokban
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 3 III. VÉLETLEN VEKTOROK 1. A KÉTDIMENZIÓs VÉLETLEN VEKTOR Definíció: Az leképezést (kétdimenziós) véletlen vektornak nevezzük, ha Definíció:
Mozgásmodellezés. Lukovszki Csaba. Navigációs és helyalapú szolgáltatások és alkalmazások (VITMMA07)
TÁVKÖZLÉSI ÉS MÉDIAINFORMATIKAI TANSZÉK () BUDAPESTI MŰSZAKI ÉS GAZDASÁGTUDOMÁNYI EGYETEM (BME) Mozgásmodellezés Lukovszki Csaba Áttekintés» Probléma felvázolása» Szabadsági fokok» Diszkretizált» Hibát
Kísérlettervezés alapfogalmak
Kísérlettervezés alapfogalmak Rendszermodellezés Budapest University of Technology and Economics Fault Tolerant Systems Research Group Budapest University of Technology and Economics Department of Measurement
Hálózati réteg. WSN topológia. Útvonalválasztás.
Hálózati réteg WSN topológia. Útvonalválasztás. Tartalom Hálózati réteg WSN topológia Útvonalválasztás 2015. tavasz Szenzorhálózatok és alkalmazásaik (VITMMA09) - Okos város villamosmérnöki MSc mellékspecializáció,
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 10 X. SZIMULÁCIÓ 1. VÉLETLEN számok A véletlen számok fontos szerepet játszanak a véletlen helyzetek generálásában (pénzérme, dobókocka,
Összefoglalás és gyakorlás
Összefoglalás és gyakorlás High Speed Networks Laboratory 1 / 28 Hálózatok jellemző paraméterei High Speed Networks Laboratory 2 / 28 Evolúció alkotta adatbázis Önszerveződő adatbázis = (struktúra, lekérdezés)
Mesterséges Intelligencia I.
Mesterséges Intelligencia I. 10. elıadás (2008. november 10.) Készítette: Romhányi Anita (ROANAAT.SZE) - 1 - Statisztikai tanulás (Megfigyelések alapján történı bizonytalan következetésnek tekintjük a
Közösség detektálás gráfokban
Közösség detektálás gráfokban Önszervező rendszerek Hegedűs István Célkitűzés: valamilyen objektumok halmaza felett minták, csoportok detektálása csakis az egyedek közötti kapcsolatok struktúrájának a
14 A Black-Scholes-Merton modell. Options, Futures, and Other Derivatives, 8th Edition, Copyright John C. Hull
14 A Black-choles-Merton modell Copyright John C. Hull 01 1 Részvényárak viselkedése (feltevés!) Részvényár: μ: elvárt hozam : volatilitás Egy rövid Δt idő alatt a hozam normális eloszlású véletlen változó:
10: Peer-To-Peer Hálózatok I. HálózatokII, 2007
Hálózatok II 2007 10: Peer-To-Peer Hálózatok I 1 Definíció Egy Peer-to-Peer hálózat egy kommunikációs hálózat számítógépek között, melyben minden résztvevő mind client, mind server feladatokat végrehajt.
A maximum likelihood becslésről
A maximum likelihood becslésről Definíció Parametrikus becsléssel foglalkozunk. Adott egy modell, mellyel elképzeléseink szerint jól leírható a meghatározni kívánt rendszer. (A modell típusának és rendszámának
BAGME11NNF Munkavédelmi mérnökasszisztens Galla Jánosné, 2011.
BAGME11NNF Munkavédelmi mérnökasszisztens Galla Jánosné, 2011. 1 Mérési hibák súlya és szerepe a mérési eredményben A mérési hibák csoportosítása A hiba rendűsége Mérési bizonytalanság Standard és kiterjesztett
Szociális hálózatok Gráf alapú módszerek. Adatbányászat. Klaszterezés Szociális hálózatok. Szegedi Tudományegyetem. Adatbányászat
Klaszterezés Szegedi Tudományegyetem Élei lehetnek címkézettek (pl. ellenség, barát), továbbá súlyozottak (pl. telefonbeszélgetés) Megjelenési formái Ismeretségi, társszerzőségi gráf (Erdős-Bacon szám)
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 4 IV. MINTA, ALAPsTATIsZTIKÁK 1. MATEMATIKAI statisztika A matematikai statisztika alapfeladatát nagy általánosságban a következőképpen
Optimalizálás alapfeladata Legmeredekebb lejtő Lagrange függvény Log-barrier módszer Büntetőfüggvény módszer 2017/
Operációkutatás I. 2017/2018-2. Szegedi Tudományegyetem Informatikai Intézet Számítógépes Optimalizálás Tanszék 9. Előadás Az optimalizálás alapfeladata Keressük f függvény maximumát ahol f : R n R és
Véletlenszám generátorok és tesztelésük HORVÁTH BÁLINT
Véletlenszám generátorok és tesztelésük HORVÁTH BÁLINT Mi a véletlen? Determinisztikus vs. Véletlen esemény? Véletlenszám: számok sorozata, ahol véletlenszerűen követik egymást az elemek Pszeudo-véletlenszám
Pletykaalapú gépi tanulás teljesen elosztott környezetben
Pletykaalapú gépi tanulás teljesen elosztott környezetben Hegedűs István Témavezető Dr. Jelasity Márk MTA-SZTE Mesterséges Intelligencia Kutatócsoport Informatika Doktori Iskola Szegedi Tudományegyetem
Dr. Kalló Noémi. Termelés- és szolgáltatásmenedzsment. egyetemi adjunktus Menedzsment és Vállalatgazdaságtan Tanszék. Dr.
Termelés- és szolgáltatásmenedzsment egyetemi adjunktus Menedzsment és Vállalatgazdaságtan Tanszék Termelés- és szolgáltatásmenedzsment 13. Ismertesse a legfontosabb előrejelzési módszereket és azok gyakorlati
Elosztott Hash Táblák. Jelasity Márk
Elosztott Hash Táblák Jelasity Márk Motiváció Nagyméretű hálózatos elosztott rendszerek az Interneten egyre fontosabbak Fájlcserélő rendszerek (BitTorrent, stb), Grid, Felhő, Gigantikus adatközpontok,
Körkép a lakossági felhasználók fogyasztásának készülékszintű becsléséről (NILM)
Körkép a lakossági felhasználók fogyasztásának készülékszintű becsléséről (NILM) MEE Vándorgyűlés, Siófok, 2015. szeptember 17. Dr. Raisz Dávid, docens, csoportvezető Dr. Divényi Dániel, adjunktus Villamos
GVMST22GNC Statisztika II. Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet
GVMST22GNC Statisztika II. 3. előadás: 8. Hipotézisvizsgálat Kóczy Á. László Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet Hipotézisvizsgálat v becslés Becslés Ismeretlen paraméter Közeĺıtő
Saj at ert ek-probl em ak febru ar 26.
Sajátérték-problémák 2018. február 26. Az alapfeladat Adott a következő egyenlet: Av = λv, (1) ahol A egy ismert mátrix v ismeretlen, nem zérus vektor λ ismeretlen szám Azok a v, λ kombinációk, amikre
TITOKMEGOSZTÁS ÉS TÖBBRÉSZTVEVŐS SZÁMÍTÁSOK. Szakdolgozat. Írta: Zentai Dániel Matematika bsc szak Alkalmazott matematikus szakirány.
TITOKMEGOSZTÁS ÉS TÖBBRÉSZTVEVŐS SZÁMÍTÁSOK Szakdolgozat Írta: Zentai Dániel Matematika bsc szak Alkalmazott matematikus szakirány Témavezető: Dr. Csirmaz László Konzulens: Dr. Sziklai Péter Eötvös Loránd
Mérés és adatgyűjtés
Mérés és adatgyűjtés 4. óra Mingesz Róbert Szegedi Tudományegyetem 2012. február 27. MA - 4. óra Verzió: 2.1 Utolsó frissítés: 2012. március 12. 1/41 Tartalom I 1 Jelek 2 Mintavételezés 3 A/D konverterek
2012. október 2 és 4. Dr. Vincze Szilvia
2012. október 2 és 4. Dr. Vincze Szilvia Tartalomjegyzék 1.) Az egyváltozós valós függvény fogalma, műveletek 2.) Zérushely, polinomok zérushelye 3.) Korlátosság 4.) Monotonitás 5.) Szélsőérték 6.) Konvex
RHadoop. Kocsis Imre Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék
RHadoop Kocsis Imre ikocsis@mit.bme.hu Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Házi feladat Csapatépítés o 2 fő, tetszőleges kombinációkban http://goo.gl/m8yzwq
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI
FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI statisztika 9 IX. ROBUsZTUs statisztika 1. ROBUsZTUssÁG Az eddig kidolgozott módszerek főleg olyanok voltak, amelyek valamilyen értelemben optimálisak,
A szimplex algoritmus
A szimplex algoritmus Ismétlés: reprezentációs tétel, az optimális megoldás és az extrém pontok kapcsolata Alapfogalmak: bázisok, bázismegoldások, megengedett bázismegoldások, degenerált bázismegoldás
BIOMATEMATIKA ELŐADÁS
BIOMATEMATIKA ELŐADÁS 9. Együttes eloszlás, kovarianca, nevezetes eloszlások Debreceni Egyetem, 2015 Dr. Bérczes Attila, Bertók Csanád A diasor tartalma 1 Bevezetés, definíciók Együttes eloszlás Függetlenség
Híradástechikai jelfeldolgozás
Híradástechikai jelfeldolgozás 13. Előadás 015. 04. 4. Jeldigitalizálás és rekonstrukció 015. április 7. Budapest Dr. Gaál József docens BME Hálózati Rendszerek és SzolgáltatásokTanszék gaal@hit.bme.hu
A sorozat fogalma. függvényeket sorozatoknak nevezzük. Amennyiben az értékkészlet. az értékkészlet a komplex számok halmaza, akkor komplex
A sorozat fogalma Definíció. A természetes számok N halmazán értelmezett függvényeket sorozatoknak nevezzük. Amennyiben az értékkészlet a valós számok halmaza, valós számsorozatról beszélünk, mígha az
Modern műszeres analitika szeminárium Néhány egyszerű statisztikai teszt
Modern műszeres analitika szeminárium Néhány egyszerű statisztikai teszt Galbács Gábor KIUGRÓ ADATOK KISZŰRÉSE STATISZTIKAI TESZTEKKEL Dixon Q-tesztje Gyakori feladat az analitikai kémiában, hogy kiugrónak
Új típusú döntési fa építés és annak alkalmazása többtényezős döntés területén
Új típusú döntési fa építés és annak alkalmazása többtényezős döntés területén Dombi József Szegedi Tudományegyetem Bevezetés - ID3 (Iterative Dichotomiser 3) Az ID algoritmusok egy elemhalmaz felhasználásával
A gyakorlat célja a fehér és a színes zaj bemutatása.
A gyakorlat célja a fehér és a színes zaj bemutatása. 1.@. FFT begyakorlása n = [:9]; % Harminc minta x = cos(*pi*n/1); % 1 mintát veszünk periodusonként N1 = 64; % Három módon számoljuk az FFT-t N = 18;
Adaptív dinamikus szegmentálás idősorok indexeléséhez
Adaptív dinamikus szegmentálás idősorok indexeléséhez IPM-08irAREAE kurzus cikkfeldolgozás Balassi Márton 1 Englert Péter 1 Tömösy Péter 1 1 Eötvös Loránd Tudományegyetem Informatikai Kar 2013. november
Nemparaméteres próbák
Nemparaméteres próbák Budapesti Mőszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar Hidrodinamikai Rendszerek Tanszék 1111, Budapest, Mőegyetem rkp. 3. D ép. 334. Tel: 463-16-80 Fax: 463-30-91 http://www.vizgep.bme.hu
Gauss-Seidel iteráció
Közelítő és szimbolikus számítások 5. gyakorlat Iterációs módszerek: Jacobi és Gauss-Seidel iteráció Készítette: Gelle Kitti Csendes Tibor Somogyi Viktor London András Deák Gábor jegyzetei alapján 1 ITERÁCIÓS
Statisztika - bevezetés Méréselmélet PE MIK MI_BSc VI_BSc 1
Statisztika - bevezetés 00.04.05. Méréselmélet PE MIK MI_BSc VI_BSc Bevezetés Véletlen jelenség fogalma jelenséget okok bizonyos rendszere hozza létre ha mindegyik figyelembe vehető egyértelmű leírás általában
Bozóki Sándor. MTA SZTAKI, Budapesti Corvinus Egyetem. Vitaliy Tsyganok
A feszítőfákból számolt súlyvektorok mértani közepének optimalitása a logaritmikus legkisebb négyzetes célfüggvényre nézve Bozóki Sándor MTA SZTAKI, Budapesti Corvinus Egyetem Vitaliy Tsyganok Laboratory
Osztályozás, regresszió. Nagyméretű adathalmazok kezelése Tatai Márton
Osztályozás, regresszió Nagyméretű adathalmazok kezelése Tatai Márton Osztályozási algoritmusok Osztályozás Diszkrét értékkészletű, ismeretlen attribútumok értékének meghatározása ismert attribútumok értéke
Hogy keres a Google?
Hogy keres a Google? Kevei Péter SZTE Bolyai Intézet Kutatók Éjszakája 208. szeptember 28. WWW Könyvtár 25 milliárd (25 0 9 ) dokumentummal, és nincs könyvtáros (a Somogyi Könyvtárban 900 000, a Bolyai
Statisztikai következtetések Nemlineáris regresszió Feladatok Vége
[GVMGS11MNC] Gazdaságstatisztika 10. előadás: 9. Regressziószámítás II. Kóczy Á. László koczy.laszlo@kgk.uni-obuda.hu Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet A standard lineáris modell
Internet of Things. Dr. Szepessy Zsolt evopro Innovation Kft. HTE INFOKOM 2014. 2014. október 8-10. 11/10/14
Internet of Things Dr. Szepessy Zsolt evopro Innovation Kft. HTE INFOKOM 2014. 2014. október 8-10. 11/10/14 Tartalom! A dolgok Internete koncepció! Megalapozó technológiák! Architektúra! Kutatási kihívások
y ij = µ + α i + e ij STATISZTIKA Sir Ronald Aylmer Fisher Példa Elmélet A variancia-analízis alkalmazásának feltételei Lineáris modell
Példa STATISZTIKA Egy gazdálkodó k kukorica hibrid termesztése között választhat. Jelöljük a fajtákat A, B, C, D-vel. Döntsük el, hogy a hibridek termesztése esetén azonos terméseredményre számíthatunk-e.
x, x R, x rögzített esetén esemény. : ( ) x Valószínűségi Változó: Feltételes valószínűség: Teljes valószínűség Tétele: Bayes Tétel:
Feltételes valószínűség: Teljes valószínűség Tétele: Bayes Tétel: Valószínűségi változó általános fogalma: A : R leképezést valószínűségi változónak nevezzük, ha : ( ) x, x R, x rögzített esetén esemény.
Fine-Grained Network Time Synchronization using Reference Broadcast
Fine-Grained Network Time Synchronization using Reference Broadcast Ofszet Az indítás óta eltelt idıt mérik Az ofszet változása: skew Az órák sebességének különbsége Oka: Az óra az oszcillátor pontatlanságát
Algoritmuselmélet 18. előadás
Algoritmuselmélet 18. előadás Katona Gyula Y. Budapesti Műszaki és Gazdaságtudományi Egyetem Számítástudományi Tsz. I. B. 137/b kiskat@cs.bme.hu 2002 Május 7. ALGORITMUSELMÉLET 18. ELŐADÁS 1 Közelítő algoritmusok
Többváltozós lineáris regressziós modell feltételeinek tesztelése I.
Többváltozós lineáris regressziós modell feltételeinek tesztelése I. - A hibatagra vonatkozó feltételek tesztelése - Kvantitatív statisztikai módszerek Petrovics Petra Többváltozós lineáris regressziós
előadás Diszkrét idejű tömegkiszolgálási modellek Poisson-folyamat Folytonos idejű Markov-láncok Folytonos idejű sorbanállás
13-14. előadás Diszkrét idejű tömegkiszolgálási modellek Poisson-folyamat Folytonos idejű Markov-láncok Folytonos idejű sorbanállás 2016. november 28. és december 5. 13-14. előadás 1 / 35 Bevezetés A diszkrét
Diverzifikáció Markowitz-modell MAD modell CAPM modell 2017/ Szegedi Tudományegyetem Informatikai Intézet
Operációkutatás I. 2017/2018-2. Szegedi Tudományegyetem Informatikai Intézet Számítógépes Optimalizálás Tanszék 11. Előadás Portfólió probléma Portfólió probléma Portfólió probléma Adott részvények (kötvények,tevékenységek,
Biomatematika 15. Szent István Egyetem Állatorvos-tudományi Kar. Fodor János
Szent István Egyetem Állatorvos-tudományi Kar Biomatematikai és Számítástechnikai Tanszék Biomatematika 15. Nemparaméteres próbák Fodor János Copyright c Fodor.Janos@aotk.szie.hu Last Revision Date: November
Ensemble előrejelzések: elméleti és gyakorlati háttér HÁGEL Edit Országos Meteorológiai Szolgálat Numerikus Modellező és Éghajlat-dinamikai Osztály 34
Ensemble előrejelzések: elméleti és gyakorlati háttér HÁGEL Edit Országos Meteorológiai Szolgálat Numerikus Modellező és Éghajlat-dinamikai Osztály 34. Meteorológiai Tudományos Napok Az előadás vázlata
Gráf-algoritmusok ERŐS / GYENGE KÖTÉSEK
Gráf-algoritmusok ERŐS / GYENGE KÖTÉSEK Sapientia-EMTE 2017-18 http://www.cs.cornell.edu/home/kleinber/networks-book/ A gyenge kapcsolatok ereje The strength of weak ties (legidézettebb cikk) 1969 (American
Algoritmusok Tervezése. Fuzzy rendszerek Dr. Bécsi Tamás
Algoritmusok Tervezése Fuzzy rendszerek Dr. Bécsi Tamás Bevezetés Mese a homokkupacról és a hidegről és a hegyekről Bevezetés, Fuzzy történet Két értékű logika, Boole algebra Háromértékű logika n értékű
Bevezetés. 1. előadás, 2015. február 11. Módszerek. Tematika
Bevezetés 1. előadás, 2015. február 11. Zempléni András Valószínűségelméleti és Statisztika Tanszék Természettudományi Kar Eötvös Loránd Tudományegyetem Áringadozások előadás Heti 2 óra előadás + 2 óra
IBNR számítási módszerek áttekintése
1/13 IBNR számítási módszerek áttekintése Prokaj Vilmos email: Prokaj.Vilmos@pszaf.hu 1. Kifutási háromszög Év 1 2 3 4 5 2/13 1 X 1,1 X 1,2 X 1,3 X 1,4 X 1,5 2 X 2,1 X 2,2 X 2,3 X 2,4 X 2,5 3 X 3,1 X 3,2
Közösségek keresése nagy gráfokban
Közösségek keresése nagy gráfokban Katona Gyula Y. Számítástudományi és Információelméleti Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem 2011. április 14. Katona Gyula Y. (BME SZIT) Közösségek
Többváltozós lineáris regressziós modell feltételeinek
Többváltozós lineáris regressziós modell feltételeinek tesztelése I. - A hibatagra vonatkozó feltételek tesztelése - Petrovics Petra Doktorandusz Többváltozós lineáris regressziós modell x 1, x 2,, x p
Diszkrét matematika 2.
Diszkrét matematika 2. A szakirány 11. előadás Ligeti Péter turul@cs.elte.hu www.cs.elte.hu/ turul Nagy hálózatok Nagy hálózatok jellemzése Internet, kapcsolati hálók, biológiai hálózatok,... globális
Biometria az orvosi gyakorlatban. Korrelációszámítás, regresszió
SZDT-08 p. 1/31 Biometria az orvosi gyakorlatban Korrelációszámítás, regresszió Werner Ágnes Villamosmérnöki és Információs Rendszerek Tanszék e-mail: werner.agnes@virt.uni-pannon.hu Korrelációszámítás
Centrális határeloszlás-tétel
13. fejezet Centrális határeloszlás-tétel A valószínűségszámítás legfontosabb állításai azok, amelyek független valószínűségi változók normalizált összegeire vonatkoznak. A legfontosabb ilyen tételek a
y ij = µ + α i + e ij
Elmélet STATISZTIKA 3. Előadás Variancia-analízis Lineáris modellek A magyarázat a függő változó teljes heterogenitásának két részre bontását jelenti. A teljes heterogenitás egyik része az, amelynek okai
Elméleti összefoglaló a Valószín ségszámítás kurzushoz
Elméleti összefoglaló a Valószín ségszámítás kurzushoz Véletlen kísérletek, események valószín sége Deníció. Egy véletlen kísérlet lehetséges eredményeit kimeneteleknek nevezzük. A kísérlet kimeneteleinek
Teljesítmény Mérés. Tóth Zsolt. Miskolci Egyetem. Tóth Zsolt (Miskolci Egyetem) Teljesítmény Mérés / 20
Teljesítmény Mérés Tóth Zsolt Miskolci Egyetem 2013 Tóth Zsolt (Miskolci Egyetem) Teljesítmény Mérés 2013 1 / 20 Tartalomjegyzék 1 Bevezetés 2 Visual Studio Kód metrikák Performance Explorer Tóth Zsolt
Teljesen elosztott adatfeldogozás és adatbányászat
Teljesen elosztott adatfeldogozás és adatbányászat Vinkó Tamás SZTE Jelen kutatást a futurict.hu nevű, TÁMOP-4.2.2.C-11/1/KONV-2012-0013 azonosítószámú projekt támogatta az Európai Unió és az Európai Szociális
Valószínűségi változók. Várható érték és szórás
Matematikai statisztika gyakorlat Valószínűségi változók. Várható érték és szórás Valószínűségi változók 2016. március 7-11. 1 / 13 Valószínűségi változók Legyen a (Ω, A, P) valószínűségi mező. Egy X :
Szalai Péter. April 17, Szalai Péter April 17, / 36
Szociális hálók Szalai Péter April 17, 2015 Szalai Péter April 17, 2015 1 / 36 Miről lesz szó? 1 Megfigyelések Kis világ Power-law Klaszterezhetőség 2 Modellek Célok Erdős-Rényi Watts-Strogatz Barabási
e (t µ) 2 f (t) = 1 F (t) = 1 Normális eloszlás negyedik centrális momentuma:
Normális eloszlás ξ valószínűségi változó normális eloszlású. ξ N ( µ, σ 2) Paraméterei: µ: várható érték, σ 2 : szórásnégyzet (µ tetszőleges, σ 2 tetszőleges pozitív valós szám) Normális eloszlás sűrűségfüggvénye:
Gyakorló feladatok adatbányászati technikák tantárgyhoz
Gyakorló feladatok adatbányászati technikák tantárgyhoz Buza Krisztián Számítástudományi és Információelméleti Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem Klaszterezés kiértékelése Feladat:
Kontrollcsoport-generálási lehetőségek retrospektív egészségügyi vizsgálatokhoz
Kontrollcsoport-generálási lehetőségek retrospektív egészségügyi vizsgálatokhoz Szekér Szabolcs 1, Dr. Fogarassyné dr. Vathy Ágnes 2 1 Pannon Egyetem Rendszer- és Számítástudományi Tanszék, szekersz@gmail.com
Matematikai geodéziai számítások 6.
Matematikai geodéziai számítások 6. Lineáris regresszió számítás elektronikus távmérőkre Dr. Bácsatyai, László Matematikai geodéziai számítások 6.: Lineáris regresszió számítás elektronikus távmérőkre
Matematikai statisztika I. témakör: Valószínűségszámítási ismétlés
Matematikai statisztika I. témakör: Valószínűségszámítási ismétlés Elek Péter 1. Valószínűségi változók és eloszlások 1.1. Egyváltozós eset Ismétlés: valószínűség fogalma Valószínűségekre vonatkozó axiómák
Termelés- és szolgáltatásmenedzsment
Termelés- és szolgáltatásmenedzsment egyetemi adjunktus Menedzsment és Vállalatgazdaságtan Tanszék Termelés- és szolgáltatásmenedzsment 13. Előrejelzési módszerek 14. Az előrejelzési modellek felépítése
6. Előadás. Vereb György, DE OEC BSI, október 12.
6. Előadás Visszatekintés: a normális eloszlás Becslés, mintavételezés Reprezentatív minta A statisztika, mint változó Paraméter és Statisztika Torzítatlan becslés A mintaközép eloszlása - centrális határeloszlás
SZENZOROKRA ÉPÜLŐ ADAPTÍV RENDSZERMODELL
infokommunikációs technológiák SZENZOROKRA ÉPÜLŐ ADAPTÍV RENDSZERMODELL Dr. Jaskó Szilárd Pannon Egyetem, MIK, Nagykanizsai kampusz Kanizsa Felsőoktatásáért Alapítvány 2015 VIRTUÁLIS STRUKTÚRA 2 VIRTUÁLIS
Valószínűségszámítás összefoglaló
Statisztikai módszerek BMEGEVGAT Készítette: Halász Gábor Budapesti Műszaki és Gazdaságtudományi Egyetem Gépészmérnöki Kar Hidrodinamikai Rendszerek Tanszék, Budapest, Műegyetem rkp. 3. D ép. 334. Tel:
Infokommunikációs technológiák és a jövő társadalma (FuturICT.hu)
Infokommunikációs technológiák és a jövő társadalma (FuturICT.hu) TÁMOP-4.2.2.C-11/1/KONV-2012-0013 Infokommunikációs technológiák és a jövő társadalma (FuturICT.hu) Kickoff találkozó Jelasity Márk Köszöntő
4. Az A és B események egymást kizáró eseményeknek vagy idegen (diszjunkt)eseményeknek nevezzük, ha AB=O
1. Mit nevezünk elemi eseménynek és eseménytérnek? A kísérlet lehetséges kimeneteleit elemi eseményeknek nevezzük. Az adott kísélethez tartozó elemi események halmazát eseménytérnek nevezzük, jele: X 2.
STATISZTIKA. A maradék független a kezelés és blokk hatástól. Maradékok leíró statisztikája. 4. A modell érvényességének ellenőrzése
4. A modell érvényességének ellenőrzése STATISZTIKA 4. Előadás Variancia-analízis Lineáris modellek 1. Függetlenség 2. Normális eloszlás 3. Azonos varianciák A maradék független a kezelés és blokk hatástól
Villamosmérnök A4 11. hét Kétdimenziós normális eloszlás, cht - Megoldások
Villamosmérnök A 11. hét Kétdimenziós normális eloszlás, cht - Megoldások Kétdimenziós normális összefoglalás Egy kétdimenziós X, Y valószínűségi változó kovariancia mátrixa: VarX CovX, Y CovX, Y VarY
Idő-ütemterv hálók - I. t 5 4
Építésikivitelezés-Vállalkozás / : Hálós ütemtervek - I lőadás:folia.doc Idő-ütemterv hálók - I. t s v u PRT time/cost : ( Program valuation & Review Technique ) ( Program Értékelő és Áttekintő Technika
Volatilitási tőkepuffer a szolvencia IIes tőkekövetelmények megsértésének kivédésére
Volatilitási tőkepuffer a szolvencia IIes tőkekövetelmények megsértésének kivédésére Zubor Zoltán MNB - Biztosításfelügyeleti főosztály MAT Tavaszi Szimpózium 2016. május 7. 1 Háttér Bit. 99. : folyamatos
A valószínűségszámítás elemei
A valószínűségszámítás elemei Kísérletsorozatban az esemény relatív gyakorisága: k/n, ahol k az esemény bekövetkezésének abszolút gyakorisága, n a kísérletek száma. Pl. Jelenség: kockadobás Megfigyelés:
A Markovi forgalomanalízis legújabb eredményei és ezek alkalmazása a távközlő hálózatok teljesítményvizsgálatában
A Markovi forgalomanalízis legújabb eredményei és ezek alkalmazása a távközlő hálózatok teljesítményvizsgálatában Horváth Gábor ghorvath@hit.bme.hu (Horváth András, Telek Miklós) - p. 1 Motiváció, problémafelvetés
Adatbányászat: Klaszterezés Haladó fogalmak és algoritmusok
Adatbányászat: Klaszterezés Haladó fogalmak és algoritmusok 9. fejezet Tan, Steinbach, Kumar Bevezetés az adatbányászatba előadás-fóliák fordította Ispány Márton Logók és támogatás A tananyag a TÁMOP-4.1.2-08/1/A-2009-0046
Matematikai alapok és valószínőségszámítás. Statisztikai becslés Statisztikák eloszlása
Matematikai alapok és valószínőségszámítás Statisztikai becslés Statisztikák eloszlása Mintavétel A statisztikában a cél, hogy az érdeklõdés tárgyát képezõ populáció bizonyos paramétereit a populációból
biometria II. foglalkozás előadó: Prof. Dr. Rajkó Róbert Matematikai-statisztikai adatfeldolgozás
Kísérlettervezés - biometria II. foglalkozás előadó: Prof. Dr. Rajkó Róbert Matematikai-statisztikai adatfeldolgozás A matematikai-statisztika feladata tapasztalati adatok feldolgozásával segítséget nyújtani
Nagy Gábor compalg.inf.elte.hu/ nagy ősz
Diszkrét matematika 3. estis képzés 2016. ősz 1. Diszkrét matematika 3. estis képzés 4. előadás Nagy Gábor nagygabr@gmail.com nagy@compalg.inf.elte.hu compalg.inf.elte.hu/ nagy Komputeralgebra Tanszék