Inferencia. ADOTTAK:! generatív modell: például: DAG + prior(ok) + likelihood(ok) P(X 1,X 2,,X n ) megfigyelések: D = {X i = x i, X j = x j, }
|
|
|
- Antal Katona
- 8 évvel ezelőtt
- Látták:
Átírás
1 Street1931
2 Falk1975
3 Falk1975
4
5 Inferencia ADOTTAK:! generatív modell: például: DAG + prior(ok) + likelihood(ok) P(X 1,X 2,,X n ) megfigyelések: D = {X i = x i, X j = x j, }! KISZÁMOLANDÓK:! normalizáció a poszteriorhoz: P(D) marginálisok: P(X k D) legvalószínűbb magyarázat: arg max x P(x D)! poszterior szerinti várható érték számítás: f(x)p(x D)dx! IDŐ ESETÉN: ciklikus modell, Markov-lánc, stb.! KISZÁMOLANDÓ PÉLDÁUL: P(X t+1 D [0,t] ) prediktív valószínűség
6 P(F=true N=true) =? P(F=true,N=true) P(F,A,S,H,N) = P(F)P(A)P(S F,A)P(H S)P(N S) Változók számában exponenciálisan sok tag (2 3 ) Általános esetben az egzakt bayesiánus inferencia NP-nehéz probléma!
7 Az agy képes NP-nehéz problémákat megoldani?! Néhány fantazmagórikus elmélettől eltekintve (Penrose: az agy, mint kvantumszámítógép) nincs okunk feltételezni, hogy az agy komputációsan többre lenne képes, mint egy hatalmas számítógép. Vagyis P NP esetén az NP-nehéz problémák az agy számára is éppúgy számításigényesek. Ha egy NP-nehéz problémát meg tudunk oldani, mint például az utazó ügynök problémát látszólag, az csak két dolog miatt lehet: vagy közelítő a megoldásunk, vagy csak kicsi a probléma mérete (?)
8 Szokásos érv, hogy a bayesiánus inferencia NP-nehéz probléma, ezért közelítő módszerekre van szükség. Valójában a közelítő módszerek is lehetnek NPnehezek, a gyakorlatban való megoldhatóság általában abban rejlik, hogy az input nem tetszőleges, hanem egy szűk részhalmaza a lehetséges összesnek. Ettől függetlenül a gyors közelítő módszereknek van relevanciája.! Közelítő módszerek:! Laplace módszer: integrál közelítő formula, lényegében Gauss közelítések Variációs módszerek: egzakt módszer elhanyagolás/egyszerűsítés után Mintavételezés (Monte Carlo módszerek): integrálok átlaggal való helyettesítése, tetszőlegesen finomítható (konzisztens)
9 Mintavételezés
10 Néha így, néha úgy döntünk Néha ez, néha az a benyomásunk
11 Egy 60 éves ember várhatóan mennyi ideig fog még élni? Egy 100 milliós bevétellel induló film mennyit fog összesen keresni? Feltételezés: p(t ttotal) = 1/ttotal Az életkor priorja jó közelítéssel Gauss, a filmek bevétele nem. A bayesiánus becslés függ a priortól, Gauss esetén például az átlag körül nyilvánvalóan törés van, filmek esetében nem. Griffiths2006
12
13 Feltételezések:! optimális bayesiánus inferencia prior reprezentáció a teljes értelmezési tartományon likelihood: feltételezés arról, hogy a kísérletvezető hogyan generál jóslat: medián képzés! MIN2 heurisztikus modell: csupán két minta, irreleváns minták dobva maradék minták minimuma (legközelebbi érték) ha nincs releváns minta, akkor arányossá (g)! G&T-Bayesian modell:! ugyanannyi minta alapján prior pontbecslés (σ) és bayesiánus számítás
14 Mozer2008
15 Mozer2008
16 Kérdés, hogy a minták mennyire függetlenek? Ha az első minta a legjobb, akkor a második csak ront a becslésen? Kísérlet kvízkérdésekkel, internetes felmérés (428 alany). Megkérdezték ugyanazt másodszor is (azonnal és 3 hét múlva). A második becslés variábilisabb. A második becslést is figyelembe véve jobbak vagyunk, de 3 hetet várva nagyobb a hatás: megkérdezni saját magunkat még egyszer harmadannyit ér, mint megkérdezni valaki más véleményét. Mindez azt sugallja, hogy az ember mintát vesz egy eloszlásból, és nem determinisztikusan választ a meglévő tudásbázis alapján. Vul2008
17 Mennyire rossz néhány minta alapján meghozni a döntés? 2AFC: melyik akciónak (A1 vagy A2) nagyobb a várható hasznossága? Teljes poszterior alapján optimális mindig a nagyobb valószínűségűt választani. P(A* = A1) := p [0.5,1]. Ekkor p valószínűséggel lesz helyes a döntés. k=1 minta esetén probability matching stratégia van, több minta esetén viszont a gyakoribbat fogjuk választani: q = 1 - ΘCDF(k/2,p,k) valószínűséggel, ahol Θ a binomiális eloszlás kumulatív eloszlásfüggvénye. A döntés qp+(1-q)(1-p) valószínűséggel lesz jó.
18 p-re egyenletesen kiátlagolva 1:1000 "morális" döntéshez minta kell, de kevés minta is közel van az optimumhoz! Vul2014
19 Moreno-Bote2011
20 Normalizálás után:
21 Individulas
22 Buffon-féle tűprobléma (L<D) p = 2L/(πD)
23
24 Monte Carlo módszerek Stanislaw Ulam & Neumann János nevéhez köthetők (Los Alamos, II. világháború) ben Neumann a világ első számítógépén (ENIAC) futtat termonukleáris és hasadásos problémákat. MCMC cikk szerzői: A. Rosenbluth, M. Rosenbluth, A. Teller, E. Teller (1953). Később Hastings és tanítványa Peskun általánosították sok dimenzióra. Ezután lényegében 40 évnyi csend a számítási erőforrások hiánya miatt (ma MCMC-vel megoldott problémák kezelhetetlenek voltak az akkori számítástechnikai kapacitással). 90-es évek elején t ö b b n a p o s M C M C k o n f e re n c i a é s ú j l e n d ü l e t! Paradigmaváltás: zárt képletű megoldások helyett algoritmusokra és valós problémákra terelődött a hangsúly. Ma a top 10 algoritmusból az elsőként tartják számon!
25 1. probléma: mintavételezés P eloszlásból 2. probléma: valamely mennyiség P szerinti várható értéke (1-es megoldja)! MC módszerek:! cdf módszer! rejection sampling! importance sampling! particle! stb.! MCMC módszerek:! Gibbs! Metropolis! Hamiltoni! stb.
26 Sztochaszticitás forrása vagy inherensen sztochasztikus fizikai folyamat vagy valamilyen nem-lineáris kaoutikus leképezés! Példa: Lehmer vagy Park Miller egyenletes eloszlású pszeudo-random generátor: leképezés: x x nemlinearitás: 32-biten túli számokat hagyjuk kicsorogni (azért működik jól, mert egy Mersenne-prím)
27
28 Inverz transzformáció:! cdf (cumulative distribution function) használata! Legyen p(x) a mintavételezni kívánt eloszlás, legyen F(x) ennek a kumulatív eloszlás függvénye, legyen F -1 ez utóbbi inverz függvénye. Ha u [0,1] egyenletes eloszlású, akkor x = F -1 (u) egy mintát generál. ahol meredek, ott p nagy, fix dx-hez du szélesebb Házi feladat: u [0,1] egyenletes eloszlású valószínűségi változó segítségével hogyan tudunk mintavételezni a p(x) = λe -λx exponenciális eloszlásból?
29 Hogyan mintavételezzünk egyenletesen egy körlapot? Megjegyzés: ha van egyenletes mintánk egy körlapon, akkor abbó lehet generálni normál eloszlást is (Box-Muller módszer): yi = xi (-2(ln(r 2 ))/r 2 ) 1/2
30 Rejection sampling "céllövölde" Adaptív rejection sampling: amikor nem fogadunk el egy mintát, akkor a burkoló eloszlást adaptív módon csökkentjük. Ha a mintavételezni kívánt eloszlás logaritmusa konkáv, akkor működik az alábbi módszer: a sűrűségfüggvény logaritmusát szakaszonként lináris függvénnyel közelítjük felülről, és az exponenciálisok lecsengését adaptív módon változtatjuk. Exponenciálishoz mintát generálni ráadásul könnyű.
31 Rejection sampling hátránya sok dimenzió esetén Példa: Legyen egy sokdimenziós normál eloszlásunk, a burkoló pedig legyen egy kicsit szélesebb normálatlan normál eloszlás azonos centrummal. Legyen csak 1% a különbség a szórásban. Tekinthetjük úgy, mintha a burkoló az eredeti minden irányban megnyújtott változata volna, vagyis a térfogata az eredetinek (1.01) D -szerese, ahol D a dimenzió. D = 1000 esetén például csak minden húszezredik mintát fogunk elfogadni!
32 Kondicionálisok mintavételezése (Likelihood weighting) Ha mintát tudunk venni a teljes eloszlásból (grafikus modellben például előre haladva a fán), akkor kidobva azokat, ahol nem teljesül a feltétel, mintát kapunk a kondicionálisból. Ez sok fölösleges mintát jelenthet. Mi lenne, ha eleve forszíroznánk a szükséges változók rögzítését? Ezzel sajnos torzítunk. A helyes megoldás, ha súlyozzuk a mintánkat a likelihood-ok szerint. Vagyis amely változókat rögzítünk, azoknak a likelihood-jait (az adott mintában már legenerált szülőkre kondicionálva) összeszorozzuk, és ez lesz a minta súlya!
33 Mielőtt tovább lépnénk nézzünk egy bonyolultabb példát: Mixture of Gaussians F1 és F2 a hangokra jellemző frekvencia maximumok
34 Ismeretlenek: Gauss centrumok: η 1,η 2,,η K Gauss szórások: σ 1,σ 2,,σ K keverési súlyok: π 1,π 2,,π K adatpontok hovatartozása: c 1,c 2,,c N,ahol c i {1,2,,K} Adat: D = {x 1,x 2,,x N } Modell: normál eloszlások szuperpozíciója p(x i Θ,c) likelihood Gauss η m és σ m paraméterekkel, ahol m=c i p(c i Θ) = π i, Σ π i = 1 Feladat: p(θ,c D) poszterior számítása Bayes-tétel: számláló számítható: Π i {1,2,,N} p(x i Θ,c)p(c Θ)p(Θ) nevező reménytelen: P(D) = Σ c dη dσ dπ Normalizációhoz minden hipotézisre integrálni kéne!
35 Legtöbb érdekes kérdés megfogalmazható várható érték számítással, csak jól kell megválasztani a kívánt átlagolandó mennyiséget, azaz f függvényt: Monte Carlo közelítő integrál: Gaussian mixture példa: ha annak a valószínűsége érdekel minket, hogy az i. és j. adat egy klaszterhez tartozik-e, akkor f := δkronecker(ci,cj)
36 Importance sampling Milyen q(x) eloszlást válasszunk? Legyen minimális a becslés varianciája! Házi feladat: Jensen-egyenlőtlenséget kihasználva Az a fontos régió, ahol p(x) és f(x) is nagy! Variációk: adaptív; normalizálatlan eloszlások kezelése,
37 Gibbs Korrelált minták: a következő minta függ az előzőtől. Mindig csak egy változót mintavételezünk, a többit fixen tartjuk. Az egyváltozós poszterior normalizációja 1D-integrálást igényel: tehát az n-dimenziós integrált lecseréljü n darab 1-dimenziósra.
38 Megjegyzés: a kondicionálisok 1-dimenziósak, ezért általában effektív a Gibbs mintavételezés a rejection sampling segítségével! Grafikus modell: elegendő a Markov-takaróra kondicionálni! térben elosztott, de időben szekvenciális algoritmus (nem paralellizálható)! További hátrány: nagyon lassú tud lenni, mert egyszerre csak egy változó mentén lépünk, így erőss korrelációk esetén nehezen távolodunk el az aktuális állapottól.
39 MCMC: Metropolis-algoritmus elegendő P*(x) kiértékelése normalizáció nélkül függő minták: Q(xkövetkező xelőző) = Q(xelőző xkövetkező) például lehet a perturbáció Gauss: N(xkövetkező ; xelőző,σ 2 ) 1. új pont generálása xt+1 ~ Q(xt+1;xt) 2. elfogadási arány a = min(1,p*(xt+1)/p*(xt)) 3. egyébként xkövetkező = xelőző Állítás: xt aszimptotikus eloszlása P(x) lesz!
40 Metropolis-Hastings Általánosítás: Q nem kell szimmetrikus legyen elfogadási arány: a = min(1,p*(x t+1 )Q(x t ;x t+1 )/P*(x t )Q(x t+1 ;x t ))! Megjegyzés: Gibbs egy speciális fajtája Q(x ;x) = p(x i x -i )δ Kronecker (x -i,x -i ) Megmutatható, hogy az elfogadási ráta 100% (házi feladat)! Gibbs-ben nincsen szabad paraméter, míg általánosságban az MCMCben Q-nak vannak szabad paraméterei, amiket tuningolni szükséges.
41 Emlékeztető: Markov lánc részletes egyesúlya Ha az állapottérben való véletlen bolyongás átmeneti p(s s ) valószínűsége valamely π(s) valószínűségi mértékre eleget tesz az alábbi egyenletnek minden s és s állapotra: π(s) p(s s ) = π(s ) p(s s) Állítás: ekkor π(s) stacionárius, azaz π(s) = Σs π(s ) p(s s) Bizonyítás: Σs [π(s) p(s s )] = Σs [π(s ) p(s s)] Σs [π(s) p(s s )] = π(s) Σs [p(s s )] = π(s)
42 Megjegyzések: Véletlen bolyongás nagyon lassúvá teszi független mintához szükséges lépésszám (L max / ) 2 Ha Q szűk eloszlás, akkor kicsit lépünk ( ), ha nagy, akkor viszont könnyen elutasítunk (főleg sok dimenzióban) optimum eloszlás legkisebb karakterisztikus távolsága Nem tudjuk, hogy mikor áll be az aszimptotikus egyensúly! Mindegyikre van megoldás: Hamiltonian sampling (diffúzió csökkentése) slice sampling (inszenzitív a lépés nagyságára) exact sampling (hol álljunk meg?)!
43 HMC P(x) érdekel minket, írjuk fel P(x) = exp(-e pot (x)/t)/z alakban, T := 1. Vezessünk be új független konjugált p változókat, közös eloszlás függvény: P(x,p) = exp(-h(x,p))/z, ahol H(x,p) = E pot (x) + E kin (p), ahol E kin (p) := p 2 /(2m) kvadratikus Gauss Lépések:! 1. új p momentum választása x-től függetlenül P(p) normál eloszlásból 2. (x,p)-ből Hamilton dinamika szerinti fejlesztés (dx/dt=p, dp/dt = - E pot / x) (lehet térfogattartó közelítő módszer, paraméterek lépésköz és lépésszám) 3. elfogadási arány: min(1,exp(-h(x,p )+H(x,p))) S z e m l é l e t e s e n : p t e r m o d i n a m i k a i h ő f ü rd ő m i n t á j á r a s e g í t a sztochaszticitásban, míg a Hamilton-dinamika segít grádiens mentén mozogni. Megjegyzések: P(x) nem kell normalizálva legyen, viszont a nem zérus helyeken egyszer deriválható kell legyen!
44 Érdekeség: MCMC emberekkel, mint szimulátorokkal Legyen x a jelenlegi állapot és x* a lehetséges új állapot. Ha a p(x x*) = p(x* x), akkor lehet használni az ún. Baker-féle elfogadási függvényt, ahol π a céleloszlás. Sanborn2014
45 Feladat: két objektumot mutatnak (x1 és x2), és el kell dönteni, hogy a kettő közül melyik tartozik/származik egy c kategóriából. Bayesiánus: két hipotézis között kell dönteni, x1 származik p(x c) eloszlásból és x2 valamilyen alternatív g(x)-ből (h1), vagy fordítva (h2). Feltételezések: p(h1) = p(h2) és g(x1) g(x2), például g egyenletes Sanborn2014
46 Legyen x1 egy MCMC lehetséges új x* állapota x2 pedig az aktuális állapot. Ha az emberek probability matching szerint választanak a hipotézisek közül, akkor x* elfogadási valószínűsége az alábbi, ahol a céleloszlás p(x c). A probability matching-től eltérő stratégia paraméterezhető: Sanborn2014
47 Óceáni halak egyenletes, tenyésztett halak Gauss eloszlással. Betanítás azonos arányban egyesével mutatott képekkel és visszajelzéssel. MCMC kísérletben két halat mutatnak, és a tenyészett a kérdés, de valójában az MCMC aktuális és lehetséges következő állapotát mutatják, mely utóbbit az aktuális állapot körüli Gauss eloszlásból választanak. Megcsinálták ugyanezt tanítás nélkül már létező kategóriákkal
48
49 Összefoglalás: mintavételezés előnyei Algoritmikusan:! gépi tanulásban a legsikeresebb módszer általános módszer finomítható és konzisztens Kevés számú minta:! gyorsabb döntés (idő) könnyebb a döntés a lehetőségek közül (Rakow2008: rövidtávú memóri kapacitás korrelál a használt minták számával) tapasztalat és elmélet szerint is elegendő (nagy dimenzióredukció esetén kevés is elég) ökológiai környezetben flexibilisebb stratégia Neurálisan implementálható: ezzel foglalkozunk még később
ű Ö ű ú ű ü ú Á ű Á ű Á ú ű ü ú ú Í ü Á ú Ö ú ú ú ű ú ü ú Ö ú ű ű É ü ű ü ű ű É ü ű Ö ú É ú ú ú Á Á Á Á Á Á ú Ö Á Á Á Á ú ú Á Í Ü Á Á ú ú ú ú Á Á Á ű ü ü ü Ö ű ú Á Á Á É ú Á Á ű ú Ö ű ú ű Ö ű ű Ö ű ű Ö
Á ú Ö Ú Á Á ú ú ú ú ü ü ú É ő ú ű ú ü Á É Á Í Á ú ú ú ű ú Ö ú ü ú ú ü ú ú ü ú ü ü ú ü ü ú ú ú ü ű ü ü ü ü ú ü ú ő ő ú ü ű ü ő ú ő ú ü ú ü ő ű ő ő ő ő ő ü ú ú ü ő ü ü ú ő ü ü ü ü ő ü Á ú ő ú ú ú ő Á ú ü
Í É ő ű Á ő ő ú ű ő ő ű ú ü ő ú ű ő ú ú ü ő ú ü ú ü ü ü ő ő őü Í ú ű ő É ű Í ű ű ű ü ő ő ű ő ű ű Á Á ú ú ú ú ú Í ő Í ő ü ú ü Ü ő Á ő ő ő Á ő ő ő ű Ü ú ü Á ő ű É ü ú ő ú ü Ö Í É Ü É Ü ú Ü ő ő Ő Á ű ü ő
É ü É É ü Á Á Á ö É ú ő í á é ő á á á é é ü é é é é é ú é é ő ü ü é é í á é é é ő ő á é ü é é ü á é ú úá íő ű á ő é ü á á é é é é í üé á ő é é é ü Í é ő á í á é ú á á á é á ö ü Á á ő é é ü á é á á ö í
Ü Á Á ü É ü ü Í ú Í ú É ű ü ű ü ö ö Í ü ö ü ü ö Í ü ö ö ö ú Í ü ö ö ü ű ö ú ö ö ö ú ú ö ű ö ű ü ü Í ü ú ü ú ö ú ú ú ú Ő É É Ü É Á ü ü Í ü ü ö ö ú ö Á Á Ő ü ü ú ú Ö ü ö ö ö ö ú Í ö ú ö Í ö ö Í ú Í Í ü ú
Á É ü Ö Á ö ö ö ö ü ö ö ö ü ö ű ö Í Ü ü ö ö ö Ü ö ö ö ö ü ö ö ú ö ö Í ű ö ű ü ö ú ü ü ű ö ö ö Ü ú ú ö ö ö ö ü ü ö ü ö ö ö ö ö ö ö ö ö ű Á ü ü ü ö ü ö ö ü ü Í ö ü ü É ű ű ö ö ö ö ö ö Á ö ö ö ü ö ö ö ö ü
í ö ö ü ü í ü ö ü ö í ú ú Ö ö ö ü ü ö ö ű í ö ö ü ű ö í ű ö ö ü Á ö í ö í í í í ö ö ű ű í í í í í í ö í Ú í ü ü ö ű ö ö í ú ö ö ö ö ö ö Á í ö ú í ü í ú í ú Á í ú í ú ú Á ü ü í í í ö í í Á ú í ö ö í í ú
Ö ö ö í ö í ű ö ő ú ü í ú ő ő ő ú ő ú ő í ő í Á Ö ő ő í ö ö Ö í É Á Á ú Ú í í í í í ű ö í í í ő ö ü ü ö í í ú í í ö ő ü ú ő ö ö ő ú ú ö ű ú í ő Á ú ú ő ú ű ü í ú ü ü ü ö ő í ő Ö ú ö ö ö ő ü ü ö őí ö ö
Ü É Á í í Á ü ű í ú í ű ü ü Ö í Ü É Í í ü ü ü ü í ú ü í ü ű í í ü ü í í ü Í ú ú ú ű ü É ü í ü í Í í í ű ú í ú Á í í Ü É í í ú ú ű í í í ü í ú Ö ü ü ü ú ű ü í í í ü ü ü ű ü ü ű í ű Ö í í í ü ú Ü É í ú ú
ű É Í É Ö ű ü Ö É Ö Í É Ö Ö
ú Ú Í Ú Ú ű É Í É Ö ű ü Ö É Ö Í É Ö Ö ü É Í ü Á É Ö Ő ú Ö ű Ő Ő Ő Í Ö ü Í Á Ö Ö Í ű Ő Í É É ü ü Í ü Í Í ű Í Ö É Ö ü É ű ű Ö ü Í Í ü Ö Í ű Ö É Ö ű Ö ü Ő Ő Á Í Í Í Ö Í É É Í ű ü ü ű É ü ű Ö Ö Ö ü Ö Í ü ű
Á Á Á ö Á ű Á Á ű ő ö ö í É ő í ő ő í ő ö ö ö ü ö ő É Ö ő í ü ü ö ö ő ö ő ő í ő ö ú ü ö ő Á ő ö ö í ö ö ö ö ú ő ú ú ő Í ü ő ő ű ő í ö ú ú ő ő ö ü ő É ö ő ö ö ő ü ö ú ő í ű ö ű ü ö ő í ö ő ő ő ö ő í í ö
ö ü ö ú ú ö Í Ú ü Í ö ö ü É ú ü ü ű ö ö ö ö ö ö ö ö ű ú ü ö ú ü ü ü ű ö ö ö ö ö ö ö ü ö Í Í ű ű ú ö ü ö ö ö ű ö ú ö ö ü ü ú Í ö ü ű ö Í ü Í ü ö ö Í ö ö ö ö ü ü ű ö Í ö ö Ö ú Í ú Í ö ö ö ö ö ö ú ú Á ö ö
É Á í Ú É í ö í ő ú ö Í ö ü Ö ö ü ö Ö ö Á É őí ö ú ő í ő í ú ö í ő ő ö ú Ú ű ő ő Ú ü ö ú ü ö ö ü í Í ú ő í ü ü ő ö ö Ú ú Í Ú ü Ú ö ő ú ö ű ü í Ö Ö ö í ö ő ö ú ő Ú ú Ö í Ú ü í Á í É ő ö ő ö Á ű Ü í ü í
ú ű ú ú ü í Ü í Ü ü ö ö ű í ö ű ü ö ö ö ö ö ú ú ü í í ű í ú ű ú ű ú ü ú ö ö ö ö ú ú í ű í ú ö ú ú ú ú ü ü ö ü ü ö ö ö ö ú í ü ö ü ú ö ü ü í ü í ö ü ü í ö í í ö í ú ü ö í í ú ü ö ü Á ü ú ü ö Á ö ö ü ö ü
Á É ú Ö ü ö É ü ő Á í ő ú ű ő ü ű ö ö ö Ö Ö ü í ü ű ö ő ö Ö ü ö í ü ő ő ő ö í ő ö ű í ü í ú í í í í í ő ő ö ő í ü ű í í ő í ő í ő ű í ű Ő í ú ű ü ö ö ő ő ő ü ö ö ő Ú ű ő í ü ő ö í ö ü ö ö ö ü ö ü ő í í
ú í ö ü í íí ő ö ö ö ü ö ö ö ú ű ű Í Í í ő í ű í ő ü Í ő íú í ö ö ö ő í í í Í Í í í ö ö í í ö ö ö ő Í Í ÍÍ ö ö ő ö ö í ő ő ö í ö ö ú í ő ö ő í ö ő ö ö ö í ö ú Í ő í ű ö ő ú ö ő ö í í ő ö ö ő ö ö ú ö ű
ő ű ü ü ű í í ú ő Í ő ö ő ő ő í ö ő ő ő í ő ő ö ö ő ő í ő ö Í ő í ü ú ő ő ű ö ő ő ü É í ú ő ö ü ő ü ü ú ü ő í í ő ü í É í ú ő í ú í ő í í ú í ő ö Ú ő ú ő í Á Ú ő Ú Ú ú ú ü ő ő ü Ú í ú ő ő Á í í ű ő Ú ö
é é é ú Ü é é ü é é ú é ü é é ü é é é Á é é é é ú é é é ü é ú é é é ű í é é é é é é ü é í é ü é é é é é é é ú é é í ü é é ú í í é é é é ü í ü é é é é é é é í é é é é é ü é é é é é é í é é í ü é ú ü é é
É É ú í ö É É í ú É Á Á Á ö í ö í ú í Ö ö ö í í Á ö ö ö í í ö í É í ö ö í í í ö í í í í ö í í ö ö í ö ö í ö í ű í ö ú ű í í ö Ö ö ö í ö ö í ö ö í í í ö É ö ö ú ö ö ö í ö ű í ú ö ú Í É ú ö ö ö É ö ö í Íí
Ö í í ű í ü í ú í ü í ü í ü í ű í íí ü ü ű í í ú ü í ü ü ü ü ü ü ü í ü í ű ü í ü í ü ü ü í ü ű ü ü ű Í ü í ü ü í í ű ű ű í ü ű ű ü ü ü Í ü ú ú ü ű ü í É ü í í ü ü í í ü í Ú í í ü ü í ű í í í ü ű Á Ú í
KÖZELÍTŐ INFERENCIA II.
STATISZTIKAI TANULÁS AZ IDEGRENDSZERBEN KÖZELÍTŐ INFERENCIA II. MONTE CARLO MÓDSZEREK ISMÉTLÉS Egy valószínűségi modellben a következtetéseinket a látensek vagy a paraméterek fölötti poszterior írja le.
Á ö ö Á É ü É ö í ü í ü é é é é é é í é é é ö é í í ü ö ü é é é é é ü í ü é ü ü é é é é é í é é ö é ú é é ú é é é í ö é ű ü é ö é é ü é é í ü í ü é é é é é ö é é é ö ö ö é ü ü é í é ü é í é é ú ú ö é Ö
Ó Á É Á É Ő Ü É í í ü ü ö ö ö ö í ü ü ü ö ö ö ö ü í Í í ö ű É ö í ö ö Í í ö ú Í ö í öíö ö í Í ö Í Í ú ü í í ö Ö ú ö É Í Íí ö ü É í ö Í í í Í ö É Í Íí Á ü ö Öú í Í í ü ü ü í Ú ú í Íí É í ö ö ö ü ö öí ö
Á Í Á É ö É í É í í ú Í ö Í Á ü ú í ő ú ú í É É Á Á ú ő ö ü Í ő ü ü ö í ő Í ő ű í ő ő ü ö ö ő í Í ö ő öíö ő ő í í ú ú ü í ü Í í ö ő Í ő ő ő ő ű ö ű ö Í ö ö ő ú ü ö ű Í ő ő Í ü ő ő ö ö ő Á ő ő ü ö ö ő ő
ő Á Ö ÉÓ Á É Ü É Í í ü ü ő ő ö Í ö ö ő í ő ö í ő í ü ö í ő ű í ö Ö ú ú Í ö í öíö ö Ö Í í ő í ü ü ö ö ö í Í ú Í í ö í í ü ö í ő É Í Í í ö í í Í í Í ÍÍ í ő Í í ő ú í ő ö ö ő É í ő Í ú ő Íő Í Í Í ÍÍ í Ö í
é é É É Á Ó é ű ú ü ü é ü é ő é é é ü ő é ő É é é é í í Í é é ö é ú ö é Ö ő í é í é ú ú ü é é é ö ö é ő éí é é é ő é é ő é é í é é ő í ő é Á ö é í ö é ő é é ő é é é ő ö é ő ö é í í Í É é í é é é é é ö
ü ö É í ü ö ö í Í ü ö ü ú í ű ö É ú í í í í ü ö Ú ü ö ö ö Í ú í Á ö ö í Í í í í ö í í í í í í ü ü ú ö ö Í ö Á ö Á Í í Á í ö í ö í ü ö Í ö ö ü í í í Íü ö í Í í í í ö ü ú í í í í í ö í ü í ö Ü öí ű ü í í
Á Á ö í ú í í í í ö ö ü ú ú Á ü ö ü ö ü ö ü ü ö í í ú ú ú ú í ú ü í ü Í ö ö Á ö ü ú Í í ű ü í ö ö ü í ö í í ú í í
Ü ü Ö ü ú ö ö Ö ú Í ü Á í ö ö ö Ö ü ü í ü ö ű ö í ú í í í ö í í ű Á Á ö í ú í í í í ö ö ü ú ú Á ü ö ü ö ü ö ü ü ö í í ú ú ú ú í ú ü í ü Í ö ö Á ö ü ú Í í ű ü í ö ö ü í ö í í ú í í í í ö ú í ö ö í í ü ü
ú ű ű ü ú Ó ú ü É ú ű ú ú ü ú ű Á ü ú ü ü ű ú ü ü ü ú ü ü ú Ú ü ű ú ü ű ü É ú ú ú ü ú ú Ö ú ü ü ü ü ü ü Á ú ú ú ú ü ü ű ü ú ú ü ü ü ü Ö ü ú ü Ö ü ü ű ű ü ü ü ű ü ÍÓ ú ü ü ü ü ú ü ú ú Á É ú ü ü ű ü ú Á
ő Á Ó ő ú ő ő ő ő ü ü ő ü ö ö ű ű ö ő ú ü ő ű ö ő ü ö ö ő ö ő Ú ú ü ö ő ö ü ő ő ü ő ü ü ö ő ű ű ö ö ö ö ö ű ö ő ű ű ö ö ő ü ő ü ő ö ú ú ő ő ú ö ö ü ü ö ő ő ü ő ő Í ü ő ü ő ö ö ő ú ű ö ú ő ő ő ő ű ö ü ö
Á Í Ü Ü Á ü Ü Á Á Í Ü Íú Í Ü Ű Í ü ü Í ű ú ú ü ü ü ú ú ű Á É Á Í ú ü ú ü ü Í Í ú Í ú Á É Ő Á ű ű ú ű Í ű ü ű ú ű ú ú Í ü ü ú É ű ü Í Í ú ú Í Ü Ő Á É Á ú ű ú ü Ú Í ü Í ú Í Í ú ú ű ú Í ú ű ű ü ü ü ú ü ü
ű ú ü ü ü ü ü ü ű ü ü É É É É ü ü Ú ű ú Í Á ú Ö Ö Ö Á Í Á ú ú ú ú Á Ö ű ú ú ú ü ű ú ű ű ü ú ű ú ú ü ú ú ű ú ú ü ü ü ú Ü Í Ö ü Ö Ú ü ú Ö ú ü ü Ö Á ú ű ú ü ú ű Ü ú ú ú ú ú ú ü ú Ü ű Ű ú ú ú ű ú ú ü ü ü ú
Í É É É ú ú ö ü Á ö Ó ú ö Ö ú ú ö ö É ü ű Í ű ú Á ö ö ö ö ü ö É ö ö ö Á ö ö ö ü Á Á É ö ö Í Í ű ú ú Í ü ö ű ü ö Í Í ö ü ö ö ö Ú ú Ö ö ü ö ú ú ű ö ü É ü Í ö ú ö ö ü ö ö ö ö ö ü ű ü ö É Á ü ú ú ö ö ö ü ü
ű ö ö ö ű ö ö ö ű ö Á Á Á Á É ö ö ö ö ö ö ö ö ö ö ö ö ö ö Á ö Á Á ű Í ű Ü ö ú ü ü ö ú ú ü Ú ö ö ú ö ü ü Ü ú ö ö ö ű ö ö ű ö ü ü ű ö Í ű ö Ő Á Í ö ö ú ú ü ö ü ö Ó ö ú Í ü ö ű ö ü ö ű ú Í ö ü ú ö ö ú Á Ü
ö ü ő ö ű É ö ö ü ü ö ö ő ő ö ö ü ő ő ö ö ö ö ü ö úő ö ö ő ű ú ő ü ő ő É öü ú Í ú ü ő ő ú ű ő ú ü ú ú ú ő ö ö ő ö ü ü Ú ö ő ü ö ő ö ü ű ü ö ü ö ő ű ö ő ü ő ű ú ü ő ő ő ú ú ü ö ö ő ő ű ő Ü ö ö ö ö ű ú ö
Í É Á Á É É Á Ó É ú ü ö ű ű ö ű ö Í É É É Á Ő É ú ö ü ú Í Á ü ö ö ö ű ö ú ú ü ö ö ö ü ú ú Ü ö ű ú ö ö ű ü ú ö ö ű ü ö ű ü ö ű ü ö ö ű ö ö ű ö ű ö ö ű ö ű ö ű ö ű ö Á Ú ü ü ú ű ö ö ö ö ö Á ú ú Ü Á É ö ü
Ő Á Ő É ö ö ö ö ú Á ö Ö ú ö Ö ö ö ű ú ú ö ö ö ö í í í ú ö í ö ű í í í í í í í ö í Í Í Á ö í Í ö í í Í ö É Ü ö Á í í ö ö ö í ö í ö ö í ö ű í í í í í í í Í ö í ö ö í Í Í ú í Í ú ö ú í í ú Í ö ö ú ö ö Í ö
í ú ő ü Í ö í í ú ú ü í í ő ú ö í Ú Í ö ú Á É Í Á É É í Á Á ö É ú É Ü Á Á ö É Á Á Á É É Á Í í ő ö Á Á Á Í ö É Í í Í í ő í ő í í Á Á É Á ő ő ő ő í í Í Í ő ö Ö É Á É ő Ú ö ö ö ő ő É Á É É Á Í Á ő É Á ő ő
í ő ö ő ő ő ő ű í ö í ő ő ő ő ő Ö Í Í ő í ő ö ő ő ő Í ö ő ő ő ő Ú Í Ü í ő ő Í í Í í Ü Í Ü ö ő Ú í í Í ú Ö í í í ő Ü í ú ő ö ű í ő ü ő ő í í í í ü í ő í Í Ő ű Ü Í ő Ú ő ü Í ő Í í ö ú Ő ő í í ő í ű ü ű ő
Ö é Í Í ü ü é é ö é ö é ÖÍ é éé ű ú é Í ö ű ö é é é é é Í é é é Í Í ö é ö é é é ü ö é Ó Ö é ü é ü ü é é Ü é Í é é é ü ö é é ü é é ü é ö éé é é Í ú é é é Í é Í Í é é ü Í ö é ö é é é ü é ü Í é ü Á é é éé
Á ö É ö Á É ú ö í ü é é ö é ö é é é é é í é ú ö ö é é é í ü é é é ö é í é é é ú ö ö ö ö é é íú ö Ó é é ö é é í é ö é ú ö é í é é í í í í í é é ö í í ö é í ú é ö é é é é í é é Ö ö é ú é é é é í é ö í é
í í Í ö ű í í ő í Í Á Í É í É í Ő ö É Ú í É Í Á É É ö ö Á Ö É Ú Ö ö ö í í í í í Ö É É É Í ű Í í í Í í í í í Á Á É Ö Ö É Á É É É É Á É É Á É É í Í ö í í í Á Ö É Ú Á Ú Ö É Ö Á Ú É Á Á ö í í Á í Á Ö Ó É Ű
ü ö í ő ü ü ü ő ő ő ű ő ö ü ő ü ü ö ű ő ö ő ő ő ő ü í ö ü ő ő ő ö í ú ő ü ő ü ő ö í ő ö ő ű ő ü ú ő ü ü ő ő ö ő ü ő ú ü ü ő ő ö í ö ü ő ő ö í ö ö ö ő ö ő ő ü ö ő í ő ő ő ő ö ö ő ő ő ö ö ő í ő ű ü ö ö ő
Á É Á Á É ű ű Í É ű Í É Í ű Ü Í Ü Ü Í Í Í Í Í ű ű ű Í ű Í ű ű É ű Í Í É Í ű ű ű É ű ű Í ű ű ű Í ű ű Í Í É ű Á ű ű ű ű ű ű Í ű ű Í Í Í Í Í Í Í É Í Í Í Í ű ű Í ű Á ű ű É Í É Í Í Í É É ű Í Í ű ű ű ű Í ű
ő ű í ő ú ő ü ő ő ő ü ü ü ü ü í Ü í í Ü Ü ő ő ő ő í ő ő ő ő íí í ú í ü ű í ő ő í Ö í Í Ü É í í ő Í Á ő ő ő Ő ő ú ú Ö Ö ú í ő ő ő ő ű í ő ú í ü í ű í É í í Ü ű í ő Ú ű í É í í Ü ű í ő ő ű í ő ú ü ÍÍ í ő
Í Í Ö Ó ü Ö É ü Ü Í Ú Ü Ü Ö Ü Ü ú Ü ú ú Ü Ü Ú Ú ű ű ú Í ú ü É ü ü ü ü ü ü ú Ü ü Ü Ü Ü Ü ú ü Ü Ü Ü Í ü Ü Ü Ü ú Ü Ü Ü Ü Ü Ü ű ű ü ü Í ü ű ü ü ú Ü Ü ű Ü Ü ú ü Í ű ű ü Ü ű ü É Ü Ü ü ú Ü ú ű ü ú ú Ü ú Ü Ú
í íű ú ü Á Ö É Ú É É Ö í í í í ü ű ű Ó ü ü ö ö Á ö ö ű í í í ű ö ö ö ö í ö ű ü ö í ö í ö ü ö Á ö ú Á ú ú í í í í í ü í ű ü ö ö ú ü ö í ö ö ü í ü í í ö ü ü Ú íí í ü í í í í ü íí í í ú ö í í ü í ú ú í í
ő ú ö ú ű ő Á ö ő Á ö ű ö ő Á ö Á Á ú ö ő ő ő ú ű ö ú ű ő Á ö ö ű ű ő ö Á ö ő ő ö Á ö ű ö ő ő ő ö ő ö ő ű ú ö ő ö Á ö Á Á ö ű ö ö ű ö ő ő ű ő ö ő ő ö ö ű ö ö ú ö ú ö ö ö ű ö Á ő Ü ö ű ö ő ő ö ö ö ö ő ú
Á Á Á Ú ű í í ÁÁ É í Í í Ö Ö É Ü Ó Ó í ű Á É í í É É É É É É É É Ő É É É É Ó í É Á ú ú ú ú ü ű í ü ű É ü í í ú í ú Á Í Á Á Á Í ű í Á Á Á í Á Á Ö Á í ü ű í í ü í í Ö ü í Á Á Á ü ű í í í í Í űí í Á Á Á ű
ű í í ü ü ü ü ü ü ü í í ü ü í í ű í ú ű í í í Á í ü É í í Ö Ö É ú ú ú í Á Ö ű í ú ú í í í í í ü ű í ü í Ö ú ű í ű í É í í ü ű í í ű í ú ű í í í í í ü í í Ö í ú í Í ú í ű í í ú ú í í ü ü ü í ú í É ÍÖ Ü
ő ü í ő ü ő ú ő í ő ő ú í í ő ö í ú í ü í ü ö ö ü ö ü ü ü ö ö í ő ő í ö ő ü ü ő ü ö í ü ú ö ő ö ő ő ü ü í ö ö ö ö ú ú í ö ü ö Í ü ő ö ü ü ü ő ő ú ő ő ú ü í ő ü ő ü ü ü ö É ú ö ö ö ö ű ú ő ő ö É Á Í ü ő
Á ü ü Á ú ő Á ő ő ő ö ö ö ő ü ü ő ü ő ő ő ű ű ö ő ő ő ü ő ő ő ő Á ő ő Í ú ú ú ú Ö Á É Á Í ú ű Ö ú ú ú ő ü ő ő ü ő ü ü ő ü ő ü É É ű ü ő ő ő ő ü ő ü Í É É Á Ó É ú Ö Ó ú Ö ü ú Í ő ő ő ö ő ü ú ő ö ő ő ü ű
É Á Á Á Á ü É Á É É ö ü ő ü ö ö ö ú ő í ü ü í í Á í ö ő ő ö í ő ű ö ő ö ö í ű ú ő ú ü ö ö ü ö ö ü ő í ő ő ő ö í ő í ü ű Ö Ö ú Ó í í ü ö ö ú Ó ö Ő ú ö ú ö ő ő ö ö ú ü ö ö ú ö ő ő Ó ú ú ú ő ú Ö ő ö ö ü ű
Ú É Ú í ö ö ö ü ű ú ű ű í ű ü ö ö ő ű ú í ö ö Ü ö ű Ü ú í ő ö ö ű ü ö ő ú ö ü ö ö Ü ö ö ű ű ő ű ü í ú ű í ő í ő ő í í ő ö ö ő ő ő ö ö í ű ő ö ő í ő Ü í ű ő ő ő ő ő ő ü ű ű ő ü ö ö ő í ű ü í ű í ű í ő í
ű Ó ü ü Ó ű ü Ö ű ű ü ü É ü ü ű Ö Í Ő Í ü Ö ű Í ű Ú Ú É É É Ú ü ü É É Á ü ü ű ű É ü Ú ü Í ü ű ü ü ü ü ü ü É Í ü Ó Ő Á ű ü ü Í ü ü ü ü Í É ü Á Í É Í ű Í Í ü ü Ö ü ü ü ü Á ü Í ü ü ü ü ü ü ü ü Í ü ü ü ü
Á ü É ö ö ö ü ú Ö ö ö ö ö ö ű ű ö ü ú ú ö ö ü ü ö ö Í ö ö ú ö ö ö ö ö ü ö ú ö ö ö ö ö ű ö ö ö ö ű ö ö ú ú ú ö Í ű ö ú ú ö ü ü ö ö ö ú ú ö ö ú ö ü ö ö ö ú ű ü ö ö ú ü Í ö ú ö ö ö Ü Á Ó Í ü ü ö ú ö ú ú Ó
É ü ü ü ü ü ú ü ű ü ű ú ű ü ú ü ű ü ü ü ű É ü ű ű Í ú ü ű Í ú ű ü ü Í ú É É ú Á Á É Á Á Á Á Á Á Á É Á Á Á ú Á É É ű Á Á ű Á Á Á É Á Á Á ú Ó É É Ó ú ű É É Á ú Ó ü ű ü ú Í ű ú ű ű ű ű ű ű ú Í ű ü ű Í ű ü
ö ö ő ü Á ő ü ö Í ü ö ö Á Á ü Í ü ü őí ö ü ö ö ö ü Í ü ö ö ö ü ü ö Á Á ö ő Í ü ő ü ö ü ü ő Í ö ö ő ü ü ő Í Í ő ö ő ő ö ő ü ü ü ő ö ü ü ü ü ü ő ő ö ő ü ü ü ü Í ő ö ö Í Í ü Í Í Í ü ö ö ö ü ő ő ö ő ő Í ő
í ú í í Í ű í í ű ö Í í ő ú ű ö ö í ű ö ö ű ö í ö ű ö ű ö ö ö ö ő ö ő ő ű ö ő ö ő ő ő Á ű ö ű ö ö í í ő ö ű ö ő ü ő ű ö ű ö őí ő ő ü ö ő ű ö ő ö ö ü ő ü í ú ű í ú ű í ő í Á ú ű ű ö í í í ő ú ű ö ü Ó í
ö ü ü ü ü ö ö ú Ü É Á É ö ö ü ú ö ű ú ü ö ű ö ú Á ú ö ű Á Í ö ü ö ö ű ö ú ú ö ö
ö ü ú ö Á ü ö ö ö ö ö É ű ű ö ö ö ö ü ö Ó É Á Á Í Á Á ü ö ű ü ü ű ü ö ü ü ü ü ö ö ú Ü É Á É ö ö ü ú ö ű ú ü ö ű ö ú Á ú ö ű Á Í ö ü ö ö ű ö ú ú ö ö ö Á ű ű Á ö ö Á ö ü ü ü ü ü ö ü ö ö ö ö ö ü Í É Ü É Á
ö é ü é ü ö ü é é é ü ü é í ü é é é é é ö ö ö é ü ö ö é ü í é ü ü é ü é ö é é ü ö ü ú ö é é ö ö é ű ö é é ü é ö é Ö é ü é é ü ö ö é Ö é ü ú ü é é ű ö é é ü ü é é ü ü é é é ü é ű ö é é ö ö ü é é ü ö é Ö
Á Ö É Ó Á É Ó Ü É ü ö Í ö ö Í ü ö ö ú ü ú Í ö ö ú Í ű ö ú ü ö ö Ö ü ö ö ö ú ö ú ö ö ö ö ö ü ú ü ö ö ö Í ö Í ö ú Í Í ö ö ú ö ú ü ö ö Í ü Í Í ü ö ü É ú Ú Í É Í ö Ö ü ö ü Í ü ú É Í ö ü ö ö ö ö ü ú Í ö Í Ö
Á Á Ő É ö ő ő í ő ő ő ő ö Ü ö ő ű ő ő ö ö ü ú ő ő ő ő ő í í ő ú í í ő Á í ű í ú ő ő í ő ő ő ő ö í ú í ú ő ú ű ö ö ő ő ö ö í ő ő ő ü ö í í í ő ö ö ű í ő ő ő ö ő í í ő í ö ő ő ő ú ő í ő ő í ő ő í ő ő ő ő
Á Á Ó É ö á ű ö á á á á Í Í á ú á ú ö ö á ú á á á öí á á á á á ö á á á á á á á á á á ö á á á á ö á á Í á á á á Í áí á á á á ö á á á á á áí á á á á á ü á á ü á Í ú á á á á á á ú á ü ö É á á ü á á á ö á
É É É ú ú í ü ú Ó ú í Á Ö É Ő É í í í ú Á Í í ü ö ú ö ö í ö ü Áö í ö ö í ö í í ü í É Ü Ú É ú Í É É É Í í Á É í í í ü ü Í Ó í í í ú ÍÁ Í í í í í É í ö í ö Ü í Í í íí Í Í Á ú É É Á í É É í í í í Í É ö Í
í í í ö í ő ö ö ő ö ö í ű ő ö í í Ö í í í ő í í ö í í í ú Ö Á í í í í í Ö í í ö í í ő í í ö ű ö í ö í í ö í í í í ö ü í Ö É É ö í Ö ő Ö í í ő ü ő Ö ő Ö ő ö Á Á Á Á É É É Á Ö ő Ö ú ö í ú ű ú í Ö ü ú Ö ő
ö ü ö ö Ö ú ü ü Ö ö ö ö ö ü í ü í ö í ü ü ö í í í ü ö í í ö ö ö ö ö í ü í í í ö í ö ű ö Ó í í Í ü ü ü ü ü ö ü ü ü ö í ö í ö ö í ü ú ü ü í ü É ö ö ö ö ö í ö í ü ű ö ö ü í í í í ö ü ü ü ü ö Á ü ü ö ö ö ü
ö ö ö É É í ü ü ő ő Á ü ű ő í ú ű í Ü ű ö ö ö í ü ü ő ü ő ü ő ő ö ú ö ő í í í ö ö ő ű ő í í ű ü ő ü ö ö ü ö ö ő í ű í ö Ű ő ü ő ő ü ö ö ő ü ü ő ő ű í ű ü ü ö ő ú ü ő ü ö ö ú ö ő í í ö ö ö ő ő ö í ű ű í
ü Ö Ü Ü ü ö Á Ü ö Ü Ü ö ö ö ű Ü ü Ü ö ö ú ü Ó ö ü ú Ü ö ü ü ö ö ö ö ü
ö Ü ü ö Á ö ö ö ö ö ö ű ö ú ö Ö ú ö ű ű ö Á ö ú ü Ö Ü Ü ü ö Á Ü ö Ü Ü ö ö ö ű Ü ü Ü ö ö ú ü Ó ö ü ú Ü ö ü ü ö ö ö ö ü ö ö ü ö Ö ö ö ö Ö ü ö ö ű ö ö ö ö Ö ö ö ö Ü Ö ö ö ö ö ö ö ö Ü ö Ü ű ö ú ö ú ö ö Ü ü
ö Ö ü ő í Ü ö Á Ü Ü ő ő ő ő ü ű í ő ű Ó í ú ü í í ő í í ű ő ú í ö ő Ü ö ö í ú ö ő í ő í í ő Ü ú ő í ő í ü ő ü ő ö ö ö ő ő ú ü ü ő ü ü í ú í ő ő ü ő í ü ö ö ű ü ű ü ő í ü ú ő ö ü ü ő ő ő ö ő í í ő ő ú ő
í ö ö Ó Ö ü ü őíö ö ú ü í ö Í ő ő ö Á Í ü ö ö ö ő Á ö Ö Í ű ü ö ö ö ö ö Í ö ö ö ö ü ö ö ő ő Íő ő í ő ö ö ú ö ö ö í ü ő ö ő ő ö í ő ö ö ö Í ő ö ő ő ö í ő Í ő ö Ú ő ú ö ö ő Í ö ö ü ő ő í ö ő ö ő í ő ü ő
ú Í Ú É Á É É ú ú ü ü Í ÍÍ Á Í Í ú É Í ú ú Í Í ű ú ú ú ú ú ú ü ú Í ú Ö ü ú Í Í ü Í Í É ű ú Í Í Á ú Á Í ú ü Í ú Í ü Í Í ü Í ú Í Í Í Í ú Í Ú Í ü Í ü Í ú Ó Í ü Í É ú É ú Í ü Í ú ú ú ú Í ü ú Í ü ü É Í Í ú
Á Ö É Á É Ő Ü É í ü ö í í í ö Í ö í ü ö í í ú í ö í ö ö ú ü í Í ü í ü í ü í í í í ö ú Í í ö ö ö ü ö í ü Í ú ü í í ú ö ö Í É ü ú í í ö í Í í ú í ÁÍ Í í Í Í í ö Í É í í Í Í Í í Ó ü í ö ö É ö ü ö ö ö í ü
ú ö Á ö Á Á ő ö ö ő ö ő ű ő ü ú ö ő ő ú ö ö ő ű ő ü Ó ö ö ü ö ú ö ü ü ü ő ö ö ú ü É ő ö ő ő ö ű ú Ü ő ő Á É ő ű Ü ő ő Ű ö ő ű ő ü ű ö ü ö ő ő ő ő ő ö ü ü ő ü ö ö ő ü ö ö ő ö ő ö ö ü ö ü ő ö ő ü ö ö ő ü
Í ö ö É Í ö ú ú Í ö Ö ú ö ú ú Ú ö ú Ö ú ú ú ú ú Ó ö ö ú ú ú Á ú Á ú ö Ú ö Ó ú Ú ö ö ö ú ö ö Á Í ö ö ú ö Í ö ö ö ö É ö ű ö Í ö ö ű ö É Á ö ö ö ö ú Í ö ö ú ö ö ú É Á Í ú ö ö ö ö Í Í ú Í Í Í É Í ű Í Í Í Í
ö Ü Á Á Á Á Á Á É ö ü Á Á Á ö Á Í É Á Á ö ü ő ú ő ü ö ü ő ö ü ö ü í Á í ö ö ü í Ö ú ö ö ü ő Ö Ü Ö í í ö ö ö í í ú ö ő ü ü É ő É ő Á Á Á É É ü ű ö ő ű ú ú Á Á Á É É ü í ü ö í í í í ü ö ö ő Ö Ö í ü ö í í
É ü Ó É É ö É Á Ó Á É É ö É ü ü ű ö ű ö Á Á ö ő Á ő Á Á Ó ü ö ö ő ű ú ú ő ő ú ú ö ö ű ő ú ü ü ö Ó Á ö ü ö ö ü ő őü ö ö ö ő ű ő ö ö ő ő ö ú ö ö ö ú ö ú ű ö ő ö ö ö Ó ö ö ü ö ö ü ö Í ö ö ö ő ű ú ú ő ő ú
ő ő ű ú ü ő ü ü ü ü ő ü Ú Í Á Ó É ü ü ü ő ő ő ő ü ú ő ű ő ő ú ú Á ú É ű ő ő ő ő Á ü É ő Ö Á ő ő ő ő É ő ő ú ú ú ő Á Ö ő ő ő ű ő ú ú Á É ű ő ő ő ő ő ő ő ő ő ő ő É Í ü ű ő ü Ö ő ú ű ű ő ő É ü ű ő ű ő ú ú
Í Í ú ú ü Í ű Á ú ü ü Á Ú Ó Á ü ü ü Í ü ú ú ú ú ú ü Í ú ü ü Á ú ű ü ü ú Í ü Á ű ü ü É Á ü ü ü Á ü Á Á ü ü Á Ö ü Ö ű Ú Í ú ú Ö Ö Ú ú ü Í Ö ű Ö Ü ú Ö ü Í ü Ü Ö ü É Ö ű Ü ú Á ü ű ű Í Í ű Í ú ú Ó Í É Í Á ü
ő ő ű í ú ő ü ü ü ú ü ü ő ü ü ü ü Ó Ő Ö Ú Í Á Ű Ó É É Á É ü ü ő ü í ő ő í í í ő ő ű í ú ú í ü ú í Á Ö í ő ő ű í ú ű í ő ő ű í ú Ő Ó Ö Ú Í Á ÍŰ Ó É É Á É ű í í ő ő ő ő í ő ő ő ő í ő ő ő í í ü í Ö í í ú
ű Ó ú ú ú ú ú Ö Ö ú Á Ú ű ú ú Ú É ú ú Ö Ö Ű ú ú ú ű ú É ű ú É ú ú ú ű ű ű ú ű ú ű ú ű ű ú ű ű ú ú Á ú É ű ú ú ű ú Ü ű ú ú ű ű ú ú ú ú Ö Ö Ú ú ú ú ú ú ú ú ű É ú ú ú ű ú ú ű ú ú ú É Í ú ű ú ú ú ú ű ű É ú
ú ű Í Í Ó ú ú ú ú Í ú ú ú ú ú ú Í ú ú ú ú ú ű Í ű ú ú ú Í ú ú ú É Ó Á Á Á É Á Á Á ú ű Á Á Á É ú É Á ű Á ű Á Á Á Á Á ú ú Á ú É Á É ű ű ú ű ú ű Í ű ú ú ú É Í É Í ú ú ű ú Í ú Í ű ű ú ű Í ú ú ú ú ű ú ú ú ű
ő ő ű ú ő ü ü ü ü ü ü ő ő ü ü ü ü ű ü ü ő ő ő ő ő ű ú ű ű ő ő ő ő Á ü É ő Ö Ö Ö Á Í Á ő ő ő ő É ő ő ú ú ú ő Á Ö ő ő ő ű ú ű ü ű ő ő ő ő ő ő ő ő ő ő ő ő É ü ú ü Ö ő ú ű ű ő ő ő É ü ű ő ő ő ű ú ü ű ő ő ő
Ó É Í ű ö ö ű í ö ö ö ö ö ö ö í ö ú ö í í ö í í í í ű ö í ö í ú Á Í Ó Á í ö ö ö ö ö ú Ú ö í í í ö ű ö ú ö Ú É É ö ú ö ö ú í í ú ú í ú ú í É ö É ö ú ú ú ö ú ö ú í É ö ö ö ö ö ö ú ö ö ú ú Á í ú ö Í ö í ö
ú ő ű ű ő ő ő ő ú ő ü ü ü ú ú ü ő Ó ő ü ő ú ü ú ü ő ú ü ú ü ü ü ü ü ú ü ő ü ü ű ü ő ü ü ü ü ú ü ü ő ú ü ő ú ú ü ü ü ü ü ü ő ü ü ü ú ü ü ü Ö ü ú ú ü ü ű ű ü ü ü ő ü ő ü ü ú ú ú Í ü Ü Ö ű ú Ú ú ü ű ü ú ü
Ö Ú Á É É Í Á Ü Á É Ö Ö ő Ö Ö Ö É Ó Ö Ö Ó Ö Ö Ö Á Ű É É Ó Ó Ó Ö Ó ő Í ő Ó Ö Ö Ö Í Ö Ú Ó Ó Ó Ö Ö Ó Ó Í Í ö ú ö ű ö Á ö Í ő Á ö ü ö ö ü ö ü ö Ú ö Ö Ö Ö ő ő ő Ó ő ö Ö ÍÍ Ö Í Ö Ö Í Ö Ö Í Í ő Ö ö ő ő ú ö ü
í á í ö ö ö é ú é ö é ö ü é ö é é é á é á ü á ó á é Íí ő ő é ü é á á á ó ó ú ö é áíű ő ő é ö ó é í é é é á á é í á á ó é á ó é ü á é é Í í é ü ő ő é á é ü ú ó á é ű ő é ő ő ö ű ő ő á á á á í é é é á á
á á Á Á É É ÉÉ ú í Á Á É ö É Á Á á á é á é á Ű é á á é ő á á á é ú ő ő é á ó é é á í á ó á é ő é á á á é ó í á á ü é é á é á á é á á ó é é ö é Ü Ö Ö á á é é í é ú á ö é ö é é á á é á á é é ő á ő ő á é
Í ű é ó ú Á ö ő ö é é é á é é ó ú ő ö é ó é á é é é é é é é ó á É É ü ő é é ó á á í á ó á é á ó á é é ü ó é ü ö ó ú ö é ö á ű á í é é é ü é é é ö á á á é ó é é ü á ü á á ú á á á á é é é é ü é é é ó é á
Ú Á É í ő í ó ó ó í ö í ö ö ö í ö ö ö ö ö Ú ö ó ö ö ö í ö í ő ö í í ő ö ú ö ó ö í Á í ó ő ú í ő ő ú í í ó ő í ó ó í í ő ó ó ó ő ó ó ő ü í ü ó ü ő ó ő ó ü í ó í ő É ö ö ö ő ü ő óí ö ű ö ü ó ö ö ő í ó í
ő ő ő ő ő ő ő ő ő ú ü ő ő ő ő ő ő ő ő ő ő ő ü ő ő ő ő ü Ó ő ő Í ő ő ű ő ő ő ő ő ő ő ú ő ű ü ú Á ő ü Ö ü ő ő ő ü ő ü ú ü ú ő ü ű ő Á ő Ó ú ü ő ő ő Ö ő ü ő ő ü ő ü ő ü ő ő ő Ö ő ő ő ő ő ő ő ő ú ő ő ő ő ő
ö ű ö ú ö ú ü ü ü ü ü Í Í Ü ö ü Ü ü ö ö ű ú ű É Ö Á Í ö ö Í ü ö ö ö ö ö Í Ó Ó Á ö ö Í Í ö ö Ú Úö ö úö Á ö ö ű ö ú Íü ű Í ü ű Í ü ú ű ű É ö Ü ű ö ö ű ö ú Íü ű Í ü Í ö ú Í ö ö ö ö ö ú ö ö ö ö ö Í ö ű ö ú
ő Ö ő í í ó ó ó ú ő ó ó ü ő ö ő ő ó ó ü ó í ő ö ö ö ó ő ó ö ö ő ó ó ó ó ö É ó ó ű ö ü ő ó ó ú ó í ó ő ó ó ő ú ó í í í ó í í ő ó ó ő ü É É Á Á É É ó ő ö ő ő ő ő ö ő ő ö ő ő ő ü ó í ö ó ó ő ú ő ó í ő ö ő
ő ű ő ö é ö é é ő ü é é ö ü ó Ó Ö é ü é ö é Ö é ő ü é ű ő é é ö ó é Á é ő é é ő í ő ö ö ö ű ö é ő ő ő é ü é é í ő é ő ú é ő ó ó é í é ő ü é ü ó ü é ő ü é ő ü ö ő ü ü í é ü ő ő ö é Á é ő é é ő ü ő ő é é
í ő ü í ú É ó ő ő ö í ó Í ú í ő ü í ú ü ő ó ó ő ő ő ő ó ö ö ü ö ö ó ö ó í ö ö í ő Ö Ö Ö ő ó ő ő ő ö ő Í ó ő ó Ó ő ó ö ö ú ú ö ö ú ö í ő Á Ö ő ő ó í ő ü í ú ü ő ő ő ő ő ó ö ú Ö ú ú í ö í ó ó Ö ö ő ö ó ú
Á ö í Ö ó í ö ú ó ü ö ö í í ö ö Í ö ö ö ö í ö í ó ö í í É Á Ó í ú íí Ó É Ű ó ó ű ó ú É É ó í ü í ó ó í ű ó ö ó í ó ű í ó ö ó ú í í ü Á ú í ö í ó ú ö ó ó í í ó í í ü ö ú ű ú ü ó ó í í ü ö ú Í ó ó ó í ü
Ó Ú Ö É Ö Á Ú Ó É Ö É É Ö Á Á É ö ü ö í ö ö ő ó ö ö ő ő ö ó ö ű ő ő ö ö ű ö í ő í ű ö ü ű ö ó ö í ó í ű ó ű ö ő Á Á í ú ő ö ö í ó ú ó ú ó ú ó ú ó í ó í í ó ö ö Ö í ó ő ú ő ó ú Ö ű ő ö ö Á Á Ó ó í ó ó ö
ű ö ú É Í Á ü É ó ű ö ú ú ő ó ó ö Í ő ó ó ó ó ó ö ó ő őí ö í ö ő ö ő Á Á É őí ő ü őí ü Á ó Á í í ó Á ó ó í ó ó ő Á É ö Ú ő ü Ö ó ö ó ö ö í Á ö ő ő ó ó ó ó ö í í í ú ó í ö ö ő ő ő Ö ő í ö ó ó ö í ö ö ő