1. David Blackwell tétele

Átírás

1 SZAKDOLGOZAT Rejtett Markov láncok entrópiája és önkonformis mértékek Torma Lídia Boglárka Témavezet k: Simon Károly, egyetemi tanár Komjáthy Júlia, tudományos munkatárs BME Matematika Intézet, Sztochasztika Tanszék BME 2012

2

3 Tartalomjegyzék Köszönetnyilvánítás ii 1. David Blackwell tétele Eddigi eredmények A f eredmény Bináris szimmetrikus csatornák Blackwell tételének bizonyítása John J. Birch tétele Entrópiaközelítések Röviden az entrópia tulajdonságairól Folyamat entrópiájának közelít függvényei Feltételes entrópiák konvergenciasebessége Víctor Ruiz tétele A Sierpi«ski háromszög Az állapotvalószín ségek meghatározása Az entrópia kiszámítása A Sierpi«ski sz nyeg Az állapotvalószín ségek meghatározása Az entrópia kiszámítása Összegzés Irodalomjegyzék i

4 ii Köszönetnyilvánítás Ezúton szeretném megköszönni témavezet imnek, Simon Károlynak és Komjáthy Júliának, kitartó és lelkes munkájukat, de mindenekfelett a türelmet és bátorítást, amit t lük kaptam. Köszönöm szépen barátaimnak, Áginak és Anikónak, hogy átsegítettek az eddigi hat féléven. Köszönöm Bettinek és Ákosnak, hogy mindig számíthattam rájuk. Nem utolsó sorban hálás vagyok szüleimnek, akik szeretete és támogatása nélkül most nem írhatnám ezeket a sorokat, továbbá n véremnek, aki a nehéz id kben is mindig mellettem állt. Köszönettel tartozom a tanáraimnak és iskoláimnak a megfelel alapokért a további fejl déshez.

5 1. DAVID BLACKWELL TÉTELE 1 1. David Blackwell tétele 1.1. Eddigi eredmények A rejtett Markov-láncok H entrópiájának számolása nem egyszer feladat. Már az 1950-es években napvilágot láttak olyan eredmények, melyeknek a mai napig hasznát vesszük az információelméletben. David Blackwell munkássága folytán, 1957-ben publikált eredménye[1] jó alapot adott a kés bbi számításoknak és alkalmazásoknak is. Legyen {X i } i=1 egy stacionárius, ergodikus, véges állapotú Markov-lánc, {1,..., N} állapotokkal, M = m(i, j) állapotvalószín ség-mátrixszal, és q X = (p 1,..., p N ) kezdeti eloszlásvektorral. Ekkor egy véges i = (i 1,..., i k ) sorozat bekövetkezésének valószín sége P(X 1 = i 1,..., X k = i k ). Legyen Z i az (X 1,..., X i ) valószín ségi változók együttes eloszlása. Shannon munkája alapján McMillan megmutatta, hogy {Z i } aszimptotikusan tart egy konstanshoz, az {X i } folyamat H 0 entrópiájához, oly módon, hogy 1E ln Z k k H, amint k. Ez azt eredményezi, hogy nagy k esetén nagy valószín séggel a ténylegesen bekövetkez X 1,..., X k sorozat valószín sége e Hk lesz. Ezen felül H = E ln P(X 1 X 0, X 1,... ). (1) Tehát, ha {X i } egy Markov-folyamat π i = P(X k = i) stacionárius eloszlással, és m(i, j) = P(X k+1 = j X k = i, X k 1,... ) állapotvalószín ségekkel, akkor H = i,j π i m(i, j) ln m(i, j), (2) (l. [3]). Habár a Markov-láncok entrópiája az el z formula alapján könnyen számolható, ugyanez nem mondható el a rejtett Markov-láncokról. Ha Φ: {1,..., N} {1,..., M}, akkor {Y i = Φ(X i )} entrópiájának számításához nincs (2)-hez hasonló, egyszer formula. Valójában H az M = m(i, j) mátrix és Φ bonyolult függvénye A f eredmény 1. Tétel (Blackwell [1]). Legyen {X i } i=0 egy [N] állapottéren értelmezett, stacionárius, ergodikus Markov-folyamat, M = m(i, j) állapotvalószín ség-mátrixszal.

6 2 Legyen Φ: {1,..., N} {1,..., M} olyan, hogy Y i = Φ(X i ). Az {Y i } folyamat entrópiája H = ra (w) ln r a (w)dq(w), (3) ahol w = (w 1,..., w N ) W, avagy w i jelöli az i állapotban tartózkodás valószín ségét. = 1, és r a (w) = N w i m(i, j), avagy az a állapotba ugrás i w i i=1 j : Φ(j)=a valószín sége, adott w valószín ségi vektor mellett. w eloszlása a W 1,..., W M halmazokon értelmezett Q eloszlás, és W a olyan w W elemekb l áll, hogy w i = 0, ha Φ(i) a, és kielégíti a Q(E) = r a (w)dq(w) (4) a fa 1 (E) egyenletet, ahol f a (w): W W a, f a (w) = i w i m(i,j) r a(w), ha Φ(j) = a.

7 2. BINÁRIS SZIMMETRIKUS CSATORNÁK 3 2. Bináris szimmetrikus csatornák Az el z tétel könnyebb megértéséhez egy ( konkrét példát ) mutatunk be.[2] Π00 Π 01 A bemenet az X i Markov lánc, Π = állapotvalószín ségi mátrixszal. A csatornában a jelre rakódott bináris zaj E = {E i } úgy, hogy P Ei (0) = 1 ε, Π 10 Π 11 P Ei (1) = ε. A zajjal módosult kimenet a stacionárius, sztochasztikus Y = {Y i } folyamat, Y i = X i E i. a bináris összeadást jelenti. A {Z i = (X i, E i )} folyamat szintén Markovi, (0, 0), (0, 1), (1, 0), (1, 1) állapotokkal és (0, 0) (0, 1) (1, 0) (1, 1) (0, 0) Π 00 (1 ε) Π 00 ε Π 01 (1 ε) Π 01 ε M = (0, 1) Π 00 (1 ε) Π 00 ε Π 01 (1 ε) Π 01 ε (1, 0) Π 10 (1 ε) Π 10 ε Π 11 (1 ε) Π 11 ε (1, 1) Π 10 (1 ε) Π 10 ε Π 11 (1 ε) Π 11 ε átmenetvalószín ség-mátrixszal. Ekkor legyen Φ: {(0, 0), (0, 1), (1, 0), (1, 1)} {0, 1} úgy, hogy Φ(0, 0) = Φ(1, 1) = 0 és Φ(0, 1) = Φ(1, 0) = 1, továbbá Y i = Φ(Z i ). ( ) p 1 p Abban a speciális esetben, amikor Π =, és Z = {Z i } i= 1 p p Markov folyamat az {1, 2, 3, 4} állapottéren van értelmezve, az p(1 ε) pε (1 p)(1 ε) (1 p)ε M = p(1 ε) pε (1 p)(1 ε) (1 p)ε (1 p)(1 ε) (1 p)ε p(1 ε) pε (1 p)(1 ε) (1 p)ε p(1 ε) pε átmenetvalószín ség-mátrix adódik. Továbbá Φ: {1, 2, 3, 4} {1, 2} úgy, hogy Φ(1) = Φ(4) = 1 és Φ(2) = Φ(3) = 2, és legyen {Y i := Φ(Z i )} i=. Most nézzük a W R 4 -en lév szimplexet, ahol { } 4 W := w R 4 : w i 0, w i = 1, i=1 W 1 = {w W : w 2 = w 3 = 0} és

8 4 W 2 = {w W : w 1 = w 4 = 0}. Annak érdekében, hogy a megfelel átmenetvalószín ség-mátrixokat megkapjuk, M-nek kinullázzuk azokat az i. oszlopait, ahol Φ(i) a, ha a = 1, 2: M 1 = p(1 ε) 0 0 (1 p)ε p(1 ε) 0 0 (1 p)ε (1 p)(1 ε) 0 0 pε (1 p)(1 ε) 0 0 pε 0 pε (1 p)(1 ε) 0 M 2 = 0 pε (1 p)(1 ε) 0 0 (1 p)ε p(1 ε) 0. 0 (1 p)ε p(1 ε) 0 Továbbá w W -re legyen (vagyis az a-ba kerülés valószín sége), és r a (w) := w M a 1 = w M a 1 f a : W W a : f a (w) := w M a r a (w). Tekintsük most az 1. ábrát. Vegyünk egy w pontot a négy vektor által kifeszített, zöld W -n. Ez a Markov-lánc kezdeti értéke, azaz a kezdeti eloszlás. Ennek a transzponáltját jobbról az M mátrixszal beszorozva kapjuk a következ állapot valószín ségét, w M-et. Ennek a pontnak keressük a mer leges vetületét a piros W 1, (e 1, e 4 ) és a kék W 2, (e 2, e 3 ) vektorok által kifeszített síkra. Ezek rendre P 1 és P 2 lesznek. Ezt a vetítést az M 1 illetve az M 2 mátrixokkal való szorzásként érjük el. Figyeljük meg ugyanis, hogy az M 1 mátrixban pontosan azok az oszlopok vannak kinullázva, amely vektort nullának tekintünk. Az {e 1, e 4 }-re vetítésnél az e 2 és e 3 vektorok értéke 0, és az M 1 -nek pont a második és a harmadik oszlopa nulla. Hasonlóképpen az M 2 -nél csak az e 2 és e 3 értékeket tartjuk meg. Ezzel a Z Markov-folyamatból megkapjuk az Y rejtett Markov-folyamatot. Annak a valószín sége, hogy a w utáni állapot éppen W 1 -ben lesz, pontosan r 1 (w), ami megfelel a P 1 pont és az origó távolságának. Az ennek a segítségével deniált (f 1, f 2 ) iterált függvényekhez tartozó valószín ségek (r 1 (w), r 2 (w)) a w helyt l függ valószín ségek. Tehát ez egy iterált függvény rendszer (IFS), helyt l függ valószín ségekkel.

9 2. BINÁRIS SZIMMETRIKUS CSATORNÁK 5 e 1 f 1 (w) R 4 W 1 P 1 W e 4 w T M r 1 (w) 0 e 3 w W W 2 r 2 (w) P 2 e 2 f 2 (w) 1. ábra. Az ábra a [2] cikkb l származik, szerz k engedélyével.

10 6 3. Blackwell tételének bizonyítása Bizonyítás. Most rekonstruáljuk az 1. tétel bizonyítását.[1] Legyen α n := (α1, n..., αn n ) = P(X n Y n, Y n 1,... ) feltételes eloszlás, vagyis αi n = P(X n = i Y n, Y n 1,... ). Továbbá legyen Q deníció szerint az α 0 eloszlása. A bizonyítás menete a következ képpen alakul. A (3) egyenlet igazolásához be kell látnunk, hogy E(ln P(Y 1 Y 0, Y 1,... ) α 0 = w) = a r a (w) ln r a (w), (5) ahonnan az (1) egyenletb l következik, hogy ha w eloszlása Q, akkor a (3) egyenlet teljesül, nevezetesen az (1)-et alkalmazva Y -ra, kapjuk, hogy H = E(ln P(Y 1 Y 0, Y 1,... )). Innen, és a teljes valószín ség tételéb l azonnal adódik, hogy a (3)-as egyenlet bal oldala egyenl H-val. A következ célunk, hogy a (4)-es formulát igazoljuk, vagyis hogy Q(E) = r a (w)dq(w). a fa 1 (E) Ehhez az els lépés, hogy belátjuk a következ lemmát. 1. Lemma. {α n } egy stacionárius Markov-folyamat, valószín ségekkel. P(α n+1 E α n, α n 1,... ) = a: f a(α n ) E r a (α n ) (6) Hiszen ekkor α n eloszlása megegyezik α 0 eloszlásával, ami éppen Q(w). A Q szerint integrálva (6)-ot, pedig pont a (4) egyenlethez jutunk. Az (5) formula igazolásához szükségünk van az 1. lemma bizonyításában elért eredményekre, így azt csak a fejezet végén tudjuk megmutatni. Az 1. lemma bizonyítása. α n stacionaritását a következ képpen bizonyítjuk. Meg kell mutatnunk, hogy α n i állapotok eloszlása nem változik az id el rehaladtával. Legyen g i (Y 0, Y 1,... ) az a függvény, amely leírja α 0 i viselkedését, Ψ egy tetsz leges,

11 3. BLACKWELL TÉTELÉNEK BIZONYÍTÁSA 7 (Y n, Y n 1,... )-t l függ, korlátos valószín ségi változó, továbbá G(Y n, Y n 1,... ) = G n egy szigma-algebra. Akkor E(Ψ(Y n, Y n 1,... )P(X n = i Y n, Y n 1,... )) = = E(Ψ(Y n, Y n 1,... )P(X n = i G n )) = = E(E(Ψ(Y n, Y n 1,... )[1(X n = i) G n ])) = = E(Ψ(Y n, Y n 1,... )1(X n = i)) = = E(Ψ(Y 0, Y 1,... )1(X 0 = i)) = = E(E(Ψ(Y 0, Y 1,... )[1(X 0 = i G 0 ])) = = E(Ψ(Y 0, Y 1,... )P(X 0 = i G 0 )) = = E(Ψ(Y 0, Y 1,... )P(X 0 = i Y 0, Y 1,... )) = = E(Ψ(Y n, Y n 1,... )g i (Y n, Y n 1,... )). Tehát P(X n = i Y n, Y n 1,... ) = αi n = g i (Y n, Y n 1,... ), tehát {α n } stacionárius, és eloszlása szintén Q. Következ lépés a (6) egyenlet igazolása. P(X n+1 = i Y n, Y n 1,... ) = j P(X n+1 = i, X n = j Y n, Y n 1,... ) = (7) = j = j P(X n = j Y n, Y n 1,... ) P(X n+1 = i X n = j, Y n, Y n 1,... ) = P(X n = j Y n, Y n 1,... ) m(j, i). Az utolsó egyenl ség a Markov tulajdonság miatt teljesül. Ha a (7) egyenletet minden olyan i-re összeadjuk, hogy Φ(i) = a teljesül, akkor P(Y n+1 = a Y n, Y n 1,... ) = P(X n+1 = i Y n, Y n 1,... ) = (8) Ezt felhasználva = i: Φ(i)=a j i: Φ(i)=a P(X n = j Y n, Y n 1,... ) m(j, i) = r a (α n ). P(X n+1 = i Y n, Y n 1,... ) = = P(X n+1 = i Y n+1 = a, Y n, Y n 1,... ) P(Y n+1 = a Y n, Y n 1,... ) = = r a (α n )P(X n+1 = i Y n+1, Y n,... )1(Y n+1 = a).

12 8 Ezt, és a (7) egyenletet összevetve kapjuk, hogy Y n+1 = a = Φ(i) esetén r a (α n )P(X n+1 = i Y n+1, Y n,... ) = j P(X n+1 = i Y n+1, Y n,... ) = j P(X n = j Y n, Y n 1,... ) m(j, i) P(X n = j Y n, Y n 1,... ) m(j, i), r a (α n ) tehát az f a (w) = i w i m(i,j) r a(w) deníció alapján α n+1 = f Yn+1 (α n ). (9) Mivel f a (w) W a w-re, így az α n valószín ségi változónak a Q eloszlása W 1,..., W M -re koncentrálódik. A (9) egyenletb l következik, hogy P(α n+1 E α n, α n 1,... ) = P(Y n+1 = a α n, α n 1,... ), a: f a(α n ) E ahonnan a (8) egyenletet használva megkapjuk a (6) egyenletet, vagyis P(α n+1 E α n, α n 1,... ) = P(Y n+1 = a α n, α n 1,... ) = = a: f a(α n ) E a: f a(α n ) E r a (α n ). Innen már a fejezet elején elmondottakból következik a (4). Végül a (3) egyenletet kell belátnunk, vagyis az Y n folyamat entrópiáját kell kiszámítanunk. A (8) egyenletb l tudjuk, hogy P(Y 1 = a Y 0, Y 1,... ) = r a (α 0 ), tehát E(ln P(Y 1 Y 0, Y 1,... ) α 0 = w) = a P(Y 1 = a α 0 ) ln r a (α 0 ) = a r a (α 0 ) ln r a (α 0 ). Innen a (3) egyenlet a fejezet elején kimondottak alapján Q szerinti integrálással, teljes valószín ség tételével, és az (1) egyenlet felhasználásával már következik.

13 4. JOHN J. BIRCH TÉTELE 9 4. John J. Birch tétele 4.1. Entrópiaközelítések Ha {X n } egy {1, 2,..., N} véges halmazon vett stacionárius, ergodikus Markov folyamat, akkor az entrópiája közvetlenül számolható. Azonban, ha a Φ: {1, 2,..., N} {1, 2,..., M}, akkor nincs átfogó formula {Y n = Φ(X n )} entrópiájának kiszámítására. Ezt az értéket azonban John J. Birch 1961-ben publikált eredménye szerint [5] közelíthetjük Ḡ n = h(y n Y n 1,..., Y 1 ) és G n = h(y n Y n 1,..., Y 1, X 0 ) monoton függvényekkel, a feltételes entrópiákkal. Továbbá, ha az eredeti {X n } Markov folyamat átmenet valószín ségei szigorúan pozitívak, vagyis minden állapotból minden állapot elérési valószín sége nagyobb, mint nulla, akkor Ḡn és G n exponenciálisan konvergálnak a H entrópiához: 0 Ḡn H Bρ n 1 és 0 H G n Bρ n 1, 0 < ρ < 1, ρ és Φ függetlenek. Legyen Q a P(Y 0 X 0, X 1,... ) valószín ségi változó eloszlása, azaz X 0 sképein egy eloszlás, ami pozitív súlyt ad. A gyakorlati alkalmazásokhoz azonban szükségünk van az entrópia egy olyan közelítésére, amely gyorsan konvergál. Meg kell jegyezni, hogy ha az {X n } folyamat markovi, akkor az entrópia a (2) egyenletb l közvetlenül számítható. Továbbá, ahogyan az 1 fejezetben láttuk, Blackwell megmutatta, hogyha Φ egy olyan leképezés, amely az állapotok csupán egy osztályát ejti össze, akkor az entrópia kifejezhet a konvergáló elemek összegével. (Például ha Q egy véges halmazra koncentrálódik, akkor a legkézenfekv bb példa az, amikor a Markov-folyamat legalább két állapotosztályát összeejtjük különálló állapotokká.) Megmutatjuk, hogy ha {X n } egy stacionárius, ergodikus, véges állapotter Markov-folyamat, akkor az {Y n = Φ(X n )} folyamat entrópiája közelíthet a Ḡ n = h(y n Y n 1,..., Y 1 ) és G n = h(y n Y n 1,..., Y 1, X 0 ) monoton függvényekkel. Továbbá, ha ennek az {X n } Markov-folyamatnak szigorúan pozitív állapotvalószín ségei vannak, akkor ez a két approximáció exponenciálisan konvergál a H

14 10 entrópiához, ahol a konvergencia az alábbi képlettel adott: 0 < Ḡn H Bρ n 1 és 0 H G n Bρ n 1, ahol B = Num a, és Num 1 min i,j m(i,j) ( Num1 0 < ρ = 1 min i,j,k,n,o Num 2 M ) ( ) 2 m(i, k)m(k, n) < 1, m(i, j)m(j, o avagy a kétlépéses átmenetek mennyire térhetnek el. Num 1 és Num M a minimuma és a maximuma a Φ által összehúzott állapotok számának Röviden az entrópia tulajdonságairól Legyen Y egy valószín ségi változó, véges (y 1,..., y k ) értékekkel. Mint ahogy azt az els fejezetben láttuk, az Y valószín ségi változónak a h(y ) entrópiája a következ képlettel számítható: h(y ) = i P(Y = y i ) ln P(Y = y i ). A h függvény néhány tulajdonsága: (i) h(y ) ln k (egyenletes entrópia), (ii) h(x, Y ) = h(y ) + h(x Y ) (Bayes), ahol h(x Y ) = i,j P(Y = u i, X = v j ) ln P(X = x j Y = y i ), (iii) h(x Y, Z) h(x Y ) h(x), egyenl ség akkor, ha X, Y, Z függetelnek, (iv) minden, Y értékein értelmezett Φ függvényre h(φ(y )) h(y ) (csökken, mert összehúzzuk) és h(z Y ) h(z Φ(Y )) (ha kevesebbet ismerünk). A fenti mennyiségek mindegyike nemnegatív. Az elkövetkezend kben feltesszük, hogy adott egy N N-es M Markov mátrix m(i, j), i, j = 1, 2,..., N elemekkel, egy Φ: {1,..., N} {1,..., M} függvény, és egy kezdeti stacionárius λ = (λ 1,..., λ N ) eloszlás {1,..., N}-en, (λ, M) eloszlással. Y 1, Y 2,... folyamatra Y k = Φ(X k ), ami {1,..., M}-b l veszi az értékeit. Természetesen ez egy stacionárius, ergodikus folyamat lesz.

15 4. JOHN J. BIRCH TÉTELE Folyamat entrópiájának közelít függvényei El ször deniáljuk a következ t: H n (M, Φ, λ) = h(y 1, Y 2,..., Y n ), n n hosszú trajektória mentén az együttes entrópia n-ed része. M. McMillan megmutatta, hogy ha λ a stacionárius eloszlás, akkor H n (M, Φ, λ) monoton csökkenve konvergál a H(M, Φ, λ) konstanshoz, vagyis az {Y n } folyamat entrópiájához. Megemlítjük a következ, L. Breiman-tól származó eredményt: H(M, Φ, λ) H n (M, Φ, λ) 2 n ln(n). Legyen Ḡn = h(y n Y n 1,..., Y 1 ), ahol {Y n = Φ(X n )} a folyamat. A (iii) tulajdonságból kapjuk, hogy Ḡ1 Ḡ2..., és mivel Ḡ n 0, ezért lim Ḡ n = H n = H(M, Φ, λ). Ek- határérték létezik. Most, a stacionaritást felhasználva lim n kor lim Ḡn = H(M, Φ, λ). Legyen most G n = h(y n Y n 1,..., Y 1, X 0 ), akkor: n Ḡ i 1 n+1 2. Lemma. G n monoton n ve konvergál az entrópiához (H(M, Φ, λ)). Bizonyítás. Hogy lássuk, hogy G n monoton, G n = h(y n Y n 1,..., Y 1, X 0, X 1 ) (X 1 nem számít, mert Markovi) Alkalmazva a (ii)-t, h(y n Y n 1,..., Y 1, Φ(X 0 ), X 1 ) (a (iv) miatt) G n h(y n Y n 1,..., Y 1, Y 0, X 1 ) = G n+1 stacionaritás miatt. Ḡ n G n = h(y n Y n 1,..., Y 1 ) h(y n Y n 1,..., Y 1, X 0 ) ( ) P(X0 Y 1,... Y n ) = E ln ( 0). P(X 0 Y 1,..., Y n 1 ) Minden rögzített (Y 1,..., Y n ) = t n, X 0 = i esetén, az P(X 0 Y 1,... Y n ) változó egybeesik valamelyik P(X 0 = i Y 1,..., Y n ) eseménnyel, ahol i {1,..., N}. Tehát, valamely n-re és valamely (X 1,..., X n )-re P(X 0 Y 1,... Y n ) P(X 0 Y 1,... Y n 1 ) i P(X 0 = i Y 1,..., Y n ) P(X 0 = i Y 1,..., Y n 1 ). De P(X 0 = i Y 1,..., Y n ) egy martingál, így majdnem mindenütt konvergál. Következésképpen P(X 0 Y 1,... Y n ) konvergál. Ḡ n 1 Ḡn G n a (iii)-ból következik.

16 Feltételes entrópiák konvergenciasebessége Most csak azokat az eseteket vizsgáljuk, mikor az m(i, j) állapotvalószín ségek szigorúan pozitívak, i, j-re. Legyen X 0, X 1,... egy véges állapotú Markov lánc, m(i, j) átmenetvalószín ségekkel. Deniáljunk egy {Y n } folyamatot aszerint, hogy Y = i <=> X Φ 1 (i) (X-t minden pillanatban levetítem). Most rögzített Y 1 = i 1,..., Y n 1 = i n 1 -re, legyen f n (g, a) = P(X n = a X 0 = g, X 1 Φ 1 (i 1 ),..., X n 1 Φ 1 (i n 1 )), ami pont az a valószín ség, hogy g-b l n lépés alatt a-ba értünk egy nem homogén Markov láncban, ahol a k-adik lépés állapotvalószín sége: M (k) (j, l) = P(X k = l X k 1 = j, X k Φ 1 (i k ),..., X n 1 Φ 1 (i n 1 )) = ( 0, ha l Φ 1 (i k )) = m(i, j)p(x k Φ 1 (i k ),..., X n 1 Φ 1 (i n 1 ) X k = l) m(j, l )P(X k Φ 1 (i k ),..., X n 1 Φ 1 (i n 1 ) X k = l ), l k = 1,..., n 1 és M (n) (j, l) = m(j, l). Innen f n (g, a) = M (1) (g, a 1 )M (2) (a 1, a 2 )... M (n) (a n 1, a).

17 4. JOHN J. BIRCH TÉTELE 13 A képlet helyessége n = 2-re: f 2 (g, a) = a 1 Φ 1 (i 1 ) M (1) (g, a 1 )M (2) (a 1, a) = = m(g, a 1 )P(X 1 Φ 1 (i 1 ), X 2 Φ 1 (i 2 ) X 1 = a 1 ) m(g, l )P(X a 1 Φ 1 (i 1 ), X 2 Φ 1 (i 2 ) X 1 = l ) 1 l p(a 1, a)p(x 2 Φ 1 (i 2 ) X 2 = a) m(a 1, j )P(X 2 Φ 1 (i 2 ) X 2 = j ) = j = m(g, a 1 )P(X 1 Φ 1 (i 1 ), X 2 Φ 1 (i 2 ) X 1 = a 1 ) m(a a 1, j )1(j Φ 1 (i 2 )) 1 j P(X 2 Φ 1 (i 2 ) X 2 = a)m(a 1, a) m(g, l )1(l Φ 1 (i 1 ))P(X 2 Φ 1 (i 2 ) X 1 = l ) = l 1 = m(g, l )1(l Φ 1 (i 1 ))P(X 2 Φ 1 (i 2 ) X 1 = l ) l m(g, a 1 ) P(X 2 Φ 1 (i 2 ) X 1 = a 1 )m(a 1, a)1(a Φ 1 (i 2 )) = m(a a 1, j ) 1 = j Φ 1 (i 2 ) 1 m(g, l )1(l Φ 1 (i 1 )) m(l, x) l x Φ 1 (i 2 ) m(g, a 1 )m(a 1, a)1(a Φ 1 (i 2 )) = a 1 Φ 1 (i 1 ) P(X 2 = a, X 0 = g, X 1 Φ 1 (i 1 )) P(X 0 = g, X 1 Φ 1 (i 1 )) = P(X 2 = a X 0 = g, X 1 Φ 1 (i 1 )). A következ tételt Markov-láncokra fogjuk használni. 2. Tétel. Legyen g és h a Markov-lánc két állapota. Ha m(i, j) > 0 i, j = 1, 2,..., N, akkor f n (g, a) f n (h, a) ρ n 1, ahol ( ) ( ) 2 Num1 m(i, l)m(l, n) ρ = 1 min, i,j,l,m Num 2 M m(i, j)m(j, m) avagy a 2 hosszú utak valószín ségei mennyire térhetnek el. Bizonyítás. Doeblin two-particle módszerét használtuk a bizonyításhoz. (P m (x,.) π(.) (1 ɛ) m ) m N.

18 14 Ez alapján f n (g, Φ 1 (i)) f n (h, Φ 1 (i)) (10) f n (g, a) f n (h, a) (11) a Φ 1 (i) a Φ 1 (i) a Φ 1 (i) f n (g, a) f n (h, a) = Num M ρ n 1. (12) Továbbá, P(Y n = i X 0 = g, Y 1,..., Y n 1 ) P(Y n = i Y 1,... ), Y n 1 ) Num M ρ n 1. Hogy ezt lássuk, megmutatjuk, hogy létezik egy (Y 1,..., Y n 1 )-t l függ h, hogy P(Y n = i Y 1,..., Y n 1 ) P(Y n = i X 0 = h, Y 1,..., Y n 1 ). Ez viszont következik P(Y n = i Y 1,..., Y n 1 ) = P(Y n = i, X 0 = h Y 1,..., Y n 1 ) = P(Y n = i X 0 = h h h, Y 1,..., Y n 1 )P(Y n = i Y 1,..., Y n 1 ) alapján, ugyanis ez egy súlyozott átlag, ami miatt van legalább egy h, amire P(Y n = i X 0 = h, Y 1,..., Y n 1 ) P(Y n = i X 0 = h, Y 1,..., Y n 1 ). 3. Tétel. Legyen {X n } egy stacionárius, ergodikus, véges állapotter Markov-lánc, szigorúan pozitív állapotvalószín ségekkel. Akkor az {Y n = Φ(X n )} folyamat entrópiája Ḡn = h(y n Y n 1,..., Y 1 ) és G n = h(y n Y n 1,..., Y 1, X 0 )-al becsülhet. Továbbá, 0 Ḡn G n Bρ n 1, 0 < ρ < 1, ahol B = Num M Num 1 min m(i,j). i,j Bizonyítás. Már csak az exponenciális csökkenést kell megmutatni. Korábban már láttuk, hogy Ḡ n G n = E ln P(Y n X 0, Y 1,..., Y n 1 ). P(Y n Y 1,..., Y n 1 ) Most legyen 0 < 1 := Num r 1 min m(i, j) P(X n X 1,..., X n 1 ), és az el z ek miatt i,j P(X n Y 0, X 1,..., X n 1 ) P(X n X 1,..., X n 1 ) Num M ρ n 1. Ekkor Ḡn G n ln(1 + rnum M ρ n 1 ) rnum M ρ n 1 = Bρ n 1, ha n elég nagy. S mivel Ḡ n H monoton csökken en, és G n H monoton növekedve, kapjuk, hogy Ḡn Bρ n 1 G n H Ḡn G n + Bρ n 1. Érdekesség, hogy az exponenciális csökkenés független a Φ függvényt l.

19 5. VÍCTOR RUIZ TÉTELE Víctor Ruiz tétele A következ fejezetek Vícitor Ruiz [6] munkájára alapulnak, és arra irányulnak, hogy a rejtett Markov-láncok elméletének felhasználásával, egészen konkrétan az el z fejezetben látottakkal, exponenciális közelítést adjunk bizonyos önhasonló mértékek dimenziójára. Deniáljuk az [N] állapottéren értelmezett V 1, V 2, = {V j } j N folyamatot az N N-es, sztochasztikus Z 1, Z 2,..., Z n mátrixokkal, és a Z = Z 1 + Z Z n átmenetvalószín ség-mátrixszal. Ekkor Z i -k tulajdonságaiból következik, hogy Z1 = 1, és egy π stacionárius eloszlás, hogy πz = π. A {V j } j N folyamatra igaz lesz, hogy P(V 1 = i 1, V 2 = i 2,..., V k = i k ) = q Z i1 Z i2... Z ik 1, ahol q a kezdeti eloszlás vektor. k = 1 esetén N i 1 =1 q Z i1 1 = q Z i1 1 = q 1 = 1. }{{} Z N i 1 =1 P(V 1 = i 1 ) = Megmutatjuk, hogy az így deniált folyamat értelmezhet rejtett Markov-láncként (HMC). Ehhez konstruáljunk egy HMC-t, ami pontosan a {V j } j N folyamatot adja. Találnunk kell egy X 1, X 2,... Markov-láncot, és egy olyan Φ függvényt, hogy V i = Φ(X i ). X állapottere legyen [nn], és deniáljuk Φ : {N N} {n n} függvényt úgy, hogy az 1,... N, N + 1,..., 2N,..., (n 1)N + 1,..., nn állapotokat rendre }{{}}{{}}{{} 1 2 az {1, 2,..., n} állapotokba viszi. A HMC állapotait leíró mátrixokat n nn {}}{ 0 Z i 0 M i = Z i 0 alakban kapjuk, q M = (q Z 1,..., q Z n ) kezdeti eloszlással. Ekkor M = M M n.

20 16 Nevezzük ezt a folyamatot Ṽ -nak. Ekkor Ṽ = V, ugyanis P(Y 1 = i 1, Y 2 = i 2,..., Y k = i k ) = q M M i 1 M i2... M ik 1 = (q Z 1 Z i1 Z i2... Z ik,..., q Z n Z i1... Z ik )1 = (q Z 1,..., q Z n ) Z i1 Z i2... Z ik 1 = q Z Z i1 Z i2... Z ik 1 = q Z i1 Z i2... Z ik 1 = P(V 1 = i 1, V 2 = i 2,..., V k = i k ). A kés bbiekben ezt a megfeleltetést a Sierpi«ski háromszög, illetve a 45 -kal elforgatott Sierpi«ski sz nyeg [0, 1] intervallumra vett pushdown mértékének entrópiaközelítéséhez használjuk.

21 6. A SIERPI SKI HÁROMSZÖG A Sierpi«ski háromszög 6.1. Az állapotvalószín ségek meghatározása Tekintsük az F = {S 1 (x) = x2, S 2(x) = x2 + ( 12, 0 ), S 3 (x) = x2 + ( 1 4, ) } 3 4 IFS-sel deniált Λ Sierpinski-háromszöget Σ = {1, 2, 3} N állapottérrel, és p = { 1, 1, 1} valószín ségvektorral. A Λ-n vett természetes mérték µ = pn. Tekintsük most a µ mérték [0, 1] intervallumon vett pushdown mértékét, ν-t. Ruiz megmutatta, hogy ez a mérték egy diszkrét idej, nem-markovi, stacionárius és ergodikus sztochasztikus folyamat állapotaiként értelmezhet, el re meghatározott mátrixokkal. Ahogyan azt az el z ekben láttuk, ez a folyamat egy rejtett Markov-láncot határoz meg, melynek entrópiáját a G n és Ḡn monoton függvényekkel közelíthetjük, így elég jó pontossággal meghatározva dim ν-t. Π ν 0 1 A mátrixok meghatározásához tekintsük a Sierpinski-gasket-et, kissé másként. A 2. ábra szerint vágjuk függ legesen félbe a háromszöget; a bal oldali háromszöget színezzük feketére, míg a jobb oldalit zöldre. Ezt követ en, az els iteráció elvégzése után a jobb oldali felet illesszük pontosan a bal oldal fölé. A keletkezett alakzatot 1-nél függ legesen újra félbevágva gyeljük meg, hogy az eredeti fekete- illetve zöld 4 háromszögekhez hasonló, 1 akkora háromszögek keletkeztek. 3 Deniáljuk a Z 0 és Z 1 mátrixokat a fekete és zöld háromszögek száma szerint. Z 0 jelöli azt az esetet, amikor a bal, Z 1 pedig, amikor a jobb oszlopot tekintjük. Hogyan kapjuk a Z i mátrix elemeit? Legyen u = 1, 2 aszerint, hogy az emeleten, vagy a földszinten vagyunk, és v = 1, 2, hogy melyik típusú háromszögr l beszélünk.

22 18 emelet földszint ábra. Sierpi«ski háromszögek, másként Így a mátrixok Z i (u, v) elemei rendre ( 1 0 Z 0 = 1 1 ) ( 1 1, Z 1 = 0 1 ). Ugyanis gyeljük meg, hogy a földszint bal oszlopa 1 darab fekete (Z 0 (1, 1) = 1), és 0 darab zöld (Z 0 (1, 2) = 0) háromszöget tartartalmaz, míg az emelet (Z 0 (2, 1) = 1 és Z 0 (2, 2) = 1) mindkét típusból 1-et 1-et. A földszint jobb oszlopa mindkét típusból tartalmaz egyet-egyet (Z 1 (1, 1) = 1 és Z 1 (1, 2) = 1), az emeleten pedig csak 1 darab zöld háromszög van (Z 1 (2, 1) = 0, és Z 1 (2, 2) = 1). Attól függ en, hogy jobbra, vagy balra lépünk, a megfelel mátrixok szorzódnak. Egy 1 2 n méret intervallum mátrixa Z i2,...,i n. Azonban hogyan kapjuk meg az elemeit? A mátrix elemeit a következ képp deniálhatjuk: Z i2,...,i n (u, v) = #{j n : V jn proj 1 x (I (u 1),i2,...,i n )}, azaz v = 1 esetén az I (u 1),i2,...,i n intervallum fölötti fekete, v = 2 esetén a zöld (n 1)-edik szinten lév háromszögek száma. I i1...i n jelölés esetén i 1 mindig az

23 6. A SIERPI SKI HÁROMSZÖG 19 eredeti háromszögre vonatkozik, azaz megmondja, hogy a félbevágott háromszögben a földszinten, vagy az emeleten vagyunk. A deníció n = 3-ra: Z i2 i 3 (u, v) = #{j 2 {0, 1} 2 : V j2 proj 1 x {I (u 1)i2 i 3 }}. 1. Állítás. ahol u, v {1, 2}. Z i2,...,i n+1 (u, v) = t {1,2} Z i1,...,i n (u, t)z in (t, v) Bizonyítás. A Z i2,...,i n,i n+1 (u, v), vagyis az n-edik szinten lév háromszögek száma visszavezethet az (n 1)-edik szintre. Például n = 2-re nézzük azt az esetet, amikor i 2 = 1 és i 3 = 0. Z i2,i 3 (1, 1) jelenti azoknak a második szint, fekete (baloldali) háromszögeknek a számát, amelyek az I 010 intervallum fölött megmaradtak. Ezeket úgy kapjuk meg, hogy az I 01 intervallum feletti háromszögeket megszámoljuk, és felnagyítva tovább bontjuk. Ezek mindegyike úgy fog viselkedni, mint a földszinti, nagy, fekete, illetve az emeleti, nagy, zöld háromszög. Deníció szerint Z 1 (1, 1) = Z 1 (1, 2) = 1. Egy újabb iteráció elvégzése után Z 1 (1, 1) darab fekete háromszögb l a bal oszlopban Z 1 (1, 1) Z 0 (1, 1) = 1 darab fekete háromszög lesz. Ugyanis felnagyítva a fekete háromszögeket, azok ugyanúgy viselkednek, mint a kiindulási fekete háromszög, amelynek egy iteráció után a bal oszlopban Z 0 (1, 1) gyereke lesz. Hasonlóan az el z gondolatmenethez, Z 1 (1, 2) db zöld háromszög Z 1 (1, 2) Z 0 (2, 1) = 1 kis fekete háromszöget képez az I 010 intervallum fölé. Ez összesen Z 10 (1, 1) = Z 1 (1, 1) Z 0 (1, 1) + Z 1 (1, 2) Z 0 (2, 1) = 2 kis fekete háromszög. Ezt az elvet használva az állítás indukcióval adódik. Fontos megjegyezni, hogy itt az önhasonlóságot er teljesen kihasználtuk, hiszen minden lépést a kezdeti formákra vezettünk vissza. Ha például 3 3-as mátrixok adódnának, akkor 3 különböz alakzatunk lenne, és a továbbiakban ezekb l is legfeljebb 3 féle, ezekhez hasonló alakzatokat lehetne levezetni Az entrópia kiszámítása Most, hogy a ν mérték állapotvalószín ségeit ismerjük, gyeljük meg, hogy a V (q, Z 0, Z 1 ) folyamat egy rejtett Markov-láncként viselkedik, tehát az entrópiáját ilyen módon közelítve is meghatározhatjuk. Vegyük észre azt is, hogy a Z 0 és Z 1 mátrixok ergodikusak, és Z i 1 = 1 (i {0, 1}), tehát sztochasztikusak is. Ruiz el z fejezetben bemutatott módszere szerint ekkor a folyamat entrópiáját egy rejtett markov-lánc entrópiájaként

24 20 kezelhetjük. Birch munkája alapján tudjuk, hogy létezik exponenciális közelítése a Ḡ n = h(v n V n 1,..., V 1 ) és G n = h(v n V n 1,..., V 1, X 0 ) feltételes entrópiákkal, ahol G n jelöli az alsó, míg Ḡn az entrópia fels korlátját. Tudjuk, hogy Hasonlóképpen, Ḡ n = h(v n V n 1,..., V 1 ) = h(v n, V n 1,..., V 1 ) h(v n 1,..., V 1 ). G n = h(v n V n 1,..., V 1, X 0 ) = h(v n, V n 1,..., V 1, X 0 ) h(v n 1,..., V 1, X 0 ). Az alsó közelítést könnyen számolhatjuk, így például Ḡ 3 = 1 ln 2 lesz. i=0 j=0 k=0 P(V 1 = i, V 2 = j, V 3 = k) ln P(V 1 = i, V 2 = j, V 3 = k) 1 ln 2 i=0 P(V 1 = i, V 2 = j) ln P(V 1 = i, V 2 = j) = j=0 = 1 ln 2 i=0 j=0 k=0 1 ln 2 q i Z jz k 1 ln q i Z jz k 1 i=0 q i Z j1 ln q i Z j1. Wolfram Mathematica programmal számolva Ḡ11 = elég jó közelítés G n számításához be kell vezetünk egy plusz feltételt, az eredeti Markov-láncot. Tegyük fel, hogy ez X, és V = Φ(X), ahol X lehetséges értékei az {1, 2, 3, 4} halmaz elemei, és Φ(1) = Φ(2) = 0, és Φ(3) = Φ(4) = 1. j=0 P(X 0 = i 0, V 1 = i 1,..., V n = i n ) = q Z i 0 Z i1,...,i n 1, ahol Zi (i {1, 2, 3, 4}) mátrixokat úgy kapjuk, hogy a Z Φ(i) mátrix els, illetve második oszlopát változatlanul hagyjuk, a többit kinullázzuk. Ekkor ( ) ( ) ( ) ( ) Z1 =, Z2 =, Z3 =, és Z4 = mátrixok adódnak. Ezekkel a mátrixokkal számolva G 11 = , ami az els 6 tizedesjegyik megegyezik Ḡ11-gyel. Ezzel tulajdonképpen le is ellen riztük Ruiz eredményét, az els 6 tizedesjegyig.

25 7. A SIERPI SKI SZŽNYEG A Sierpi«ski sz nyeg Ebben a fejezetben Ruiz [6] technikáját terjesztem ki a Sierpi«ski sz nyeg 45 -os vetületének esetére Az állapotvalószín ségek meghatározása Ruiz eredménye nem csupán a Sierpi«ski háromszög esetében használható. Vegyük például a természetes mértéket(az egyenletes eloszlás mértékét) a 45 -kal elforgatott Sierpinski sz nyegen, s ezt vertikálisan vetítsük le a [0, 1] intervallumra. (A Sierpi«ski sz nyeg pontos denícióját megtalálhatjuk [4] el adásjegyzetben.) Ez egy önhasonló ν mérték lesz, a [0, 1] intervallumon vett F = {S 1 (x) = 1 3 x, S 2(x) = 1 x + 1, S 3 6 3(x) = 1x + 2, S 3 6 4(x) = 1x + 3, S 3 6 5(x) = 1x + 4} IFS-sel, p = ( 1, 2, 2, 2, 1) valószín ségekkel. A Sierpinski sz nyegen vett természetes µ mérték [0, 1]-re való leképezése Π, azaz ν = Π µ. Π ν 0 1 A Z i mátrixok meghatározásához bontsuk fel a sz nyeget a következ képpen: Az els iteráció el tt 0.5-nél függ legesen kettévágjuk a négyzetet, amely ezáltal I 0 és I 1 bal- illetve jobboldali háromszögekre esik szét. Ezután végezzük el az els iterációt, majd a 3. ábrán látható módon, függ leges egyenesekkel daraboljuk fel 6 részre. Ezen részeknek az intervallumra es vetületei I 00,..., I 12 lesznek. Észrevehet, hogy ekkor a négyzet 8 8 jobb- illetve bal oldali, egyenl szárú, derékszög háromszögre esik szét. Ezek hasonlóak az els vágás után keletkezett háromszögekkel. Vizsgáljuk meg külön-külön az egyes szeleteket. Vegyünk fel egy t pontot a [0, 1] intervallumon. Ha t I 0, akkor a bal oldali háromszöget kell vizsgálnunk, míg t I 1 esetén a jobb oldalit. A két intervallulmba esés valószín sége azonos, 1 2. Így

26 22 a kezdeti eloszlás vektorok e 0 = 1(1, 0) és 2 e 1 = 1 (0, 1). Amennyiben a keletkezett 2 háromszögek számát szeretnénk megkapni, nem kell lenormálnunk a vektorokat, e 0 = (1, 0)-t és e 1 = (0, 1)-et. Két fajta háromszög lévén 2 2-es mátrixokat kell konstruálni, számszerint 3-at, hiszen a háromszögeket 3 részre osztottuk fel. Legyenek ezek a mátrixok rendre ( ) ( ) ( ) Z0 =, Z1 = és Z2 = Számoljuk meg ugyanis, hogy az I 00, I 01,..., I 1,2 intervallumok fölött a Sierpinskisz nyeg hány darab 0-ás (baloldali) ill. 1-es (jobboldali) típusú háromszöget tartalmaz. Azt látjuk, hogy az I 00 fölött 1 db 0 és 0 db 1-es típusú van. Ha az I 10 -át nézzük, akkor látjuk, hogy mindkét típusból 2 db van. Így Z 0-ot balról a kezdeti eloszlással, jobbról a 1 vektorral szorozva kapjuk az adott rész háromszögeinek a számát. A Z1 mátrixot beszorozva bal oldalról az e 0 kezdeti eloszlásvektorral, a mátrix els sorából képzett vektort kapjuk vissza. Ekkor a bal oldali háromszög második oszlopát kell vizsgálnunk, azaz a mátrix els sorának meg kell mutatnia, hogy az I 01 intervallum fölött 2 darab 0-ás, és 1 darab 1-es típusú háromszög van. Az e 1 vektorral szorozva Z 1- ot, az I 11 intervallum fölötti háromszögek eloszlását kell visszakapnunk, vagyis I 00 I 01 I 02 I 10 I 11 I 12 I 0 I 1 3. ábra. a mátrix 2. sorában (1, 2) kell, hogy álljon. Hasonlóan, a Z 3 mátrix els sorának mutatnia kell, hogy I 02 fölött 2 baloldali, és 2 jobboldali háromszög van, a második sornak pedig, hogy I 12 fölött csak egy jobboldali háromszög található. Minden t pontnak így megfeleltethetünk egy 0 vagy 1-el kezd d, {0, 1, 2} N sorozatot. Nézzünk egy példát. Legyen t 1 kódjának els 4 jegye Ekkor az e i vektorok és a Zj mátrixok segítségével ki tudjuk fejezni azoknak a harmadik szinten lév háromszögeknek a számát, amelyekbe a t ponton keresztül a sz nyegre bocsátott függ leges egyenes belemetsz: #{háromszögek} = e 0 Z 2Z 0Z 11 = (16, 14)1 = 30. Azaz 30 db, harmadik szinten lév kis háromszögbe metsz bele. A számítást vissza tudjuk ellen rizni a 4. ábra

27 7. A SIERPI SKI SZŽNYEG 23 I 0201 I 020 I 02 I 0 4. ábra.

28 24 alapján úgy, hogy a piros sávba es háromszögeket összeszámoljuk. Ezzel egyúttal t I 0102 intervallumban való tartózkodásának valószín ségét is megkapjuk, ha Zi mátrixokat normáljuk. Azt már tudjuk, hogy ( a kezdeti ) eloszlásvektorok e 0 és e 1, összegük az 1(1, 2 1) vektor. Z0 + Z1 + Z2 = Z = Z 0 + Z 1 + Z 2, és e Z1 = 1 kell, hogy adódjon. Így Z i = 1 8 Z i, i = 0, 1, 2 Így annak a valószín sége, hogy t éppen az I 0201 intervallumban lesz, P(t I 0201 ) = e 0Z 2 Z 0 Z 1 1. Ezzel a módszerrel most már minden állapotvalószín séget könnyedén tudunk számolni Az entrópia kiszámítása Ruiz módszerét itt is alkalmazhatjuk, hiszen könnyedén látni, hogy a Z i (i {0, 1, 2}) mátrixok ergodikusak és sztochasztikusak. A Birch által bemutatott entrópiaközelítést alkalmazva például Ḡ 3 = 1 ln 3 i=0 2 j=0 k=0 2 P(V 1 = i, V 2 = j, V 3 = k) ln P(V 1 = i, V 2 = j, V 3 = k) 1 ln 3 i=0 2 P(V 1 = i, V 2 = j) ln P(V 1 = i, V 2 = j) = j=0 = 1 ln 3 i=0 2 j=0 k=0 1 ln 3 2 q i Z jz k 1 ln q i Z jz k 1 i=0 2 q i Z j1 ln q i Z j1. j=0 Szintén Wolfram Mathematica-val számolva Ḡ11 = adódik. Az alsó közelítés számolásához a Sierpinski háromszögnél már látott módszert kell alkalmaznunk. E szerint( deniáljunk ) hat mátrixot ( a Z i, ) i = 0, 1, 2 mátrixokból úgy, hogy azokat az A =, illetve B = mátrixokkal jobbról megszorozzuk, azaz az els, illetve második oszlopának elemeit nullákra cseréljük. Így a

29 7. A SIERPI SKI SZŽNYEG 25 ( 1 0 ) ( 0 0 ) Z 0A = Z 0 A = ( 2 0 ) Z 0B = Z 0 B = ( 0 1 ) Z 1A = Z 1 A = ( 2 0 ) Z 1B = Z 1 B = ( 0 2 ) Z 2A = Z 2 A = 1 Z 8 2B = Z 2 B = mátrixok adódnak. Tehát az entrópia alsó közelítése a következ képpen adódik: G 3 = 1 ln 3 i=0 2 j=0 k=0 2 P(V 1 = i, V 2 = j, X 0 = k) ln P(V 1 = i, V 2 = j, X 0 = k) 1 ln 3 i=0 2 P(V 1 = i, X 0 = j) ln P(V 1 = i, X 0 = j) = j=0 = 1 ln 3 ahol Z Xi = Z 0A, Z 0B, Z 1A, Z 1B, Z 2A, Z 2B. i=0 2 j=0 k=0 1 ln 3 2 q i Z jz Xk 1 ln q i Z jz Xk 1 i=0 2 q i Z X j 1 ln q i Z X j 1, Wolfram Mathematica programmal számolva G 9 = Összehasonlítva az eredményt Ḡ9-cel, azt kapjuk, hogy 8 tizedesjegy pontossággal megkaptuk a ν mérték entrópiáját. j=0

30 26 Összegzés Az informatikában fontos szerepe van az úgynevezett rejtett Markov-láncok (HMC) elméletének. Jó példa erre a bináris szimmetrikus csatornák esete, ahol ezzel a módszerrel modellezzük a folyamatot. Azonban a rejtett Markov-láncok entrópiája nem határozható meg valamely egyszer formula segítségével. David Blackwell 1957-ben mutatott egy lehetséges módszert ennek számolására, azonban a gyakorlatban való alkalmazása még mindig nem célravezet. Vannak azonban olyan közelít eljárások, melyekkel egy ilyen folyamat entrópiáját exponenciálisan tudjuk közelíteni. Ilyen közelít eljárást dolgozott ki 1961-ben John J. Birch is. Víctor Ruiznak az volt az észrevétele, hogy bizonyos önhasonló mértékeket, mint rejtett Markov-láncokat tekintheti, és a fent említett technika alkalmazásával nagyon jó becslést tudunk adni ezen mértékek Hausdor-dimenziójára. Ruiz ezt az elméletet a Sierpi«ski háromszög úgynevezett természetes mértékének az x tengelyre vetítésével el álló önhasonló mérték Hausdor-dimenziójának meghatározására alkalmazta. A dolgozatom önálló eredményeként ezzel a fenti technikával igazolom, hogy a Sierpi«ski sz nyeg 45 -os szöggel vett vetületeként el álló önhasonló mérték Hausdordimenziója 8 tizedesjegy pontossággal H = Ruiz eredményét kevesen ismerték fel, így az ötlete számos, eddig kiaknázatlan lehet séget rejt magában.

31 Irodalomjegyzék [1] David Blackwell, The entropy of functions of nite-state Markov chains. Trans. First Prague Conf. Information Theory, Statistical Decision Functions, Random Processes, (1957), [2] B. Balázs, M. Pollicott, K. Simon, Probability measures for projective transformations: the Blackwell measure. Preprint [3] Simon Károly, Dynamical systems course, dynsyst/index.html, Budapesti M szaki és Gazdaságtudományi Egyetem, [4] Simon Károly, Geometriai mértékelmélet és Fraktálok kurzus, math.bme.hu/~simonk/vf/lecture_1.pdf, Budapesti M szaki és Gazdaságtudományi Egyetem, [5] John J. Birch, Approximations for the Entropy for Functions of Markov Chains. Ann. Math. Statist. Vol. 33, (1962), [6] Víctor Ruiz, A compact framework for hidden Markov chains with applications to fractal geometry. J. Appl. Probab. Volume 45, Number 3 (2008),