Az információelmélet alapjai, biológiai alkalmazások. 1. A logaritmusfüggvény és azonosságai

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Az információelmélet alapjai, biológiai alkalmazások. 1. A logaritmusfüggvény és azonosságai"

Elemér Tamás
4 évvel ezelőtt
Látták:

1 Az információelmélet alapjai, biológiai alkalmazások 1. A logaritmusfüggvény és azonosságai 2 k = N log 2 N = k Például 2 3 = 8 log 2 8 = = log = 4 log 2 2 = 1 log 2 1 = 0 log 2 0 nincs értelmezve

2 log 2 ab = log 2 a + log 2 b log 2 a/b = log 2 a log 2 b log 2 1/b = 0 log 2 b log 2 a b = b log 2 a 2. Történet Hírközlés: Hartley 1928 C. Shannon AA Mathematical Theory of Communication Adó kódoló csatorna dekódoló vevő Zaj, torzítás

3 3. Alapvető fogalmak Diszkrét jelek mennek át bizonyos valószínűséggel. Kérdés: mennyi információt hordoznak a jelek? Az információ mérhető mennyiség. Minden információ kifejezhető 1 és 0 elemek sorozatával, a kódszóval. Ebből következik: a legkisebb információ az az, hogy 0 vagy 1. Ez az egységnyi információ (bit vö. kettős jelentés) ez átfordítható igen/nem re stb. Hány bit információt tartalmaz pl. a kihúzott magyar kártya megnevezése ez a megállapításhoz szükséges min. számú kérdések száma: log 2 32 = 5 általánosan log 2 N (Hartley)

4 Az információ a kimenetel megismerésével járó meglepődés mértéke, ami összefügg a kimenetelek számával, ill. azok valószínűségeivel. Hasonlítsuk össze a pénzfeldobást, a kockadobást stb. Általánosan: az információ valamely véges számú és előre ismert lehetőség valamelyikének megnevezése. Adott egy X = {x 1, x 2,.., x k,,x n } véges halmaz, ezek kiválasztásának egyenlő a valószínűsége (klasszikus val. mező). Mérés: legyen pl. n-féle tárgy a katalógusban I(x k ) = f(p k ) = f(1 / n) Ezek legyenek m féle színben, melyek egyformán valószínűek. Vagyis I(c i ) = f(p i ) = f(1/m)

5 Mi legyen f?? A szín majd a tárgy megállapítása egymástól függetlenül ugyanazzal az információval járjon, mint a tárgy és a szín együttes megismerése, vagyis: f(1/n) + f(1/m) = f(1/nm) További feltétel: ha nő a valószínűség, csökkenjen I. Ennek megfelel az f(x) = - log x (Shannon). Vagyis az egyedi információ: I(x k ) = - log p(x k ) = log 1/p(x k )

6 1. Példa: n = 8 féle tárgy, m = 8 féle szín. Ekkor mn = 64 I(x k és c i ) = I(x k ) + I(c i ) = -log 1/8 log 1/8 = log 8 + log 8 = = log 64 = - log 1/64 2. Példa: I = 6(-log 2 ½) = 6 log 2 2 = 6 = = log 2 64

7 4. Entrópia A figura helyével kapcsolatban a bizonytalanságot mérjük.. Általában azonban nem azonosak a valószínűségek, tehát az egyes kimenetelekhez tartozó valószínűségekkel súlyozni kell. H = Σ i p i log p i Ez tehát teljes eseményrendszerekre alkalmazható Tulajdonságai: 1. Folytonos 2. Nemnegatív, azaz 0 H(X) log 2 N 3. A maximumot egyenletes valószínűségekre kapjuk, a minimumot a biztos esetre 4. Szimmetrikus

8 Legyen Ω = {x 1, x 2 } és p(x 1 ) = 1 p(x 2 ) H 5. Együttes entrópia Tárgyak és színek példája Ω 1 = {x 1, x 2,,x k, x n } és Ω 1 = {c 1, c 2,,c i, c m } Descartes szorzat: c i x k x k c i A szorzattér elemei is teljes eseményrendszert alkotnak

9 H(X,C) = - Σ Σ p(x k,c i ) log p(x k,c i ) erre H(X,C) H(X) + H(C) Egyenlőség esetén független x és c. 1 Példa: c 1 c 2 x x H(X) = -2(½ log ½) = 1 H(C) = -2(½ log ½) = 1 H(X,C) = - 4 (¼ log ¼) = 2

10 2 Példa: c 1 c 2 x x H(X) = -2(½ log ½) = 1 H(C) = -2(½ log ½) = 1 H(X,C) = - 2 (2/20 log 2/20) - 2 (8/20 log 8/20) = = 1.72 vagyis H(X,C) < H(X) + H(C)

11 6. Kölcsönös információ A szín ismeretében mi a bizonytalansága a tárgynak: H(X c 1 ) = - 2/10 log 2/10 8/10 log 8/10 = =.72 Azaz H(X c 1 ) = H(X c 2 ) = H(C x 1 ) = H(C x 1 ) = 0.72 Az eredeti bizonytalanság 0.28-cal csökkent, ami pedig H(X) + H(C) - H(X,C) = I(X,C) = 0.28 Ábrázolása H(X) H(C) I(X,C)

12 Példák az ökológiából 1 Példa: A+ A- B B A Adonis vernalis B Bupleurum falcatum H(A) = 0.38 H(B) = 0.84 H(A,B) = 1.06 I(A,B) = Példa: A+ A- B B A Thymus praecox B Helianthemum canum H(A) = H(B) = H(A,B) = I(A,B) = 0.01

13 A kölcsönös információ tulajdonságai 1 I(A,B) mindig nemnegatív, csak akkor 0, ha A és B függetlenek 2 I(A,B)= H(A) csak akkor áll fenn, ha A és B között függvénykapcsolat van 3 I(A,B) = I(B,A) szimmetria 7. Súlyozott mennyiségek: Közvetlenül a gyakoriságokkal számolnak, ha m a kísérletek száma Entrópia H = Σ i p i log p i mh = mσ i p i log p i = m Σ k i /m log k i /m = Σ k i log k i /m = m log m Σ k i log k i

14 Együttes entrópia Y y j X x i k ij k i. k.j m=k.. mh(x,y) = m log m Σ Σ k ij log k ij Kölcsönös információ H(X) + H(Y) - H(X,Y) = I(X,Y) m log m Σ k i. log k i. + m log m Σ k.j log k.j {m log m Σ k ij log k ij } = m log m + Σ Σ k ij log k ij Σ k.j log k.j Σ k i. log k i.

15 vagyis Az Adonis / Bupleurum példa súlyozva mh(a)=30.4, mh(b)=67.2, mh(a,b)=84.8 I(A,B)=12.8

16 8. Biológiai alkalmazások Diverzitás sokféleség mérése, R. Margalef Intuitív értelmezés pl. faj, egyed a. Shannon-diverzitás H = Σ i p i log p i ezt voltaképpen becsüljük, azaz H = Σ i k i /m log k i /m b. Osztályozás Entrópia csökkentés, entrópia növekedésének minimalizálása, asszociáltság analízis

Hasonló dokumentumok

Valószínűségi változók. Várható érték és szórás

Matematikai statisztika gyakorlat Valószínűségi változók. Várható érték és szórás Valószínűségi változók 2016. március 7-11. 1 / 13 Valószínűségi változók Legyen a (Ω, A, P) valószínűségi mező. Egy X :