Az informatika részterületei. Az információ. Dr. Bacsó Zsolt

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Az informatika részterületei. Az információ. Dr. Bacsó Zsolt"

Lőrinc Dobos
7 évvel ezelőtt
Látták:

1 Az informatika részterületei Dr. Bacsó Zsolt Információelmélet, inf. tartalom mérése, inf. mennyiség Információ továbbítás (hírközlés) jel, kódoláselmélet, hírközlőrendszerek, továbbítás sebessége Információ feldolgozás logika, Boole-algebra Irányításelmélet (kibernetika) szabályozás, vezérlés, automaták elmélete Alkalmazott informatika játékelmélet, számítástechnika, telekomunikáció, biokibernetika, bioinformatika Az Norbert Wiener, 948 kübernetész, (κυβερνετησ, görög) - hajókormányos gépekben, élőlényekben, társadalomban megvalósuló vezérlési és kommunikációs folyamatokkal foglalkozó tudomány informatio, latin - képzés, felvilágosítás, kioktatás mindennapi életben tudásnyereség ismeretanyag növekedése, bizonytalanság csökkenése filozófiai értelemben az, az anyag és az energia mellett a világ harmadik alapvető eleme (fogalma, mennyisége) 960-tól inkább: Informatika - (computer science) az (főleg számítógépekkel és mobil telefonokkal történő) feldolgozásával és továbbításával foglalkozó tudomány forrás üzenet vevő

2 Információtartalom Az és a véletlen kapcsolata Az mennyiségének a számítása üzenet célja: bizonytalanság eloszlatása tartalom: azon határozatlanság mértéke amit az üzenet megszüntet véletlen eseményeken végzett kísérletek eredményének megjóslásában rejlő határozatlanság kísérletek k számú egyenlően valószínű kimenetellel (pl. érmefeldobás, lottóhúzás) α - az adott kísérlet k - a kísérlet kimeneteleinek száma H(α) - a határozatlanság mennyisége Információelmélet Az és a véletlen kapcsolata A kódelem (pl. betű) előfordulásának valószínűsége az üzenetben: Annak a valószínűsége, hogy egy n elemű kódkészlet (ábécé) egy eleme (betűje) az üzenetben megjelenjen: p= /n (pl. bináris kód: /2 ; angol ábécé: /26) Egyk hosszú kódelem sorozat (pl. k db betűbőlálló szó) valószínűsége az egyes elemek előfordulási valószínűségének szorzata: p = p p 2 p k forrás Az üzenet vevő Az üzenet t közvetít a forrástól a vevőhöz Az üzenet kódjelek sorozataként szállítja az t A kódjelek a kódkészlet elemei (pl. latin ábécé, morzejelek, ASCII kód, zászlójel-ábécé) Információelmélet Az és a véletlen kapcsolata A kódelem (pl. betű) tartalma az üzenetben: Egy n elemű kódkészlet (ábécé) egy elemének (betűjének) a tartalma: I = lb n = - lb p (Mely az adott betűnek az ábécén belül való megtalálásához szükséges bináris döntések számával egyenlő. Bináris kód esetén pl.: lb 2 = ; angol ábécé esetén: lb 26 = 4.70) Egy k hosszú kódelem sorozat (pl. k db betűből álló szó) tartalma az egyes elemek tartalmának az össze: I = I +I 2 + +I k

A sakktáblán elhelyezett bábu helyzetének megkeresése eldöntendő kérdésekre adott igen-nem válaszok alapján (bináris döntés) Információtartalom Kockánként kérdezve: 64 Sorokra és oszlopokra egyenként

4: 7-8 sorban van? nem 5-6 sorban. 5: H oszlopokban van? nem a G oszlopban. 6: 5. sorban van? igen a G5-ön van.

3 A sakktáblán elhelyezett bábu helyzetének megkeresése eldöntendő kérdésekre adott igen-nem válaszok alapján (bináris döntés) Információtartalom Kockánként kérdezve: 64 Sorokra és oszlopokra egyenként kérdezve 6 kérdésre lett volna szükségünk! 2 6 = 64 log 2 64 = 6 bit : -4 sorokban van? nem 5-8 sorban. 2: A-D oszlopokban van? nem E-H oszlopokban. 3: E-F oszlopokban van? nem G-H oszlopokban. 4: 7-8 sorban van? nem 5-6 sorban. 5: H oszlopokban van? nem a G oszlopban. 6: 5. sorban van? igen a G5-ön van. k számú egyenlően valószínű kimenetellel rendelkező α kísérlet bekövetkezésével kapcsolatos határozatlanság mértéke definíció szerint: H ( α )= loga k a kísérlet kimenetelei számának logaritmusa α - az adott kísérlet k - a kísérlet kimeneteleinek száma H(α) - a határozatlanság mennyisége az a alap megválasztása megállapodás kérdése Az tartalom tulajdonságai mely tulajdonságokkal a logaritmus függvény rendelkezik Biztos vagy determinisztikus esemény (I) határozatlansága, k= Kísérletek kimenetelének a számával arányosan növekszik a H( α )< H( β ) határozatlanság, - monoton növekvő f ( n ) < f ( m) k =n < k 2 =m log a ( x) Két kísérlet együttes bekövetkezésésének a határozatlansága f ( x ) = log a ( x) H ( α )+ H( β ) f (n)+ f(m) = H ( I )= 0 f( )= 0 log ( ) = 0 f (n m) log ( n m ) = log n + log m a a a a Információtartalom Információ mennyiség mértékegysége a bit: Két egyenlően valószínű kimenetellel rendelkező esemény egy kimenetelének a megadásához rendelhető tartalom bit. Egy kételemű ábécé azonos kiválasztási valószínűséggel rendelkező elemei közül az egyik kibocsátása hordoz bit t. Egy eldöntendő kérdésre adott válasz hírértéke bit, ha mind az igen mind a nem válasznak azonos a valószínűsége. H = k 2 = 2 = = binary unit or basic information unit

4 Információtartalom és a valószínűség H ( α ) = log k, ahol k = /p = p - Azaz: H ( α) = log p Minden kísérlet közül, amelynek k számú kimenetele van, a leghatározatlanabb az, amelynél a lehetséges kimenetelek egyenlő valószínűek. I(α) I p = k i= p i log p i (Boltzmann: S = k lnw ) Az a valószínűség negatív logaritmusa. Claud Elwood Shannon (96) Kísérlet entrópiája (forrásentrópia,átlagos tartam), mely egyenlő a kísérlet kimenetelének a határozatlanságával. Tekintsünk egy k = 2 kétkimenetelű (Bernoulli) α eseményt, ahol P(k )=p, P(k 2 )=q, és p+q=, ekkor I(α) = - p lb p - q lb q, azaz I(α) = p lb (/p) + (-p) lb (/(-p)) átlagos tartalom (H) valószínűség (p) Shannon-függvény Információtartalom számítása I Kétkimenetelű, egyformán valószínű Bernoulli-esemény bekövetkezését jelző hír tartalma: A sakkbábú pozícióját jellemző tartalom: Weber-Fechner pszichofizikai törvény: p k = 2; p = p2 = I = lb 2 = bit S = konstans log I I 0 2 k = 64; p = p2 =... = p64 = I = lb64 = lb2 6 = 6 bit 64 DNS tartalma Számítsuk ki egy 0 5 bp-ból álló DNS lánc tartalmát: k = 4 féle bázis n= helyen, így az összes lehetséges egyenlő valószínűségű sorrend V=k n (ismétléses variáció), V= I = logv = log = 0 5 log 4 = 0 5 lb2 2 bit = bit Å x 20 Å térben kromoszóma 5 x 0 9 bázispárja 0 x 0 9 bit humán genom (23 krom. pár) 5 x 0 bit (~60 Gbyte)

Fehérjék tartalma Információ továbbítás (hírközlés) Hírközlő renszerek felépítése Számítsuk ki egy 0 3 aminosavból álló átlagos fehérje tartalmát: k = 20 féle aminosav n=000 helyen, így az összes

(hírközlés) Stimulus Látás elektromágneses Érzékszerv Hallás Tapintás mechanikus mechanikus Hőérzés hőmérséklet különbség Szaglás kémiai Ízlelés kémiai emberi beszéd rádió Hely retina membrana

5 Fehérjék tartalma Információ továbbítás (hírközlés) Hírközlő renszerek felépítése Számítsuk ki egy 0 3 aminosavból álló átlagos fehérje tartalmát: k = 20 féle aminosav n=000 helyen, így az összes lehetséges egyenlő valószínűségű sorrend V=k n (ismétléses variáció), V= I = lbv = lb lb bit Az emberi érzékszervek feldolgozó kapacitása Információ továbbítás (hírközlés) Stimulus Látás elektromágneses Érzékszerv Hallás Tapintás mechanikus mechanikus Hőérzés hőmérséklet különbség Szaglás kémiai Ízlelés kémiai emberi beszéd rádió Hely retina membrana basilaris bőr bőr orrüreg nyelv szájpadlás Receptorszám Idegrostok száma Információ kapacitás (bit) 0 7 csap 0 8 pálcika nyomás fájdalom meleg hideg fehérje szintézis sejtmagban a transzkripció: kódolás, mrns: szállítás, citoplazmában a riboszómán: dekódolás

Információ továbbítás (hírközlés) kódolás átalakítása fizikailag továbbítható jelekké,

betűk, purin és pirimidin bázisok, aminosavak) analóg térben ésidőben, alsó és felső érték

hang) digitális jelek nagysága csak adott véges számú értéket vehet fel (pl.

bázis (4-es számrendszer jegyei) k=20 aminosav (20 jelszint) I = log 4 20 2.

6 Információ továbbítás (hírközlés) kódolás átalakítása fizikailag továbbítható jelekké, jelsorozatokká (pl. kodon aminosav) jelek megjelenítésére szolgáló jelkészlet elemei (pl. betűk, purin és pirimidin bázisok, aminosavak) analóg térben ésidőben, alsó és felső érték között folytonosak (pl. hang) digitális jelek nagysága csak adott véges számú értéket vehet fel (pl. betűk, számok) A jelek és az irányított rendszer kapcsolata Fehérjeszintézis kódolása n = 4 bázis (4-es számrendszer jegyei) k=20 aminosav (20 jelszint) I = log db jel szükséges felfelé kerekítve triplet, így viszont I = 4 3 = 64 aminosav kódolható, azaz Redundáns(bőbeszédű) a kód Mértéke: Nyílt hatáslánc H max - H R = 3-2, 6 R = = 28 % H max 3 vesztés csökkenését eredményezi

7 Szabályozás Zárt hatáslánc Hiba Jel = Ki Jel - Be Jel Jelvisszacsatolás - feedback Visszacsatolás negatív pozitív

Hasonló dokumentumok

Az Informatika Elméleti Alapjai

Az Informatika Elméleti Alapjai dr. Kutor László Az üzenet információ-tartalma és redundanciája Tömörítő algoritmusok elemzése http://mobil.nik.bmf.hu/tantárgyak/iea.html Felhasználónév: iea Jelszó: IEA07