Az Informatika Elméleti Alapjai

Átírás

1 Az Informatika Elméleti Alapjai dr. Kutor László Törtszámok bináris ábrázolása, Az információ értelmezése és mérése Felhasználónév: iea Jelszó: IEA07 BMF NIK dr. Kutor László IEA 6/1 IEA 1. zh. eredményei A megadott pontot elért dolgozatok száma ősz zh pont BMF NIK dr. Kutor László IEA 6/2

2 Számok ábrázolása helyértékes rendszerben Szám = ± m * R ± k pl.: = * 10 3 normalizált alak R = számrendszer alapszáma ( Radix) m = mantissza k = kitevő (karakterisztika) Szám = m 7 *R m 7 m 6 m 5 m 4 m 3 +m 0 *R 0 = m 2 m 1 m n-1 mi *R i i=0 BMF NIK dr. Kutor László IEA 6/3 Decimális törtek bináris ábrázolása Szám = ± m * R ±k BMF NIK dr. Kutor László IEA 6/4

3 Karakterisztika ábrázolás Abszolutértékes +x/2 x -x/2 Előjel MSB Negatív 1, pozitív 0 2-es komplemens x -x/2 Többletes, (eltolásos) +x/2 x MSB Negatív 1, pozitív 0 -x/2 +x/2 MSB Pozitív 1, negatív 0 BMF NIK dr. Kutor László IEA 6/5 Számábrázolás DCBA. a bájt szervezésű tárban big-endian Cím Tartalom DC BA IBM 370, PDP-10, Motorola, Angol internet cím, pl: uk.ac.bris.pys.as, magyar (japán) dátum: év, hónap, nap little-endian Cím Tartalom BA PDP-11, VAX, Intel, Internet cím DC pl: mobil.nik.bmf.hu európai dátum: dd.mm.yy middle-endian Cím Tartalom CD AB amerikai dátum: mm/dd/yy 10/9/2005 BMF NIK dr. Kutor László IEA 6/6

4 Decimális törtek bináris lebegőpontos ábrázolása Az ábrázolás lépései: 1. A decimális szám egész részének binárissá alakítása 2. A decimális szám tört részének bináris törtté alakítása 3. A bináris tört normalizálása, azaz a bináris pont elmozgatása az első bináris 1 elé ( 0.5 és 1 közé normalizálás, lebegő pont ). 4. A bináris kitevő ( karakterisztika ) többletes, vagyis eltolásos ábrázolása (a többlet értéke a számábrázolási hossztól függ: 127 short real, 1023 long real, temporal real ) 5. A bináris tört ( mantissza ) MSB-jének elhagyásával ( implicit MSB ) a bináris tört ábrázolása 6. A processzor típusától függően a bitsorozat little-endian vagy big-endian ábrázolása. BMF NIK dr. Kutor László IEA 6/7 Az IEEE számábrázolási szabvány kialakulása BMF NIK dr. Kutor László IEA 6/8

5 Az IEEE számábrázolás adattípusai Ábrázolható tartomány ~ <= X<= *10 9 <= X<= +2*10 9-9*10 18 <= X<= + 9* <= X<= (18 számjegy) 8.43*10-37 <= X<= 3.37* * <= X<= 1.67* * <= X<= 1.2* BMF NIK dr. Kutor László IEA 6/9 Az információ értelmezése és mérése Alapvető kérdés: Az információ jelenség, vagy lényeg? Az informatikában az információt fizika mennyiségként értelmezzük, és mérésénél ennek megfelelően járunk el. BMF NIK dr. Kutor László IEA 6/10

6 Káosz? Rend? Worldpress 1994 BMF NIK dr. Kutor László IEA 6/11 Az Információ értelmezése 1. Az információ szó szinonimái a köznapi használatban: Tájékoztatás Hír, Újság Adat Felvilágosítás Közlés Tudás Bejelentés Jellemzés Értesülés Tudományos értelemben: Az információ olyan mennyiség amely egy eseményrendszer egyik vagy másik eseményének bekövetkezéséről, (illetve egy állapottér egyik vagy másik állapotáról) elemi szimbólumok sorozatával közölhető. BMF NIK dr. Kutor László IEA 6/12

7 Az információ értelmezése 2. Az információ az anyag tulajdonságainak visszatükröződése jelek formájában Az információ egy üzenet kiválasztásában rejlő szabad választásunk mértékét jelöli Minden mérési eljárásnál elvárjuk, hogy ha egy mennyiséget részekre bontva mérünk meg, akkor a részek mérőszámainak összege egyezzen meg az egész mennyiség mérőszámával. A mérték additivitása BMF NIK dr. Kutor László IEA 6/13 Az információ mérés előfutárai R. Fisher (1925) Statisztika Kérdés: Egy mintából mennyire lehet becsülni az egészet? R. Hartley (1928) Híradástechnika Kérdés: Mitől függ az üzenet információ tartalma Választás során hogyan függ az információ egy adott ABC, illetve szótár (sokaság) méretétől? BMF NIK dr. Kutor László IEA 6/14

8 Az információ mérése 2. A tárgyak színeinek száma m ( C 1, C 2, C 3, C i,..c j, C m ) Az C j kiválasztásához tartozó információ = I (C j ) I (C j )= f 1 (m), I (C j )= f 2 (1/m), I (C j )= f 3 (p{c j }) n ( X 1, X 2, X 3, X j,..x k, X n ) Az X k kiválasztásához tartozó információ = I (X k ) A tárgyak típusainak száma I (X k )= f 1 (n), I (X j )= f 2 (1/n), I (X j )= f 3 (p{x k }) BMF NIK dr. Kutor László IEA 6/15 Az információ mérése Választási lehetőségek: 1. Tárgyat majd színt választunk (külön-külön) Additivitás: 2. Tárgyat és színt választunk (egyidejűleg) I (X k ) + I (C j )= I (X k, C j ) f 1 (n) + f 1 (m) = f 1 (n * m) f = log? f 2 (1/n) + f 2 (1/m) = f 2 (1/n * 1/m) f 3 (p{x k }) + f 3 (p{c j })= f 3 (p{x k *C j } BMF NIK dr. Kutor László IEA 6/16

9 R. Hartley formula az információ mérésére H= k * log n Ahol H = az információ mennyiség egy üzenet (szó) kiválasztásakor n = az üzenet-abc betűinek száma k = a betűk száma az üzetben (szóban) Az információ mértékegységei különböző logaritmusok estén: H = k * log 10 n [ Hartley] H = k * log 2 n [ Shannon, bit] H = k * log e n [ Nat ] BMF NIK dr. Kutor László IEA 6/17 Hasonló összefüggéssel leírható mennyiségek Fizikai entrópia: S= k * log e D Ahol S = az entrópia nagysága k = Boltzmann állandó (1.38 * [J/K]) D = a rendszer különböző állapotainak száma Az inger keltette érzet nagysága (Weber-Fechner törvény) É= k * log e I+C Ahol É = az érzet-, I = az inget nagysága k = az érzékszervre jellemző konstans C = az abszolút ingerküszöb Fechner_law BMF NIK dr. Kutor László IEA 6/18

10 Egy kártya kiválasztásához tartozó információ 1. BMF NIK dr. Kutor László IEA 6/19 Egy kártya kiválasztásához tartozó információ BMF NIK dr. Kutor László IEA 6/20

11 Betű kiválasztása a karakterkészletből H=log BMF NIK dr. Kutor László IEA 6/21 Betű kiválasztása a karakterkészletből H=log Simon ben Kosiba, i.sz Bar Kochba ( a csillag fia ), BMF NIK dr. Kutor László IEA 6/22

12 Az információ (entrópia) függvény S = (X 1, X 2 ) P = (P 1, P 2 ) P 1 = 0 P 2 = 1- P 1 = 1 H = - (0 1*log 2 1 ) = 0 P 2 = 0 P 1 = 1- P 2 = 1 H = - (1*log ) = 0 P 1 = P 2 = 0.5 H = log 2 2 = 1 H Pi BMF NIK dr. Kutor László IEA 6/23