Bevezetés az Informatikába

Átírás

1 Bevezetés az Informatikába Karakterek bináris ábrázolása Készítette: Perjési András

2 Alap probléma A számítógép egy bináris rendszerben működő gép Mindent numerikus formátumban ábrázolunk Az emberek számára kényelmetlen az információ ilyen módú értelmezése (az itt ülőkre természetesen ez nem vonatkozik, 0x75 0x67 0x79 0x65*? ) *: értsd 7 bites ASCII karakterábrázolás szerint

3 Egy ideális világban... A számokat decimálisan ábrázoljuk és decimális számrendszerben értelmezzük A szövegeink betűkből épülnek fel(nem pedig bináris értékekből) Nemzetenként az ábécék sajátos betűket(jeleket...) tartalmazhatnak

4 Egy digitális világban... A számokat binárisan Fixpontosan, lebegőpontosan(ieee 754) Karaktereket binárisan BCD 6 bit EBCDIC 8 bit ASCII 7 bit UTF bit UTF bit

5 Decimális számok ábrázolása BCD-vel Binary Coded Decimal IBM szóhasználatában, 6 bites alfanumerikus kódok (64 darab) decimális számjegyek, nagybetűk, speciális jelek) számjegyek esetén felső két bit 00...bennünket valójában ezek érdekelnek...\o/

6 Decimális számjegyek BCD-n Több kódolási forma is létezik, ezek közül kettő: Natural Binary Coded Decimal (bitsúly: ) Aiken (bitsúly: ) Decimális Számjegy Bináris NBCD kód Bináris Aiken kód

7 BCD ábrázolása Byte-orientáltak vagyunk Kézzel mindig hexadecimálisan írjuk fel Két módszer létezik Zónás(pakolatlan) ábrázolás Pakolt ábrázolás

8 Zónás ábrázolás Alsó 4 biten mindig a számjegy Felső 4 biten implementáció függő EBCDIC implementáció esetén 1111 vagyis F ASCII implementáció esetén 0011 vagyis 3 Decimális szám: 127 Ábrázolva EBCDIC-vel F1 F2 F7 Ábrázolva ASCII-vel

9 Pakolt ábrázolás 1 decimális számjegy 4 biten byte-on tároljunk 2 decimális számjegyet... Decimális szám: 127 Ábrázolva pakoltan páratlan számjegy esetén a felső nibble-re 0-t írunk

10 Előjeles BCD-k Előjelek ábrázolásának több módja is van, két közkedvelt BCD kód (természetesen hexadecimálisan) C - pozitív(+) D - negatív(-) Ábrázolva EBCDIC-vel Pakolt F1 F2 C7 12 7C

11 Hatékonyság 16 biten tárolható szám esetén tisztán binárisban (2) = NBCD ábrázolásban (10) (2) = 9999 (10)

12 Pro/Contra BCD Pro belső ábrázolás-szöveg(képernyőnnyomtatón) konverzió hatékonyabb egyszerűbb hardware-es szükséges kerekítés, valós rész tárolás Contra tárolás nem túl hatékony(16 biten 0,16%) több aritmetikai művelet megvalósítása bonyolultabb mint tiszta binárison

13 Összeadás NBCD-ben Összeadás számjegyenként Ha a számjegyek összege 9-nél nagyobb, az eredményhez adnunk kell 6-ot(binárisan: 0110), hogy a következő helyiérték a következő nibble-re essen Amennyiben van további összeadandó helyiérték akkor természetesen az előbbi áthozatot ehhez hozzáadjuk.

14 Összeadás NBCD-n(Példa) Végezzük el az NBCD-n a következő műveletet: Decimális NBCD Decimális NBCD

15 Összeadás NBCD-n(1.lépés) ????

17 Összeadás NBCD-n(3.lépés) ???? kisebb mint 9

18 Összeadás NBCD-n(4.lépés) ???? Nem nagyobb 9-nél

19 Összeadás NBCD-n(5.lépés) ???? 1001

21 Összeadás NBCD-n(7.lépés) ???? nagyobb mint 9

22 Összeadás NBCD-n(8.lépés) ???? ???? nagyobb mint 9

23 Összeadás NBCD-n(9.lépés) ???? nagyobb mint 9

24 Összeadás NBCD-n(10.lépés) ???? ????

25 Összeadás NBCD-n(11.lépés) ???? ????

29 Összeadás NBCD-n (eredmény) NBCD Decimális Decimálisan kiszámolva az eredményt láthatjuk hogy az előbbi algoritmus helyes: =309

30 Karakterek kódolása A binárisan tárolt numerikus értékekhez karaktert rendelünk Kölcsönös és egyértelmű hozzárendelés, minden karakterhez megállapodás alapján adott kód tartozik. (belső ábrázolás/kód) Fontos szempont: a hordozhatóság (helyi nyelvi jellegzetességek)

31 Kódolási rendszerek American Standard Code for Information Interchange ASCII Extended ASCII Extended Binary Coded Decimal Interchange Code - EBCDIC Unicode Transformation Format UTF-8, UTF-16

32 ASCII kódrendszer Amerikai Szabványügyi Hivatal fejleszti korai távírók kódrendszere alapján 1956, Ivan Idelson indítványa a Brit Szabványügyi Hivatalhoz Első alkalmazás: 1963, AT&T TWX távíró rendszerében

33 ASCII kódrendszer tulajdonságai 7 bites kód A legtöbb rendszer ekkor már byte alapú Sokáig a 8. bit paritás illetve vezérlő bit Latin ábécén alapul és tartalmazza az angol nyelv kis/nagy betűit

34 ASCII kódtábla csoportjai I. 7 bites kódtábla felépítése helyiérték Decimális bit érték KarakterCsoport Vezérlő karakterek Számjegyek és elválasztó jelek Nagybetűk és különleges jelek Kis betűk és különleges jelek

35 Extended ASCII A nyelvi jellegzetességek követésére: 8. bit alkalmazása karakterek tárolásához ISO implementálás ISO Latin 1 Western European ISO Latin 2 Eastern European ISO Cyrillic Microsoft implementáció CP-1252

36 Extended ASCI jellemzői Egy karakter - 1 byte Első 128 karakter szabványos, állandó A második 128 karakter mindig az adott kódtábla által specifikált A helyes értelmezéshez tudnunk kell, hogy a szöveg milyen kódtábla szerint került tárolásra

37 ASCII jelentősége A fejlesztésben az IBM részt vett, innen a mai PC-k IBM kompatibilitása(kisgépes környezetekben ez terjedt el) Karakterábrázolásban, hálózati kommunikációban(ftp ASCI adatátvitel)

38 EBCDIC kódrendszer Extended Binary Coded Decimal Interchange Code Kizárólagos IBM fejlesztés(még az ASCII előtt) Először között IBM System/360 mainframe-en

39 Történeti vonatkozás Nagygépes környezet 12 soros lyukkártyákon alkalmazzák Zóna rész: első 3 sor Szám rész: további 9 sor

40 EBCDIC jellemzői 8 bites kódrendszer Nem kompatibilis az ASCII-vel A kódtábla egy standard részre és egy kódlap specifikált részre osztható Hatékonyságra nézve nincs jelentős különbség az ASCII és az EBCDIC között

41 EBCDIC Latin-1 kódtábla, (vezérlő karakterek nélkül)

42 EBCDIC Alkalmazása Napjainkban is IBM nagy gépes környezetekben Szövegfájloknál Adatbázisoknál Unicode karakterkészlet megjelenítéshez UTF-EBCDIC (nem terjedt el)

43 Univerzális kódtábla igénye Az számítógépek elterjedésével egyre több ország, egyre több karakterét kellett megjeleníteni Nem feltétlenül fért el egy nyelv ábécéje a második 128 karakteren A kódtáblák között lehetetlen megteremteni az átjárhatóságot

44 Unicode szabvány Ipari szabvány mely a különböző nyelvek írott szövegeinek átviteléhez, feldolgozásához, megjelenítéséhez ad módszert. (jelek sorrendje, írásmódja) Jelenleg: Unicode Október 08.

45 Unicode Konzorcium A szabvány fejlesztői támogatói Bárki részese lehet a tagsággal járó díj kifizetése mellett Kalifornia-i székhely Jól ismert konzorciumi tagok:

46 Unicode karakterek ábrázolása karakter(kódpont) - Unicode 7.0 Unicode karakterek ábrázolása(kódolás) : UTF-8 8 bites, egy karakter 1-4 byte UTF bites, egy karakter 2-4 byte

47 UTF-8 kódolás Ábrázolás 8 bites kódegységekkel Visszafelé kompatibilitás ASCII Latin-1 Változó hosszúságú kódolás Karakterek belső kódja(kódpontja) UTF-8 kódolással byte-on ábrázolható

48 Változó hosszúságú kódolás Elméleti ábrázolás legfeljebb 21 biten (Unicode 7.0 szabvány szerint) Az esetek többségében nem férünk el egy byte-on (szám szerint esetben )

49 Konverziós táblázat Belső kód 1. byte prefixumok További byteokszáma abc defg 0abc defg 0 abc dexx xxxx 110a bcde 1 abcd xxxx xxxx xxxx 1110 abcd 2 a bcxx xxxx xxxx xxxx xxxx abc 3 ab xxxx xxxx xxxx xxxx xxxx xxxx ab 4 axx xxxx xxxx xxxx xxxx xxxx xxxx xxxx a 5 További byte-ok prefixuma: 10xx xxxx

50 Konverziós tábla használata I. A Belső kód oszlop használata: A bitkekre illesszük a Unicode karakter bináris kódját (ha szükséges egészítsük ki balról 0-kkal) UTF-8 kód oszlopok használata: Félkövér bitek: szabad bit -ek a Belső kód oszlop bitjeit kell ide írni folytonosan Normál szedésű bitek: rögzített prefixum bitek, a meghatározott bitértékeket tárolja

51 Változó hosszúságú kód előállítása I. Unicode karakter: Belső kód: U+03D7 Belső kód binárisan:

52 Illesztés 1. sorra Belső kód 1. byte prefixumok További byteokszáma abc defg 0abc defg 0 abc dexx xxxx 110a bcde 1 abcd xxxx xxxx xxxx 1110 abcd 2 a bcxx xxxx xxxx xxxx xxxx abc 3 ab xxxx xxxx xxxx xxxx xxxx xxxx ab 4 axx xxxx xxxx xxxx xxxx xxxx xxxx xxxx a 5 További byte-ok prefixuma: 10xx xxxx

53 Utolsó 7 bit illeszkedik Belső kód 1. byte prefixumok További byteokszáma abc defg 0abc defg 0 abc dexx xxxx 110a bcde 1 abcd xxxx xxxx xxxx 1110 abcd 2 a bcxx xxxx xxxx xxxx xxxx abc 3 ab xxxx xxxx xxxx xxxx xxxx xxxx ab 4 axx xxxx xxxx xxxx xxxx xxxx xxxx xxxx a 5 További byte-ok prefixuma: 10xx xxxx

54 ...felső 9 bit viszont eltér Belső kód 1. byte prefixumok További byteokszáma abc defg 0abc defg 0 abc dexx xxxx 110a bcde 1 abcd xxxx xxxx xxxx 1110 abcd 2 a bcxx xxxx xxxx xxxx xxxx abc 3 ab xxxx xxxx xxxx xxxx xxxx xxxx ab 4 axx xxxx xxxx xxxx xxxx xxxx xxxx xxxx a 5 További byte-ok prefixuma: 10xx xxxx

55 Illesztés 2. sorra Belső kód 1. byte prefixumok További byteokszáma abc defg 0abc defg 0 abc dexx xxxx 110a bcde 1 abcd xxxx xxxx xxxx 1110 abcd 2 a bcxx xxxx xxxx xxxx xxxx abc 3 ab xxxx xxxx xxxx xxxx xxxx xxxx ab 4 axx xxxx xxxx xxxx xxxx xxxx xxxx xxxx a 5 További byte-ok prefixuma: 10xx xxxx

56 Bit illeszkedés Belső kód 1. byte prefixumok További byteokszáma abc defg 0abc defg 0 abc dexx xxxx 110a bcde 1 abcd xxxx xxxx xxxx 1110 abcd 2 a bcxx xxxx xxxx xxxx xxxx abc 3 ab xxxx xxxx xxxx xxxx xxxx xxxx ab 4 axx xxxx xxxx xxxx xxxx xxxx xxxx xxxx a 5 További byte-ok prefixuma: 10xx xxxx

57 UTF-8-as kód képzése (első byte) Tárolandó belső kód bitjei (előző oldalon sötét zölddel jelölve) UTF-8-as kód első byte-ja mivel második sorban vagyunk... Bitminta Konkrét első byte 110a bcde

58 UTF-8-as kód képzése (további byte-ok) Tárolandó belső kód bitjei UTF-8 további bájtok sortól függetlenül... Bitminta Konkrét első byte 10xx xxxx

59 Változó hosszúságú kód előállítása I. Unicode karakter: Belső kód: U+03D7 Belső kód binárisan: Belső kód UTF-8-as ábrázolással: CF 97

60 UTF-16 kódolás Ábrázolás 16 bites kódegységekkel 1 x 16 bit 0x0000-0xFFFF kódpontig(bmp) 2 x 16 bit - 0x x10FFFF kódpontig Változó hosszúságú kódolás Karakterek belsőkódja 2-4 byte-on ábrázolható(~1 vagy 2 darab 16 bites egységen) Kódpont több(>=2) bájton...milyen sorrendben értelmezzük a szó byte-jait?

61 Byte-order ~ Endianess Lilliput-i architektúra vagy Brobdingnag-i architektúra A kérdés pontosabban: Milyen sorrendben tároljuk az adategységeket(avagy felső vagy alsó helyiérték egységekkel kezdjük?)

62 A nagy végű világ Big Endian szabály: nagy vég az elején legnagyobb byte(most Significant Byte) kerül a legalacsonyabb címre egységen belül a felső helyiértékű byte-okat tároljuk először Hexadecimális számérték: Big Endian tárolás 2 byte-os egységekel: 0A0B0C0D 0A0B 0C0D

63 A kis végű világ Little Endian szabály: kis vég az elején legkisebb byte(least Significant Byte) kerül a legalacsonyabb címre egységen belül az alsó helyiértékű byte-okat tároljuk először Hexadecimális számérték: Little Endian tárolás 2 byte-os egységekel: 0A0B0C0D 0B0A 0D0C

64 UTF-16 és endianitás Endianitás jelzése miatt 3 szabvány UTF-16 Byte Order Mark kezdő karaker FE FF (big endian), FF FE (little endian) UTF-16BE(Big Endian) ~ nagy vég az elején UTF-16LE(Little Endian) ~ kicsi vég az elején A következő példák mind UTF-16BE kódolást használnak

65 UTF-16, 2 byte-os ábrázolás Ha a Unicode kódpont nem nagyobb mint 0xFFFF(65535) akkor az ábrázolás 1 darab 16 bites szóval történik A karakter - hexadecimális - Unicode azonosítója: U Mivel ez nem nagyobb mint 0xFFFF, így UTF-16-ban is vagy formában reprezentáljuk

66 UTF-16, 4 byte-os ábrázolás 0xFFFF(65535) értéknél nagyobb Unicode kódpontok 2 darab 16 bites szón Ezek ábrázolásához úgynevezett helyettesítő-párt használunk a négy byte-ot 0xD800-0xDFFF tartomány kettéosztásával tároljuk 1. szó a 0xD800-0xDBFF értéktartományon 2. szó a 0xDC00-0xDFFF értéktartományon

67 UTF-16 kód előállítás helyettesítő párral (Példa) A CJK(Chinese, Japan, Korean) karakter kódja: U Ábrázoljuk UTF-16BE kódolással.

68 UTF-16-os kód előállítás helyettesítő kódpárral I. A kódpont értékből kivonunk ot (16) és az eredményt felírjuk binárisan: (16) (16) =11341 (16) = (2)

69 UTF-16-os kód előállítás helyettesítő kódpárral II. Az eredményt két 10 bites egységre bontjuk (2)

70 UTF-16-os kód előállítás helyettesítő kódpárral III. OR művelet az első 10 bites egység és az első szó helyettesítő kódpártartományának alsóértéke(0xd800) között OR 0xD OR

71 UTF-16-os kód előállítás helyettesítő kódpárral IV. OR művelet az második 10 bites egység és az második szó helyettesítő kódpártartományának alsóértéke(0xdc00) között OR 0xDC OR

72 UTF-16-os kód előállítás helyettesítő kódpárral V. Az utóbbi OR műveletek eredményeként kapott 2 darab 16 bites szót rendre egymás után írva megkapjuk a U kódpont UTF-16BE-ben ábrázolt kódját: = D8 44 DF 41

73 Sok karakter - kevés font készlet probléma Egy adott font nem feltétlenül támogatja az összes Unicode karakter megjelenítését, Mikor ez történik akkor -t szúr be a megfelelő karakter helyére A fontoknak követni kell a Unicode szabvány fejlődését

74 A Unicode Jóó, ha tudjuk használni Unicode kódpontok adatbázisa pdf formátumban egyszerűen kereshető formában Unicode karakterek, megjelenítésre alkalmas fontok keresése

75 Legyünk hát univerzálisak, mert másképp félreérthetőek leszünk... Köszönöm a -t!