Információs rendszerek elméleti alapjai. Információelmélet

Átírás

1 Inormációs rendszerek elméleti alapjai Inormációelmélet

2 Relatív bonyolultság Kolmogorov-Chaitin-Solomono alaptétele, invariancia tétel (újabban) Tétel: Létezik : NN optimális parciális rekurzív üggvény, amelyhez bármely : NN parciális rekurzív üggvény esetében létezik k konstans, hogy C (x) C (x)+ k, x-re Következmény: (invariancia), g optimális üggvények, C (x)-c g (x) < k,g, x-re Tehát C (x) konstans erejéig egyértelmű

3 Relatív bonyolultság Rögzítsük mostantól az optimális üggvényt (Általában jó az univerzális Turing-gép megelelő változata) Deinició: Az x N, Kolmogorv bonyolultságán C(x)= C (x) üggvényt értjük Intuitív háttér

4 Invariancia tétel Bizonyítása : Tetszőleges, x. Ha C (x) = k, akkor legyen (p)=x, és l(p)=k. C x min lp: p Vegyük az U(g,n) univerzális parciális rekurzív üggvényt. Legyen, sorszáma n, azaz U(p,n)= (y), A z=n p kódból (z)=u( 12 (z), 11 (z))= U(p,n)= (p)= x Ezért C (x) l(z)=l(n p)= l(p)+2l(l(n))+l(n)+1= C (x) +k Tehát optimális. QED. x

5 Invariancia tétel Tulajdonságok Két konkrét tulajdonsággal lehet bizonyítást végezni: a) Az Invariancia tétel alapján elülről becsülhető C(x) konkrét C (x) ből. b) C (x) =k, jelentése: létezik egy konkrét k hosszú p szó, amelyre l(p)=k. 1. Tulajdonság: C (x) l(x)+ k 1 Bizonyítás: (p)=p-vel, az a) tulajdonságból. 2. lim C (x) =, x. Bizonyítás: ha sokszor N korlát alatt maradna, az a b) tulajdonság miatt csak 2 N, kód használatát jelentené, ami lehetetlen

6 Invariancia tétel Tulajdonságok 3. C (x) totális (teljes) üggvény, de nem kiszámítható. Bizonyítás: Indirekten: ha az volna, akkor legyen x 1 : ahol C (x) először nagyobb 2-nél, x 2 : ahol C (x) először nagyobb 2 2 -nél,.. xk : x k > x k-1, és C (x) először nagyobb 2 k -nál, C(x k ) > 2 k.. Legyen (p)=x p. C (x k )log 2 k log 2 (log 2 C(x k )) azért, mert C (x k )=min {l(p): (p)=x k }=min {l(k): (k)=x k }, és l(k)= log 2 k, log 2 C(x k )> k Nyilván: C(x k ) C (x k )+k log 2 (log 2 C(x k ))+ k Csak véges sok x k -ra teljesülhet, ellentmondás. QED

7 Invariancia tétel Tulajdonságok Az a) és b) tulajdonságok alapján a C (x) el mégis lehet valamit kezdeni. Tulajdonság: {x:l(x)=n, C (x) < n-} < 2 n- a lehetséges kódok száma b) szerint : n- -1= 2 n- -1 Jelentés: a szavak több mint a ele nem tömöríthető!

8 Invariancia tétel Tulajdonságok Tulajdonság: i. lim C (x) =, x.; vagyis nem korlátos v. (a b) miatt) ii. Legyen m (x) = min C (y), ahol yx, az alsó burkoló. m a legnagyobb monoton növő alsó korlátja C-nek. m (x) nem korlátos iii. Bármely olyan végtelenbe tartó, monoton, parciális rekurzív (x) v.-re, amelyre valamilyen x -tól ((x) ), m(x) < (x) véges sok x kivételével. Más szavakkal, noha m(x) a végtelenbe tart, sokkal lassabban teszi azt, mint bármelyik nem korlátos parciális üggvény. Bizonyítás: (ii.) indirekt módon: m (x) növekedési helyen levő x-nek legyen m (x) a kódja. A legrövidebb program kód, amely x et előállítja. m (x) = i, x i <xx i+1., ilyen i indexek, x i kódok/ programok találhatók (p) =x, l(p)i, ha x> x i (a) miatt ez ellentmondásra vezet, ha m(x) korlátos volna, akkor C(x)C (x)+c és lim C (x) = miatt) (iii.) Lassabb kiszámítható v. létezése, ugyan ehhez az ellentmondáshoz vezet. QED

9 Invariancia tétel Tulajdonságok i. Bármely olyan végtelenbe tartó, monoton, parciális rekurzív (x) v.-re, amelyre valamilyen x -tól ((x) ), m(x) < (x) véges sok x kivételével. Más szavakkal, noha m(x) a végtelenbe tart, sokkal lassabban teszi azt, mint bármelyik nem korlátos parciális üggvény. Bizonyítás: (ii.) indirekt módon: m (x) növekedési helyen levő x-nek legyen m (x) a kódja. A legrövidebb program kód, amely x et előállítja. m (x) = i, x i <xx i+1., ilyen i indexek, x i kódok/ programok találhatók (p) =x, l(p)i, ha x> x i (a) miatt ez ellentmondásra vezet, ha m(x) korlátos volna, akkor C(x)C (x)+c és lim C (x) = miatt) (iii.) Lassabb kiszámítható v. létezése, ugyan ehhez az ellentmondáshoz vezet. QED

10 C(x) graikonja mint v. az egész számokon

11 Invariancia tétel Tulajdonságok 6. Tulajdonság: kis változásra mennyit változik? (Folytonosság) C (x+h) C (x)+ l(h) + 2log l(h) +c, (p)=x, l(p)= C (x) választással z=h p-ből, (z)= ( 12 (z))+ 11 (z)= (p)+h= x +h, C (x+h) l(p)+ l(h) + 2l( l(h) )+c. QED. A g(x,h)=x+h helyett tetszőleges kétváltozós kiszámítható üggvényt vehetünk. Adatbázisokra értelmezve, nagy adatbázis kis módosítása, nem növeli a Kolmogorov bonyolultságot. Megjegyzés: (a kétváltozós üggvény kiszámítási idejét itt nem veszi igyelembe!)

12 Feltételes Kolmogorov bonyolultság Kérdés: Mennyit segít y ismerete x kiszámításában? Mekkora a legrövidebb program kódjának a hossza, ami y-ból x-et kiszámítja? p kód, p : NN parciális üggvények p (y)=x. A programok kódjai p 1, p 2,, p n. Legáltalánosabban rekurzívan elsorolható halmaz, egy h(i)=p i a elsorolás, akkor h i pi i,y hi y pi y p y i p y, i p,y nincs ha valamilyen x i - re értelmezve,ha nincs i, amire p h i hi p i p. 12

13 Feltételes Kolmogorov bonyolultság Deiníció: p : N 2 N szerinti eltételes bonyolultsága x-nek az y eltétel ismeretében: C Tétel : Létezik parciálisa n rekurzív amire bármely parciálisa n rekurzív k C x y konstans, hogy l p: p, y min p, ha nem létezik optimális : : 2 üggvény, ilyen üggvényhe x y C x y k, x, y N re N 2 N : x N 2 p N z létezik 13

14 Feltételes Kolmogorov bonyolultság optimális parciálisa n rekurzív üggvények eltételes bonyolults ága csak egy konstansba n tér el egymástól 2,g 2 : N 2 N optimális, C C x y C rögzítjük az 2 x N, eltételes x x y C 2 x y g y K ,g optimális üggvényt Kolmogorov bonyolults ága

15 Feltételes Kolmogorov bonyolultság Bizonyítás: Ugyanúgy mint az egyszerű (nem eltételes bonyolultság) esetében U((n,p), y) kétváltozós univerzális parciális üggvények segítségével

16 Feltételes Kolmogorov bonyolultság Tulajdonságai: 1) Alaptétel: C(x y) konkrét C (x y) ismeretében csak elülről becsülhető. 2) C(x y)=k jelentése: p: (p,y)=x, és l(p)=k 3) C(x) C(x y)+c(y)+2log 2 C(y)+K

17 Programok és C(x) LISP (Erlang)-unkcionális, lista kezelő Fortran 1, 2,, - Lisp programok 1, 2,.., Fortran programok Felsorolás minden program tekinthető parciális rekurzív üggvény C LISP (x) és C Fortran (x), kijelölve egy reerencia gépet. Ezek egy additív konstans erejéig különböznek. Mindegyik elsorolás tartalmaz egy U univerzális gépet (interpretert)

18 Programok és C(x) LISP programok elsorolása tartalmaz egy LISP interpretert, amelyik minden LISP programot végre tud hajtani. De nyilván létezik p LISP program, amelyik Fortran interpreter, amelyik minden Fortran programot végre tud hajtani. C LISP (x) C Fortran (x)+2l( p ), hasonlóan C Fortran (x) C LISP (x)+2l( L ) C LISP (x)- C Fortran (x) 2l( p )+ 2l( L )

19 Feltételes Kolmogorov bonyolultság 4) Halmaz szerinti eltételes bonyolultság (véges halmaz elemeinek a halmaz szerinti eltételes bonyolultsága) A={a 1,,a n } C(x A)=?, x A, < A >= a 1,, a n => C(x A)=C(x < A >) [A kódolása önkorlátozó kóddal] általános eset: adott A, A =N, kódja p [Mennyire tömören ábrázolható?]

20 Feltételes Kolmogorov bonyolultság 4) {x x A és C(x A)<log 2 N-}?, keressük : p kódot: (p, < A >)=x A, 1, 2, log 2 N--1 <-[kódhossz] log 2 N--1 = 2 log 2 N- -1 x x A C x x x A A log 2 N-δ 2 2 log 2 log 2 N-δ N

21 Feltételes Kolmogorov bonyolultság A elemeinek többségére az A szerinti eltételes bonyolultság nem lehet érdemben kisebb mint log 2 N log 2 N-nél -val rövidebb kódok száma, amit használhat N 2 - egyenletes kódhossz választása indokolt Szükséges a megelelő halmaz megtalálása A halmaz ismeretében sem lehet tömörebben ábrázolni a legtöbb elemet az egyenletes kódolásnál. Keresem a lehető a legkisebb halmazt, ami leedi a jelenséget és egyenletesen kódolom

22 Példa Személyek adataira relációs Adatbázis R(csnév, unév) csnév: 2 byte = 16 bit unév: 2 byte = 16 bit A : az összes lehetséges reláció előordulás Lehetséges különböző sorok száma: = 2 32 Lehetséges előordulások száma, az összes lehetséges részhalmaz, a hatványhalmaz, aminek a számossága:

23 Példa A I I A,C I A log Sorok számára van egy korlát a való életben < 1 milliárd (1 9 )

24 Példa csnév: első 256 leggyakoribb (8 %) unév: első 256 leggyakoribb (8 %) 4 szegmens készítése: 1. Mindkét név gyakori: 64% - 2 byte 2. Családnév gyakori : 16% - 22 byte 3. Utónév gyakori : 16% - 22 byte 4. Egyik név sem gyakori : 4% - 4 byte ( Jól kell részhalmazokra szétszedni)

25 Paraméteres halmazsereg (pl. adatbázis (reláció) sémának rögzítek egy paraméterét és az előordulás a halmazsereg). - a paraméter kód, a -> B a, véges halmaz h(a)= B a h egy totális rekurzív v. (meg tudom mondani, hogy mi van a halmazban és mi nincs benne)

26 Paraméteres halmazsereg Legyen A N N, rekurzívan elsorolható részhalmaz, B a ={x (x,a) A}

27 Paraméteres halmazsereg Megszorítás: minden a-ra B a =m a véges a alapján B a elemei elsorolhatók algoritmikusan m a -t nem tudom megmondani(kiszámítani) (mert A rekurzívan elsorolható, de a komplementer halmazáról nem tudunk semmit, ezért nem eldönthető)

28 Paraméteres halmazsereg Tétel: létezik k A, hogy C x B C x a log a 2 m a k A x B a ra, és A - ra A halmaz elemeinek a tömöríthetősége mindig eléri a log 2 (elemszám) ot, alulról elülről is becsülni tudjuk

29 Paraméteres halmazsereg Bizonyítás: B a elemei : A-hoz elsoroló üggvény (t,a) konstruálása - Futtatjuk A elsorolását,

30 Paraméteres halmazsereg Első x B a (,a) =x 1 Megyünk tovább (1,a) =x 2,, (n,a)= x n B a eleme elsorolásra került (t,a) ezután nincs értelmezve

31 Paraméteres halmazsereg Az C C és másutt Legyen t,a Ebből x B m x a C x a k lt k lt Vagyis üggvény, értelmezve a x, és t : sehol. x Ba Cx a log2 ma ka a t,a, akkor, az a - ban van t 1,,,m a nyilván 1helyeken létezik k t, hogy log2 ma elsőbecslés k. QED. Jelentés: (adatbázis) séma+paraméter jó megválasztása, Ezen belül már nem érdemes más kódolást használni, csak a homogén hosszúságút, azaz log 2 m a hosszút

32 Érdekes halmazsereg D Meg ha p x tudjuk optimális hosszú értékre k hely lépés : : 1 x C xd k x k k - e konstruáln i a elsoroló v. hely és lépésszám bejárása : valamelyik kapunk eredményt paraméterb en ez k egy v. - t? halmazsere g 32

33 Érdekes halmazsereg D nincs - e x x jobb x ui. akkor a C is kiszámítha tó volna ; általában nem lehet bebizonyít ani, hogy a Kolmogorov bonyolults ága valaminek D * ' k k x C x C Nem tudom megmondani k k nem kiszámítha tó ez kód nála sem kiszámítha tó, hogy halmaz k halmaz

34 Összehasonlítás a Shannon entrópiával Minél nagyobb/jelentősebb az adott, vizsgált jelenség, annál szorosabb a kapcsolat a két entrópia ogalom között. Hosszú sorozat, N hosszú üzenetek : H entrópia (Shannon) [stacionáris, ergodikus orrás] Két halmazba sorolható: Lényeges, tipikus halmaz: ebbe 1- val.szeg.-gel. esik a választás 2 N(H-) <M(N)< 2 N(H+). M(N)- tipikus halmaz elemszáma

35 Összehasonlítás a Shannon entrópiával Mi jellemzi a tipikus halmazt? Kolmogorov: x üzenet tipikus statisztika jellemzi, A N halmazba esik, (ez lesz a paraméteres halmaz sereg). A N ={tipikus N hosszú sorozatok} x A N : C(x A N )=C(x N)log 2 M(N)+k orrás

36 Összehasonlítás a Shannon entrópiával, ha P x TIP 1, Kiszámítha tó A paraméter A A C N log 2 M N, x lx N P x N N log 2 A x TIP N x TIP TIP x A N log2 AN ka log2 M N ka tipikus ha nem predikátum halmaz : hosszú sorozatok 36

37 Összehasonlítás a Shannon entrópiával Behelyette sítve tetsző leges -ra az Egy szimbólumra H ~ H Shannon tipikuselemére az alsó becslés, a teljesre a első teljesül : log 2 A N A N N H Cx A NH N Kolmogorov C x A N N N k orrás H ~ H N hosszú üzenetek kódját osztjuk N-nel, Shannon entrópia H N k orrás Shannon

38 Összehasonlítás a Shannon entrópiával Egy szimbólumra jutó (Shannon) entrópia a tipikus halmaz elemein a eltételes Kolmogorov entrópia egy szimbólumra jutó részével Ha nagyon nagy jelenségeket veszünk, akkor a tipikus halmaz Kolmogorov bonyolultsága visszaadja a Shannon entrópiát

39 Összehasonlítás a Shannon entrópiával Mögötte meghúzódó jelenség: a tipikus halmazbeli üzenetek egyenletes eloszlással jellemezhetők. Összes közül melyek a tipikus halmazbeli üzenetek és melyek nem 1 sorozatok véletlenszerűségét vizsgáljuk. Lehet-e pénzeldobás eredménye?

40 Összehasonlítás a Shannon entrópiával pénzeldobás 11 véletlenszerű Egyeseket (1) egyesével -ra cserélem:.. nem véletlen Van-e határvonal a véletlen és a nem véletlen között?

41 Összehasonlítás a Shannon entrópiával Szabályszerűség Ami igazán véletlen az nem tömöríthető (Kezdőszelet bonyolultsága a hosszal nő) Mennyire tipikus Véletlenség deektusa jellemezhető: {x x A és C(x A)<log 2 A -} A véletlen deektusa legalább

42 Példa Fekete ehér színezések Sakktábla Homogén illetve mákos sűrűség Fele ekete- ele ehér Egymásra helyezve a óliát érdekes jelenség Saját görbére illeszkedő transzormáció elerősödik

43

44

45

46

47

48

49

50 A jellemző szabályosságok írják le a tipikus halmazt, elemein a legbizonytalanabb, egyenletes eloszlást vesszük. Ha megtaláltuk a jó homogén halmazt, lehet, hogy a elhasználás, üzenet szempontjából a konkrét elem már érdektelen. Példa: szürke színezés. Az 1/2 szürkeség - Fuzzy halmaz - bármelyik tipikus színezéssel szemléltethető. Két színezés és sajátosságaik: a szórásnégyzet második tagja A véges világban - tehát a digitalizált világban - a matematika végtelen ideális konstrukciói - a olytonosság, végtelen, univerzális algoritmusok - csak segítenek, végtelennel közelítik a véges modellt, amit utána vissza kell véges közelítésbe hozni. np 2 p1 p 2 2n kp1 p

51

52

53 Matematikai kitérő C A kibertérben mivel azonosíthatók p -? -? C (x) U(.,.) x minl p: p p, amire p : C x ha nincs Megjegyzés x x nem mindig kiszámítha tó

54 Intuitív kitérő Egy bizonyos objektumot egy véges bináris stringgel kívánunk leírni Több leírás is létezhet, de egy leírás egy objektumot ír le Egyszerű objektum rövid leírás Bonyolult objektum hosszú leírás Richard-Berry paradoxon: Deiniáljunk egy természetes számot: a legkisebb olyan természetes szám, amelyet nem lehet leírni húsznál kevesebb szóval

55 Intuitív kitérő Ha ilyen szám létezik, akkor ezt a számot tizenkét szóval leírtuk, ellentmondva a deiníciójának. Ha ilyen szám nem létezik, akkor az összes természetes számot le lehetne írni húsznál kevesebb szóval. A leírás ogalmát pontosítani kell! D: Y X, D(y)=x, Y leírások, X az objektumok, x legyen véges mint leírás, X = Y =, (megszámlálható). - y{,1} *, üzenet továbbítás költsége távközlésben az üzenet hossz l(y). - Legkisebb költség legkisebb hossz

56 Intuitív kitérő Algoritmikus inormáció elmélet vívmányai (innovációi) 1. Formális értelemben eektív leírás deiníciójára szorítkozva, ez a deiníció leedi mind az intuitív mind a matematika és logikai szempontjából elogadható nézőpontokat. 2. Erre az eektív deinícióra szorítkozás maga után vonja, hogy létezik egy olyan univerzális leíró módszer, amely minorálja az összes egyéb leíró módszerből származtatható leírás hosszát vagy komplexitását. 3. Egy objektum leírásának hossza az objektum elválaszthatatlan tulajdonsága, amely üggetlen a partikuláris leíró vagy ormalizáló módszertől. 4. A zavaró Richard Berry paradoxon nem og eltűnni, hanem Gödel nem-teljességi tételével kapcsolatban elő og kerülni, vagyis nem minden igaz matematikai állítás bizonyítható matematikában

57