Bevezet. Adat és információ

Átírás

1 Adat és információ Bevezet Egész életünk a másokkal való kommunikáció, vagyis az ismeretek cseréje határozza meg. Az adat és az információ fogalmak az ismeret rokonai. Az adatkezelés és adatfeldolgozás szolgáltatás. Ezt a szolgálatot a szakemberek csak úgy tudják mindenki megelégedésére ellátni, ha az ismeretet nem a számítógép, hanem az ember oldaláról nézik. Az adat szó a latin datum szóból ered, jelentése adomány, ajándék, egyébként adottat jelent, többes számban data vagyis adottak, az adott dolgok. Az IBM adatfeldolgozási szótárában: Az adat tények, fogalmak olyan formalizált reprezentációja (megjelenítése), amely alkalmas az emberi vagy automatikus eszközök által történ kommunikációra, értelmezésre vagy feldolgozásra.

2 Az adatbázis lényege Állománykezelk Az ismeretkezelés egyik lehetsége, hogy adatállományokat hozunk létre. Az állomány megjelölés azt mutatja, hogy nem egyedi dolgokról, hanem egymással valamilyen szempontból összetartozó ismeretek együttesérl van szó. Az adat jelz az ismeretkezelés módjára utal, és megkülönbözteti az ilyen állományokat a program-, rendszer-, szöveg-, képállományoktól. állománykezelk (file management system) rendszerek, amelyek az állományok egymástól független kezelésére használatosak. A felhasználói program tartalmazza az adatok szerkezetének a leírását. Ha például új mezt szúrunk be egy állományba, minden felhasználói programot módosítanunk kell, mely az illet állománnyal dolgozik.

3 Program 1 Adat leírás Program 2 Adat leírás Program 3 Adat leírás Állomány 1 Állomány 2 Állomány 3 Ismétld adatok ábra: Hagyományos állománykezelés

4 példa: Lássunk egy rosszul szerkesztett állományt: Cím Név Szín Típus Férhely Farkas utca Mária fehér Opel Astra ötszemélyes Kertész utca Tamás fehér Opel Astra ötszemélyes Farkas utca Mária piros VW Polo négyszemélyes Kertész utca Tamás zöld VW Polo négyszemélyes ismeret ismétlés (redundancia): feleslegesen fogyasztja a tárolót adatbeviteli, -módosítási és -törlési erforrás-pazarlással jár inkonzistencia lép fel. Ha Mária lakóhelyére vagyunk kíváncsiak, miért kellene átböngésszük a kocsijait is?

5 A kocsi ismeretek ésszer elrendezése: Tulajdonos Név Cím Mária Farkas utca Tamás Kertész utca Kocsi Típus Szín Név Opel Astra fehér Mária Opel Astra fehér Tamás VW Polo piros Mária VW Polo zöld Tamás Kocsitípus Típus Férhely Opel Astra 5 személy VW Polo 4 személy Kapcsolatok: Tulajdonos Kocsi a Név-en keresztül Kocsitípus Kocsi a Típuson át Els ránézésre bonyolultabb, de nincs redundancia, inkonzisztencia.

6 az állománykezelk esetén több állományt tervezünk és az azokban tárolt ismereteket egy programmal kezeljük. Azonban az állományközti összefüggéseket nem tudjuk elre meghatározni. Ezekre a viszonyokra a programjainkban nem tudunk hivatkozni. az adatbázisszer adatkezelésben az állományok közötti általános logikai összefüggések absztrakt képét elre meg kell határoznunk. Ezek után a konkrét ismereteket az elbbi képnek megfelelen kell kezelnünk. az adatbázis-kezel rendszer (ABKR) ezt nemcsak lehetvé teszi, hanem ki is kényszeríti. A programozó nem a saját ízlése szerint, hanem az elre megadott (pl: Kocsitípus Kocsi) viszonynak megfelelen kell kezelje az ismereteket.

7 Adatbázis értelmezése Adatbázis: adatok gyjteménye (összessége), melyek egy szervezet/cég tevékenységére vonatkoznak. példa:egy egyetem tevékenységét tároló adatbázis Egyedek: diákok, karok, eladások, termek, tanárok stb.; Kapcsolatok az egyedek között: melyik diák milyen eladást választ; egy karon tartott eladások; melyik tanár milyen eladást tart; termek használata. példa:egy kereskedelmi cég adatait tároljó adatbázis Egyedek: szállítók, árucsoportok, áruk, vevk, rendelések; Kapcsolatok egyedek között: mely szállító milyen árukat ajánl, egy áru melyik árucsoporthoz tartozik, egy vev rendelései, egy rendelés összes áruja stb.

8 Adatbázis-kezel rendszer értelmezése Adatbázis-kezel rendszer (ABKR): egy programrendszer (soft), melyet arra terveztek, hogy nagy mennyiség adatot tudjon tárolni és használni. Egy ABKR által használt technikák: programozási nyelvek (objektum-orientáltságot is) operációs rendszerek konkurens programozás adatstruktúrák algoritmusok párhuzamos és osztott rendszerek felhasználói felületek, mesterséges intelligencia statisztika.

9 E kurzus célja válaszolni a következ kérdésekre: Hogyan tud a felhasználó leírni egy létez szervezetet/céget az ABKRben tárolt adatok segítségével? Hogyan szervezze az adatokat? Hogyan tud a felhasználó válaszolni a kérdésekre a céggel kapcsolatban, felhasználva az adatbázisban tárolt adatokat? Hogyan tud az ABKR több felhasználóval egyidejleg dolgozni? Hogyan védi az adatokat esetleges rendszerhibák esetén? Hogyan tárolja az ABKR a nagy mennyiség adatokat. Hogyan tud hatékonyan válaszolni a lekérdezésekre? Ahhoz, hogy hatékonyan tudjuk az ABKR t használni meg kell értsük, hogyan dolgozik.

10 ABKR versus Állománykezel rendszer: Cég adatelemei: részlegek, alkalmazottak, termékek, eladási szerzdések, anyagbeszerzés, termelési folyamat, bankügyletek, könyvelés stb. Konkurensen több felhasználó kell hozzáférjen. Nem minden felhasználó láthat minden adatot (pl. fizetés, könyvelés). lekérdezésekre gyorsan kell válaszolni. A különböz felhasználók által végzett változtatásokat az adatokon mindenhonnan látni kell.

11 Operációs rendszer által nyújtott file-kezelés segítségével problémák (saját magunknak kell elboldogulni): az állományok kb. 500 GB-ot foglalnak. háttértárolón kell tároljuk a rengeteg adatot és azt a részét behozni a memóriába, amelyre épp szükség van; operációs rendszer csak jelszó segítségével tud valamennyi védelmet nyújtani, de ez nem megfelel, mikor különböz felhasználók az adatok különböz részeihez férhetnek hozzá; speciális programokat kell írjunk, hogy minden lehetséges lekérdezésre választ adjunk. Ezek elég összetettek, mert nagy mennyiség adatot kell végigjárjanak; meg kell védjük az adatokat a helytelen változtatásoktól (többen férnek hozzá, rendszerhiba). Így még komplexebbek lesznek a programjaink; rendszerhiba után az adatbázis egy helyes állapotát kell visszaállítani; ez a mi feladatunk.

12 Adatbázisok ANSI/SPARC architekturája Az adatbázisszer ismeretkezelésben megkülönböztetjük az adatbázis általános elvi felépítését (absztrakt kép) és az abban rzött aktuális ismereteket (konkrét tartalom). Az adatbázis általános struktúráját adatmodellnek nevezzük. A számítógép, amely bitekkel dolgozik és a felhasználó, aki egyedtípusokkal dolgozik (Személyek, Bankszámlák, Kocsik stb.) között több elvonatkoztatási szint lehetséges. Egy elfogadott nézpont az ANSI/SPARC architektúra, mely 3 szintet különböztet meg: fogalmi, bels és küls szint.

13 1-es felhasználó csoport: Nézet 1 2-es felhasználó csoport: Nézet 2 Fogalmi adatbázis Fizikai adatbázis n. felhasználó csoport: Nézet n ábra: ANSI/SPARC architektúra

14 Adatbázis tervezés esetén a fogalmi szintet (angolul: conceptual level) kell elször megterveznünk. Ezen a szinten egy alkalmazási környezet valamennyi ismeretét és azok valamennyi összefüggését egyetlen közös adatmodellben kell leírnunk. Ez a reprezentáció független az adatbázis-kezel rendszer típusától és az a mögött álló filozófiától. Általában az egyed/kapcsolat adatmodellt használják a fogalmi szint megtervezésére. Példa: egy kereskedelmi vagy termelési cégnek akarjuk az adatfeldolgozását számítógépen megvalósítani, elször meg kell tervezzük a cég összes adatának és az azok közötti kapcsolatokat tükröz általános, közös adatmodellt.

15 A bels szint a fizikai adatbázisra hivatkozik. a fizikai adatázist az állományok összessége és a hozzájuk tartozó indexállományok alkotják. az adatok a fogalmi szinten megadott szerkezet szerint állományokban vannak tárolva az indexállományok az adatokhoz való hatékony hozzáférést segítik. a fizikai adatbázis a háttértárolón van. egy ABKR több fizikai adatbázist is képes kezelni.

16 A harmadik a küls szint (angolul: external level). Minden fogalmi szint adatbázisnak több felhasználója van. Az egyes felhasználók az adatbázis különböz részleteiben érdekeltek. A küls jelzt az indokolja, hogy a felhasználók egyike sem tudja, hogy belül a számítógépen milyen az adatok szerkezete. Az adatmodellnek a felhasználó által kezelésre kiválasztott részét nézetnek (angolul: view) nevezzük. A nézetnek levezethetnek kell lennie a fogalmi szinten megtervezett adatmodellbl. A nézetek fontosak az adatvédelem szempontjából, egy bizonyos felhasználócsoportnak csak bizonyos nézetekre van joga.

17 példa: a fogalmi, fizikai és küls szint közötti különbségre, a tömböket a programozásból: fogalmi szinten a tömböt leírhatjuk: integer array A[1..n,1..m] fizikai szinten a sort úgy látjuk, mint egymás utáni memória lokációkat a következ szabály szerint: A[i, j] az a 0 +4[m(i-1)+j 1]; egy nézete az A tömbnek az f(i) függvény, amely az A[i, j] elemek összege j=1-tl m-ig. Így nem a sorokat látjuk, hanem csak a sorok összegét.

18 példa: Egy repültársaság adatbázisa alkalmazottakra vonatkozó ismereteket (melyik pilóta milyen képesítéssel rendelkezik, mennyi a fizetése stb.), repülterekre vonatkozó ismereteket, repülgépeket (minden repül esetén a típusát, állapotát stb.), járatok repüljegyek példa nézetre a repüljegyek eladása felhasználó csoport csak a járatokra, helyekre, jegyekre vonatkozó ismeretekhez kell hozzáférnie. az irányítótoronynak más ismeretekre van szüksége, ez már egy más nézet. a repülket karbantartó felhasználó csoport a repülk technikai jellemvonásaira, repülkön végzett javításokra kíváncsi, ezekre az információkra a repüljegyek eladása felhasználó csoportnak nincs joga

19 A szintek megfeleltetése, modellek, sémák A fogalmi, fizikai és küls szintek között az ABKR teremt kapcsolatot. Amikor a felhasználó megadja az igényét (küls szint), azt az adatbázis-kezel rendszer leképezi az általános képre (fogalmi szint), hogy megvizsgálja a kérdés teljesíthetségét és behatárolja az adatbázis érintett részeit. Amikor pedig tényleges kezelésre kerül sor, akkor az adatmodell vonatkozó elemeit leképezi a tárolási szerkezetre elször megtervezzük az adatbázist feltöltjük adatokkal majd lekérjük a tárolt adatokat (lekérdezzük)

20 az adatbázisban tárolt adatok állandóan változnak az adatbázis terve viszont változatlan marad, amíg az adatbázis létezik. Az adatbázis tervében le kell írnunk: a használt egyedek típusát, ezen egyedek közötti kapcsolatokat. A tervet az adatbázisok esetében sémának fogjuk nevezni. fogalmi sémát használunk a fogalmi adatbázis tervének, fizikai adatbázis tervét fizikai sémának nevezzük. a küls szinten több alsémát is értelmezünk a különböz felhasználó csoportoknak.

21 Példa: Az A tömb fizikai sémája az, hogy a tömb az a 0 memórialokációtól kezdden van tárolva és A[i, j] az a 0 +4[m(i-1)+j-1] cím memória lokációban van. A fogalmi séma az integer array A[1..n,1..m], vagyis, hogy A egy egész elemekbl álló tömb, melynek n sora és m oszlopa van. Egy alséma az f függvény értelmezése: m = j= 1 f ( i) A[ i, j]

22 Adatfüggetlenség fizikai adatfüggetlenség a fizikai séma megváltoztatható anélkül, hogy meg kellene változtatni a fogalmi sémát vagy újraértelmezni az alsémákat a fizikai adatbázis megváltoztatása növelheti a felhasználó programok hatékonyságát, de nincs szükség változtatásra a programokban példa: fizikai adatfüggetlenség, ha a tömb ábrázolását a memóriában megváltoztatjuk, mondjuk a sor szerinti ábrázolásból az oszlop szerinti ábrázolásba logikai adatfüggetlenség a nézetek és a fogalmi szint közötti adatfüggetlenség. ha a fogalmi szinten történ változtatás nem hat ki a kezelprogramokra. újabb információkkal kell bvíteni. információk törlése, maga után vonhatja a programok változtatását, ha a törölt információ jelen van valamely nézetben.

23 ANSI/SPARC architektúra a funkcionalitás szempontjából négyszögek - feldolgozási funkciókat jelölnek hatszögek - adminisztrációs szerepet nyílak jelölik az adatok és parancsok áramlását, a rajtuk lev I alakú vonalak pedig az interfészeket. Adatszótár/katalógus (háromszögként), amely egy metaadat. tartalmazza a séma és a leképezés definícióját. használati statisztikákat, hozzáférést vezérl információkat. Adminisztrátori szerepek cég adminisztrátor applikáció adminisztrátor adatbázis adminisztrátor

24 cég adminisztrátor- a fogalmi séma definíciója. applikáció adminisztrátor felels a küls sémáknak az elkészítéséért az alkalmazások, az applikáció programozó számára. adatbázis adminisztrátor feladatai: fizikai séma tervezése: táblák szerkezete, táblák közötti kapcsolatok, táblák tárolásának részletei, indexállományok tervezése, azok típusának a meghatározása. biztonság és hozzáférési jogok meghatározása adatok elérhetsége, helyreállítás hiba esetén, az ABKR ad erre függvényeket bizonyos idintervallumokban másolatokat készítsen az adatokról.

25 applikáció (alkalmazás) programozó rendszer programozó alkalmi felhasználók idnként hozzáférnek az adatbázishoz, hogy visszakeressenek információkat és valószínleg, adatkezelési mveleket is végeznek. Ezeknek a felhasználóknak segítségül szolgálnak a küls séma definíciók, illetve a könnyen használható lekérdez nyelvek. vég felhasználóknak általában nincs adatbázis ismeretük és az információkhoz az adatbázis applikációkon keresztül férnek hozzá.

26 Cég adminisztrátor Adatbázis adminisztrátor Fogalmi adatbázis séma processzor Applikáció rendszer adminisztrátor Bels adatbázis séma processzor Küls adatbázis séma processzor Bels tárolás/bels adatbázis átalakítás Bels adatbázis/ fogalmi átalakítás Fogalmi/ küls adatbázis átalakítás Bels adatbázis applikáció program Küls adatbázis applikáció program Applikáció/ Rendszer programozó Applikáció programozó

27 Az ABKR-ek elnyei Adatfüggetlenség a felhasználói programok függetlenek az adatok ábrázolásától és tárolásától. Az ABKR egy absztrakt nézetet (képet) ad az adatokról. Hatékony hozzáférés az adatokhoz az ABKR-ek komplex technikákat használnak ennek érdekében. Adatok helyességére vonatkozó megszorítások és biztonság Például mieltt egy új alkalmazott fizetését vezeti be, ellenrzi, hogy befér-e még a költségvetésbe. Az ABKR minden felhasználó minden hozzáférése esetén ellenrzi a felhasználó jogait a kért adatokra. Adminisztráció szükség van egy központosított adminisztrációra, egy-két emberre, aki profi és átlátja az egész rendszert. Konkurens hozzáférés és visszaállítás hiba esetén Megrövidül az alkalmazás elkészítésének ideje (report writer, lekérdezés optimalizáló, interface generáló).

28 Relációs ABKR-ekkel felmerül problémák: A napjainkban legelterjedtebb relációs ABKR-ek nem tudnak komplex adatokkal dolgozni, amelyek szükségesek például mérnöki alkalmazások (CAD/CAM rendszerek), földrajzi alkalmazások stb. Az objektumorientált, illetve az objektumrelációs adatmodell a megoldás ezen alkalmazások esetében Az ABKR-ek általában nagyon drágák, kicsi cégek nem tudják megvásárolni. Az ABKR-ek programozása nehézkes és a beállításai nagyon komplexek.

29 Adatbázis-kezel rendszerek képességei Tulajdonságok amelyek megkülönböztetik más programrendszerektl: Azon képessége, hogy állandóan létez adatokat tud kezelni. Azon képessége, hogy hatékonyan tud kezelni nagyon nagy mennyiség adatot. (ellentétben az állománykezel rendszerekkel) További tulajdonságok: Egy adatmodellre épül, melynek segítségével a felhasználó megtervezheti az adatbázist, ugyanakkor segít a felhasználónak abban, hogy az adatot ne csak bitek sorozataként lássa, hanem érthetbb formában. Magas szint programozási nyelvekkel rendelkezik az adatok szerkezetének a leírására, adatkezelésre és lekérdezésre. Egyidejleg több felhasználó között megosztja az adatbázist, ellenrzi a hozzáférési jogokat. Rendszerhibák esetén képes egy helyes adatbázist visszaállítani.

30 Adatbázisok nyelvei a programozási nyelvekben az adatok leírása és az utasítások a programon belül ugyanabban a nyelvben történik az adatbázisok világában szétválasztják az adatbázis leírását annak különböz funkciójának a programozásától különbség a következ: míg egy mindennapi programban az adat is csak addig létezik, amíg a program fut, az adatbázis rendszerekben az adat állandóan létezik, egyszer lehet deklarálni és azontúl mindig létezik. a munka is megvan osztva speciális adatbázis nyelvek és egy gazda nyelv között.

31 Adatleíró nyelvek (Data Definition Language) nem procedurális, egy jelölés az egyedek és a köztük lév kapcsolatok leírására az illet adatmodellen belül. példa: Relációs adatmodell esetén az SQL nyelv adatleíró nyelve: CREATE TABLE Csoportok ( CsopKod CHAR(3) PRIMARY KEY, Evfolyam INT, SzakKod CHAR(3) ); CREATE TABLE Diákok ( BeiktatásiSzám INT PRIMARY KEY, Név VARCHAR(50), Cím VARCHAR(100), SzületésiDatum DATE, CsopKod CHAR(3) REFERENCES Csoportok (CsopKod), Átlag REAL ); CREATE INDEX CsopIndexDiák ON Diákok (CsopKod);

32 Alséma adatleíró nyelv hasonló az adatleíró nyelvhez. példa: Nézetek leírása SQL nyelvben: CREATE VIEW MagyarDiákok AS (SELECT Nev, CsopKod FROM Diákok WHERE CsopKod IN ( SELECT CsopKod FROM Csoportok WHERE SzakKod = IM OR SzakKod = MM OR SzakKod = MIM ) ) A nézetek értelmezése is bekerül az adatbázis sémába.

33 Adatkezel nyelvek (Data Manipulation Language) Mveletek az adatbázisban tárolt adatokkal: Olvasd ki az adatbázisból az 531 -es csoport diákjait. SELECT Név FROM Diákok WHERE CsopKod = 531 Módosítsd 'Szabó János'címét 'Kolozsvár, Bolyai utca 2'-re. UPDATE Diákok SET Cím = Kolozsvár, Bolyai utca 2 WHERE Név = Szabó János Számítsd ki a harmadéves informatikusok átlagát. SELECT AVG(Átlag) FROM Diákok WHERE CsopKod IN (SELECT CsopKod FROM Csoportok WHERE (SzakKod = IM OR SzakKod = IR OR SzakKod = IE ) AND Evfolyam = 3)

34 Vezess fel új diákot az 511-es csoportba, neve: 'Kovács István', címe: 'Marosvásárhely, Petfi utca 3', beiktatási száma: 56431, születési dátuma: 1982-dec-10. INSERT INTO Diákok VALUES (56431, Kovács István, 'Marosvásárhely, Petfi utca 3', 1982-DEC-10, 511, 8.6) gazda nyelv - komplexebb feladatok is meg kell oldani, ezért szükség van egy programozási nyelvre (lehet C, Delphi, MS Visual Basic, Java, VB.NET, C#, COBOL, stb ).

35 a gazda nyelvbl meghívhatók az adatkezel nyelv mveletei; Public Function ListBetu(ByVal segybetu As String, ByRef ierror As Integer) As ADODB.Recordset Dim ssql As String Dim rsaruk As ADODB.Recordset ssql = "Select AruKod, Nev from Aruk where Nev LIKE '" & segybetu & "%'" If GetReadOnlyRecordset(sSQL, rsaruk) Then Else End If Set ListBetu = rsaruk ierror = 0 ierror = igetrecseterror Set ListBetu = Nothing End Function

36 adatbázis szintjén írhatunk tárolt eljárasokat, melyek feladata több adatkezel mvelet végrehajtása. procedure SzallithatoAru( pdatum IN DATE, eredmeny out ret_cursor) IS MyCursor ret_cursor; varukod number(10); vr_szmenny float; vmennyrakt float; tovabb boolean; Begin open MyCursor for select arukod, sum(rendmenny - szallmenny) as rendminusszal from tartalmaz where szallitasidatum <= pdatum and rendmenny > szallmenny group by arukod; tovabb:=true; fetch MyCursor into varukod, vr_szmenny; while NOT MyCursor%notfound loop VMennyRakt:=0;

37 select MennyRakt into vmennyrakt from Aruk where AruKod = varukod; IF VMennyRakt > 0 THEN IF VMennyRakt > vr_szmenny THEN INSERT INTO SzallithatoAru_temp VALUES (varukod, vr_szmenny); ELSE INSERT INTO SzallithatoAru_temp VALUES (varukod, VMennyRakt); END IF; END IF; fetch MyCursor into varukod, vr_szmenny; end loop; close MyCursor; open eredmeny for select * from SzallithatoAru_temp; delete from SzallithatoAru_temp; end SzallithatoAru;

38 Felhasználói lekérdezés Alkalmazói program Adatbázis séma módosítás! "# ábra: Az ABKR felépítése

39 Adatbázis-kezel rendszerek fbb részei adatleíró nyelv kompilátor: beolvassa az adatbázis sémáját, elemzi, ha helyes, elkészíti az adatbázist leíró táblázatokat. lekérdez nyelv processzor: elemzi a felhasználói lekérdezést és az alkalmazói programot. Az feladata ezen kérések optimalizálása is. adatbázis-kezel fogalmi szinten kezeli a parancsokat és átalakítja fizikai szint parancsokká. adatbázis-kezel átalakítja a kapott parancsokat állományokon való mveletekké, és ezeket átadja az állománykezelnek. az állománykezel lehet az operációs rendszer standard állománykezelje, vagy az ABKR saját állománykezelje.

40 Hogyan valósítják meg az indexeket adatstruktúra az indexállományok készítésénél a B-fa, ahol a B a kiegyensúlyozottságra utal (Balanced kiegyensúlyozott). B-fa a kiegyensúlyozott bináris keresfa általánosítása. Míg a bináris fa csomópontjának csak legfeljebb 2 gyermeke lehet, a B-fa csomópontjainak sok gyermeke is lehet. a B-fákat a lemezen tárolja a rendszer és nem a memóriában, ezeket úgy tervezik, hogy egy csomópont egy teljes lemezblokkot elfoglaljon. a legtöbb rendszer 4096 bájt méret blokkot használ, ezért a B-fa egy csomópontjában több száz gyermekre mutató pointer is lehet. Így a B-fában való keresés ritkán mélyebb három szintnél. a lemezmveletek költsége általában arányos az elért lemezblokkok számával. a B-fában való keresés, amelyik legtöbbször csak három lemezblokk elérését igényli, sokkal hatékonyabb, mint amilyen a bináris fában való keresés.