A permanens tár kezelése



Hasonló dokumentumok
Fájl rendszer (implementáció) Fájl rendszer struktúra Allokációs módszerek Szabad hely kezelése Directory implementáció Helyreállítás

Operációs Rendszerek II. Első verzió: 2009/2010. I. szemeszter Ez a verzió: 2009/2010. II. szemeszter

Mágneses háttértárak

12. Másodlagos tár szerkezet

Fájlrendszerek. A Windows operációs rendszerek fájlrendszere

Operációs rendszerek. Elvárások az NTFS-sel szemben

Operációs rendszerek. UNIX/Linux fájlrendszerek

Operációs rendszerek. UNIX fájlrendszer

Operációs rendszerek III.

A számítógép egységei

Nyíregyházi Egyetem Matematika és Informatika Intézete. Fájl rendszer

elektronikus adattárolást memóriacím

Számítógép felépítése

6. óra Mi van a számítógépházban? A számítógép: elektronikus berendezés. Tárolja az adatokat, feldolgozza és az adatok ki és bevitelére is képes.

Bevitel-Kivitel. Eddig a számítógép agyáról volt szó. Szükség van eszközökre. Processzusok, memória, stb

UNIX: fájlrendszerek

2. Számítógépek működési elve. Bevezetés az informatikába. Vezérlés elve. Külső programvezérlés... Memória. Belső programvezérlés

UNIX fájlrendszerek alapismeretei

2016/06/23 07:47 1/13 Kérdések

Előadás_#13. Egy lemez írási művelet kiszolgálása

Operációs rendszerek. A Windows NT file-rendszere (NTFS) NTFS: Windows NT File System

Optimalizáció ESX-től View-ig. Pintér Kornél ügyfélszolgála3 mérnök

A számítógépek felépítése. A számítógép felépítése

Nem biztos, hogy mindenhol helytáll, helyenként hiányos, de az eddigi kérdések össze vannak gyűjtve őszi félév első zhval bezárólag.

Nyíregyházi Egyetem Matematika és Informatika Intézete. Input/Output

Virtualizációs Technológiák SAN/NAS/DAS RAID szintek Storage virtualizáció Kovács Ákos

Fábián Zoltán Hálózatok elmélet

Hardver összetevők ellenőrzése Linux alatt. Hardverguruk előnyben...

IT - Alapismeretek. Feladatgyűjtemény

Operációs rendszerek MINB240. Bevitel-Kivitel. 6. előadás Input és Output. Perifériák csoportosításá, használat szerint

OPERÁCIÓS RENDSZEREK I. HÁTTÉRTÁRAK

Storage optimalizálás egyetemi hálózatokban

Autóipari beágyazott rendszerek. Komponens és rendszer integráció

Lemezkezelés, állományrendszerek

9. Állományok kezelése. Operációs rendszerek. Állomány (file) Könyvtár. Az állománykezelő feladatai. Az állományrendszer réteges implementációja

S.M.A.R.T. Forrás:

A L I N U X f e l é p í t é s e

Hálózati ismeretek. Az együttműködés szükségessége:

MS Windows XP Professional SP2 telepítés virtuális gépre.

Bepillantás a gépházba

Költséghatékony high-end adattároló megoldások Vitéz Gábor, Avaxio Kft.

2. modul - Operációs rendszerek

Hálózati operációs rendszerek II. Novell Netware 5.1 Netware fájlrendszer

Máté: Számítógép architektúrák

OE-NIK 2010/11 ősz OE-NIK ősz

Melyek a Windows Server 2008 R2 tiszta telepítésének (Clean Install) legfontosabb lépései?

Tájékoztató. Használható segédeszköz: -

Technikai tájékoztató - kérdések és válaszok TSD-QA (2012/05)

Software Defined technológiák használata Oracle adatbázis konszolidációhoz

1. MODUL - ÁLTALÁNOS FOGALMAK

Operációs rendszerek. Az NT memóriakezelése

Elektronikus háttértárak

Az Invitel adatközponti virtualizációja IBM alapokon

Informatikai Rendszerek Intézete Gábor Dénes Foiskola. Operációs rendszerek oldal LINUX

Informatikai füzetek

Adattároló rendszerek fogalmai. Merevlemez. Adattároló egységek. Diszk = szalag = Merevlemezek paraméterei ADAT MEMÓRIA DISZK RANDOM IO

Szalai Ferenc

Utolsó módosítás:

SZOFTVEREK (programok)

OPERÁCIÓS RENDSZEREK I. BEVEZETÉS Koczka Ferenc -

Utolsó módosítás:

Gyakorlati vizsgatevékenység. Graf Iskola

Windows rendszeradminisztráció és Microsoft szerveralkalmazások támogatása. 8. óra. Kocsis Gergely, Supák Zoltán

Alapismeretek. Tanmenet

A számítógép külső felépítése

Biztonság alapvető fogalmak

Informatika érettségi vizsga

Általános rendszergazda Általános rendszergazda

A merevlemez állapota hibátlan. Nem található hibás vagy gyenge szektor, nincsenek felpörgési és adatátviteli hibák sem.

Dr. Illés Zoltán

Dedikált szerverhoszting katalógus november

A háttértárak a program- és adattárolás eszközei.

386 processzor címzés

Alapismeretek. Tanmenet

Operációs Rendszerek MSc

Blokkos eszközök. RAM lemezek

2. előadás. Radio Frequency IDentification (RFID)

RAID. Felhasználói útmutató

Rendszermodernizációs lehetőségek a HANA-val Poszeidon. Groma István PhD SDA DMS Zrt.

Hitachi Flash Újdonságok. Szokol Zsolt Senior Solution Consultant 2016 március

Számítógépek felépítése

Redundáns rendszert akarunk Gyors rendszert akarunk Nagy kapacitást akarunk több diszket összekapcsolni

Fájl rendszer. Fájl koncepció Elérési módok Könyvtár szerkezet Védelem Konzisztencia szemantika

Alap protokollok. NetBT: NetBIOS over TCP/IP: Name, Datagram és Session szolgáltatás.

Adatbázis rendszerek Gy: Az adattárolás fejlődése

Adatbázis és alkalmazás konszolidáció Oracle SPARC T4/5 alapon

Központi adattárolási megoldások

Alapprobléma RAID. Alapfogalmak. RAID - redundancia. RAID gyorsabb adatelérés

Hálózatok építése és üzemeltetése

Web harvesztelés. Automatikus módszerekkel

18. témakör. Jogosultságok (Windows és Linux jogosultságok összehasonlítása, helyi és megosztási jogosultságok)

WAGO PLC-vel vezérelt hő- és füstelvezetés

A legfontosabb DOS parancsok

Első sor az érdekes, IBM PC ra alapul: 16 bites feldolgozás, 8 bites I/O (olcsóbb megoldás). 16 kbyte RAM. Nem volt háttértár, 5 db ISA foglalat

VMware View alapú oktatóterem. Béry László Óbudai Egyetem

Processzusok (Processes), Szálak (Threads), Kommunikáció (IPC, Inter-Process Communication)

Dr. Illés Zoltán

Alapismeretek. Tanmenet

Supermicro Cluster-In-a-Box

NIIF Központi Elosztott Szolgáltatói Platform

Átírás:

Operációs rendszerek (vimia219) A permanens tár kezelése dr. Kovácsházy Tamás 9. anyagrész, A permanens tár kezelése Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék BME-MIT 2012, Minden jog fenntartva

Permanens tár CPU regiszterek Átmeneti/gyorsító tár Központi memória Permanens tár Külső tár Biztonsági másolat BME-MIT 2012, Minden jog fenntartva 2. lap

Permanens tár kezelése Permanens tár vagy háttértár: o A központi memóriával összehasonlítva o Nagyságrendekkel nagyobb tároló terület. o Nagyságrendekkel lassabb. Adatátviteli sebesség. Késleltetés. o Nem felejtő tárolás. o Blokk alapú szervezés. Az OS ebben kezeli, ennél kisebb egységekben nem gondolkozik. Blokként olvasható, írható, törölhető. Kivéve egyes beágyazott rendszereket. NOR flash memória szervezésű. NOR flash-ből direkt módon futtatható az OS és a programok. BME-MIT 2012, Minden jog fenntartva 3. lap

Fájl leképzése a HW tároló elemre A fájl (file) a permanens táron az adattárolás logikai egysége. o Névvel rendelkezik (named collection). o A nevével lehet hivatkozni rá. o Tetszőleges méretű (fájlrendszer és az eszköz kapacitása a korlát) Az operációs rendszer feladata a logikai egységek (fájlok) leképzése valódi fizikai egységekre. Ezt az operációs rendszerben egy többszintű hierarchikus/réteges rendszer, különböző absztrakciós szintekkel oldja meg. Legalacsonyabb szinten többnyire valamilyen speciális HW van (HDD, Flash drive, stb.). o Kivétel az u.n. RAM drive... BME-MIT 2012, Minden jog fenntartva 4. lap

Absztrakciós szintek (egyszerűsített) Absztrakciós szint Logikai fájlrendszer, pl. fájl, könyvtár, stb. (logical file system) Felhasználó + magas szintű OS funkciók Fájlrendszer leképzés (file-organization module) Alacsony szintű fájlrendszer (fizikai szint) (basic file system) Eszközvezérlő (I/O control v. device driver) Eszközök, pl. HDD, NAND flash, stb. (devices) Hardver parancsok (IDE, SATA, SCSI) BME-MIT 2012, Minden jog fenntartva 5. lap

HDD szerkezete Sáv Szektor kar Fej (head) BME-MIT 2012, Minden jog fenntartva 6. lap Cilinder (összes tányéron)

Eszközök: HDD Merevlemez (HDD): o Forgó mágnesezhető tányérok (platter). o Egy mozgatható karra (arm) vannak szerelve az író/olvasó fejek (head). o A tányérokat cilinderekre (cylinder), és azokat sávokra (track) azokat meg szektorokra (sector) osztjuk. o A cilinder, sáv és szektor együtt azonosítja az írható/olvasható adatblokkot. o A gyakorlatban már a fizikai eszközök egy logikai leképzést alkalmaznak (Logical Block Addressing). o LBA: 48 vagy 64 bit napjainkban o 512 byte / 4 Kbyte szektor méret áttérés Jelenleg folyik Teljesítmény ingadozik apró implementációs részletek függvényében BME-MIT 2012, Minden jog fenntartva 7. lap

A HDD tényleges sebessége Erősen függ attól hogy éppen hol helyezkedik el a fej, és ahhoz képest az elérendő adatblokk (szektor), és milyen sebességgel forognak a tányérok. Több szintű optimalizáció: o Diszk ütemezés (Disk scheduling). Milyen sorrendben optimális a diszk-hez érkező I/O kérések kiszolgálása? o HDD szintjén (SATA NCQ, SCSI). o Operációs rendszer szintjén a párhuzamos írások/olvasások ütemezése során. o Prefetch... Több szintű cache: o HDD szintjén (16-64 Mbyte jelenleg). o HDD controller cache (drága RAID kontrollereken, tipikusan n*100 Mbyte) o Operációs rendszer szintjén: Disk cache, dinamikusan változó méret. BME-MIT 2012, Minden jog fenntartva 8. lap

Eszközök: NAND Flash tároló Az alacsony szintű interface azonos a merevlemezével. o Solid State Disk(SSD) SATA v. IDE interfésszel. o PEN drive USB interfésszel. A kártya olvasók ugyan így működnek, csak a tároló cserélhető. Olvasás gyors, független az adatot tároló blokk elhelyezkedésétől: o Nem kell fejeket mozgatni és szektort pozícióba forgatni. o RAM jelleggel érhető el. Az írás (valójában a törlés) problémás: o Véges számú alkalommal törölhető egy blokk. o Az írás/törlés lényegesen lassabb is. Párhuzamosítható több blokk írása gyorsíthat, ha az eszköz támogatja. o Wear leveling(eszköz és/vagy OS szintű) Pl. OS szinten speciális fájlrendszerek: JFFS2, YAFFS, UDF (optikai tárolókon), ZFS o TRIM (SSD + OS támogatás): Írások csökkentése, és a write amplification jelenség elkerülése a cél BME-MIT 2012, Minden jog fenntartva 9. lap

Eszköz csatlakozás A hoszt számítógéphez csatlakozó megoldások (Host- Attached Storage): o Direkt csatlakozás: SATA/eSATA, IDE, SCSI, SAS, stb. o Indirekt csatlakozás: USB, Firewire alapú alagút (tunnel). RAID (Redundant Array of Inexpensive Disks). Hálózati tárolók eszközök (Storage-Area Networks, SAN): o Hálózati alagút (tunnel) a hoszt és a tároló eszköz között. o Speciális protokollok: Fibre channel o Ethernet és/vagy TCP/IP alapú: iscsi, AoE A NAS (Network-Attached Storage, File megosztás, stb.) nem ezen a szinten valósul meg. BME-MIT 2012, Minden jog fenntartva 10. lap

USB USB mass storage device class. SCSI parancs készlet kerül átküldésre az USB buszon transzparens módon. oaz OS számára egy SCSI buszon keresztül csatlakozó eszköznek tűnik. oaz USB csupán egy alagutat képez az eszköz és az OS között. BME-MIT 2012, Minden jog fenntartva 11. lap

RAID Tények: o A merevlemezek olcsók. o Nem megbízhatóak (mozgó alkatrészek, érzékenyek). o Lassúak. Ötlet: o Használjunk belőle többet egyszerre. o Több redundáns alkalmazása növeli a megbízhatóságot. o Több párhuzamos használata növeli a sebességet. o Hozzunk létre egy virtuális diszket a fizikai diszkekből. Az OS majd azt (a virtuálisat) kezeli... Ezt a virtuális diszket hívják RAID tömbnek (RAID array) Megvalósítás: o HW RAID vezérlők. o SW RAID megoldások. Az alaplapi megoldások is ilyenek szinte kivétel nélkül. Szerver alaplapokban esetleg van HW RAID. BME-MIT 2012, Minden jog fenntartva 12. lap

RAID szintek RAID 0-6 és egymásba ágyazott (nested) szintek. RAID 0-1 szabványok általában SW implementációval és kevés (2db) diszkkel. RAID 2-4 szabványokat ritkán használják. RAID 5 és 6 alkalmazása tipikus nagyobb számú diszk esetén. osok diszk (4 vagy annál több). Egymásba ágyazott szintek: oraid 1+0 és RAID 0+1. Vannak gyártó specifikus nem szabványos megoldások... BME-MIT 2012, Minden jog fenntartva 13. lap

RAID 0 (striped disks). RAID level 0 Több diszk párhuzamos használata. A file részei N diszkre kerülnek: o Az egyes részek egymástól függetlenül elérhetők. A diszkek tároló kapacitása összeadódik. N azonos diszk esetén a RAID 0 virtuális diszk olvasásai és írási adatátviteli sebessége maximum N szeres közelébe nő. A hozzáférési idő közel eléri egy diszk hozzáférési idejét. Bármelyik diszk meghibásodása esetén az adat elveszik. BME-MIT 2012, Minden jog fenntartva 14. lap

RAID level 0 File1_0 File1_4 File1_1 File1_2 File1_3 File1_5 Disk 0 Disk 1 Disk 2 Disk 3 BME-MIT 2012, Minden jog fenntartva 15. lap

RAID 1(mirroring). RAID level 1 Több diszk redundáns használata. A file minden része minden (N) diszkre kikerül. o Azonos diszkeket feltételezve a tároló terület egy diszk tároló területével azonos. o Az adatátviteli sebesség lassabb mint egy diszk sebessége. o A hozzáférési idő nő. o Speciális esetben az olvasási sebesség N szeresre nőhet. Feltételezve a diszk meghibásodásának más módon történő észlelését (nem kell az azonosságot ellenőrizni többségi szavazással). o Egy működőképes diszk esetén az adat elérhető. BME-MIT 2012, Minden jog fenntartva 16. lap

RAID level 1 File1_0 File1_0 File1_0 File1_0 File1_1 File1_1 File1_1 File1_1 File1_2 File1_2 File1_2 File1_2 File1_3 File1_3 File1_3 File1_3 File1_4 File1_4 File1_4 File1_4 File1_5 File1_5 File1_5 File1_5 Disk 0 Disk 1 Disk 2 Disk 3 BME-MIT 2012, Minden jog fenntartva 17. lap

RAID level 5 RAID 5(block interleaved distributed paritity). Több diszk redundáns és párhuzamos használata. Adat és paritás elosztása N+1 diszkre. oa sebesség tekintetében közel áll az N diszket használó RAID 0-hoz (HW támogatás esetén). o A kapacitása N diszk tároló kapacitásával egyenlő o 1 diszk meghibásodása esetén az adat elérhető. o2 vagy több diszk meghibásodása esetén az adat elveszik. o Az adat nem feltétlenül állítható helyre. Csendes/néma hibák (silent error). A 2. meghibásodás észlelése a tömb újraépítése során. BME-MIT 2012, Minden jog fenntartva 18. lap

RAID level 5 File1_0 File1_1 File1_2 File1_1-3par File1_3 File1_4 File1_3-5par File1_5 Disk 0 Disk 1 Disk 2 Disk 3 BME-MIT 2012, Minden jog fenntartva 19. lap

RAID level 6 RAID 6(block interleaved dual distributed paritity). Több diszk redundáns és párhuzamos használata. Adat és paritás elosztása N+2 diszkre. o A sebesség tekintetében közel áll az N diszket használó RAID 0-hoz (HW támogatás esetén). o A kapacitása N diszk tároló kapacitásával egyenlő o 2 diszk meghibásodása esetén az adat elérhető. o 3 vagy több diszk meghibásodása esetén az adat elveszik. o Az adat nagyobb valószínűséggel állítható helyre a RAID 5- höz képest. Ha 1 diszk meghibásodása esetén azt azonnal pótoljuk, a tömb helyreállítása során egy csendes/rejtett hiba is javítható Azonnal javítani kell egy hiba esetén! BME-MIT 2012, Minden jog fenntartva 20. lap

RAID level 6 File1_0 File1_1 File1_01_par1 File1_01-par2 File1_2 File1_23_par2 File1_3 File1_23_par1 File1_45_par2 File1_45_par1 File1_4 File1_5 Disk 0 Disk 1 Disk 2 Disk 3 BME-MIT 2012, Minden jog fenntartva 21. lap

RAID kritikája Hamis biztonságérzet: o Csak a merevlemez egyedi, véletlen meghibásodása ellen véd. Pl. A tápegység meghibásodik, és tönkreteszi a HDD-éket is. o Nem véd az SW hibáktól, illetéktelen hozzáféréstől, stb. o Nem pótolja a biztonsági másolatokat, csak a rendelkezésre állási időt és a sebességet növelheti. A HW RAID vezérlők drágák: o 8 portos SATA RAID RAID 5 és RAID 6 támogatással kb. 200 eft. o Drágább, mint a hozzá csatlakozó diszkek. o Komplett gépet lehet venni ekkora összegből... Az SW RAID megoldások elsősorban RAID 0 és RAID 1 esetén alkalmazhatóak. o Lassú a RAID 5 és 6 bonyolult kódolásának SW megvalósítása. BME-MIT 2012, Minden jog fenntartva 22. lap

RAID előnyei A RAID 1 és RAID 5, 6 megvéd a tipikus véletlen HDD hibák által okozott azonnali rendszer leállástól. o A HDD a leggyengébb láncszem: Pl. Google HDD statisztikák. http://labs.google.com/papers/disk_failures.pdf Hőmérséklet nem befolyásolja a működést olyan mértékben, mint korábban gondolták. SMART (Self-Monitoring, Analysis, and Reporting Technology) hatásos a hibák előrejelzésére, de nem jelzi biztosan előre a hibákat. Ki használja a SMART-ot? (Mindenki próbálja ki.) Smartmontools + GSmartControl vagy HDD Guardian o CD-ROM-os történet (nem csak a HDD lehet hibás)... A RAID 0 és RAID 5, 6 gyorsítja a diszk hozzáférést. o A HDD a leggyengébb láncszem ebből a szempontból is. BME-MIT 2012, Minden jog fenntartva 23. lap

Hálózati tároló eszközök (SAN) Hálózati tunnel a hoszt és a tároló eszköz között. o Alacsony, blokk szintű megoldás. o Többnyire SCSI parancsokat küldenek át. o A tároló eszköz virtualizációja: Teljes értékű, tetszőlegesen skálázható, partícionálható, bootolható, stb. Mintha lokálisan lenne a merevlemez csatlakoztatva. Általában egy géphez csatlakoztatható csak (kivéve fürtök/clusters). Megoldások: o Speciális protokollok: Fibre channel (drága, dedikált HW). o Ethernet és/vagy TCP/IP alapú: iscsi, AoE. Olcsó/ingyenes, részben SW, de legalább firmware támogatás is szükséges (pl. bootolás iscsi-ről BIOS-ból, lásd Intel hálózati kártyák). Konvenciók: o Target: Hálózati tároló eszköz, amihez a fizikai tároló eszközök direkt módon vagy további SAN szinteken keresztül csatlakoztatva vannak. o Initiator: A kliens, ami használja a tároló eszközöket. o Elnevezési konvenciók a használandó tároló eszköz azonosítására. o Initiator szintű hozzáférés ellenőrzés. BME-MIT 2012, Minden jog fenntartva 24. lap

Absztrakciós szintek (egyszerűsített) Absztrakciós szint Logikai fájlrendszer, pl. fájl, könyvtár, stb. (logical file system) Felhasználó + magas szintű OS funkciók Fájlrendszer leképzés (file-organization module) Alacsony szintű fájlrendszer (fizikai szint) (basic file system) Eszközvezérlő (I/O control v. device driver) Eszközök, pl. HDD, NAND flash, stb. (devices) Hardver parancsok (IDE, SATA, SCSI) BME-MIT 2012, Minden jog fenntartva 25. lap

Alacsony szintű fájlrendszer Fizikai diszk blokkok írását és olvasását végzi. Egyben feladata a működés során használt információk cache-elése is. o Puffer cache (buffer cache): A lapozás során külön cache szolgál a pagefile cache-elésére, és külön a blokkok cache-elésére (beleértve a pagefile cache tartalmát is). Kétszeres cache-elés. o Egységes puffer cache (unified buffer cache): A cache a blokk szinten működik, nincs külön pagefile cache. o Egységes virtuális memória (unified virtual memory): A lapozás és a fájlrendszer szinten megvalósított, operációs rendszer egészére vonatkozó disk cache összevonása. A file lényegében virtuális memóriára van leképezve Pl. Linux, Windows, stb. ezt használja. Pl. Linux: Amíg van szabad fizikai memória, abba a file-okat cache-eli. BME-MIT 2012, Minden jog fenntartva 26. lap

Fájlrendszer leképzés Logikai blokkok leképzése fizikai blokkokra (allocation). o Folytonos allokáció (contiguous allocation). o Láncolt listás allokáció (linked allocation). o Indexelt tárolás (indexed allocation). Az üres helyek menedzselése (free-space management): o Bit vektor (bit vector). o Láncolt lista (linked list). o Szabad helyek csoportjaink listája (Grouping). o Számlálás (Counting). o Egybefüggő szabad területek nyilvántartása (Space maps). o Az üres helyekkel nem fogunk foglalkozni a tárgyban... BME-MIT 2012, Minden jog fenntartva 27. lap

Folytonos allokáció (contiguous allocation)1. A fájl egy folytonos fizikai blokk sorozatot foglal el. ohozzáférés egyszerű és gyors HDD esetén (a sáv folytonosan olvasható a forgó tányérról). o Növekvő méretű fájloknak a helyfoglalás problémás: Milyen méretű szabad helyet allokáljunk? oúj fájlok számára megfelelő szabad hely megtalálása nehéz, külső tördelődés lép fel. Fájl törlése után a méretének megfelelő számú blokk felszabadul. Erre a helyre kisebb vagy egyenlő méretű fájl írható. Ugyan azokat az algoritmusokat használhatjuk, mint a memória foglalás során (first fit, next fit, best fit, worst fit). BME-MIT 2012, Minden jog fenntartva 28. lap

Folytonos allokáció (contiguous allocation)2. Növekvő fájlok: o A best fit allokációs stratégia különösen veszélyes. oa fájl nagyobb szabad helyre másolása (erőforrás igényes). Külső tördelődés csökkentése: o Teljes másolás egy üres diszkre majd vissza (off-line). Rendszerleállással jár. Hosszú ideig tart és erőforrás igényes. ofutási idejű (on-line) töredezettség csökkentés (defragmentation). BME-MIT 2012, Minden jog fenntartva 29. lap

Láncolt listás allokáció (linked allocation) 1. A könyvtárakat leíró adatstruktúrák tartalmazzák az első és az utolsó blokk azonosítóját. Minden blokk tartalmazza a következő blokk azonosítóját A fájlhoz tartozó blokkok tetszőleges helyen lehetnek a diszken. Nincs külső töredezettség. Problémák: o Szekvenciális fájl elérésre alkalmas, a fájlba indexelni viszont nehéz (n. blokk direkt elérése). o A blokkokban lévő azonosítók helyet foglalnak. o Sérülékeny (azonosítók fűzik a blokkokat össze). o Sok fejmozgást okoz (seek), ha a blokkok el vannak szórva a diszken. BME-MIT 2012, Minden jog fenntartva 30. lap

Láncolt listás allokáció (linked allocation) 2. Pl. a FAT fájlrendszer ezt használja. Töredezettség mentesség ebben az esetben mást jelent: o Cél a fejmozgás minimalizálása egy file olvasása során. SSD esetén értelmetlen (nincs fej, sok írás) oa fájlok egymás utáni blokkokon történő tárolását tűzi ki célul. o Ezt is defragmentation-nak hívják... oilyen célból ajánlott időnként pl. a Windows operációs rendszerek alatt a töredezettség mentesítő programok futtatása. Jelentősen nőhet a fájlkezelés sebessége. Az írást is gyorsítja, nem csak az olvasást! Összefüggő szabad helyek... BME-MIT 2012, Minden jog fenntartva 31. lap

Indexelt tárolás (indexed allocation). Index blokkok használata: o Egyes blokkokat fájlokhoz tartozó indexek tárolására allokálunk. Szekvenciális és indexelt elérésre is alkalmas. Sérülékeny (az index blokkok sérülése a fájlt elérhetetlenné teszi). o Az index blokkokat viszont könnyű többszörözni (replikálni). Sok fejmozgást okoz (seek), ha a blokkok el vannak szórva a diszken. o Itt is lehet a láncolt listás töredezettség mentesítéshez hasonló algoritmusokat használni a fejmozgás minimalizálására. BME-MIT 2012, Minden jog fenntartva 32. lap

Logikai fájlrendszer Operációs rendszer specifikus. o Operációs rendszer specifikus API a tetején. o Tipikus API függvények: Create, Delete, Read, Write, Set/Get attributes, stb. Metaadat tárolása (minden, kivéve a tényleges adatot). Fájlok: o Absztrakt adattípus (objektum, fájl mutató). o Adat, név (name), típus (type) tulajdonságok (attributes). o Kölcsönös kizárás (file locking). Könyvtárak (Directory/Folder). Kötetek (Volume/Drive). BME-MIT 2012, Minden jog fenntartva 33. lap

Fájl A fájl (file) a permanens táron az adattárolás logikai egysége. Tulajdonságok: o Név: Elnevezési konvenciók (Windows/UNIX). Egyedi azonosító egy könyvtáron belül? Többnyire igen, de bizonyos OS-ekben nem... o Típus (megadja a kezelés módját): Pl. Windows kiterjesztés, vagy egy speciális tulajdonság. o Tulajdonosok, jogosultságok. o Hozzáférési időpontok. o stb. Pl. Létrehozás, módosítás (írás), hozzáférés (írás/olvasás). BME-MIT 2012, Minden jog fenntartva 34. lap

Könyvtárak Az információ hierarchikus tárolása... Kialakítások: o Egyszintű, korai rendszerekben használták. okétszintű, még az 1990-es évek közepén is használták (pl. IBM OS/400). o Fa struktúrájú fájlrendszer. o Aciklikus irányított gráf struktúrájú fájlrendszer. o Általános gráf alapú fájlrendszer. BME-MIT 2012, Minden jog fenntartva 35. lap

Aciklikus irányított gráf struktúra Egy fájl vagy alkönyvtár több könyvtárban található meg. Csak egy példányban létezik!!! Pl. UNIX/Linux hard és symbolic links o Egy fájlhoz több úton el lehet jutni. o A hard vagy symbolic link jellegű kötés felismerhető fájl attribútumok alapján. A fájlrendszeren végig lehet iterálni (felismerhetők a linkek)... o Mi történjen, ha törlünk egy fájlt, amelyhez több úton el lehet jutni? Csak a hivatkozás törlődik, ha azt töröljük. Nem törlődik, amíg az összes hivatkozást nem törlik. Törlődik minden hivatkozással együtt. BME-MIT 2012, Minden jog fenntartva 36. lap

Általános gráf struktúra Operációs rendszerekben ritkán használják. o Hogyan lehet benne pl. keresni? o Mi legyen a kereső algoritmus leállási feltétele? oa WEB-es dokumentumok pl. egy ilyen struktúrát valósítanak meg, amikor egymásra hivatkoznak. Bár az nem egy tényleges fájlrendszer... BME-MIT 2012, Minden jog fenntartva 37. lap

Kötetek A logikai fájlrendszer szintjén a legmagasabb egység. Megfelel egy fizikai vagy logikai partíciónak a fizikai tároló eszközön. Hogyan jelennek meg az operációs rendszerben? o Nevükön kell rá hivatkozni (pl. Windows C:) oa fájlrendszerben a könyvtár hierarchiába tetszőleges helyre leképezhető (UNIX/Linux mount, újabb Windows-ok) BME-MIT 2012, Minden jog fenntartva 38. lap

Adatszerkezetek az eszközön Az alacsony szintű adatstruktúrák. o Boot szektor (boot control block). Ezt tölti be a BIOS/EFI/firmware, és utána ez alapján történik az OS betöltése. o Partíciós tábla (volume control block). A partíció specifikus adatokat itt tárolják. Partíció méretei, használt és szabad hely, azokra mutató referenciák, stb. o Fájlrendszer specifikus információ. Könyvtárstruktúra leírói. Fájl leírók (File Control Block). BME-MIT 2012, Minden jog fenntartva 39. lap

Adatvesztés... A fájlok egy időben a memóriában és a permanens tárolóeszközön is jelen vannak. o Eltérő állapotban lehetnek: Pl. a memóriában már új adatelemekkel... o A metadatokat, az allokációs adatstruktúrákat is módosítjuk. o Meghibásodás vagy a tápfeszültség elvesztése inkonzisztenciát okozhat. Konzisztencia ellenőrzése. A konzisztencia visszaállítása. o Tranzakció orientált fájlrendszerek. Log-structured, log-based transaction oriented, journaling fájlrendszerek. Pl. NTFS, EXT3 és EXT4. NEM a biztonság a cél itt (adatvesztés lehet), a cél a konzisztencia! Biztonságos rendszerleállítás, szünetmentes táplálás (UPS). Adatmentés és visszaállítás. o A mentésből a helyreállítást tesztelni kell. o Amíg nincs sikeres helyreállítási teszt, nem beszélhetünk adatbiztonságról! BME-MIT 2012, Minden jog fenntartva 40. lap

Széles körben elterjedt fájlrendszerek 1. FAT (File Allocation Table) o 8+3 karakteres fájlnév, a hosszú fájlnév külön fájlba tárolva... o FAT16 (előtte volt FAT12 is). Max. 2GB partíció méret. 32767 könyvtár bejegyzés. Ma is használják (Pendrive v. kisebb memória kártya). o FAT32 2 TByte (TiB SI rendszerben) partíció méret. Más okokból van egy 64 vagy128 GByte-os limit egyes korai MS operációs rendszerekben. File méret: 4 GByte-1 byte Sokan nem tudják, és nem értik, miért nem tudnak nagy file-okat hordozható diszkekre másolni... NTFS (New Technology File System) o 2 64 Byte (16 EB) -1 KByte max. fájlméret, 2 32-1 fájl, stb. o 2 64 darab szektor egy partíción belül. o 256 karakter hosszú fájlnév. o Tranzakció alapú. o Töredezés mentesítés ennél is szükséges. BME-MIT 2012, Minden jog fenntartva 41. lap

Széles körben elterjedt fájlrendszerek 1. FAT (File Allocation Table) o 8+3 karakteres fájlnév, a hosszú fájlnév külön fájlba tárolva... o FAT16 (előtte volt FAT12 is). Max. 2GB partíció méret. 32767 könyvtár bejegyzés. o FAT32 Ma is használják (Pendrive v. kisebb memória kártya). 2 TByte (TiB SI rendszerben) partíció méret. A FAT és NTFS fájlrendszerk nem különböztetik meg a kisés nagybetűket. (Erre az átlag felhasználók sem képesek...) Más okokból van egy 64 vagy128 GByte-os limit egyes korai MS operációs rendszerekben. File méret: 4 GByte-1 byte Sokan nem tudják, és nem értik, miért nem tudnak nagy file-okat hordozható diszkekre másolni... NTFS (New Technology File System) o 2 64 Byte (16 EB) -1 KByte max. fájlméret 2 32-1 fájl, stb. o 2 64. darab szektor egy partíción belül. o 256 karakter hosszú fájlnév. o Tranzakció alapú. o Töredezés mentesítés ennél is szükséges. BME-MIT 2012, Minden jog fenntartva 42. lap

Széles körben elterjedt fájlrendszerek 2. EXT2 o Alapértelmezett Linux fájlrendszer korábban. o Van Windows driver is, lehet Windows alatt is használni. Rendszerpartíción nem. o Maximális fájlméret: 16 GByte- 2 TByte (blokk mérettől függ). o Fájlok maximális száma: 10 18. o Maximális fájlnév hossza: 255 byte(kis- és nagybetű érzékeny). o Maximális partíció méret: 2-32 TB(Linux kerneltől függő). o A töredezés lassan történik, ritkán van szükség töredezés mentesítésre (off-line lehetséges). EXT3 o Az EXT2 javított, tranzakció kezeléssel kiegészített verziói. o Htree alapú indexelés: több könyvtárat tesz lehetővé o Ez a javasolt Linus fájlrendszer, kivéve a flash eszközöket. o EXT2 és EXT3 között egyszerű a konverzió (visszafelé is). EXT4: További bővítések (nagyobb tárak kezelése, extents, stb.). o Egyre gyakrabban már ezt telepítik alapértelmezett módon a disztribúciók. CD-ROM/DVD fájlrendszerek (ISO 9660, Rock Ridge, Joliet, El Torito kiterjesztések) o Máig is 2/4 Gbyte a fájlméret korlát (DVD ezért van szétszedve darabokra). BME-MIT 2012, Minden jog fenntartva 43. lap

NAS (Network-Attached Storage) Fájlrendszer szintű hálózati fájlmegosztás. o Többnyire nyomtató is... Például: o Network File System (NFS). Elsősorban UNIX, de van Windows megvalósítás is. o Server Message Block / Common Internet File System(SMB/CIFS) Elsősorban Windows, de Linux/UNIX is (SAMBA). Fájlrendszer szintű megosztás. o A hálózaton a könyvtárakra és fájlokra vonatkozó utasításokat küldünk át. o Jellegzetesen párhuzamosan több felhasználó érheti el. o Felhasználó szintű jogosultságok. o A kliens és a szerver fájlkezelési konvenciónak eltéréséből problémák lehetnek. Pl. UNIX és Windows fájlnév, fájl tulajdonságok, stb. A HTTP nem ilyen, komplett fájl osztható meg, nem lehet indexelni a fájlba. o Fájl elérésnek is hívják BME-MIT 2012, Minden jog fenntartva 44. lap

Permanens tár megfigyelése Alacsony (blokk) szinten o Sysinternals: Disk Monitor (diskmon.exe) Magas (fájl) szinten o Sysinternals: Process Monitor (procmon.exe) BME-MIT 2012, Minden jog fenntartva 45. lap