202.. 09. Hiba források hardware hibák Rendelkezésre állás modellek Dr. Babarczi Péter babarczi@tmit.bme.hu http://lendulet.tmit.bme.hu/~babarczi/ Hálózati eszközök meghibásodása (hardware failures) Típushibák gyártás és kivitelezés alatti tervezési hibákból származtathatóak Tesztelésnél kell őket kiszűrni Elhasználódás Processzor, memória, alaplap, iterface-ek Mozgó alkatrészek: hűtő ventilátor, háttértár, tápegység A természeti jelenségek, is jellemzően ezekre az eszközökre vannak a legnagyobb hatással.» magas páratartalom, magas hőmérséklet, földrengés kondenzátorok, tranzisztorok, biztosítékok 2 Hiba források Software hibák Szoftver hibák (software failures) hibás tervezés nagy komplexitásúak és összetettek helytelen implementáció Pl. változó nevek elgépelése A fordító gyakran észreveszi Hibás memória művelet Hiba források Operátor hibák általános operátori feladatokból eredő hibák (maintanace errors) rendszerek és hardware eszközök fel- és átkonfigurálása javításokból következő hibás beállítások frissítések és javítócsomagok telepítéséből eredő nem megfelelő működés 3 4 Hiba források Operátor hibák Nem tervezett javítás hibás beállításokból adnak az útválasztók címzésénél rossz cím vagy prefixum rossz interfész azonosító rossz link metrikák rossz időzítők, sorok» Diffserv forgalom korlátozók (Traffic Conditioners) Policers, classifiers, markers, shapers Rossz biztonsági beállítás törvényes forgalom blokkolása egyéb a működtetéshez kapcsolódó hibák: véletlen balesetből adódó fizikai hibák (rese hozzáférési problémák (elfelejtett jelszó) Tervezett javítás (planned maintanance) túl hosszura nyúlt upgrade Hiba források Operátor hibák topológia /méretezés /implementációs tervezési hibák; Routerekbe gyenge processzor kerül túl hosszú vezetékekből eredő magas bithibaarány helytelen topológia a védelmi útvonalakból eredő redundancia hiánya Kompatibilitási hibák gyártók és verziók között különböző szolgáltatók vagy AS (Autonomous system) között Pl. autonóm rendszerek (AS, Autonomous System) közötti eltérő útválasztási konfigurációk, bebocsátás vezérlés (Admission Control) beállítások felelhetnek hálózati leállásokért. 5 6
202.. 09. Hiba források felhasználók által okozott hibák (user failures) Rosszindulatú támadásokból eredő hibák fizikai eszközök ellen Betörés, rombolás csomópontok ellen Feltörik a gépet, vírusok DoS (denial-of-service) támadás (Interneten gyakori) Megpróbálja túlterhelni a routereket egyszerre sok helyről IP address spoofing - IP cím hamisítás Pl: Ping of Death a ping csomag 65535 byte lehet. 996 gyakran le lehetett úgy fagyasztani a gépeket ha ennél hosszabb ping csomagot küldtél. Nem várt felhasználói viselkedésből eredő hibák Rövid távú Rendezvények Mobilitás Hosszú távú új népszerű site-ok, alkalmazások 7 Hiba források Környezeti hatások kábel szakadás építkezésnél rádió jelek legyengülése felépül egy épület Felhők, szmog, köd Madarak, repülő elektromágneses interferencia Elektromágneses zaj - napviharok áramkimaradás levegő nedvesség tartalma és a hőmérséklet Elromlik a légkondicionáló katasztrófák Tűz, földrengés, terror támadás, áradás, tsunami, villám Michnet ISP Gerinchálózat /97 /98 Melyik lehet a 3 leggyakoribb hiba? Maintenance Power Outage Interface Down Routing Problems Hardware Problem Software Problem Fiber Cut/Cicuit/Carrier Problem Malicious Attack Congestion/Sluggish 9 Michnet ISP Gerinchálózat /97 /98 ok tipus db [%] Maintenance Operator 272 6.2 Power Outage Environmental 273 6.0 Fiber Cut/Cicuit/Carrier Problem Environmental 26 5.3 Unreachable Operator 25 2.6 Hardware Problem Hardware 54 9.0 Interface Down Hardware 05 6.2 Routing Problems Operator 04 6. Miscellaneous Unknown 86 5.9 Unknown/Undetermine d/no problem Unknown 32 5.6 Congestion/Sluggish User 65 4.6 Malicious Attack Malice 26.5 Software Problem Software 23.3 Environmental 3% Malice 2% Unknow n % User 5% Softw are % Operator 35% Hardw are 5% 0 2002 esettanulmány Hiba források - Összefoglalás Operátor hibák (hibás konfiguráció) Egyszerű megoldások szükségesek Esetenként az összes hiba 90%-át is elérik Tervezett kiesések Éjszaka futnak Esetenként a hibák 20%-át is elérik DoS támadás Egyre rosszabb lesz a jövőben Szoftver meghibásodások 0 millió soros forráskódok Link kiesések Bármi, ami miatt egy pont-pont összeköttetés megszakadhat D. Patterson et. al.: Recovery Oriented Computing (ROC): Motivation, Definition, Techniques, and Case Studies, UC Berkeley Computer Science Technical Report UCB//CSD-02-75, March 5, 2002, 2 2
202.. 09. On-line színház és koncert jegyek Motiváció megbízható optikai hálózatok tervezésére Tőzsdei kereskedelem Bankkártya fizetés Repülőjegy foglalás Megbízhatóság Hiba Egy elem helyes működésének megszűnése. Definíció szerinte a hiba egy adott t f időpillanatban következik be Megbízhatóság, Reliability, R( Egy rendszer vagy szolgáltatás folyamatos, hibamentes műkodése Annak a valószínűsége, hogy egy rendszer megfelelően (hibamentesen) működik a [0 t] intervallumban. 3 4 Megbízhatóság (2) Megbízhatóság, R( - F( (eloszlás függvény) segítségével definiáljuk Egyszerű modell: exponenciális eloszlású valószínűségi változók Tulajdonságai: nemnövekvő R(0) = lim R( = 0 t R( R(a) 0 a R( = F( = ( e ) = e t t t 5 Hálózat javítható alrendszerekkel Egy javítható rendszer leírására használt modell Rendelkezésre állás A( Annak a valószínűsége, hogy egy javítható rendszert működő állapotban találunk egy adott t időpillanatban A( = P(idő = t, rendszer = UP) Rendelkezésre nem állás, U( Annak a valószínűsége, hogy egy javítható rendszert hibás állapotban találunk egy adott t időpillanatban U( = P(idő = t, rendszer = DOWN) A( + U( = a t pillanatban UP DOWN Eszköz működik Hiba Eszköz működik Eszköz működik Az eszköz meghibásodott, a javítása folyamatban. t 6 Elem rendelkezésre állás megadása A leggyakrabban használt mód MTTR - Mean Time To Repair MTTF - Mean Time to Failure MTTR << MTTF MTBF - Mean Time Between Failures MTBF=MTTF+MTTR Gyors javítás esetén az MTBF kb megegyezik az MTTF értékkel Gyakran FIT-ben adva (Failures in Time), MTBF[h]=0 9 /FIT Egy másik jelölés (nem fogjuk használni) MUT - Mean Up Time Like MTTF MDT - Mean Down Time Like MTTR MCT - Mean Cycle Time MCT=MUT+MDT 7 Rendelkezésre állás Rendelkezésre állás Kilencesek száma Nem megfelelő működési idő évente* Nem megfelelő működési idő havonta** Nem megfelelő működési idő hetente*** 90% kilences 36.52 nap 73.04 óra 6.80 óra 95% - 8.26 nap 36.52 óra 8.40 óra 98% - 7.30 nap 4.60 óra 3.36 óra 99% 2 kilences 3.65 nap 7.30 óra.68 óra 99.5% -.83 nap 3.65 óra 50.40 perc 99.8% - 7.53 óra 87.66 perc 20.6 perc 99.9% 3 kilences 8.77 óra 43.83 perc 0.08 perc 99.95% - 4.38 óra 2.9 perc 5.04 perc 99.99% 4 kilences 52.59 perc 4.38 perc.0 perc 99.999% 5 kilences 5.26 perc 25.9 másodperc 6.05 másodperc 99.9999% 6 kilences 3.56 másodperc 2.62 másodperc 0.6 másodperc 99.99999% 7 kilences 3.6 másodperc 0.26 másodperc. másodperc Karbantartott Jól karbantartott Hibavédett Nagy megbízhatóságú 8 3
202.. 09. Eszközök életciklusa Beüzemelési időszak: növekvő rendelkezésre állás (csökkenő kiesések) Teljesítmény optimalizálás Stabil üzemelési időszak: a rendelkezésre állás nagyjából állandó szinten marad, jó esetben ez a leghosszabb időszak Elhasználódás: amikor a rendelkezésre állás lecsökken az alkatrészek elöregedése miatt. Változó hosszúságú Rendelkezésre állás kiértékelése A hibák exponenciális eloszlással jönnek Független azonos eloszlású valószínűségi változók Elméleti szempontból ez támadható és gyakran Weibull eloszlást használnak meghibásodási ráta (idő független) F( = e A meghibásodott eszközök helyreállítási ideje exponenciális eloszlású Független azonos eloszlású valószínűségi változók gyakran Weibull eloszlást használnak helyreállítási ráta (idő független) α t 9 20 Két állapotú Markov modell () Exp val változók átlaga UP DN = MTTF 0 = MTTR Átmenet valószínűségek mátrix alakban P állapotátmenet mátrix (sztochasztikus mátrix) Homogén Markov-lánc (időben nem változik) Az állapotátmenet mátrix k lépés után: P k Stacionárius eloszlás egy sorvektor π, melyre π = π P π létezik (és ekkor egyértelmű is) 2 Két állapotú Markov modell (2) UP A = + DN 0 ( A U ) = ( A U ) A = A ( ) + U Állapotátmenet mátrix: Stacionárius eloszlás: Π = A = U / tudjuk, hogy U = A P = ( UP, DOWN ) = ( A U ) 22 Ass= + Ass Két állapotú Markov modell A( MTTF = = = + + MTTF + MTTR Ha nincs helyreállítás (=0) a rendelkezésre állás megegyezik a megbízhatósággal ( + ) t t A( = + e = 0= e = R( + + 23 t Hiba ráta becslése - Katonai kézikönyv Kezdetben csak elektromos eszközökre Katonai kézikönyv MIL-HDBK-27 (Military Handbook, Reliability Prediction of Electronic Equipmen Mikroelektronikai áramkörök Félvezetők passzív elemek Görbéket próbálnak illeszteni a megfigyelésikre. R( = e ahol p = eszköz meghibásodási rátája p t 24 4
202.. 09. Hiba ráta becslése - Telcordia szabvány Figyelembe veszi az üzembetartási körülményeket Terepen mért adatokat laboratóriumban tesztelt adatokat AT&T Bell Labs. Azóta Telcordia szabványnak hívják France Telecom (CNET93) és British Telecom (HRD5) is továbbfejlesztette 25 Eszköz rendelkezésr állás IP router IP router: route processor MTBF[h] = 200 0 3 MTTR[h] = 4 Pow. Supply, housing, conditioning IP router: interface card MTBF[h] = 85 0 3 MTTR[h] = 4 IP Router (simplified model, configuration example ) SW library HW common parts X 4 port OC3/STM POS line card Not used 2 X portgigabit Ethernet module 4 X port OC48/STM6 POS line card IP router: SW MTBF[h] = 30 0 3 MTTR[h] = 0.0004 (SW restar MTTR[h] = 0.02 (SW reload) MTTR[h] = 0.25 (no automatic restar 8 slot available 26 Eszköz rendelkezésr állás DXC az SDH/SONET rétegben DXC-nek több portja, mint az IP routereknek Control OEO SDH DXC/ADM: MTBF[h] = 0 6 MTTR[h] = 4 Elem rendelkezésre állás (WDM réteg) Aerial cable MTBF[km]=.75 0 5 Buried cable MTBF[km]=2.6 0 5 Cable/ Fibre Submarine cables MTBF[km]=4.64 0 6 MTTR=540 WDM OXC (OEO) or OADM MTBF= 0 5 Amplifier WDM line system OXC redundant: + protected MTBF=6 0 6 MTTR=4 Trunk Transponder Tributary Transponder SDH Synchronous Digial Hierarchy SONET - Synchronous Optical NETworking DXC digital cross connect ADM add-drop multiplexer OEO optical electrical optical conversion 27 MTBF=400 0 3 MTBF=250 0 3 MTBF=60 0 3 OXC WDM wavelength division multiplexing OXC optical cross connect OADM optical add-drop multiplexer 28 Egyetlen WDM fényút (üzemi ú Soros szabály: A = A MTTR=2 Transponder Transponder m i= i Amplifier WDM line system 3.65 nap/év kiesés + védelem (diszjunkt útpár) 200km fényút 0.99074 53 perc/év kiesés MTBF=4 0 5 Ground cable (200 km) MTBF[km]=2.63 0 5 MTTR=2 MTBF=2.5 0 5 MTBF=.6 0 5 OXC WDM OXC MTBF= 0 5 Párhuzamos szabály: m A = ( A ) i= i As-d = AOXC * Atr * AMUX * Acable * Aamp * AMUX * Atr * AOXC = 0.99994 * 0.999985 * 0.9999625 * 0.99087 * 0.999976 * 0.9999625 * 0.999985 * 0.99994 = 0.99994 * 0.99074 * 0.99994 = 0.99062 29 As-d = AOXC * [-(-Apath) *(-Apath2)] * AOXC = 0.99994 * [-(-0.99074)*(- 0.99074)] * 0.99994 = 0.99979 30 5
202.. 09. References Dr. Chidung LAC, Telecommunication network reliability D. Arci, et.al, Availability models for protection techniques in WDM networks Computer Networking: A Top Down Approach Featuring the Internet, 3rd edition. Jim Kurose, Keith Ross Addison-Wesley, July 2004. J. Vasseur, M. Pickavet, and P. Demeester. Network recovery: Protection and Restoration of Optical, SONET-SDH, IP, and MPLS. Morgan Kaufmann Publishers, 2004. Computer Networking: A Top Down Approach Featuring the Internet, 3 rd edition. Jim Kurose, Keith Ross Addison-Wesley, July 2004. 3 6