Datacenter Bridging: a kommunikációs evolúció következő lépcsője Zeisel Tamás Cisco Magyarország tzeisel@cisco.com 1
Infrastruktúra trendek Adatközpont konszolidáció Fizikailag egy helyszin Adatközpontok összekapcsolása Szerver konszolidáció Nagyobb teljesítményű szerverek Blade szerver technologia Szerver virtualizáció (Vmware) Hálózat konszolidáció 10Gb aggregáció Access hálózatiréteg virtualizáció Unified Fabric Storage konszolidáció Nagyobb társűrűség Nagyobb aggregált performancia Disparate Datacenters Individual Servers Physical Virtual Networks Numerous Legacy Arrays Global Datacenters Blade Servers VSwitch Consolidated Storage 2
I/O Konszolidáció I Fázis Jelenleg Szerver Hálózat konszolidáció FCoE technológia LAN SAN A SAN B LAN SAN A SAN B Ethernet FC FC Ethernet FC Ethernet FC Enhanced Ethernet and FCoE 3
I/O Konszolidáció II Fázis Közvetlenül FCoE-vel kapcsolódó Tároló Unified FCoE hálózati környezet Gondoskodik a SAN teljes szeparációjáról, a nagy megbízhatóság érdekében I/O Konszolidáció FCoE Enhanced Ethernet Fabric FCoE FCoE Storage 4
FC over Ethernet (FCoE) FCoE FC csomagokat Ethernet fölött visszük át FC átviteléhez egy Veszteségmentes Data Center Ethernet szükséges Ethernet Fibre Channel Előnyök Egyetlen közös un. Unified Fabric hálózat (LAN+SAN) Egyszerűbb menedzsment Kisebb hálózati fogyasztás Hatékonyabb helykihasználás Egyszerűsített kábelezés Szerverek Kisebb interface beruházás, kevesebb fogyasztás Egyszerűbb kábelezés 5
Data Center Bridging Jellemzők Priority-Based Flow Control (PFC) Biztosítja a csomagvesztés mentességet minden 802.1p class ofservice osztályra Buffer limit elérésekor PAUSE üzenetet küld a megfelelő virtuális linken Hálózati erőforrások VL-enként vannak felosztva (input/output buffer queue) 6
Data Center Ethernet Jellemzők Sávszélesség Menedzsment Intelligens sávszélesség megosztás az egyes forgalmi osztályok között IEEE 802.1Qaz szabványosítás alatt Priority Grouping néven is ismert 7
Data Center Ethernet Jellemzők Data Center Bridging Capability exchange Protocol Data Center Ethernet Data Center Ethernet Handshaking mechanizmus: Class Based Flow Control CoS BW menedzsment Torlódás menedzsment Alkalmazások (user_priority) Logical Link Down http://www.intel.com/technology/eedc/index.htm 8
Data Center Ethernet Jellemzők Layer 2 Multi-Pathing Fázis 1 LAN Fázis 2 LAN Fázis 3 LAN MAC A MAC B Active-Active vpc L2 ECMP MAC A MAC B EHV L2 ECMP Feleslegessé teszi az STP-t az uplink portokon Több egyidejűjeg aktív uplinket biztosít a Switch és a hálózat között Hurok mentesítés MAC Pinning technológiával - a forgalom egyszerre csak egy porton történik az adott eszközre Transzparens MCEC megvalósítás Virtual port channel mechanizmus transzparens a hálózat felé STP csak biztonsági megoldás controll plane hiba esetén ISIS szerű L2 topológia L2 domén hurokmentesítése STP nélkül Elsődleges út választás, loadnalancing 9
Hálózati protokol stack SCSI SCSI SCSI SCSI SCSI iscsi FCP FCP FCP FC FC FC FCIP Kisebb overhead mint FCIP, iscsi TCP TCP IP IP FCoE Ethernet Ethernet DCB PHYSICAL WIRE SCSI iscsi FCIP FCoE FC 10
Converged Network Adapter (CNA) LAN HBA CNA 10GbEE 10GbEE 4GHBA 4GHBA 10GbE 10GbE Link Link Link Fibre Channel Ethernet Fibre Channel Ethernet PCIe PCIe PCIe Ethernet Drivers Fibre Channel Drivers Ethernet Drivers Fibre Channel Drivers Operating System Operating System 11
FCoE megjelenés az Operációs rendszerben Standard driverek Azonos menedzsment Operációs rendszer megjelenés: Dual port 10 Gigabit Ethernet adapter Dual Port 4 Gbps Fibre Channel HBA 12
SFP+ Média lehetőségek Alacsony fogyasztás Alacsony ár Kis késleltetés Alacsony hiba arány(10 exp-17) Technology Cable Distance Power (each side) Transceiver Latency (link) SFP+ CU Copper Twinax 10m ~0.1W ~0.25 ms SFP+ USR ultra short reach MM OM2 MM OM3 10m 100m 1W ~0.1 ms SFP+ SR short reach MM OM2 MM OM3 82m 300m 1W ~0.1 ms 10GBASE-T Cat6 Cat6a/7 Cat6a/7 55m 100m 30m ~8W ~8W ~4W 2.5ms 2.5ms 1.5ms 13
Unified Fabric Fejlődése DC Core DC Aggregation Catalyst 6500 10GbE Core Catalyst 6500 10GbE VSS Agg DC Services IP+MPLS WAN Agg Router WAN Catalyst 6500 10GbE VSS Agg DC Services SAN A/B Gigabit Ethernet 10 Gigabit Ethernet 10 Gigabit DCE 4Gb Fibre Channel MDS 9500 Storage Core DC Access Catalyst 6500 End-of-Row Catalyst 49xx Rack 1GbE Server Access CBS 3100 Blade Catalyst 6500 End-of-Row Catalyst 49xx CBS 3100 Rack MDS 9124e Blade 1GbE and 4Gb FC Server Access MDS 9500 Storage Storage 14
Unified Fabric Fejlődése DC Core DC Aggregation Nexus 7000 10GbE Core Catalyst 6500 10GbE VSS Agg DC Services IP+MPLS WAN Agg Router WAN Nexus 7000 10GbE Agg Catalyst 6500 DC Services SAN A/B Gigabit Ethernet 10 Gigabit Ethernet 10 Gigabit DCE 4Gb Fibre Channel 10 Gigabit FCoE/DCE MDS 9500 Storage Core DC Access Catalyst 6500 End-of-Row Catalyst 49xx Rack 1GbE Server Access CBS 3100 Blade Nexus 7000 End-of-Row Nexus 5000 Rack 10GbE DCE Server Access CBS 3100 MDS 9124e Blade MDS 9500 Storage Storage 15
Unified Fabric Fejlődése DC Core DC Aggregation DC Access Nexus 7000 10GbE Core Catalyst 6500 10GbE VSS Agg DC Services C6500 DC Services IP+MPLS WAN Agg Router Nexus 7000 10GbE Agg WAN C6500 DC Services SAN A/B Gigabit Ethernet 10 Gigabit Ethernet 10 Gigabit DCE 4Gb Fibre Channel 10 Gigabit FCoE/DCE MDS 9500 Storage Core Catalyst 6500 End-of-Row Catalyst 49xx Rack CBS 3100 Blade Nexus 7000 End-of-Row Nexus 5000 Rack Nexus 4000 Blade MDS 9500 Storage 1GbE Server Access 10GbE DCE Server Access Storage 16
Unified Fabric with FCoE Combined Platform Roadmap 2HCY 09 Phase 1 1HCY 10 Phase 2 2HCY 10 Phase 3 1HCY 11 32-port D1 Series SFP+ Module 32-port D1 Series 10G BaseT Module VE_Port Support VF_Port Support FCF Support 16-port FCoE SFP+ Module VE_Port Support VF_Port Support FCF Support T11 FIP Support DCB CEE Authors Indirect-Attach CNAs FCoE Support on N2232-10G FEX 8G FC Module F_Port Trunking & Channeling VE_Port Support FCF Bypass Support Nexus Blade Switch FIP Snooping 17
Unified Fabric Jövő vagy valóság? http://www.cisco.com/en/us/docs/storage/san_switches/mds9000/interoperability/matrix/matrix6.pdf 18
Cisco Nexus termékcsalád Teljes Adatközponti switch portfolio Konzisztens NXOS operációs rendszer Rugalmasan skálázható EndtoEnd Architektúra Nexus 1000V (Virtual Switch) Nexus 2000 Nexus 4000 (Fabric (Blade Switch) Extender) 2008 1K Cisco Nexus 1000V x86 Nexus 5000 (Fixed Config Switch) Nexus 7000 (Modular Switch Platform) NX-OS Data Center Operating System Data Center Network Manager 19
Adatközpont megvalósítás Nexus eszközökkel Nexus 7000 Core Layer Nexus 7000 Distribution Layer 10GE Access Layer Nexus 5000 GigE 10GE Nexus 5000 N1000V N2000 GigE 10GE 10GE Servers Nexus 4000 Rack 1 Rack 1 Row 1 / Domain 1 / POD 1.. 20... 1GE to Servers Rack 1 Rack 12
Nexus 5000 Adatközponti Szerver Switch Max Port sűrűség Max 52X10GE Line Rate Max 16X1/2/4G FC + 40X10GE Nexus 5020 Nexus 5010 Jellemzők FCoE alapú Unified Fabric támogatás Virtualizációra optimalizált Ethernet, DCE, FCoE és FC támogatás L2 támogatás 56 teljes sebességű 10GbE port Architektúra Max 1.2Tbps kapacitás Cut-through architektúra Kis 3.2μs port-port késleltetés Nagy megbízhatóság DC kategória Redundáns tápegység Redundáns ventillátor * FC ports are SFP 21
NX-OS: Adatközponti operációs rendszer IOS Transport Flexibility Cisco Nexus Operational Continuity Infrastructure Scalability SAN-OS NX-OS 22
Sysmgr, PSS & MTS SNMP, XML, CLI Management NX-OS SAN OS alapú operációs rendszer Layer 2 Protocols Layer 3 Protocols Storage Protocols Other Services VLAN mgr STP IGMP snp LACP UDLD CDP 802.1X OSPF BGP EIGRP GLBP HSRP VRRP CTS PIM SNMP Protocol Stack (IPv4 / IPv6 / L2) VSANs Zoning FCIP FSPF IVR Future Services Possibilities Interface Management Chassis Management Chip/Driver Infrastructure Kernel 23
Cisco Fabric Manager 24
Nexus 7000 25
Adatközponti tendencia Speed 10Mb 100Mb 1Gb 10Gb 40 & 100Gb Services Switched Shared VLANs QoS L3 Switching PoE L4-7 Svcs Lossless FCoE Unified Fabric L2 Multi-Pathing Platforms Catalyst 5000 Catalyst 6500 1994 1999 2008+ 26
Nexus 7000 Platform Overview Adatközponti Switch kategória Nexus 7000 és NX-OS 10 és 18 Slot verzio 15+ Terabit rendszer Unified Fabric Ready Moduláris OS Virtualizációra képes (VDC) Cisco TrustSec Folytonos működés Linecard Modulok Supervisor 10G Ethernet 32 Port SFP+ 10G 1G Ethernet 48 Port 1G-TX 48 Port 1G Cisco NX-OS Multi-protocol Operációs rendszer Data Center Network Manager (DCNM) 27
Nexus 7010 Rendszer állapot LEDek ID LEDek minden komponensen Front-toback légbefúvás Integrált kábel menedzsment Levegő kifúvás Opcionális zárható ajtó Rendsz. Vent. Zárható fülek Supervisor szlot (5-6) modul szlot (1-4, 7-10) 21RU Fabric Vent. 2 sasszi per 7 rack Crossbar fabric modulok Tápegységek Levegő befújás Előlap N7K-C7010 Hátlap 28
Switch Paradigma váltás Fabric Extender (FEX) 32
Hagyományos szerver aggregálási lehetőségek Top of Rack (ToR) Architektúra End of Row (EoR) Architektúra Rugalmas, skálázható design Egyszerű bővítés új Rack Rövidebb szerver-access switch kábelezés Kevesebb rackáek közötti kábelezés Alacsonyabb kábelezési költség Kevesebb konfigurációs és menedzsment pont Kevesebb eszköz kisebb teljesítmény felvétel Kisebb OpEx, CapEx?? Egyszerűbb software upgrade Konzisztens beállítás (Security, QoS, Multicast stb.) Nagy sűrűségű szerver lehetőség az Access rétegben 33
Fabric Extender (FEX) 34
Fabric Extender 35
Cisco Nexus 2000 Fabric Extender (FEX) család Model Nexus 2148T Nexus 2248 TP/TT Nexus 2232-10G PP/TM Product Shipping Yes N2248TP / Q3CY10 (2248TT) N2232PP/Q3CY10 (2232TM) Form Factor 1 RU 1 RU 1 RU Uplink Ports 4 x 10GbE SFP+ 2248TP: 4 x 10GbE SFP+ 2248TT: 4 x 10GbE RJ45 Uplink SFP+ Transceivers Supported Host Facing Ports 48 x 1GbE RJ45 (note: 1000BaseT only) Copper CX-1 (passive): 1m, 3m, 5m Optical: SR, LR [distance limited to 300m] 2232PP: 8 x 10GbE SFP+ 2232TM: 8 x 10GbE SFP+/RJ45 (TM) 48 x 100/1000Base-T RJ45 2232PP: 32 x SFP+ (10G) / SFP (1G) 2232TM: 32 x RJ45 (1G/10G) Local Classification No Yes Yes FCoE No No Yes Power Consumption 165W maximum TBD TBD Buffering per port 90KB/port within FEX TBD TBD Multiple PortChannel member ports on a FEX DOM on Optical ports TDR on RJ45 ports Not Supported Yes Yes H/W supported, to be enabled on a future firmware release Planned Planned Supported on N5K Today Q2CY2010 Q2CY2010 36
Hálózati megoldások Szervervirtualizáció Kihívások Vmware esetén esetén 37
szintű hálózati skálázhatóság kérdései VLAN 101 otion Probléma: otion fizikailag más portra helyezheti át a Virtuális gépet hálózati policynak ezt követnie kell Nem megoldhtó a gépen belüli lokális forgalom vizsgálata, policy beállítása Fizikai linkekeken az egyes -ekre más hálózati szabályok vonatkoznak VN-Link: Kiterjeszti a hálózatot -ekre Konzisztens hálózati szolgáltatás Egységes koherens menedzsment 38
Cisco Virtual Network Link VN-Link Implementáció Virtualizing the Network Domain Policy-Based Connectivity Mobility of Network & Security Properties Non-Disruptive Operational Model Cisco Nexus 1000V Cisco switch a W Server ESX-re (Software Based) Bármely #1 switch #2platformmal #3 kompatibilis Virtual Center Nexus a szerver 1000V adminisztrációra W ESX #4 Cisco CLI a NIC Hálózat adminisztrációra NIC Nexus 1000V LAN Nexus 5000 with VN-Link Skálázható, hardware Server alapú, nagy teljesítményű megoldás #1 (Hardware Based) #2 #3 #4 Szabványos hardware alapú megoldás W ESX hálózati környezetre Egyesíti a & Initiator fizikai hálózati működést egyetlen menedzselhető eszközre Nexus 5000 39
Cisco Nexus 1000V Architektúra #1 Server 1 #2 #3 #4 #5 #6 Server 2 #7 #8 #9 #10 Server 3 #11 #12 ware VEM vswitch ware Nexus VEM vswitch 1000V ware VEM vswitch W ESX W ESX W ESX Virtual Supervisor Module (VSM) Virtual Cisco Ethernet OS-t futtató Module ( HA támogatott) (VEM) Software modul vagy Fizikai eszköz Teljesértékű hálózati képességek a hypervisoron Menedsment, Felügyelő és konfigurációs Hypervisor függő feladatok kód ware Az összes Virtual dedikált Centerrel switch teljes integráció portra kerül VEM-ek egy Distributed Switchet alkotnak Nexus 1000V VSM Virtual Center 40
Cisco VN-Link Gyorsabb létrehozás Cisco VN-Link Virtual Network Link Policy-Based Connectivity Mobility of Network & Security Properties Non-Disruptive Operational Model Server Server #1 #2 #3 #4 #5 #6 #7 #8 W ESX Cisco VN-Link W ESX Definiált Policyk WEB App HR DB Finance Virtual Center hálózati Policy Hálózaton definiált Virtual Centerben létrehozott UUID-hez rendelt 41
Cisco VN-Link Hálózati szolgáltatások Cisco VN-Link Virtual Network Link Policy-Based Connectivity Mobility of Network & Security Properties Non-Disruptive Operational Model #1 #2 Server #3 #4 #1 #5 Server #2 #3 #6 #7 #4 #8 W ESX Cisco VN-Link W ESX t át kell mozgatni otion DRS SW Upgrade/Patch Hardware hiba Virtual Center VN-Link Mobilitás Vmotion hálózatra security biztosítása Connection táblát kezeli 42
UCS és Nexus az Adatközpontban Nexus 7010 Core Layer Nexus 7010 Distribution Layer 10GE Nexus2000 Nexus 5000 GigE 10GE GigE 10GE Access Layer 10GE Servers Nexus 4000 Rack 1 Rack 1... Row 1 / Domain 1 / POD 1.. 1GE to Servers Rack 1 Rack 12 43
UCS és Nexus az Adatközpontban Nexus 7010 Core Layer SAN Nexus 7010 Distribution Layer 10GE Nexus 5000 GigE 10GE Access Layer UCS 6100 Nexus2000 GigE 10GE 10GE Servers Nexus 4000 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 Rack 1 Rack 1... Row 1 / Domain 1 / POD 1.. 1GE to Servers Rack 1 Rack 12 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 blade1 slot 1 blade2 slot 2 blade3 slot 3 blade4 slot 4 blade5 slot 5 blade6 slot 6 blade7 slot 7 blade8 slot 8 44
45