縮略語清單：

 

1  技術背景

隨著社會生產力的不斷發展，用戶需求不斷發展提高，市場也不斷發展變化，誰能真正掌握市場迎合用戶，誰就能夠占領先機提高自己的核心競爭力。企業運營中關鍵資訊傳遞的暢通可以幫助企業充分利用關鍵資源，供應鏈、渠道管理，了解市場抓住商機，從而幫助企業維持甚至提高其競爭地位。作為網絡數據存儲和流通中心的企業數據中心，很顯然擁有企業資訊流通最核心的地位，越來越受到企業的重視。當前各個企業/行業的基礎網絡已經基本完成，隨著“大集中”思路越來越深入人心，各企業、行業越來越迫切的需要在原來的基礎網絡上新建自己的數據中心。數據中心設施的整合已經成為行業內的一個主要發展趨勢，利用數據中心，企業不但能集中資源和信息加強資訊的流通以及新技術的采用，還可以改善對外服務水平提高企業的市場競爭力。一個好的數據中心在具有上述好處之外甚至還可以降低擁有成本。

1.1  虛擬化簡介

在數據大集中的趨勢下，數據中心的服務器規模越來越龐大。隨著服務器規模的成倍增加，硬件成本也水漲船高，同時管理眾多的服務器的維護成本也隨著增加。為了降低數據中心的硬件成本和管理難度，對大量的服務器進行整合成了必然的趨勢。通過整合，可以將多種業務集成在同一臺服務器上，直接減少服務器的數量，有效的降低服務器硬件成本和管理難度。

服務器整合帶來了巨大的經濟效益，同時也帶來了一個難題：多種業務集成在一臺服務器上，安全如何保證？而且不同的業務對服務器資源也有不同的需求，如何保證各個業務資源的正常運作？為了解決這些問題，虛擬化應運而生了。虛擬化指用多個物理實體創建一個邏輯實體，或者用一個物理實體創建多個邏輯實體。實體可以是計算、存儲、網絡或應用資源。虛擬化的實質就是“隔離”—將不同的業務隔離開來，彼此不能互訪，從而保證業務的安全需求；將不同的業務的資源隔離開來，從而保證業務對于服務器資源的要求。

數據中心運行的應用越來越多，但很多應用都相互獨立，而且在使用率低下、相關隔絕的不同環境中運行。每個應用都追求性能的不斷提高，數據中心擁有多種操作系統、計算平臺和存儲系統。因此，IT 機構必須提高運行效率，優化數據中心資源的利用率，才能將節省出來的資金用于開展新的盈利型IT 項目。另外，數據中心需要建立永續的基礎設施，才能保護各種應用和服務免受各種安全攻擊和干擾的危害，才能建立既可以持續改進計算機、存儲和應用技術，又能支持不斷變化的業務流程的靈活型基礎設施。利用整合和虛擬化技術幫助數據中心將計算和存儲資源從多個分立式系統轉變成可以通過智能網絡匯聚、分層、調配和訪問的標準化組件，從而為自動化等新興IT 戰略奠定基礎。

數據中心資源的整合和虛擬化正在不斷發展，這需要高度可擴展的永續安全數據中心網絡基礎。網絡不但能讓用戶安全訪問各種數據中心服務，還能根據需要實現共享數據中心組件的部署、互聯和匯聚，包括各種應用、服務器、設備和存儲。適當規劃的數據中心網絡不僅能保護應用和數據完整性，提高應用可用性和性能，還能增強對不斷變化的市場狀況、業務重要程度和技術先進性的反應能力。

1.2  網絡虛擬化簡介

1.2.1  網絡虛擬化

虛擬化技術可以適用于企業網絡核心或是邊緣的交換機。如果把一個企業網絡分隔成多個不同的子網絡――它們使用不同的規則和控制，用戶就可以充分利用交換機的虛擬化路由功能，而不是購買及插入新的機架或者設備來實現這種分隔機制。

虛擬化網絡概念并不是什么新概念，因為多年來，虛擬局域網（VLAN）技術作為經實踐證明切實可靠的一種方法，歷來用于在一個以太網交換上或者跨多個交換機來構建安全、獨立的局域網網段。而核心機架交換機里面的虛擬化路由功能是可以在第三層分隔企業網絡、對內外網絡流量提供更多安全和控制的一種類似工具。通過VRF進行隔離在多協議標記交換（MPLS）運營商網絡，虛擬路由和轉發（VRF）被用于把客戶流量分割成獨立路由轉發的幾段流量，這步操作有時在同一個設備上進行。針對企業應用，精簡版VRF（一種規模比較小的VRF，不需要MPLS）可以把一個交換機劃分成多個虛擬化設備。

1.2.2  MCE（精簡版VRF）的原理

根據VPN用戶，將MCE路由表劃分成幾個獨立的邏輯實體路由表(virtual route table)；然后根據不同VPN用戶占用不同的路由表，并根據獨立的路由協議實例在不同的路由表中生成路由項。交換機轉發引擎根據報文的vpn-id(如ACL或VLAN+端口)索引不同的路由表，并根據目的IP在其內進行查找，然后將報文加上VPN的標識后經過上行鏈路轉發出去。

圖1 MCE原理圖

1.3  計算虛擬化簡介

1.3.1  計算虛擬化的概念

1. 計算虛擬化的分類

計算虛擬化目前主要有3種不同的類型：

 虛擬主機：大拆小的思想，將一個獨立的硬件服務器虛擬成多個邏輯服務器

n         主要產品：VMWare（業界主流產品）、XEN（開源軟件，也有商用產品）

n         應用場合：提高服務器資源的利用率。

 虛擬對稱多處理（SMP）：小并大的思想，將多個物理機器組成一個易于管理的高性能服務器。

n         主要產品：Virtual Iron、Qlusters、VMware SMP

n         應用場合：充分利用一些便宜的性能低的機器，組合成高性能的計算工具。

 物理計算虛擬化：實現服務器的無狀態化，服務器只被看成一個CPU＋內存的資源，服務器與OS、IO設備、存儲設備無關?？梢詫崿F任意組合。

n         主要產品：CISCO VFrame、Egenera

n         應用場合：實現在異構環境下，計算資源的快速變更與快速部署

 

2. 虛擬主機的概念

什么是虛擬主機? 就是將物理服務器、操作系統、及其應用程序 “打包”為一個檔案-可移動的虛擬機(VM)。

圖2 計算虛擬化—虛擬主機

簡單得講就是一個物理服務器上運行多個虛擬機， 這些虛擬機共享底層硬件， 從應用的角度看就象是一個物理服務器， 有自己的操作系統，cpu, memory, nic, storage， 虛擬的資源。其實，也就是將物理服務器、操作系統、及其應用程序 “打包”為一個檔案, 稱為虛擬機(VM)，虛擬機是可移動的，可以提高服務器的利用率；同虛擬機支持操作系統的和數據的備份、實施更加靈活。

圖3 虛擬主機對數據中心的整合

 

1.3.2  計算虛擬化的特性

1. 計算虛擬化的特性

n         分區，在單一物理服務器上同時運行多個虛擬機

n         隔離，在同一服務器上的虛擬機之間相互隔離

n         封裝，整個虛擬機都保存在文件中，而且可以通過移動和復制這些文件的方式來移動和復制該虛擬機

n         相對于硬件獨立，無需修改即可在任何服務器上運行虛擬機

 

2. 計算虛擬化的優勢

 虛擬化前

n         每臺主機一個操作系統

n         軟件硬件緊密地結合

n         在同一主機上運行多個應用程序通常會遭遇沖突

n         系統的資源利用率低

n         硬件成本高昂而且不夠靈活

 虛擬化后

n         打破了操作系統和硬件的互相倚賴

n         通過封裝到到虛擬機的技術, 管理操作系統和應用程序為單一的個體

n         強大的安全和故障隔離

n         虛擬機是獨立于硬件的, 它們能在任何硬件上運行

1.3.3  計算虛擬化的架構

計算虛擬化有兩個基本架構，一種是寄居架構（Hosted Architecture），另一種是裸金屬架構（”Bare Metal” Architecture）。

1. 寄居架構

圖4 虛擬服務器寄居架構

n         優點：簡單，便于實現

n         缺點：安裝和運行應用程序依賴于主機操作系統對設備的支持

n         舉例：GSX Server, VMware Server, Workstation

2. 裸金屬架構

圖5 虛擬服務器裸金屬架構

n         優點：虛擬機不依賴于操作系統，可以支持多種操作系統，多種應用，更加靈活

n         缺點：虛擬層內核開發難度較大

n         舉例：VMWare ESX Server

 

2  數據中心虛擬化解決方案

2.1  方案概述

2.1.1  傳統的應用孤島式的數據中心

圖8 傳統應用孤島式數據中心

n         擴展性差，當新業務擴展時需要部署專門的網絡、計算、存儲設施、形成了應用孤島/豎井

n         資源缺少共享，導致資源利用率低，管理成本復雜

n         分離的環境排除了部署統一服務的可能性，每一套環境必須有分離的安全、優化、備份及容災機制

2.1.2  虛擬化方案

圖9 虛擬化的轉變

1. 數據中心虛擬化需要滿足下面的目標：

n         降低運行成本

n         擴展性強，新應用的快速部署

n         提供業務的連續性保障

n         提供對資源的安全可靠的訪問

 

通過服務器整合，可以滿足：

n         數據大集中，將多個數據中心資源集中到少量數據中心

n         提供集中管理、規劃和控制

 

通過計算虛擬化，可以滿足：

n         改變每種應用資源孤島模式，建立虛擬資源池，按需邏輯的分配給應用

n         簡化管理，提供靈活性，優化資源利用率，降低維護成本

n         支持部署統一的部署策略

 

2. 數據中心虛擬化的需求

目前國內數據中心的主要用戶包括：政務、運營商、門戶網站、兵工集團等等。這些用戶對于數據中心虛擬化有明確的需求，但側重點各有不同。

n         政府政務中心對數據中心虛擬化的需求－“不同部門對數據中心訪問的邏輯隔離”

n         運營商共享容災方案對虛擬化的需求－“不同客戶對相同物理資源訪問的邏輯隔離”

n         ICP、門戶網站對虛擬化的需求－“服務器資源和存儲資源能夠共享，并實現業務的快速部署 ”

n         以兵工集團為代表的國防工業系統對虛擬化的需求－“以任務為中心的虛擬化數據中心”

2.1.3  數據中心虛擬化方案架構

數據中心虛擬化分為：網絡網虛擬化、計算虛擬化、存儲虛擬化 三個環節。

圖10 數據中心虛擬化方案架構

n         數據中心網絡資源虛擬化

       －－通過數據中心內網絡設備的多實例等技術實現

n         數據中心計算資源虛擬化

       －－通過VMWare服務器虛擬機技術實現

n         數據中心存儲資源虛擬化

       －－通過IV/IX系列存儲交換機的VSAN技術實現

 

2.2  網絡虛擬化

單獨的實現數據中心的虛擬化是沒有意義的，需要在客戶機的接入側、接入端到數據中心的整個數據路徑及其數據中心內部均實現虛擬化（含計算虛擬化、存儲虛擬化），3個網絡功能區域、5個層次上配合，才能實現：數據大集中環境下的，不同業務的、端到端的數據中心應用及其訪問的隔離，達到具有完整意義上的業務虛擬化。

端到端虛擬化中，各區域的作用：

l     用戶接入隔離：利用EAD方案保證接入用戶的合法性，并請能夠識別用戶的訪問權限。

l     廣域網隔離：利用MPLS  VPN保證接入用戶能夠正確訪問相應的資源，以及業務數據交換的隔離

l     數據中心虛擬化：通過集中策略管理，保證數據中心、服務器能為相應的合法用戶提供服務

圖11 數據中心網絡虛擬化結構

 

2.3  計算虛擬化

2.3.1  計算虛擬化方案架構

當前對計算虛擬化的需求主要是“提高資源利用率”，在一臺服務器中虛擬多臺設備。這是“虛擬主機”類計算虛擬軟機的主要應用場合。

VMware通過為客戶提供服務器整合和數量控制、業務連續性、測試/開發自動化、企業臺式機管理等解決方案，從而實現降低成本、提高響應速度、實現零停機、災難快速恢復等系列好處。通過虛擬架構整合服務器，可以控制x86服務器的蔓延，在一臺服務器上運行多個操作系統和應用，并使新的硬件支持老的應用，數據中心撤退舊的硬件。VMware虛擬基礎架構使企業能夠通過提高效率、增加靈活性和加快響應速度而降低IT成本。管理一個虛擬基礎架構使IT能夠快速將資源和業務需要連結起來，并對其進行管理。虛擬基礎架構可以使x86服務器的利用率從現在的5-15%提高到60-80%，并且在數十秒的時間內完成新應用程序的資源調配，而不需要幾天時間。請求響應時間也改為以分鐘計算。在維護上，可以實現零停機硬件維護，不需要等待維護窗口。

圖12 數據中心計算虛擬化方案

VMWare ESX是VMWare Infrastruture數據中心虛擬化管理套件中的一個組成部分。承上啟下，對上解決與網絡虛擬化對接問題，對下解決與存儲服務器的虛擬化映射問題。

圖13 數據中心計算虛擬化方案邏輯拓撲

n         交換機支持鏈路聚合協議 802.3ad ，可實現鏈路捆綁，提高鏈路可靠性。

n         數據中心接入層交換機使用堆疊交換機，可以與ESX虛擬交換機實現跨設備鏈路聚合，進一步提高鏈路可靠性。

n         管理網絡獨立于生產網絡，提高管理性能。

n         VMotion網絡獨立于生產網絡和管理網絡，便于虛擬機的遷移和備份。

2.3.2  計算虛擬化方案VMware ESX Server的網絡組件

圖14 VMware ESX Server3 網絡架構

VMware ESX Server3的網絡架構主要分為3個部分：

n         Virtual Ethernet Adapters，ESX Server3虛擬以太網卡，其作用就是一個以太網卡；

n         Virtual Switch—虛擬化交換機，是ESX Server3網絡架構的核心部分；

n         Physical Ethernet Adapters，物理以太網卡，與外部物理網絡連接；

2.3.3  虛擬交換機Virtual Switch

1. 虛擬交換機與物理交換機的差異

從功能上來看，虛擬交換機就是一個二層交換機，具備二層交換機所具備一切功能特性。但由于使用場景的特殊性，所以與真正的物理交換機還是有所不同。

最主要的差別就在于ESX Server的多個虛擬交換機居于同一層次的網絡上，彼此之間不存在級聯要求。這樣居于同一層次的交換機之間不存在互通要求，因此虛擬交換機不需要支持STP協議。

2. NIC Teaming

NIC Teaming指的就是一個虛擬交換機與多塊物理以太網卡連接的技術，其目的是為了提高系統的可用性，要求支持多鏈路負載分擔和故障保護特性。

 負載分擔

NIC Teaming的負載分擔支持三種分擔算法：

n         虛擬交換機入端口確定上行鏈路，即根據服務器數據流進入虛擬交換機的端口ID確定采用哪條上行鏈路。這是缺省負載分擔算法，也是使用最廣泛的算法。這種算法的特點是，由于虛擬以太網卡與虛擬交換機端口的對應關系是固定的，從指定的虛擬以太網卡輸出的數據流會從固定的物理以太網卡上行，除非因為該物理以太網卡出現故障而發生倒換才會改變上行數據流的方向。需要注意的是：如果一臺虛擬服務器僅創建了一個虛擬以太網卡，則無法使用NIC Teaming提供的多物理以太網卡負載分擔。虛擬服務器必須創建了多個虛擬以太網卡后，才能使用NIC Teaming。

n         源MAC Hash算法確定上行鏈路。

n         源、目的IP地址 Hash算法確定上行鏈路。

 故障保護

NIC Teaming發現故障的方式有兩種：

n         鏈路狀態檢測，僅僅能夠發現直連的網絡鏈路異常，包括：鏈路拔出、物理設備下電等等；但是不能發現配置導致的鏈路不同，例如：STP阻塞端口、VLAN配置錯誤等等。

n         路徑探測，由物理以太網卡定時向上發送探測報文，根據回應情況確定網絡是否可達。

圖15 NIC Teaming路徑探測流程

2.3.4  VMware ESX Server的虛擬特性規格

VMware  ESX Server網絡虛擬特性的規格如下表所列。

設備特性	最大數目
虛擬服務器的虛擬以太網卡	4
物理服務器的虛擬交換機端口	4096
虛擬交換機的端口	1016
物理服務器的虛擬交換機	248
虛擬交換機的上行鏈路	32
物理服務器的上行鏈路	32

表1 VMware ESX Server網絡虛擬化特性規格

 

3  數據中心虛擬化解決方案的典型組網

3.1  典型組網1

圖19 數據中心虛擬化方案典型組網1

1. 邏輯隔離服務器區

n         政務外網或軍工集團專網都是通過MPLS VPN（我司推薦方案）、GRE Tunnel等方式將網絡延伸到數據中心核心層交換機上，VPN終結在數據中心核心交換機上。

n         數據中心核心交換機做為PE設備

n         數據中心匯聚交換機具備VRF能力，做為MCE，每個VRF實例與一個VPN對應

n         匯聚交換機服務器側接入支持虛擬化的防火墻，為每一個邏輯隔離區提供安全保護

n         接入層交換機通過VLAN 方式隔離不同邏輯區域的服務器

2. 共享業務服務器區

n         為多個部門訪問的服務器在核心交換機PE配置專用的共享服務器VRF

n         共享服務器與有訪問需求的VPN交換路由（要求服務器地址唯一）

n         為共享服務器區分配虛擬FW，提供安全訪問控制

 

 

4  數據中心虛擬化解決方案應用

目前大中城市政府正在或將要建設城市政務行政中心，將市內大部分政府及相關部門統一遷入政府行政中心辦公。在統一部署辦公場所的同時需要在行政中心內建設電子政務數據中心，要求實現“不同部門對數據中心訪問的邏輯隔離”。

其業務特點：

l         內部獨享數據中心，提供給某個部門的獨享資源。

l         內部共享數據中心，提供各部門共享資源或部門間的互訪資源

l     外部數據中心，提供對公眾業務、面向Internet提供服務

l     數據中心的業務彈性：內部獨享型數據中心業務、內部共享型數據中心業務的同時、按需部署要求

政務中心內部獨享數據中心、內部共享數據中心的業務訪問模型如下圖：

圖21 政務中心DataCenter業務訪問模型

5  方案總結

n         通過虛擬存儲設備整合數據中心異構環境，包括不同操作平臺的服務器和不同廠商不同型號的存儲設備。保障了用戶的已有投資，降低了用戶TCO，實現存儲容量的動態擴展，增加了用戶的ROI。

n         通過虛擬主機軟件提高服務器的利用率，在單臺設備上虛擬多臺邏輯主機，降低用戶TCO

n         通過Mutil-VRF、虛擬防火墻實現對數據中心訪問的邏輯隔離，提高資源利用率和系統安全性。