1 引言
存儲(chǔ)區(qū)域網(wǎng)SAN(Storage Area Network，SAN)利用高速網(wǎng)絡(luò)(如光纖)將應(yīng)用服務(wù)器集群與異構(gòu)的存儲(chǔ)設(shè)備(如磁盤(pán)陣列、磁帶庫(kù)等)相連接，所有的數(shù)據(jù)傳輸均在相對(duì)獨(dú)立的高速網(wǎng)絡(luò)內(nèi)進(jìn)行，因此可以方便地進(jìn)行集中控制以及數(shù)據(jù)共享，采用帶外架構(gòu)(out-of-band)的SAN可以使網(wǎng)絡(luò)內(nèi)的控制流與數(shù)據(jù)流相分離，能夠減少管理節(jié)點(diǎn)的帶寬壓力，提高數(shù)據(jù)傳輸?shù)乃俣群头�(wěn)定性。
存儲(chǔ)虛擬化技術(shù)可以透明地為用戶提供虛擬的存儲(chǔ)設(shè)備，它將底層異構(gòu)的物理設(shè)備整合成統(tǒng)一的存儲(chǔ)池，用戶在邏輯設(shè)備上的I/O操作通過(guò)存儲(chǔ)虛擬化層的地址映射傳達(dá)到底層物理設(shè)備．將存儲(chǔ)虛擬化技術(shù)應(yīng)用于帶外SAN環(huán)境，能夠簡(jiǎn)化存儲(chǔ)管理配置，提高存儲(chǔ)區(qū)域網(wǎng)絡(luò)的整體訪問(wèn)速度。企業(yè)級(jí)用戶在部署存儲(chǔ)虛擬化系統(tǒng)時(shí)往往需要能夠支持多操作系統(tǒng)平臺(tái)，本文提出一種面向SAN環(huán)境的Windows存儲(chǔ)虛擬化軟件VA-for Windows，它是一種應(yīng)用于Windows平臺(tái)的存儲(chǔ)虛擬化客戶端代理軟件(Virtualization Agent，VA)，該軟件在Windows Server 2003操作系統(tǒng)上實(shí)現(xiàn)，為Windows用戶提供了存儲(chǔ)虛擬化系統(tǒng)的應(yīng)用平臺(tái)。
一次性為虛擬設(shè)備分配所有物理存儲(chǔ)資源，會(huì)造成用戶對(duì)邏輯卷的空間使用率過(guò)低，在大規(guī)模存儲(chǔ)系統(tǒng)中已經(jīng)成為不容忽視的問(wèn)題，我們采用按需分配技術(shù)，既滿足用戶對(duì)虛擬卷的基本使用要求，又能夠高效地利用存儲(chǔ)資源進(jìn)而達(dá)到節(jié)約能耗的目的。
當(dāng)要對(duì)條帶卷在容量上進(jìn)行擴(kuò)展時(shí)，會(huì)涉及到大量的數(shù)據(jù)遷移操作，然而，在現(xiàn)今的企業(yè)級(jí)大型存儲(chǔ)應(yīng)用當(dāng)中，要求存儲(chǔ)虛擬化產(chǎn)品必需能夠在不停機(jī)的情況下無(wú)縫擴(kuò)展存儲(chǔ)設(shè)備的容量和性能，我們使用條帶卷在線擴(kuò)展技術(shù)，實(shí)現(xiàn)了條帶卷在線性和擴(kuò)展性。
實(shí)驗(yàn)表明，VA-forWindows能夠在帶外SAN環(huán)境下為Windows用戶提供大容量、高性能的虛擬存儲(chǔ)設(shè)備，可以實(shí)現(xiàn)提高系統(tǒng)存儲(chǔ)資源利用率，提高虛擬存儲(chǔ)設(shè)備的擴(kuò)展性和可用性等高級(jí)功能。
2 相關(guān)工作
當(dāng)前，眾多的企業(yè)級(jí)用戶迫切需要在windows平臺(tái)上部署存儲(chǔ)虛擬化系統(tǒng)，以處理體積越發(fā)龐大且數(shù)量與日俱增的海量數(shù)據(jù)，隨著業(yè)界對(duì)存儲(chǔ)虛擬化技術(shù)的認(rèn)知度越來(lái)越高，對(duì)存儲(chǔ)虛擬化產(chǎn)品在功能上的要求也越來(lái)越多。
當(dāng)前市面上一些主流存儲(chǔ)廠商推出的存儲(chǔ)虛擬化產(chǎn)品，例如EMC Invista，HP StorageWorks SAN，IBM TivoliTotalStorage SAN Volume Controller等等，這些產(chǎn)品在具備各自技術(shù)優(yōu)勢(shì)的同時(shí)也普遍存在著一些兼容性的缺陷:在軟件方面，大多需要廠商專用的虛擬化平臺(tái)軟件與定制的硬件驅(qū)動(dòng)程序配合工作，這樣不利于系統(tǒng)的后續(xù)升級(jí);在硬件方面，從用戶的長(zhǎng)遠(yuǎn)考慮，過(guò)于依賴單一廠商的專有硬件設(shè)備，對(duì)整個(gè)存儲(chǔ)系統(tǒng)的可擴(kuò)展性和可持續(xù)性都是極為不利的。
EMC公司的Invista虛擬存儲(chǔ)方案需要依賴一個(gè)特殊定制的"智能交換機(jī)"來(lái)負(fù)責(zé)服務(wù)器節(jié)點(diǎn)之間的信息交互，該交換機(jī)還要隨硬件的更替而不斷升級(jí);惠普公司的HP StorageWorks虛擬化存儲(chǔ)產(chǎn)品是在其專用陣列產(chǎn)品"EVA系列"的基礎(chǔ)之上研發(fā)的，為了擴(kuò)展更多的功能特性還需要后續(xù)安裝更多的軟件產(chǎn)品．由此可見(jiàn)這些存儲(chǔ)虛擬化產(chǎn)品對(duì)專有硬件以及專用軟件的依賴性都很強(qiáng)，對(duì)于用戶來(lái)講，不利于日后的存儲(chǔ)系統(tǒng)擴(kuò)展工作。
IBM公司的Tivoli TotalStorage SAN Volume Controller存儲(chǔ)虛擬化產(chǎn)品，提供了對(duì)部分非IBM存儲(chǔ)系統(tǒng)(EMC、HP等)的擴(kuò)展支持，由單點(diǎn)服務(wù)器集中管理統(tǒng)一的存儲(chǔ)池，但是這款產(chǎn)品只支持部分基于Linux平臺(tái)的主機(jī)，并不能支持Windows平臺(tái)的主機(jī)。
和這些系統(tǒng)相比，VA-forWindows對(duì)底層硬件沒(méi)有任何特殊要求，所有存儲(chǔ)虛擬化服務(wù)全部由軟件實(shí)現(xiàn)，所有基本功能特性都在操作系統(tǒng)的內(nèi)核實(shí)現(xiàn)，因此不存在硬件兼容性的問(wèn)題，對(duì)各種磁盤(pán)設(shè)備和HBA卡的驅(qū)動(dòng)程序都是通用的，這樣，使得存儲(chǔ)系統(tǒng)的可復(fù)用性和可擴(kuò)展性得到顯著提高，當(dāng)用戶決定對(duì)當(dāng)前的存儲(chǔ)系統(tǒng)進(jìn)行擴(kuò)展時(shí)，可以有更多選擇，從而有效減少購(gòu)置存儲(chǔ)設(shè)備時(shí)的成本。
3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
3．1系統(tǒng)架構(gòu)
如圖1所示，VA由內(nèi)核態(tài)的驅(qū)動(dòng)模塊(MAGICDISK)和用戶態(tài)的通信模塊(AUI)兩部分組成，MAGICDISK模塊作為Windows系統(tǒng)內(nèi)核中的一種中間層驅(qū)動(dòng)存在于驅(qū)動(dòng)棧中，它負(fù)責(zé)創(chuàng)建虛擬存儲(chǔ)設(shè)備，完成I/O訪問(wèn)從邏輯設(shè)備到物理設(shè)備的地址映射，并實(shí)現(xiàn)虛擬存儲(chǔ)設(shè)備的各種功能特性。
MAGICDISK與Windows平臺(tái)的I/O管理器(I/OManager)、掛載管理器(MountManager)以及I/O系統(tǒng)服務(wù)配合工作，在Windows系統(tǒng)內(nèi)部注冊(cè)虛擬存儲(chǔ)設(shè)備并將其掛載到指定的盤(pán)符上;AUI負(fù)責(zé)在帶外SAN環(huán)境下與元數(shù)據(jù)服務(wù)器(MetaData Server，MDS)進(jìn)行虛擬化指令的交互，包括存儲(chǔ)設(shè)備的映射表以及配置信息等，并將這些指令通過(guò)ioctl傳達(dá)到驅(qū)動(dòng)模塊，此外還要對(duì)當(dāng)前的存儲(chǔ)虛擬化服務(wù)狀況進(jìn)行實(shí)時(shí)監(jiān)控。
圖1 基本的系統(tǒng)架構(gòu)
3．2 I/O流程
當(dāng)應(yīng)用程序的I/O訪問(wèn)請(qǐng)求發(fā)往虛擬存儲(chǔ)設(shè)備時(shí)，首先由I/O管理器將其統(tǒng)一封裝為IRP(I/O Request Packet)并向下傳遞，當(dāng)傳遞到中間層驅(qū)動(dòng)MAGICDISK時(shí)，根據(jù)需要來(lái)進(jìn)行IRP的分割或合并，完成虛擬卷的邏輯地址到底層設(shè)備物理地址的映射，以及實(shí)現(xiàn)其它功能特性，再將IRP在驅(qū)動(dòng)棧中向下傳遞，最后，由底層的物理設(shè)備驅(qū)動(dòng)進(jìn)行實(shí)際的I/O操作，此次IRP即處理完成，在IRP完成之后還要在I/O管理器的統(tǒng)一控制下沿驅(qū)動(dòng)棧逐層向上返回，此時(shí)MAGICDISK有機(jī)會(huì)對(duì)其進(jìn)行狀態(tài)的監(jiān)控以判斷IRP是否成功返回。
當(dāng)IRP返回到驅(qū)動(dòng)棧棧頂后再由I/O系統(tǒng)服務(wù)向應(yīng)用程序返回此次I/O訪問(wèn)操作的執(zhí)行結(jié)果。
3.3存儲(chǔ)資源按需分配技術(shù)
按需分配由VA與MDS配合完成，MDS并不一次性地為虛擬卷分配所有的存儲(chǔ)資源，而是根據(jù)用戶對(duì)虛擬卷的實(shí)際使用情況動(dòng)態(tài)靈活地為VA分配存儲(chǔ)資源，這就是按需分配的設(shè)計(jì)思想，在應(yīng)用服務(wù)器方面，用戶看到的虛擬卷大小雖然與普通邏輯卷沒(méi)有什么區(qū)別，但實(shí)際上MDS只是為其按一定比例分配了一部分的實(shí)際存儲(chǔ)空間，即只發(fā)送給VA若干段映射信息，當(dāng)上層應(yīng)用程序在虛擬卷上進(jìn)行I/O訪問(wèn)時(shí)，會(huì)首先使用這一部分存儲(chǔ)空間，只有當(dāng)現(xiàn)有的存儲(chǔ)空間不能滿足應(yīng)用程序的空間要求時(shí)，才會(huì)由MDS再次進(jìn)行資源分配并發(fā)送下一段映射信息給VA。
為了實(shí)現(xiàn)這一功能特性，VA要在MAGICDISK模塊為虛擬卷的一系列邏輯空間地址段維護(hù)統(tǒng)一的元數(shù)據(jù)存儲(chǔ)池，從MDS端獲得的每一段映射信息都保存在這個(gè)存儲(chǔ)池當(dāng)中，每當(dāng)上層應(yīng)用程序?qū)壿嫷刂房臻g的需求有所增長(zhǎng)時(shí)，都要利用AUI向MDS發(fā)送新的映射請(qǐng)求，MDS在接收到該請(qǐng)求信息后，就會(huì)在統(tǒng)一存儲(chǔ)池中動(dòng)態(tài)地再分配一部分存儲(chǔ)資源并將映射信息發(fā)還給VA。
當(dāng)MAGICDISK模塊處理某個(gè)從驅(qū)動(dòng)棧上層傳遞過(guò)來(lái)的IRP時(shí)，首先要從中提取IRP的特征信息，其中包括讀、寫(xiě)以及控制碼等等，若處理的是讀寫(xiě)IRP，則從中獲取本次請(qǐng)求的邏輯起始地址和偏移長(zhǎng)度，再根據(jù)這個(gè)邏輯起始地址到元數(shù)據(jù)存儲(chǔ)池進(jìn)行查找，若找到指定的邏輯空間地址，則根據(jù)與其對(duì)應(yīng)的映射信息找到對(duì)應(yīng)的物理磁盤(pán)，將該IRP傳遞到驅(qū)動(dòng)棧的下一層直接進(jìn)行映射;否則就需要先將該邏輯地址封裝為特定的REQUEST包，作為一次映射請(qǐng)求信息通過(guò)AUI模塊發(fā)送給MDS，當(dāng)接收到MDS傳回的RESPONSE包后，將其解析為指定的映射信息，即元數(shù)據(jù)信息再進(jìn)行映射，完成映射時(shí)還要及時(shí)更新元數(shù)據(jù)存儲(chǔ)池，按需分配技術(shù)的IRP映射過(guò)程如圖2所示。
圖2 按需分配技術(shù)的IRP映射過(guò)程
3．4邏輯卷在線擴(kuò)展技術(shù)
在元數(shù)據(jù)服務(wù)器進(jìn)行數(shù)據(jù)遷移的過(guò)程中，VA通過(guò)寫(xiě)時(shí)請(qǐng)求的方法在線地使用條帶化的虛擬卷，由此來(lái)保證虛擬存儲(chǔ)服務(wù)的持續(xù)性和可用性，數(shù)據(jù)重分布在短時(shí)間內(nèi)完成以后，由于條帶數(shù)的增加使得虛擬卷在容量上得到了擴(kuò)展，而I/O帶寬的增加又使得虛擬卷在性能上得到了擴(kuò)展。
圖3表示的是在線擴(kuò)展技術(shù)的IRP執(zhí)行過(guò)程，初始階段，VA在MAGICDISK模塊當(dāng)中維護(hù)著一份虛擬卷的總體映射表，當(dāng)應(yīng)用服務(wù)器在該虛擬卷上進(jìn)行的I/O訪問(wèn)傳達(dá)到內(nèi)核態(tài)時(shí)，使用該表進(jìn)行映射，我們稱之為CACHE模式的映射．當(dāng)條帶化的虛擬卷開(kāi)始進(jìn)行擴(kuò)展操作時(shí)，首先由MDS發(fā)出擴(kuò)展的控制命令，由于涉及到元數(shù)據(jù)的重分布，因此在VA上原來(lái)的映射表已經(jīng)不再可靠，此時(shí)再次到達(dá)該虛擬卷的IRP要?dú)w入特殊隊(duì)列統(tǒng)一處理，使用寫(xiě)時(shí)請(qǐng)求的方法，即對(duì)于每一個(gè)到達(dá)MAGICDISK模塊的IRP，都要先從中獲取邏輯起始地址，將其封裝為指定的REQUEST包，而后作為請(qǐng)求映射信息通過(guò)AUI模塊發(fā)送給MDS，MDS接收到REQUEST包后，將與之對(duì)應(yīng)的當(dāng)前最新的映射信息封裝為RESPONSE包，發(fā)還給VA，然后，MAGICIDISK模塊再根據(jù)本次獲取的映射信息完成相應(yīng)的映射操作，這種映射方式我們稱之為NOCACHE模式。
MDS進(jìn)行數(shù)據(jù)遷移的過(guò)程對(duì)用戶是完全透明的，因此保證映射信息的正確性就顯得尤為重要，即使下一次來(lái)到MAGICDISK模塊的IRP邏輯地址與上次完全相同也要再次向MDS端發(fā)送請(qǐng)求，由此才能保證數(shù)據(jù)的一致性，當(dāng)MDS在短時(shí)間內(nèi)完成元數(shù)據(jù)信息的重分布后，要為該條帶卷重新部署一份總體映射表，此時(shí)VA再切換回CACHE模式，此后傳遞到MAGICDISK模塊的所有IRP就根據(jù)這份最新的映射表完成相應(yīng)的映射。
圖3 在線擴(kuò)展技術(shù)的IRP執(zhí)行過(guò)程
3．5改進(jìn)的通信策略
VA的驅(qū)動(dòng)模塊MAGICDISK在Windows體系結(jié)構(gòu)中作為驅(qū)動(dòng)棧的一部分，在實(shí)現(xiàn)上述功能特性時(shí)都需要與MDS進(jìn)行通信，AUI模塊作為MAGICDISK模塊與MDS之間進(jìn)行通信的中轉(zhuǎn)站，負(fù)責(zé)完成二者之間的信息交互。
在AUI模塊與MAGICDISK模塊之間構(gòu)建專用的通道，即完成用戶態(tài)到內(nèi)核態(tài)的連接，然后使用同步消息事件傳遞機(jī)制，MAGICDISK模塊在實(shí)現(xiàn)功能特性時(shí)所生成的每一次通信請(qǐng)求都以一個(gè)IRP的形式先發(fā)送到AUI模塊，再由AUI模塊通過(guò)用戶態(tài)的socket接口將請(qǐng)求信息發(fā)送給MDS，VA從MDS接收信息的過(guò)程則與之相反。
VA與MDS進(jìn)行通信時(shí)每次只處理一個(gè)IRP的邏輯地址請(qǐng)求，而MAGICDISK則采用異步方式處理特殊IRP隊(duì)列，由此可見(jiàn)通信過(guò)程會(huì)造成性能開(kāi)銷(xiāo)，針對(duì)這種情況，我們?cè)贛AGICDISK模塊當(dāng)中使用一種預(yù)取以及校驗(yàn)映射信息的機(jī)制，即連續(xù)預(yù)取多個(gè)邏輯地址，再利用一次通信過(guò)程向服務(wù)器端請(qǐng)求多個(gè)邏輯地址的映射信息，期間通過(guò)校驗(yàn)機(jī)制來(lái)保證接收到的映射信息的準(zhǔn)確性，這樣，既可以減少通信過(guò)程所造成的性能開(kāi)銷(xiāo)，又可以減小元數(shù)據(jù)存儲(chǔ)池的訪問(wèn)壓力。
4 性能評(píng)價(jià)
4．1測(cè)試環(huán)境
測(cè)試使用兩臺(tái)服務(wù)器分別作為元數(shù)據(jù)服務(wù)器和Window應(yīng)用服務(wù)器，配置均為Quad-Core AMD Opteron(tm)Processor2378 2．4GHzx8CPU，內(nèi)存16G，Qlogic ISP2532(8Gb/s)光纖卡，客戶端的操作系統(tǒng)為WindowsServer 2003 SP2 R2;磁盤(pán)陣列為Infortrend S12F-G1433 SCSI，傳輸帶寬最大支持800MB/s，服務(wù)器通過(guò)光纖網(wǎng)絡(luò)將其與高級(jí)磁盤(pán)陣列相連接，組成帶外的SAN環(huán)境。
4．2按需分配卷的性能
將具備存儲(chǔ)資源按需分配功能的虛擬卷命名為按需分配卷(Thin Provision Volume)，為了測(cè)試按需分配卷的實(shí)際運(yùn)行效果，將其格式化為NTFS文件系統(tǒng)，使用IOMETER作為測(cè)試工具，與普通虛擬卷進(jìn)行對(duì)比，測(cè)試I/O帶寬和I/O平均響應(yīng)時(shí)間等性能指標(biāo)。
圖4 按需分配卷的存儲(chǔ)資源節(jié)約情況
第1組測(cè)試驗(yàn)證按需分配卷的存儲(chǔ)資源節(jié)省效果，通過(guò)對(duì)一個(gè)10G大小的按需分配卷進(jìn)行寫(xiě)操作，期間觀察在邏輯空間增長(zhǎng)的同時(shí)其對(duì)應(yīng)的物理空間增長(zhǎng)情況，結(jié)果如圖4所示，可以看出，在按需分配卷的邏輯空間使用率不高時(shí)，能夠節(jié)省大量的物理空間，實(shí)際的物理空間隨著邏輯空間的使用情況線性增長(zhǎng)，圖中顯示物理空間的分配率要稍稍多于邏輯空間的實(shí)際使用率，這是由于邏輯設(shè)備在進(jìn)行隨機(jī)寫(xiě)操作時(shí)，邏輯地址的隨機(jī)訪問(wèn)造成了更多的請(qǐng)求映射信息，物理空間也會(huì)相應(yīng)地多分配一些地址段，用來(lái)進(jìn)行I/O訪問(wèn)的映射操作．
圖5 按需分配卷與普通虛擬卷的I/O帶寬對(duì)比情況
第2組實(shí)驗(yàn)測(cè)試按需分配卷與普通虛擬卷的I/O帶寬以及I/O平均響應(yīng)時(shí)間的對(duì)比情況，分別對(duì)大小為10G、100G、1T的按需分配卷和與其容量相同的普通虛擬卷進(jìn)行混合隨機(jī)讀寫(xiě)測(cè)試，其中測(cè)試的塊大小范圍為64K～4M，隨機(jī)讀操作占80%，隨機(jī)寫(xiě)操作占20%，結(jié)果如圖5和圖6所示，通過(guò)性能對(duì)比我們可以看出，使用不同大小的按需分配卷進(jìn)行I/O混合讀寫(xiě)操作時(shí)，與普通虛擬卷的性能差別并不大，這是由于使用了實(shí)用高效的地址映射機(jī)制和通信策略，能夠很好地減小元數(shù)據(jù)存儲(chǔ)池的訪問(wèn)壓力。
圖6 按需分配卷與普通虛擬卷的響應(yīng)時(shí)間對(duì)比情況
4．3條帶卷在線擴(kuò)展的性能
將條帶化的虛擬卷命名為條帶卷(Striped Volume)，在第3組測(cè)試中，先將一個(gè)由2條帶構(gòu)成，大小為200G的條帶卷格式化為NTFS文件系統(tǒng)，在此基礎(chǔ)之上再為其擴(kuò)展2個(gè)條帶使容量增加到400G，最后再擴(kuò)展4個(gè)條帶使容量增加到800G，在這期間同樣使用測(cè)試工具IOMETER對(duì)條帶卷分別進(jìn)行順序讀與順序?qū)懖僮鳎瑴y(cè)試I/O讀寫(xiě)帶寬和I/O平均響應(yīng)時(shí)間，由此對(duì)條帶卷進(jìn)行擴(kuò)展前后的性能對(duì)比，其中測(cè)試的塊大小范圍為64K～16M，測(cè)試結(jié)果如上頁(yè)圖7和圖8所示，可以很明顯地看出條帶卷在經(jīng)過(guò)擴(kuò)展之后的I/O讀寫(xiě)帶寬顯著增加，I/O平均響應(yīng)時(shí)間明顯減少，由此可說(shuō)明經(jīng)過(guò)在線擴(kuò)展之后，條帶卷不僅在容量上得到了擴(kuò)展，在性能上同樣得到了很好地?cái)U(kuò)展．
圖7 條帶卷在線擴(kuò)展順序?qū)懶阅軠y(cè)試結(jié)果
圖8 條帶卷在線擴(kuò)展順序讀性能測(cè)試結(jié)果
5 結(jié)論
本文給出了一種能夠應(yīng)用在Windows平臺(tái)的存儲(chǔ)虛擬化客戶端軟件VA-forWindows，該軟件作為SAN環(huán)境下的存儲(chǔ)虛擬化系統(tǒng)的一部分，在Windows系統(tǒng)的內(nèi)核態(tài)提供虛擬存儲(chǔ)的基本服務(wù)，實(shí)驗(yàn)表明，在Windows系統(tǒng)下，VA-forWindows能夠?yàn)橛脩籼峁┓�(wěn)定可靠的虛擬存儲(chǔ)設(shè)備，使用帶有按需分配功能的虛擬卷，可以在不損失性能的前提下有效地節(jié)省物理磁盤(pán)空間;對(duì)于條帶化的虛擬卷，使用在線擴(kuò)展功能可以在不停機(jī)的情況下，實(shí)現(xiàn)虛擬存儲(chǔ)設(shè)備從容量到性能的雙重?cái)U(kuò)展。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.guhuozai8.cn/
本文標(biāo)題：一種面向SAN環(huán)境的Windows存儲(chǔ)虛擬化系統(tǒng)
本文網(wǎng)址：http://www.guhuozai8.cn/html/support/1112153105.html
相關(guān)文章
