数据中心服务器虚拟化节能技术规程

ICS 27.010 CCS F 01 37 山 东 省 地 方 标 准 DB37/T 1498—2022 代替 DB37/T 1498—2009 数据中心服务器虚拟化节能技术规程 Code of practice for energy saving of data center server virtualization 2022-02-18 发布 2022-03-18 实施 山东省市场监督管理局 发 布 DB37/T 1498—2022 目 次 前言 ................................................................................. II 1 范围 ................................................................................ 1 2 规范性引用文件 ...................................................................... 1 3 术语和定义 .......................................................................... 1 4 缩略语 .............................................................................. 2 5 总体要求 ............................................................................ 2 6 虚拟化节能程序 ...................................................................... 2 7 就绪性评估 .......................................................................... 3 8 调研、设计 .......................................................................... 3 8.1 8.2 8.3 8.4 调研 ............................................................................ 虚拟化设计 ...................................................................... 网络安全设计 .................................................................... 数据中心配套设备及空调设计 ...................................................... 3 4 4 5 9 服务器虚拟化实施 .................................................................... 5 9.1 实施内容 ........................................................................ 5 9.2 实施步骤 ........................................................................ 5 10 节能效果评价 ....................................................................... 5 10.1 评价指标 ....................................................................... 5 10.2 CADE 计算 ....................................................................... 6 附录 A（资料性）硬件配置调查信息表 ..................................................... 7 附录 B（规范性）服务器虚拟化软件选型要求 ............................................... 8 参考文献 .............................................................................. 9 I DB37/T 1498—2022 前 言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件代替DB37/T 1498—2009《数据中心服务器虚拟化节能技术规程》，与DB37/T 1498—2009 相比，除结构调整和编辑性改动外，主要技术变化如下： a) 更改了术语“业务连续性”（见 3.5，2009 年版的 3.5）； b) 增加了术语“虚拟化微分段”“超融合架构”“网络拓扑”“虚拟机迁移”（见 3.7、3.8、 3.9 和 3.10）； c) 增加了“数据中心服务器虚拟化节能程序”（见第 6 章）； d) 删除了“服务器在线平均访问时间每天不足 12h”的规定（2009 年版的 6.1.2）； e) 增加了“网络安全设计要求”（见 8.3）； f) 增加了规范性附录“服务器虚拟化软件选型要求”（见附录 B）。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省能源局提出并组织实施。 本文件由山东能源标准化技术委员会归口。 本文件的历次版本发布情况为： —— 2009 年首次发布为 DB37/T 1498—2009； —— 本次为第一次修订。 II DB37/T 1498—2022 数据中心服务器虚拟化节能技术规程 1 范围 本文件确立了数据中心服务器虚拟化节能程序，规定了数据中心服务器虚拟化节能总体要求、就绪 性评估、调研、设计、实施等阶段的操作指示，以及上述阶段之间的转换条件，描述了数据中心服务器 虚拟化节能效果评价方法。 本文件适用于数据中心服务器的虚拟化节能改造和新建数据中心服务器的虚拟化节能建设。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB 50174—2017 数据中心设计规范 3 术语和定义 下列术语和定义适用于本文件。 3.1 数据中心服务器 datacenter server 一种安装在数据中心的计算机设备，主要用于为数据中心提供计算资源和能力。 注： 简称为服务器。 3.2 服务器虚拟化 server virtualization 将数据中心服务器资源抽象成逻辑资源，使一台物理服务器能够同时运行多个相互独立和隔离的虚 拟服务器。 3.3 虚拟服务器 virtual machine 通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的计算机系统。 3.4 虚拟化基础架构 virtualization infrastructure 整合数据中心应用系统基础的组成部分，一般由虚拟化平台、虚拟化网络、虚拟化存储、虚拟化管 理等部分组成，具有高可用性、业务连续性和动态的资源调节的功能。 3.5 业务连续性 application-level business continuity 业务应用系统在发生灾难性故障时业务在最短时间内恢复的能力。 3.6 就绪性评估 readiness assessment 实施虚拟化整合之前，由虚拟化技术专家对数据中心的现有设备及环境进行测试，编制设备及环境 现状分析报告和可行性报告的过程。 1 DB37/T 1498—2022 3.7 虚拟化微分段 virtualization micro-segmentation 实施服务器虚拟化之后，使用网络虚拟化技术在数据中心创建精细的安全区域，进而隔离虚拟服务 器，保证虚拟服务器上所运行的工作负载实现精细隔离，并单独对其进行保护。 3.8 超融合架构 hyper-convergence infrastructure 将计算资源、存储资源和网络资源合并到一套系统中的信息系统基础架构，具备可软件定义的各种 功能模块及横向扩展特性，以统一资源池的形式提供数据中心基础设施的各种信息系统承载能力。 3.9 网络拓扑 network topology 用于描述网络的物理或逻辑结构的图，从而清晰展示网络中的各种路径连接和映射关系。 3.10 虚拟机迁移 virtual machine motion 在一个服务器虚拟化系统中，虚拟服务器从一台服务器到另一台服务器的状态移动。 4 缩略语 下列缩略语适用于本文件。 CADE：数据中心平均效率(Corporate Average Datacenter Efficiency) DCiE：数据中心基础架构效率(Data Center infrastructure Efficiency) HCI：超融合架构(Hyper-convergence Infrastructure) 5 总体要求 5.1 5.2 5.3 5.4 数据中心服务器虚拟化节能应具有先进性、安全性和可操作性。 数据中心服务器虚拟化节能应技术成熟、经济合理。 数据中心服务器虚拟化节能应能保证业务连续性。 数据中心服务器虚拟化节能应有利于节约能源、保护环境。 6 虚拟化节能程序 数据中心服务器虚拟化节能程序如图1所示。其中设计分为虚拟化设计、网络安全设计、数据中心 配套设备及空调设计三个步骤。 2 DB37/T 1498—2022 设 计 图1 数据中心服务器虚拟化节能程序流程图 7 就绪性评估 7.1 对于现有数据中心应初步分析数据中心的现状和未来发展规划，对数据中心服务器部署 30 d 以上 的负载检测。检测对象包括处理器、内存、存储和网络流量等。根据检测结果进行数据分析，编写数据 中心负载测试分析报告。 7.2 依据数据中心负载测试分析报告，对数据中心服务器是否进行虚拟化进行判定。当数据中心服务 器满足下列条件之一时，宜进行虚拟化： a) 处理器平均负载低于 50 %，其中，处理器平均负载低于 20 %的，应进行虚拟化，处理器平均 负载介于 20 %和 50 %之间的，可进行虚拟化； b) 单个应用服务的内存、网络平均利用率不高于 50 %的，应结合具体应用服务的实际运行特性 进行具体分析确定； c) 无业务连续性保障措施的。 7.3 新建数据中心的规划评估应根据业务系统负载测试数据并参考同等规模数据中心运行情况，设计 数据中心虚拟化建设方案。 8 调研、设计 8.1 调研 3 DB37/T 1498—2022 8.1.1 a) b) c) d) e) 8.1.2 调研时应获取下列材料： 数据中心物理设备布局图纸； 数据中心网络拓扑图纸； 数据中心应用调查表，包含单位信息、应用环境信息、虚拟化了解程度等内容； 数据中心硬件配置信息调查表，见附录A； 数据中心负载测试分析报告。 调研时应掌握客户的预算需求、功能需求等。 8.2 虚拟化设计 8.2.1 数据中心服务器虚拟化方案设计程序： a) 依据调研分析报告、汇总各应用系统及硬件设备现状，制定虚拟化方案整体规划； b) 依据预算要求和功能需求，按照附录B的规定，选择虚拟化软件； c) 根据各应用系统及物理服务器性能情况，制定各应用系统在虚拟化平台具体部署计划； d) 以应用为导向，制定硬件基础平台的网络及存储环境设计方案，推荐采用HCI（超融合架构） 替代传统的SAN（存储区域网络）或者NAS（网络附加存储）等方式完成应用数据的集中存储和管理； e) 依据各应用系统运行周期并结合物理服务器负载设定自动开关机、负载均衡及自动容错策略； f) 完善主运营站点虚拟化平台功能设定之后，制定工作负载安全机制以及绿色容灾系统建设详细 方案，进一步完善备份恢复策略保障业务系统和数据的安全。 8.2.2 虚拟化方案设计应提交的文件： a) 虚拟化建设整体规划； b) 虚拟化平台设备性能及分布报表； c) 虚拟化平台网络拓扑、数据存储设计方案； d) 虚拟化平台安全节能策略设定明细表； e) 数据中心数据备份方案； f) 数据中心容错、容灾建设方案。 8.3 网络安全设计 服务器虚拟化应依据预算要求、功能需求及“三同步”的工作要求，进行网络安全设计。网络安全 设计要求包括下列内容： a) 安全能力要求： 1) 支持对虚拟服务器进行安全区域的划分，提供虚拟化微分段功能，基于各安全区域之间的 业务关系部署访问控制策略； 2) 支持对任意虚拟服务器之间的流量进行异常流量检测和隔离防护； 3) 支持对网络病毒、木马和恶意软件在虚拟服务器之间蔓延的检测发现和阻断防护； 4) 支持对数据中心所有虚拟服务器资产绘制网络拓扑，并能够在虚拟资产出现异常和威胁时 进行告警； 5) 支持在虚拟服务器发生迁移时，安全防护策略自动跟随，确保安全策略能够随着虚拟服务 器的自动迁移而实时生效； 6) 应具备代码漏洞和后门扫描机制； 7) 保证虚拟服务器安全，虚拟服务器系统应支持独立的虚拟化微分段、安全防火墙策略； 8) 应具备数据保密性，可基于操作系统内核级安全管控技术对关键进程和关键数据进行保 护，防止数据被恶意窃取、篡改，防止勒索病毒及非法用户对数据进行加密和损毁； 4 DB37/T 1498—2022 9) 在多租户的云计算环境下，应实现不同租户之间数据和配置的安全隔离，保证每个租户数 据的安全与隐私。 b) 安全管理要求： 1) 支持安全软件的管理与业务流量的分离； 2) 支持安全软件、防护策略和统计数据的集中管理与可视化呈现； 3) 支持安全防护软件动态调整。能够自动发现服务器的加入和退出，并实现安全软件的自动 化部署和删除操作。 c) 可靠性要求： 1) 支持安全管理平台的高可靠机制，确保安全管理平台不存在单点故障问题； 2) 支持安全防护软件的高可靠机制，当安全防护软件出现问题时自动旁路分流业务流量。 8.4 数据中心配套设备及空调设计 8.4.1 数据中心服务器虚拟化过程中， 应对服务器、机柜、空调系统进行设计及布置，并应符合 GB 50174 —2017 中 7.3 和 7.4 的规定。 8.4.2 当机柜中没有安装服务器设备时，应设计安装盲板，以避免冷热空气的短路循环。 9 服务器虚拟化实施 9.1 实施内容 服务器虚拟化实施内容包括： a) 工程实施准备； b) 虚拟化工程实施； c) 用户培训和文档提交； d) 系统验收与试运行； e) 售后服务及技术支持。 9.2 实施步骤 服务器虚拟化实施步骤包括： a) 部署虚拟化基础架构平台软件； b) 部署配置虚拟化基础架构管理软件； c) 安装迁移功能模块客户端； d) 启动虚拟机迁移，逐台完成物理应用服务器到虚拟应用服务器的转换； e) 设定监控策略，对虚拟化后的系统环境进行配置优化及安全加固； f) 部署基于虚拟化的数据备份容错机制； g) 部署基于虚拟化的容灾机制； h) 制定功能和配置测试用例，并基于用例对各项功能进行测试验证。 10 节能效果评价 10.1 评价指标 宜采用 CADE 指标对数据中心服务器虚拟化节能实施前、后进行节能效果评价，CADE 数值越高则能 效越高。 5 DB37/T 1498—2022 10.2 CADE 计算 10.2.1 CADE 按公式（1）计算： CADE = 𝐹𝐸 × 𝐴𝐸 ······································································ (1) 式中： FE ——设备效率，%； AE ——资产效率，%。 10.2.2 资产效率按公式（2）计算： 𝐴𝐸 = 𝜂𝑆 × 𝜂𝐶𝑃𝑈 ······································································· (2) 式中： AE ——资产效率，%； ηS ——数据中心服务器能效，%； ηCPU ——数据中心服务器的CPU利用率，%。 10.2.3 设备效率按公式（3）计算： 𝐹𝐸 = DCiE × 𝜂𝑓 ······································································· (3) 式中： FE ——设备效率，%； ηf ——设备利用率，%。 10.2.4 数据中心基础架构效率按公式（4）计算： 𝑝 DCiE = 𝑝2············································································· (4) 1 式中： P2 ——IT设备总能耗，单位为千瓦（kW）； P1 ——数据中心总能耗，单位为千瓦（kW）。 注：数据中心总能耗为制冷用电负荷、供配电能耗、IT设备总能耗、其它能耗（照明等）的和值。 10.2.5 设备利用率按公式（5）计算： 𝜂𝑓 = 𝑝2 𝑝𝑈 式中： ηf ——设备利用率，%； P2 ——IT设备总能耗，单位为千瓦（kW）； PU ——数据中心电容量，单位为千瓦（kW）。 A 6 A ·············································································· (5) DB37/T 1498—2022 附 录 A （资料性） 硬件配置调查信息表 硬件配置调查信息如图A.1所示。 图 A.1 硬件配置调查信息表 7 DB37/T 1498—2022 B B 附 录 B （规范性） 服务器虚拟化软件选型要求 表B.1规定了服务器虚拟化软件选型要求。 表B.1 服务器虚拟化软件选型要求 序号 能力要求 具体要求 支持数据中心服务器的虚拟化实施。虚拟服务器能实现数据中心服务器的全部功能，并具备虚拟 01 虚拟化能力 02 服务器间隔离与资源动态分配能力 具备存储资源调度能力，可将不同存储设备依特性分类，建立不同性能的共享式存储池。提供不 同存储协议的数据存储服务能力，如块、文件、对象等 支持虚拟服务器生命周期管理，包括虚拟服务器的创建、删除、启动、停止、暂停、快照、迁移 03 等 04 支持虚拟化系统的资源监控，包括计算、存储及网络资源等。支持手动及自动的虚拟机迁移 05 支持资源实时监控体系，提供虚拟服务器的监控数据及操作日志的采集和告警 管理能力 06 支持通过远程连接的方式访问虚拟服务器。支持虚拟服务器间微分段隔离保护，其中每一个虚拟 服务器发生故障都不会影响同一个数据中心服务器上的其它虚拟服务器运行，且每个虚拟服务器 上的用户权限只限于本虚拟服务器之内，以保障系统平台的安全性 07 支持图形界面下，虚拟服务器的创建、删除、暂停、恢复、停止等操作 08 支持基于角色的用户管理权限设置机制 具备对异构服务器产品的兼容性，能够兼容x86处理器、ARM、RISC-V、MIPS等处理器架构的两种 09 10 及以上服务器产品 兼容性 具备对多种存储协议的兼容性，能够兼容块、文件和对象等存储协议 11 具备对多种操作系统的兼容性，能够兼容现有主流操作系统，包括国内自主品牌操作系统 12 具备对异构服务器虚拟化软件的兼容性 13 支持存储高可用，提供基于多副本技术或纠删码技术的数据完整性保护机制 14 可用性 支持网络高可用，所有的网络连接线路和网络设备配置全部冗余设计 15 支持虚拟服务器高可用，虚拟服务器在无响应等状态下能够实现自动重启 16 支持多重认证访问机制，支持多种认证方式，只有通过系统认证的用户可以访问系统 17 具备数据私密性，提供加密或隔离等措施保证用户之间数据互不可访问 18 具备通过VLAN进行虚拟化网络隔离的能力 19 安全性 恢复计划进行自动容灾切换 虚拟存储系统应支持按照数据的安全级别建立容错和容灾机制，降低因系统的误操作、单点失效、 20 意外灾难等因素带来的数据损失 21 22 23 8 支持容灾安全机制，实现虚拟机管理数据的复制和容灾恢复计划的管理，在发生灾难时执行容灾 支持在虚拟服务器之间部署高可用性、负载均衡、高性能计算等应用 可扩展性 具备通过增加服务器的方式扩展计算资源规模的能力 虚拟存储系统应支持在不中断正常存储服务的前提下实现对存储容量和存储服务进行任意扩展， 透明的添加和更替存储设备，并具有自动发现、安装、检测和管理不同类型存储设备的能力 DB37/T 1498—2022 参 考 文 献 [1] GB/T 20001.6—2017 标准编写规则 第6部分：规程标准 [2] GB/T 22239—2019 网络安全等级保护基本要求 [3] GB/T 37988—2019 数据安全能力成熟度模型 [4] GA/T 1541—2018 信息安全技术 虚拟化安全防护产品安全技术要求和测试评价方法 [5] T/CCSA 246.1—2019 面向政府采购的云计算软件技术要求 第1部分：虚拟化软件 [6] 《关于加快构建全国一体化大数据中心协同创新体系的指导意见》（发改高技〔2020〕1922 号） [7] 《全国一体化大数据中心协同创新体系算力枢纽实施方案》（发改高技〔2021〕709号） [8] 金海.《计算系统虚拟化——原理与应用》[M].北京:清华大学出版社，2008. [9] 张耀,储佳佳,翁楚良.纠删码存储系统数据更新方法研究综述[J].计算机研究与发展,2020, 第57卷(11):2419-2431. [10] Douglas Alger.《Grow a Greener Data Center》[M].cisco press,2009. [11] James M.kaplan.《Revolutionizing Data Center Energy Efficiency》[M].Mckinsey,2008 [12] SamHalabi. 《 HyperconvergedInfrastructureDataCenters:DemystifyingHCINetworking Technology》[M].cisco press,2019. [13] Eric Masanet,ArmanShehabi,NuoaLei,SarahSmith,JonathanKoomey.Recalibrating global data center energy-use estimates[J]. Science,2020,367(6481) 9