为了正常的体验网站,请在浏览器设置里面开启Javascript功能!

美国ASHRAE数据中心热处理(翻译)

2018-05-06 6页 doc 1MB 34阅读

用户头像 个人认证

少女天空618

工作细心,责任心强,具有良好的沟通协调能力,抗压能力强,具有较强的逻辑思维能力,数据敏感度高,具备良好的创新能力。

举报
美国ASHRAE数据中心热处理(翻译)ASHRAETC9.9美国采暖制冷空调工程师技术委员会9.92011数据处理环境热指标——扩展数据中心和使用指导此白皮书由美国采暖制冷空调学会9.9技术委员会编写关键任务设施,技术领域,电子设备 这篇有关于数据中心环境指引的白皮书是由9.9技术委员会的成员编写的(IT设备制造商和提交的TC9.9的审查和批准投票权的成员。)在这份文件中,术语“服务器”一般是用来描述IT设备(ITE)的,比如服务器、存储器、网络产品、数据中心等应用。执行摘要ASHREA9.9委员会在2004年创造了...
美国ASHRAE数据中心热处理(翻译)
ASHRAETC9.9美国采暖制冷空调工程师技术委员会9.92011数据处理环境热指标——扩展数据中心和使用指导此白皮书由美国采暖制冷空调学会9.9技术委员会编写关键任务设施,技术领域,电子设备 这篇有关于数据中心环境指引的白皮书是由9.9技术委员会的成员编写的(IT设备制造商和提交的TC9.9的审查和批准投票权的成员。)在这份文件中,术语“服务器”一般是用来描述IT设备(ITE)的,比如服务器、存储器、网络产品、数据中心等应用。执行摘要ASHREA9.9委员会在2004年创造了《数据处理热指引》第一版。在这之前必要的环境参数,都是经验理论值给每一个IT厂商。在2008年ASHRAE9.9委员会进行了第二次编辑,并扩充了热环境数据中心的范围,一边更多的人可以方便的查询到数据,以节约时间。在第一次编写‘热指标’时候最重要的目标是建立一个一套公用环境指标,以符合环保准则。尽管计算效率是重要的,但是性能和可用性依然是创建规范和设定温湿度额度所考虑的优先级,随着21世纪第一个十年的到来,计算效率已经被更加重视,创造一个可衡量的方式来了解数据中心设计和数据中心效率的运行效果电力使用效率(PUE),这成为衡量数据中心的新指标。从第二版(2008年)的‘热指标’我们的建议信封就是以给予数据中心操作员指导为目的,让他们的工作维持高可靠度,并且提供最有效的营运能源效率。这个信封是为了大部分的跨专业和跨越很多条件而创造。无论如何,不同的环境信封可能会适合更多的商业价值和气候条件,因此允许经营不同的信封可能提供更大的节能效果,此白皮书提供服务器规范,这将有助于数据中心运营商创建一个符合他们商业价值的操作系统信封。其中的每个指标描述,更多的细节将在书“数据处理环境热准则“第三版提供。任何在建议之外的选择将会破坏冷却系统平衡并且影响节约能源,这一过程以简单的图片形式显示在图1,以下这些是决定创建自己的信封,不用建议信封去经营他们的数据中心的方案。图1.确定数据中心的服务器指标的环境信封流程图还提供帮助指导用户的步骤。周围的图片是服务器的指标描述这个趋势,然而使用这些指标是用于超越建议信封而节约额外能源的客户。要正确的做到这点,需要进一步在每个度量地区深入的了解TCO超前影响建议信封的。概述本文的目的是演示进程方法,并提供一般指导。本文包含通用服务器设备的指标,不代表特定部分的IT设备特点,对于具体设备,请联系IT供应商。环境规范中另一个主要的变化是在数据中心类。此前有两类ITE使用在数据中心类的申请文联:级别1和级别2,新的环境准则有更多的数据中心环境,以适应不同的应用咨询科技设备操作和优先事项。这是至关重要的,因为单一的数据只能支持一类数据中心,而每一个优化的数据中心都需要数据基础,以及运营商的标准。(例如:煤气使用考虑最大的可靠性)。 简介 TC9.9的第一个举措是出版“数据中心处理环境热指南”规范。√在TC9.9成立之初,各商业IT厂商公布自己独立的温度规范。典型的数据中心温度范围在20℃-21℃普遍的冷更好。√大多数数据中心布置多个厂商的IT设备,环境默认为IT设备最不利温度要求的安全系数。√TC9.9取得的主要商业IT设备的非正式共识,制造商为“建议”和“允许”温湿度范围和环境确定四个系列,其中两个适用于数据中心。√TC9.9的另一个重要成就是建立IT设备的空气进气口的温度和湿度共同的测量点;在数据中心内任何地点位置都是可供选择的。全球感兴趣的是扩大温度和湿度监控范围,以实现提高的运营效率以驱动较低级的总拥有成本(TCO)。2008年,TC9,.9严格修订了1类2类范围,下表总结了当前温度,湿度,露点温度,以及海拔高度在2008年出版。表1ASHRAE2008热指南类别环境设备规格产品操空产品电源干球温度(℃)湿度范围,非冷凝最大露点(℃)最高海拔(m)最大速率变化(℃/小时)干球温度(℃)相对湿度(%)最大露点(℃)允许推荐允许 (%RH)推荐115—32d18—27e20—805.5℃DP——60%RH和15℃1730505/20f5—458—8027210—35d18—27e20—805.5℃DP——60%RH和15℃2130505/20f5—458—802735—35d,gNA8—80NA283050NA5—458—802945—40d,gNA8—80NA283050NA5—458—8029A.设备产品通电B.磁带产品需要一个稳定和更具限制的环境(类似于1级),具体要求:最低温度15℃,最高温度为32℃,最低相对湿度20%,最大相对湿度80%,最大露点温度为22℃,变化率温度低于5℃/H,湿度的变化率小于5%RH每小时,无凝结现象。C.产品设备是从原包装中拆开和安装,但不使用,例如在维修保养,或升级。D.降额最大允许干球温度1°C/300米以上900米。E.降额最大的建议干球温度为1°C/300米以上1800米。F.5℃/H的数据中心采用磁带驱动器和20℃/H采用磁盘驱动器的数据中心。G.软盘驱动器中,最低温度为10℃。2004年出版的第一版热准则和2008年公布现行准则版主要区别在下面中表示。表2。对比2004年和2008年版本的推荐信封2004年版2008年版低端温度20℃(68℉)18℃(64.4℉)高端温度25℃(77℉)27℃(80.6℉)低端水分40%RH5.5℃DP(41.9℉)高端水分55%RH60%RH&15℃DP(59℉)增加温度和湿度的范围,会增加使用压缩机的冷却解决方案。通常情况下:设计数据中心选择的设备,需满足类别1和2,第3类是应用程序,如个人电脑和第四类(室内或室外-销售点)IT设备等应用。这些环境指引是真实的设备制造商的专业知识。TC9.9的“资讯科技小组委员会”完全是由IT制造商工程师组成,该小组运用严格的技术。商业IT工程师的设计,现场和故障数据会被共享(在这个资讯小组范围内),使得更高水平的技术被披露最终扩大环境参数规格。TC9.9之前,没有组织或论坛来消除竞争对手之间的信息共享的障碍。关键是因为一些厂家符合而其他人不返回一个多供应商的数据中心的圈套,其中最严格的要求加上一个安全因素将最有可能主持数据中心。IT制造商彼此之间通过私人谈判取得了一些关键信息的共享。从最终用户的角度来看,多厂商设备提供的选项也是重要的,如:选项1-使用IT设备优化组合的属性,包括能源效率和占属性主导地位的资本成本的可靠性。 选项2-使用它的设备优化组合的属性,包括一些与占主导地位的属性的能源和压缩机冷却的可靠性水平。他的产业需要两种类型的设备,但也需要避免选项2不经意间通过不希望的强制性要求或者让所有终端用户使用以增加采购成本来增加选项1的收购成本。扩大的温度和湿度范围可以增加IT设备的物理尺寸(如更多的换热面积),提高IT设备的空气流动,等等,这会影响嵌入式能源成本、功耗和最后是IT设备的采购成本。TC9.9已经证明了它的能力,通过统一商业IT厂商和改善行业整体性能,包括产业的能源效率。TC9.9资讯科技小组委员会通过辛勤工作来扩大环境等级,包括两个新的数据中心类。通过增加这些新的类和不强制所有的服务器符合的东西,如40℃,来增加服务器能源优化的包装成本成为一种选择,而不是任务。发展这些新的类包括专门的商业IT厂商应该会产生更好的结果,因为他们之间一些关键数据的共享在过去已经得到证明,否则将已经取得比实现更广泛的环境规格。书的下一个版本,“热的数据处理环境的指引,第三版”,将包括在本白皮书中所述的环境类的扩展。已更新的命名约定,以便更好地界定的IT设备的类型。现在,旧的和新的类指定不同。2011类2008类应用IT设备环境控制A11数据中心企业级服务器、存储产品严格控制A22大容量服务器、存储产品、个人电脑、工作站一些控制A3NA大容量服务器、存储产品、个人电脑、工作站一些控制A4NA大容量服务器、存储产品、个人电脑、工作站一些控制B3办公室、家、运输环境等个人电脑、工作站、笔记本电脑和打印机最小控制C4销售点、工业、厂房等的销售点设备、坚固耐用控制器、或电脑和PDA无控制表32011年和2008年热的指引比较新的环境类定义符合特定的环保类需要设备基于非故障条件下允许在整个环境范围内全面运作。A1类:典型数据中心,拥有严格控制的环境参数(露点,温度和相对湿度)和关键任务操作的,通常为这种环境设计的产品类型为企业级服务器和存储产品。A2类:典型的信息技术空间或办公室或实验室环境,控制一些环境参数(露点,温度和相对湿度);通常为这种环境设计的产品类型的量的服务器,存储产品,个人电脑和工作站。A3/A4类:典型的信息技术空间或办公室或实验室环境,控制一些环境参数(露点,温度和相对湿度);通常为这种环境设计的产品类型为大容量服务器、存储产品、个人电脑和工作站。B类:一般办公室、家或运输环境,最小控制与环境参数(温度);通常为这种环境设计的产品类型为个人电脑、工作站、笔记本电脑和打印机。C类:一般的轻工业销售点或有气象保障、足够的冬季采暖和通风的工厂环境;通常为这种环境设计的产品类型为销售点设备、坚固耐用的控制器或电脑和PDA。表3。2011和2008年热准则比较2011年类2008年类应用程序IT设备环境控制A11数据中心企业服务器,存储产品严格控制A22服务器、存储产品个人计算机、工作站一部分控制A3NA服务器、存储产品个人计算机、工作站一部分控制A4NA服务器、存储产品个人计算机、工作站一部分控制B3办公场所、住宅,移动式环境等个人计算机、工作站膝上型计算机和打印机最小控制C4销售点,工业,工厂,等销售点的设备,加固型控制器或计算机和掌上电脑无控制新环境类定义遵守特定环境类的法规,要求在整个允许环境范围内基于非故障条件的全面运作设备。A1类:通常,数据中心严格控制环境参数(露点、温度和相对湿度)和关键操作;该类型产品通常是为企业的服务器和存储产品设计这种环境。A2类:通常,信息技术空间或办公室或实验室环境一些控制环境参数(露点、温度和相对湿度);该类型产品通常是为服务器,存储产品、个人计算机、工作站设计这种环境。A3/A4类:通常,信息技术空间或办公室或实验室环境一些控制环境参数(露点、温度和相对湿度);该类型产品通常是为服务器,存储产品、个人计算机、工作站设计这种环境。B类:通常,办公,回家,或移动式环境的最小控制环境参数(只适用于温度);该类型产品通常是为个人计算机、工作站、笔记本电脑和打印机设计这种环境。C类:通常,一个销售点或轻工业或工厂环境与天气保护、足够的冬季采暖和通风;该类型产品通常是为销售点设备、加固的控制器或计算机和掌上电脑设计这种环境。 表4。2011采暖热指引(-P在附录E中的版本)2008年推荐的在这里显示和在表2中所示的范围仍可用于数据中心。为可能有更大的能源节约,请参阅一节的‘采暖数据中心类的使用和应用指南’和附录f详细的流程图需要考虑的过程,多个服务器度量影响整体的TCO。设备环境规格产品操作(b)(c)产品电源关闭(c)(d)干球温度(˚C)(e)(g)湿度范围,非冷凝(h)(i)最大值露点(˚C)最大值海拔(m)最大速率变化(˚C/hr)(f)干球温度(˚C)相对湿度(%)最大值露点(˚C)推荐的(适用于所有类别;可以选择单个数据中心根据此范围扩大本文档中所述的)A1toA418到275.5ºCDP到60%RH和15ºCDPAllowableA115到3220%到80%RH1730505/205到458到8027A210到3520%到80%RH2130505/205到458到8027A35到40-12˚CDP&8%RH到85%RH2430505/205到458到8527A45到45-12˚CDP&8%RH到90%RH2430505/205到458到9027B5到358%RH到80%RH283050NA5到458到8029C5到408%RH到80%RH283050NA5到458到8029a.类A1、A2、B和C,等同于2008年类1、2、3和4。这些类只是已重命名,为避免混乱A1与A4。建议的函等同于在2008年版本中发布的。b.产品设备通电。c.磁带产品需要一个稳定和更具限制性的环境(类似于类A1)。典型的要求:最低温度是15°C,最高温度为32°C,最低相对湿度为20%,最大湿度是80%,最大露点是22°C的温度变化率是低于5°C/h、湿度的变化速小于5%rh每小时,并无冷凝。d.产品设备是从原始运输容器中移除并安装但不是在e.g.中使用,例如,维修保养,或升级。e.A1及A2-Derate最大允许干球温度950m以上为1°C/300m。A3-Derate最大允许干球温度950m以上为1°C/175m。A4-Derate最大允许干球温度950m以上为1°C/125m。f.5°C/hr数据中心雇用的磁带驱动器和20°C/hr数据中心雇用的磁盘驱动器。g.在驱动器中的磁盘,最低气温是10°c。h.最低湿度级别类A3和A4是较高的(更多水分)-12℃的露点和8%的相对湿度。这些交于大约25C.交点以下(~25C)露点(-12C)代表theminimum水分水平,虽然它以上相对湿度(8%)是最小值。i.湿度水平低于0.5˚CDP,但不是降低-10˚CDP或8%RH,可以接受,如果有适当的控制措施实施限制静态发电对人员和数据中心的设备。所有人员和移动家具/设备必须通过地面连接到适当的状态控制系统。以下各项被视为最低要求(见附录A的更多详细信息):1)导电材料a)导电地板b)上所有人员进入数据中心要穿导电鞋,包括只是路过的访问者;c)所有移动家具/设备将以导电或静态耗散材料制成。2)在任何硬件的维护期间,任何人员接触它必须使用合适的腕带设备。制定新的准则,重点是提供尽可能多的信息给数据中心操作员,让他们能够操作最有效的能源模式同时仍能实现其业务所需要的可靠性。两个新数据中心类是,在数据中心的操作中实现最大的灵活性。四个数据中心包括两个新的(A3、A4)类在下面的湿度图所示。图2。采暖环境类的数据中心采暖类A3、A4已添加到扩展环境的章节IT设备。采暖类A1、A2、B和C与2008年版1、2、3和4的类一样。此外,2008年建议函保持不变。采暖类A3将温度范围扩展到5到40℃,同时也扩大了湿度范围从8%RH和12℃露点延伸到85%的相对湿度。采暖类A4扩展允许的温度和湿度范围比A3更进一步。温度范围扩大到从5至45℃同时,湿度范围扩大到从8%RH和12℃露点延伸到90%RH。基于类A3、A4允许的湿度低限值,有一些添加的最低要求,在我的表中列出。这些适用于可能在低湿环境中发生的,ESD诱导故障引起的设备保护。ASHRAETC9.9已经有一项关于低湿度对IT设备影响的研究。研究的目的是向量化空气湿度,与ESD在IT设备操作上的严重性之间的联系。这项工程预计大约两年时间,可实现放宽其中一些要求,注意我的表所述,并可能允许进一步放宽湿度的下限。就像上面的段落和表中所示,允许的最高限额已放宽,在设计和数据中心操作状态上,允许更大的灵活性。需要仔细考虑的一个领域是高度降额的应用。通过简单地提供相同的降额曲线为A1和A2类的定义,新的A3和A4类驱动的服务器会增加,以支持能源不可取在所有用户对高度的要求。在努力提供一个轻松的操作环境,同时提供一个最佳的解决方案以最低的TCO总焦点对于客户端,修改本应用于降额。新的降额曲线进行A3和A4类保持显著的轻松,同时减少额外支出无论是发生在IT采集设备,还是因下运行增加电力消耗。见附录D为降额曲线。有人可能会问,现在为​​什么推荐的函在表4中作为一个单独的行强调。但也有关于推荐函使用的一些误解。当它第一次创建时,它的目的是这个函内最可靠的,可接受的和合理的电源,可以实现有效运作。数据从制造商推荐的用于创建函。但是从来没有打算,建议的函将是进气的绝对极限温度和湿度的IT设备。正如在书中热指南,建议的函规定的限度下,IT设备如何运作最合理可靠,同时还实现节能数据中心的运作。然而,正如在书中热准则,以作为利用省煤器尽可能地保存在一年的某些时候能进服务器条件,可能不属于建议的函,但仍在允许的范围内。该书热准则还规定,操作超出了建议的时间很短,而不会影响整体的函可靠性和操作的IT设备,是可以接受的。然而,有些人仍然认为建议函是强制性的,即使这是从来没有的意图。两个关键因素(可靠性和功率随环境温度的变化),驱使所建议的函列入现开列以及一些其他服务器指标,以帮助确定一个函,更加紧密地匹配每个用户的业务和技术需求。这些因素之间的关系和入口现在可以提供温度,从而使数据中心运营商来决定,他们如何可以在允许范围内运作最佳函。 ASHRAE类数据中心使用指南进一步的数据分类会使数据分析人员在进行效率优化、减少整体消耗、解决可靠性问题及提高性能等决策问题上复杂化。表5给出了决策过程中的几个主要特征的种类及其选择范围。数据中心优化是一个复杂的多变量问题,需要一个对于任何重大变化都可以胜任的详尽的工程评价。只有收集了适当的数据和了解了数据间的相互关系后,才能考虑可替代围护结构的评估。每个参数的现有和计划状态都会影响数据中心最后的优化路径。对于最终用户而言,最糟糕的情况是认为A3或A4类的ITE操作能力可以解决用以提现有数据中心的测试环境的热管理、功率密度、制冷等问题。当新的IT设备应用于这些类中,数据中心问题必将加剧,从而影响数据中心的能源使用,成本和可靠性。严格遵循白皮书的指南就可以避免这些问题。表5汇总了影响每个数据最优运行范围评估的主要特征和备选项目。表5影响节能优化的主要特征及其选择范围特征选择范围项目类型新建,改造,升级现有建筑方面布局、热回收气流路径、新旧部分交接处气流组织范围很广从无控制气流组织到全面控制气流组织,基于RCI和RTI指标的室内空气性能冷却控制传感器的位置制冷系统回水(风)口,地板下,IT入口所有现有的设备的温湿度评级温度/湿度评定:配电设备,布线,交换机和网络设备,室内仪器,加湿设备,冷却单元允许的送回风温度,人员健康安全要求.省煤器没有,需要添加的,已有,水侧,空气侧冷机没有,已有气候因素-温度该地区的温度范围(获取bin数据和(或)设计值),每年大于ASHRAE数据的小时数气候因素-湿度该地区的湿度范围(获取bin数据和(或)设计工况的相对湿度和露点温度),温湿度极值,每年超出ASHRAE湿度范围的小时数制冷架构空气,流体,周长,列,racklevel数据中心类型HPC、网络、企业、金融1)有些制冷、制热机房的回风(水)温度有限,有可能为30°C2)当气流组织良好,服务器温度上升可为20°C;入口温度为40°C时,热通道温度为60°C3)数据中心类型影响可靠性要求通过了解上述主要特征和数据中心特点,依据下述步骤设定数据中心的温度、湿度操作范围:优化流程1)考虑数据中心最佳实践状态,并将其大部分进行实施是首要任务,然后进行更高服务器入口操作温度的改变,这其中包括气流组织和冷冻系统控制策略。2)参照所有IT设备环境规范汇总中的2011ASHRAE类比,确定ASHRAE环境最大允许值。3)选用推荐的围护结构(见表4)或对节约要求更高时,根据下列条件确定围护结构:a)所在地区气象数据(仅用于采用热回收器时)b)供电趋势vs大气温度–见A部分c)数据中心的声学噪声水平vs大气温度–见B部分d)服务可靠性趋势vs大气温度–见C部分e)服务可靠性vs湿度、污染物和其他温度的影响–见D部分f)服务性能趋势vs大气温度–见E部分g)服务消耗趋势vs大气温度–见F部分上述步骤的流程图如附录F所示。附录F在选项评价初期很有用途。该流程指导数据中心操作人员如何定位一个特定的环境围护结构内的操作数据。虽然可能的终点从表4给出的特定围护结构的TCO优化到制冷机采用数据中心类别的少量数据的范围内变化,但是最主要的如何利用服务器度量,通过TCO分析实现节能,将在下章详述。用于指导新指南的服务器度量2004和2008版本的特定围护结构发展是基于IT厂商关于服务器的可靠性和作为入口空气温度函数的设备耗电趋势。为了采用不同的围护结构获得更灵活的数据中心操作,必须了解这两个因素的相关知识。下一部分讲述的是在不同大气温度下,IT设备用电和可靠性的变化趋势。此外,还讲述了不同环境温度和湿度下的服务器性能、噪声、腐蚀和消耗成本。下一部分给出了作为利益参数范围的大量的服务器度量值。该范围是用来捕捉体积服务器市场。如果需要确定特定的服务器信息,请联系IT生产商。A.服务器用电随着大气温度的变化趋势从大量的IT设备生产商中收集到了产品的数据.收集到的关于A2环境的数据大部分落在图3所示的围护结构上。电力增加主要是风机耗电、组件耗电和两者之间的转换引起的。组件耗电增加主要是由于一些半导体设备泄流电流的增加。例如如图3所示,数据中心服务器入口温度一般为15℃,操作人员想将其升高至30℃,服务器耗电将增加4%-8%。当入口温度升至35℃,IT设备用电与入口温度为15℃相比,将增加7%-20%。由于现有的A3类环境的产品数据很少,图3中的A3围护结构发展是从A2趋势推测而出的。(注:虽然专为NEBS环境设计的设备可能满足新类型要求,但是通常与体积IT相比,其性能特点仍然有限)。该类型的新产品通过提高散热器和或风机发展用以冷却新数据中心类型的组件,因此电力大幅度增加与类型A2相似。图3类3和类4服务器用电随着大气温度的变化在环境温度范围内,随着风机速度增加,IT设备流量增加。下图给出了在温度为10℃-35℃时,服务器空气流量的增加趋势。图4随着大气温度增加,服务器空气流量变化B.数据中心噪声水平随着大气温度的变化扩大网络电缆设备操作围护结构将对噪声水平产生不利影响。随着高端数据中心的噪声水平逐步提高,对数据中心经理和业主而言,已经或者至少将要成为一个严重问题。关于噪音水平的发展背景及其相关知识,详见ASHRAE网络电缆《网络设备中心设计》中第9章“噪声排放”。噪音水平的提高主要原因归咎于新型高端网络电缆设备的冷却需求的增加。这是是由于数据中心的噪声水平达到或超过监管场所噪声限制,如美国的OSHA或欧洲的EC指令(见【3】汇总)。根据风机经验定律可知,空气流动设备的声功率水平是转速的5次方,该现象已在高端机架服务器、存储单元和数据中心地板上的I/O设备得到验证。这就表明,速度增加2%(例如3000rpm增加至3600rpm),噪声增加4dB。2008版ASHRAE指南第一部分提到特定操作温度提高2°C(从25°C到27°C)。虽然无法预测数据中心温度提高2°C(3.6°F)对噪声水平的影响,但是增加3-5dB也并非不合理的。因此,数据中心经理和业主应该对新指定的操作环境下能源效率提高带来的收益与噪音水平增加带来的潜在风险进行权衡判断。根据白皮书上关于ASHRAE指南的新建议,具有广泛操作温度围护结构的附加类对允许温度上限和对数据中心噪音水平的潜在影响具有指导作用。按照上面讲到的第五动力经验公式,加之以外界环境温度为研究背景的现有的空气动力设备实例,下面的表格6提出了温度和噪音的关系,这适用于用空气冷却的高档服务器机组(包括典型的混合动力机组,CEC机柜,I/O机柜和集成的水冷机柜)。表格6A噪声等级下的温度关系预计会增加的A级升功率(分贝)25℃30℃35℃40℃45℃0db4.7db6.4db8.4db12.9db当然,对于任何特定的IT设备机组来说,实际噪音等级的增长不仅取决于机柜的特定结构,同样受到为这些不同构造的机柜和机组提供的冷却方式和风机的运行速度和模式的影响。然而,上述所提到的噪音等级的增长和环境温度的关系可被视为一个通用的标准,这一标准可以为数据中心的管理人员和为员工申诉噪音的物业人员提供一定的参考。信息技术产业已经开发出了它特有的国际标准测试编码ISO7779,这一标准用于测试其产品的噪音等级,而且其宣布这一标准与现在的ISO9296是一致的。对安装在各种环境下的IT设备(包括数据中心)的噪音的限制被规定在Statskontoret技术标准26:6中。以上的论证适用于噪音释放等级的潜在增长;也就是设备实际发出的噪音,而不是测试者听到的和设备所在的环境和房间所发出的噪音。由此可见,我们真正关注的应该是所接触的噪声增长的可能性,或者说是噪声的释放等级,这些才是在数据中心工作的员工所承受的实际噪音值。关于调整工作区域的噪音限制和保护员工免受听力伤害,数据中心的管理者们应当检查的是在员工们的工作环境中是否有噪音等级的潜在变化,这使得他们在制定地区、州及国际标准时候有各种不同的实际标准。实际上噪音标准的制定应当被仔细加以论证,因为这一标准复杂且超出了文献完全充分解释的范围。工作区域的噪音等级是以A-量级声压等级的形式定义的(A-量级是相对于上述噪音源释放的噪能等级)。例如,当工作区域的噪声等级超出了85dB(A)的声压等级,听力保护方案将被启动,这将花费巨大,通常包括基本的听力测试,噪音等级的测定和调控,噪音危害的标定和教育培训等。当噪音等级超出了87dB(A)(在欧洲)或者90dB(A)(在美国),将会采取进一步的行动,例如强制性的听力保护,员工轮流制或者采取必要的工程协调。当环境温度上升到白皮书中规定的温度变化范围的上限时,数据中心的管理者们要和声学专家或者工业卫生专家们协调以确定是否达到噪音暴露伤害的程度。为了尽可能的针对数据中心较高的环境温度对噪声等级的影响提出一个统一的标准,以下的测试数据可以被使用(但另一方面,必须要注意的就是由于各方面的协调和法律方面还在审议,在实际情况下还是要寻求相关方面专家的帮助的)。对于数据中心中有严格方向性的IT设备机柜,一些模型和测试显示这些数据中心中的声压等级有一个特有的通道,这一通道是在两台相连接的机组之间,此时的噪声等级会达到85dB(A),而对每一台单独的机组的测试(相对于测量数据的上限)噪音等级大约是8.4B(84dB声功率级)。按照上述的声功率等级的增长预测,如果假定数据中心的初始环境温度是250C,现在有许多高档次的数据中心机组要在或者要高于8.4-B等级,这也就是说当环境温度在300C时在这种数据中心的过道处声压等级将有可能达到89.7dB(A),当环境温度为350C时声压等级将达到91.4dB(A),当环境温度为350C时声压等级将达到93.4dB(A),当环境温度为450C时声压等级将达到97.9dB(A)。毫无疑问,这些噪声等级有些过高。它们不仅是高于噪音等级标准(或者当标准有些欠缺的时候恰好合适),显然它们也对听觉系统构成了危害,除非为数据中心的员工采取防护措施。C.服务器的可靠性和环境温度的趋势在环境限制条件下充分利用系统或对数据中心采用节能装置之前,重要的是要先了解这些改变所引起的可靠性(失效率)。数据中心硬件的失效率将会受到局部的气候环境、节能装置以及节能装置所引起的环境温度和湿度的变化的影响。大多数节能设备的经济运行是以混合排风余热和低温的送风这一方式实现的,所以数据中心的最低温度通常调节在150C到200C这一范围内。数据中心里的所有IT设备(服务器、存储器、网络设备、电源等等)应用节能设备运行时必须被控制在设定的环境温度和湿度的范围内。为了了解温度对硬件失效率的影响我们可以模拟不同的节能运行模式。首先,认为节能模式可以运行并且论证它会对数据中心的温度产生什么影响。为了实现这一设定的目的,要大体考虑三项节能设备运行的状况:1) 设备经济节能的运行在一个很小的温度波动范围内或者说是数据中心中没有温度的波动。这是初步的控制方法,数据中心中的设备合理的配置工作使得数据中心进口的IT设备附近的温度达到设定值。节能装置以引入或多或少的冷空气(空气侧)或者调节冷冻水的流量和温度(水侧)这一的调节方式来满足温度的设定值。如果外部条件或内部的负荷发生改变时,例如只靠节能设备的调节不能满足温度设定的要求,冷站将会加大冷负荷供给以满足此区域的温度设定值。如果数据中心不能满足经济运行,为了满足数据中心必须的设定温度,这是最初的经济调节方式。如果数据中心里的温度波动很小或者根本没有温度变化,那么由温度引起的数据中心中的硬件失效率就很小或者根本没有。这一经济条件模拟代表了大多数的数据中心的经济运行方式。2)有时数据中心的温度有可能要升高,这时要考虑扩大经济运行温度的范围。一些数据中心可能会选择通过控制设备的运行方式来提高对温度的限制或者增大温度波动范围,由此来更长时间的使数据中心高效经济的工作。3)缺少冷站设施的数据中心情况,这些数据中心的温度要稍高并且其随着室外温度和局部气候的变化而变化。一些建在寒冷地区的数据中心可能会考虑通过减少建造冷站设施的方式来降低数据中心的建造投资费用。在缺少冷站的数据中心内的设备设定的温度会有一个很大的变化范围,而且至少在某种程度上数据中心内的温度要受到室外温度和局部的气候条件的影响。这时,要采用蒸发冷却而不是冷站的方式为数据中心内的设备供冷。下面分析一下温度波动范围的扩大和缺少冷站节能调节的情况下对硬件失效率的影响。以下的分析和论证并不指的是一个特定的数据中心环境模型,为了简单方便分析测试数据,采用图示证明有代表性示例的方式。为了更好的了解缺少冷站经济的调节对数据中心中硬件设备的失效率的影响,以芝加哥这个城市为例。正如图表5所示的芝加哥温度气候数据的柱状图,我们可以看到一年中的大部分时间用在了冷却和降温(低于200C),然而,芝加哥在夏季并不是很热,一年中的炎热天数只占了很小一部分比例,并且不会持续很久。图表5.芝加哥2010年干球温度柱状图。依靠空气侧的节能装置,数据中心的风机能使进入IT设备区域的空气比室外的升高1.50C。同样,即使在冬天,大多数拥有节能装置的数据中心也会采用一种混合空气的方式来保持数据中心内的温度在150C到200C这一范围内。在芝加哥的气象数据基础上应用这一节能控制方法,柱状图将会转变成图表6所示。图表6.假设安装了节能装置的芝加哥2010年干球温度柱状图。假设包含了利用服务器的余热,这一调节方式可以使室内保持最低150C到200C之间且从室外到服务器送风口可以有1.50C的温升,结合图6柱状图中的数据,计算各个温度范围所占一定比例的时间,就可以得到一个简单的设备故障率的时间-温度加权平均值,如表6.表7,芝加哥的IT设备的时间-温度计算加权故障率。15-20℃15-20℃20-25℃20-25℃25-30℃25-30℃30-35℃30-35℃位置%每小时因数%每小时因数%每小时因数%每小时因数净余因数芝加哥67.6%0.86517.2%1.1310.6%1.3354.6%1.4820.99列中标有“X因素”的值是关于温度的相对故障率。如温度升高,设备故障率也增加。手册附录C是根据连续运算(7天*24小时*365天/年)得出的设备故障率表。对于空气侧节能装置,芝加哥数据中心的净时间加权平均数的可靠性为0.99,是非常接近1的,可靠性为1的数据中心是严格控制且连续运行温度为20℃。虽然硬件的故障率会随着温度增加,但是数据中心花费大量时间在把温度控制在15至20℃之间(在这一温度范围内,故障率比在20℃连续运行时略低),数据处理中心的IT设备在20℃连续运行一年的可靠性,比得上ITE。应该注意,比起春秋季节的平均值,在夏季,节能装置的数据中心里硬件故障率将有轻微的升高趋势;同样,寒冷的冬季会有轻微降低。通常,为了更好地预测数据中心故障率,需要一个准确的给定地点的时间-温度柱状图,使节能装置适当地温度升高的关键因素也被用于数据中心的环境控制算法。为了简单起见,对数据中心硬件可靠性的经济影响进行分析,这基于两个关键性的假设:a)维持最小数据中心温度在15-20℃之间。b)数据中心室内外温度温升适用于当前节能标准。但是,这种数据分析方法并不意味着推荐用于数据中心环境控制的特殊算法。关于详细的论述节能装置温度的方法超出了本文的范围。本方法目的在于示范应用方法和提供一般指导。对温升要求精确的特定地理位置的特殊节能装置,应该咨询精通节能装置设计的工程师。合理的假设一个空气侧节能装置,数据中心提供的空气温升在小于1.5℃时不受室外环境干球温度影响。对于水侧节能装置,冷却水环路温度主要依赖于室外空气湿球温度。此外,以芝加哥为例,ASHRAEWeatherDataViewer的数据表明,平均干球温度与湿球温度一致,大概升高5℃。(例,当湿球温度为20℃,与之对应的平均干球温度是25℃)。如果假设冷却塔和热交换器温度相当接近,那么在芝加哥,平均一天水侧节能装置也应该能够提供比室外干球高1.5℃以上的数据中心送风温度。对于干式冷却塔(闭式,无蒸发)的水侧节能装置,假设数据中心空气温升12℃,高于室外环境温度。值得重申的是,以下数据基于上述假设,不同地区(具有不同湿球/干球组合)将有不同温升,这是以具体地方具体节能装置情况为基础的。规定,同一城市,1.5℃温升和12℃温升之间的不同,表明如果只有一两级之差,那么结果会在误差线以内。挑选出美国和世界一些城市的不同节能装置情况的时间-温度加权平均故障率预测,如图7、8、9、10所示。对那些图表的计算,包括每个城市不同温度范围内的用时百分比,以及温度函数的可靠性数据,可以在附录C中查到。弄清楚相对故障率价值的意义所在是十分重要的。我们规定以数据中心在20℃连续运行结果为标准;此时的相对故障率为1.0。对于低于1.0的城市,则表明,每年运行时的节能装置连续作用和数据中心低于20℃(至15℃)。此外,相对故障率显示出了服务器故障量的预期增长,而不是故障服务器总数所占百分比。例,如果一个数据中心里,每1000台中有4台服务器故障,致使温度升高,则相对失败率为1.2,那么语气相对失败率为1000台中有5台故障。为给数据中心硬件故障率提供进一步参照系,文献[4,5]显示温度约为20℃的两个不同数据中心,在12个月里的叶片硬件服务器故障率为2.5-3.8%。在一个温度范围达35℃(海拔约1600米)的包含空气侧节能装置的类似数据中心,故障率为4.35%。这些数据仅为故障率的例子提供一定知道。不要试图对失效机制进行分类。图7,美国一些城市,空气侧节能装置和水侧节能装置的预期故障率。注意,此时假设两种形式的节能装置将使数据中心送风温度比室外干球温度高1.5℃。图8,美国一些城市,干式冷却塔的水侧节能装置的预期故障率。注意,此时假设节能装置将使数据中心送风温度比室外干球温度高12℃。图9,选定的全球一些城市,空气侧节能装置和水侧节能装置的预期故障率。注意,此时假设两种形式的节能装置将使数据中心送风温度比室外干球温度高1.5℃。图10,选定的全球一些城市,干式冷却塔的水侧节能装置的预期故障率。注意,此时假设节能装置将使数据中心送风温度比室外干球温度高12℃。对于大多数美国和欧洲城市,空气侧和水侧节能装置预期故障率非常适用于运行的稳态温度为20℃的传统数据中心。对干式冷却塔的水侧节能装置,大多数美国和欧洲城市的预期故障率为10-20%,高于20℃的稳态基线。作为参考,图7-10的两条线分别表示30℃和35℃时连续(7天*24小时*365天/年)计算的预期故障率。尽管冷却设备将达到30℃,35℃甚至更高,节能装置系统的使用导致的预期故障率还将远远低于在连续高温稳态运行时的预期故障率。注意:有“*”标志的美国城市,ASHRAE90.1中没有节能要求,这些城市大都位于美国的湿热地区。各城市制冷机年运行小时数要求分析,如图11,12,13,14。对于气候要求制冷机年运行时间为0小时的地区,可以建立无制冷机组设施数据中心。图11,美国城市,空气侧节能装置制冷机年运行小时数要求。注意,此时假设节能装置将使数据中心送风温度比室外干球温度高1.5℃。图12,美国城市,干式冷却塔的水侧节能装置制冷机年运行小时数要求。注意,此时假设节能装置将使数据中心送风温度比室外干球温度高12℃。图13,选定的全球一些城市,空气侧节能装置制冷机年运行小时数要求。注意,此时假设节能装置将使数据中心送风温度比室外干球温度高1.5℃。图14,选定的全球一些城市,干式冷却塔的水侧节能装置制冷机年运行小时数要求。注意,此时假设节能装置将使数据中心送风温度比室外干球温度高12℃。对于大多数美国和欧洲城市,以及一些亚洲城市,建立数据中心,几乎完全依赖当地气候对制冷的需求,是有可能的。但是,A3和A4级的IT设备的有效性显著增加了可以建立和运行的无制冷设施美国和世界各地城市的数量。空气侧节能装置(以及冷却塔的水侧节能装置)相对于干式冷却型水侧节能装置的使用也增加了可用无制冷设施地区的数量。D.服务器的可靠性与湿度、污染物和其他温度的影响前面的讨论几乎完全是关于温度的,其他因素,如污染和湿度,都可能引起数据中心设备故障。气体污染,微粒和湿度的影响对引起不同类型设备故障是有据可查的。污染信息的最佳来源之一是ASHRAE数据通讯系列书“数据通讯环境中的微粒和气态污染物”[10]。当为一个新数据中心选定地点或者添加一个空气侧节能装置到已有数据中心时,应该仔细检测空气质量和建筑材料的污染源和微粒。如有需要,还应该额外添加过滤装置以去除气体污染和颗粒。除了污染以外,当前的信息[11-13]还显示出温度和湿度对印刷电路板绝缘材料的介电性能的影响。绝缘体(如FR4)使电路板间信号电绝缘。随着任一印刷电路板湿度增加或温度升高,输电线损失增加。当操作板的温度和内在湿度上升的时候,信号的完整性就会有显著的下降。内在的湿度变化比较慢,基于操作板的吸湿率,以小时或天为单位。操作板的外层首先受到影响以及长时间的水分接触也会首先影响这些面层。以分钟为单位的温度改变可以迅速影响性能。随着更高速的信号连接到电路板,温度和湿度就会得到ITE制造商更多的关注。电路板的材料成本可能显著增加,并可能增加A3和A4类IT设备的费用。制造商的另一个选择使用低速总线系统,将使性能降低。在各种电路标准下,过多的暴露高湿环境下可引起性能的下降或者失效。在PCB水平下,导电阳极丝(CAF)沿分层纤维/环氧树脂界面增长,其中水分有利于形成导电路径[14,15]。在基板的水平下,由于电化学迁移垫的作用,水分会导致表面晶在相对偏差之间增长。由于持续的C4间距细化,导致对他越来越多的关注。在芯片情况下,湿度可导致绝缘层粘结强度的退化或丧失,然而额外的压力可能来自包装材料的吸湿膨胀。这两种效应的结合常常导致在死角附近的分裂脱层,这些死角都是热机械应力高和易接触到水分的地方。值得注意的是,温度在水分的影响下起到一个重要作用。一方面,较高的温度增加了扩散系数,促进了电化学反应。另一方面,由于自身放热产生局部高温,降低了局部的相对湿度,提高了电路元件的可靠性。除了上述的扩散驱动机制,另一个与高湿度有关的明显的问题是凝结。这可能是由于环境温度突然下降或现场有一温度更低的水冷却或制冷冷却系统源。结露会通过电气故障短路和腐蚀,造成电气和机械设备的损坏。由于高湿使模型失效加剧的另一个例子是吸湿性粉尘失效(高密度纤维板)[16],磁带介质错误和过度磨损[17],以及腐蚀。这些失效是在相对湿度超过60%并延长时间的情况下出现的。作为一项,典型的关键任务数据中心必须考虑的最权衡才选择操作相对湿度超过60%的理由如下:众所周知,对于金属的腐蚀,水分和污染是必不可少的。仅仅水分不足以造成腐蚀,污染物在以下方面加重了腐蚀:如氧化物腐蚀产品可能形成及保护金属,减缓腐蚀速率。污染气体如二氧化硫、硫化氢和氯化物这样的污染物存在,腐蚀保护膜很少起到保护作用,使得腐蚀呈直线继续。当数据中心的相对湿度大于腐蚀物质的溶解相对湿度时,如硫酸铜,氯化铜,等等,腐蚀产物膜变湿,大大提高了腐蚀速率。铜氯化物,铜的共同腐蚀产物,具有相对溶解湿度65%左右。一个相对湿度大于65%的数据中心,会导致氯化铜吸收水分,受潮和加剧铜的腐蚀速度。灰尘是无处不在。即使我们做最好的过滤工作,细微灰尘都会出现在数据中心以及粘结在硬件上。幸运的是,大部分尘埃拥有高溶解相对湿度的微粒,这个相对湿度就是其中的尘埃吸收足够的水变湿,促进腐蚀和离子迁移。当尘埃的相对湿度比数据中心的相对湿度大时,尘埃就会保持干燥,不会有助于腐蚀或离子迁移。然而,当尘埃的溶解相对湿度小于数据中心的相对湿度时,尘埃吸收水分,受潮,促进腐蚀和离子迁移,降低硬件的可靠性,这种情况比较少见。1993年Comizzoli【16】等的研究表明,在世界各地,定位于线路电板,由于尘埃造成的电流泄漏,随着相对湿度成指数增加。这项研究使我们的结论是,保持数据中心的相对湿度低于60%,粘贴的细微尘埃造成的电流泄漏可保持在可接受的范围。含有污染气体会使得银或铜的腐蚀速率更大,大约300埃每月是造成电路板铜和金属表面银色安装微型元件的腐蚀失效最常见的现象。前面已近解释过,当物质的相对湿度比受到气态攻击的腐蚀表面的溶解相对湿度大时,它的相对湿度就会大大增加腐蚀速率。总之,如果数据中心的硬件保护是至关重要的,它可以得到最佳的保护,不受腐蚀,维持相对湿度小于60%,限制微粒和气体污染物浓度水平,其中铜和/或银腐蚀速率均小于300埃/月。鉴于这些可靠性问题,数据中心运营商需要密切关注整体数据中心的湿度和结露问题,特别是夏日运行的热/湿节能装置。当在受污染的地域运行时,因为污染会影响温度和湿度的可接受限度,在这个限度内,数据中心的运作必须保持硬件故障腐蚀率在可接受水平,所以数据中心运营商还必须考虑粒子和气体污染。除湿,过滤及气体过滤阶段可能会在有高湿度污染的地方进行。E.服务表现趋向与环境温度支撑环境的能力取决于热设计和IT设备的管理执行。IT设备的每个组件都有符合使用目的所必需的发热限制。如处理器就有这个特性,在热设计功耗的基础上,在功率和热限条件下,使性能最大化。这个热设计功耗对IT热设计工程师起到指导作用,使其在设计期间保证冷却有足够的尺寸。如果IT设备全负荷运行,就暗示热设计功耗的性能可能小了。 对于某些部件,功率的消耗和性能的降低可以通过一些可预见的结果得到很好的处理。处理器可以在不同的国家使用,不同的功率消耗取决于当地环境中系统的实际冷却能力(通过检测热敏元件的监测数据)。其他的部分很少或者没有能源管理能力。许多组件都没有热敏元件的覆盖面和电源管理机制,他们现在没有发热极限。如果不符合环保规范,组件的功能温度超限会使数据的完整性遭到破坏。一个系统划为一类,而在另一类中使用,继续运转的依据是工作量。当工作量改变热设计的界限时,可能会发生性能的下降。性能下降被功率管理特性所驱动。这些特性是起到保护作用和一般不涉及一个设计良好的系统和/或在允许的工作环境范围内。当一个系统处于节能模式发生异常时,能源管理特性将做合理的调整,但不是调到最大。这样的配置可能对于一些客户来说是可以接受的,但不包括在多数情况下都全负荷运转的违约操作。为了使所有种类在更大范围内运行,新的指导已经将“全性能操作”改变为“全操作”。IT设备的设计很多在极端上限的允许下都会有富余量。推荐范围为缓冲提供一个允许的限度。这个缓冲区可能已经撤掉了,因此,能源和热量的管理特性在IT设备极限负荷条件能力之外,允许提供热超温。IT设备基于一件事情的发生几率来设计,例如同时的极端工作量和室内超温的结合。因为同时发生最坏的事情的几率很低,IT生产商将倾斜能量和热量管理系统来确保全面运行。IT购买者必须和设备的制造商协调,以了解允许热指标的极端上限下的性能。F.服务器的成本趋势与环境温度随着IT设备设计成A3或者A4类,生产商有很多的方法支持更广泛的环保要求。这些方法包括冷却解决方案,基于温度评定的元件选择,性能表现。对于某些元件,如处理器在任一成本增加或者性能能力的减少都会导致温度的升高。硅必须测试温度规格,如果这个规范比较高,则生产高性能部分的能力就要减少,从而降低该部分的成本。更高温度级的部分可能是也可能不是适用于所有组件。前面提到的改善印刷电路板材料也有,但可能会使成本大大超过低性能的材料。为了提高散热性能,改进散热片是一个很好的选择。改进的散热器提高性能的能力有限,通常会和提高空气气流流动的装置一起使用。在先前的能源和温度指导下,增加空气转换机速度的影响是明显的。人们必须意识到,仅仅当系统的进口温度移向热范围的高区间时,这时需要更高的空气转化机的速度。典型的速度保持比正常室温更低的情况下运行。假设通过冷却的提升来保持性能的稳定,设计40℃、A3类对比设计35℃、A2类就会增加1%~2%的服务成本。进一步改善冷却能力,同时保持一个相同的性能,45℃、A4类比较A2类就会增加服务费用5%~10%。许多服务器的设计需要改善,因为冷却系统有能力改善服务器的数量限制,所以非冷组件可以实现A3和A4类的操作。在这种情况下成本可能会超出10%至15%范围的限制。总结A3和A4主要增加了有意避免冷却压缩机的资本浪费。新的种类可以提供超出A1和A2类的一些额外时间,但对于A1/A2在中级操作下实际导致最小能源情况没有保证。风机电源,无论在IT设备还是在设施,当冷却空气时可能会推高总能耗。为了减少推荐范围,一个重要的原因是他的上限是减少IT风机能耗所特有的。本白皮书没有指出失败是提高温度造成的。然而,给出的指导应该帮助使用者了解适应于他们特殊气候变化范围。对于原推荐范围的原因没有消失。更广泛的极端操作将有能源和/或可靠性的影响。然而,这一对于可靠性建议的时间平均方法,可能会通过减少数据中心的名义设置点而减少。参考文献1)Herrlin,M.K.,数据中心的气流和冷却性能:两个性能指标,ASHRAE学报,2008,2:1142)Herrlin,M.K.,数据中心和电信中央办公室的机架冷却效果:机架冷却指数(RCI),ASHRAE学报,2005,2:1113)"NIOSH96-110号出版物:预防职业性听力丧失-实用指南,1996,6.http://www.cdc.gov/niosh/docs/96-1104)ISO7779声学-信息技术和电信设备排放在空气中的噪声,2010,8,15:第三版5)ISO9296声学-计算机和商业设备的法定噪声排放值,1988,.4,156)信息技术设备的噪声排放,瑞典国家主计局的技术标准26:6,2006,7,1.http://www.statskontoret.se/upload/2619/TN26-6.pdf7)ASHRAE气象数据观察,ASHRAE第四版本,20098)Patterson,M.K.,Atwood,D,和Miner,J.G.,对计算机数据密集中心空气加热的评估,2009年Interpack包装展:,2009,,7,19-23,加州,旧金山9)用省煤器减少数据中心成本,英特尔摘要,2008,810)粒子和污染气体环境中数据通信,美国学会供热制冷和空调工程师,2009,94页11)PaulHamilton,GaryBrist,GuyBarnesJr.&JasonSchrader,湿度依赖性在PCB基板的损失,英特尔公司,200712)BhanuSood,&
/
本文档为【美国ASHRAE数据中心热处理(翻译)】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。 本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。 网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。

历史搜索

    清空历史搜索