重复数据删除

重复数据删除 DoSTOR存储分析 重复数据删除减少浪费受追捧 Susan/编译 ◎ 2007-09-18 存储在线 DoSTOR存储分析 9月18日消息:重复数据删除技术如字义所言，就是不存储重复的部分，以减少空间的耗用。透过重复数据删除技术，想办法找出相同的部分，相同的只存储一份，并且以索引技术来记录，一旦需要还原时就能恢复出原来的文件。 存储空间不足，一直是IT人员头痛的事，因为不只是要添购存储设备，更要面临调整存储架构后接踵而至的种种设定工作。这些工作的复杂繁琐就不用说了，在扩充存储容量的过程中，更可能需要停机，这会严重影响到企业的正常营运。 企业为了保护数据必须定期执行数据备份，这是数据快速累积的原因之一。尤其现今有些企业开始先备份至速度较快的磁盘，再逐次备份至磁带等设备，对于必须赶 在当日下班至隔日上班前完成大量备份的企业而言，磁盘备份是个好方法，备份快、回复也快，但磁盘备份无疑会加速磁盘空间的消耗。 虽然磁盘备份快速吃掉存储空间，但企业也绝不会因此而减少备份的次数，因为这会牺牲数据保护的可靠度，增长备份周期换取存储空间只是个舍本逐末的作法。随 着电子化应用的加深，不只是数据备份，每个企业都希望保存自身营运的历史记录，藉此作为企业决策分析的依据，因此未来数据累积的速度绝对是不断提高的。 既然很难有好方法可以抑制数据增长，技术研发转而思考:有没有其它的方式可降低数据占用空间呢,近来有一种技术倍受关注，就是“重复数据删除(Data De-duplication)”技术。 重复数据删除技术如字义所言，就是不存储重复的部分，以减少空间耗用。以重复性最高的数据备份来说，如果每个备份档的差异只有30%，也就代表有70%的 空间白白浪费。重复数据删除技术就是要想办法找出相同的部分，相同的只存储一份，以索引技术来记录，需要还原时就能回溯计算出原来文件的组成型式。 对于重复数据删除技术，有厂商宣称可节省高达500倍以上空间的惊人效果，重复数据删除技术真有这么神奇吗,经过测试发现，要获得节省500倍存储空间的 效果，在某些特定状况下、增加备份次数或许是可能的，在全备份测试中，备份到第5次就测出了节省超过20倍存储空间的成果。 DoSTOR存储分析 VTL整合重复数据删除势头正盛 Susan/编译 ◎ 2007-09-18 存储在线 DoSTOR存储分析 9月18日消息:随着重复数据删除技术的兴起，厂商计划进一步扩大重复数据删除技术的应用，包括和更多备份结合，如VTL。目前许多厂商已经陆续在VTL上导入重复数据删除功能，同时期望透过这样的整合，推动VTL的普及。 虚拟磁带库(Virtual Tape Library，VTL)是基于磁盘的备份系统，透 过将磁盘柜仿真成磁带库的方式，让企业在无需更改现有架构和管理的状态下，就能提高备份效率。 重复数据删除(Data De-duplication)技术是基于磁盘的一种压缩技术，将数据以算法切割分段处理，经过比对分析后，把重复的数据剔除，因此可压缩数据量。在应用 方面，重复数据删除技术除了应用于远程复制和归档，更主要的是缩减磁盘备份空间。 会考虑导入VTL的企业，通常都有大量数据存储备份的需求，加上备份又很占空间，因此，重复数据删除技术与VTL一拍即合。 许多厂商更是大胆预计，日后推出的VTL产品都会内建重复数据删除功 能。 VTL厂商竞相提供重复数据删除功能 飞康国际(FalconStor)日前推出一款VTL All-in-One，首度在VTL产品上整合重复数据删除功能，同时计划10月份会更新VTL产品线，让所有VTL产品都会具备该功能。 FalconStor营销经理张智鸿表示，VTL结合重复资料删除技术是未来的趋势，而他也认为，在不远的未来，重复数据删除将会成为VTL的必备功能。 目前HDS、Quantum已经推出整合重复数据删除技术的VTL产品，HP、NetApp则预计第四季会进行VTL产品升级，届时全系列都会纳入重复数 据删除功能。EMC也预计第四季会再将重复数据删除技术与自家的备份方案整合，比如备份软件或VTL，细节现阶段还无法公布。 HP目前已经将重复数据删除技术整合在归档产品RISS上，HP企业系统事业群存储方案经理萧舜华表示，预计10月底会推出新一代的VTL产品，届时将会内建重复数据删除技术，此外，还会将重复数据删除整合在自家的备份软件 上。 在VTL上整合重复数据删除功能，有些厂商视为配备，有些厂商则视为选购功能。以NetApp即将在第四季更新的VTL产品为例，重复数据删除会做为 入门级NearStore VTL300的基本功能，但较高阶的NearStore VTL700、VTL1400就必须另外选购。 此外，如Data Domain虽不是主打VTL方案，但其具备重复数据删除技术 的COS存储服务器，也另外提供VTL授权码。 大幅减少全备份占据的存储空间 一般来说，为了解决全备份(full backup)耗用存储容量太大和备份窗口太长的问，一般企业会以全备份搭配增量备份(incremental backup)，但这样的备份策略仍有不足的地方。 以增量备份而言，所能节省的存储空间仍有限。举例来说，若某一份文件只更改档名，然后再另存新档，就会被视为一份不同的数据存放。另一方面，若用全备份配合增量备份，一旦要回复数据时，企业必须分别找出存储全备份和增量备份的磁带，作业就会很繁琐。 重复数据删除技术就可解决这样的问题，因为数据比对可降至区块(block)层级，因此比对的程度更加精密。而且对企业来说，全备份还是最好的备份策略，而重复数据删除技术就可解决全备份过度占空间的问题。 至于重复数据删除技术可达到的压缩比，则会受备份政策、备份数据类型影响，多数厂商虽都表示其重复数据删除压缩比例平均为10,50:1，且理论上会随着时间增长而有更高的压缩比，但究竟可达到多少压缩比，仍要视不同情况而定。 增加VTL应用，提高企业采用意愿 目前存储大厂多有推出VTL产品，但导入VTL的台湾企业尚少，主要的原因是台湾中小企业居多，而VTL的价格仍较磁带机昂贵。 NetApp技术总监姜群表示，磁盘备份市场还有很大的成长空间，而许多企业还不愿意采用磁盘备份的主要原因，还是在于磁盘的成本仍比磁带高。但若在 VTL上整合重复数据删除技术，则可大幅减少磁盘的存储成本，而且可以预见的是，这样的整合也将会对磁带市场带来一定的冲击。 除了重复数据删除功能外，目前多数VTL产品也都可提供远程复制功能，以便企业构建异地备援。 业内专家表示，VTL厂商要提供更多的应用来吸引企业采用，而结合重复数据删除技术和远程复制功能，将会是VTL现阶段的重要发展趋势。 存储厂商整合VTL与重复数据删除技术进度 厂商名称 VTL与重复数据删除技术整合进度 Data Domain 具备重复数据删除功能的COS存储服务器，可另外购买VTL的授权 EMC 已推出重复数据删除产品Avamar，预计第四季会 再推出与自家备份产品整合的方案，与VTL整合最 快会在第四季完成 FalconStor 已推出一款入门级的VTL All-in-One，首度整合 重复数据删除功能，预计10月份会更新VTL产品 线，让所有VTL产品都具备该功能 HITACHI 去年推出的HDS VTL结合Diligent Technology的 ProtecTIER VT，该软件已含HyperFactor重复 数据删除技术 HP 已将重复数据删除技术整合在归档产品RISS上， 预计10月底会推出新一代的VTL产品，届时将会 内建重复数据删除技术 NetApp 已将重复数据删除技术整合于在线系统FAS系列， 预计第四季再整合至VTL产品NearStore系列 Quantum 今年新增的VTL产品线Dxi系列，内建重复数据 删除功能