支持数据自动备份及共享的新一代网盘技术研究.doc

支持数据自动备份及共享的新一代网盘技术研究.doc 支持数据自动备份及共享的新一代网盘技术研究 -->1.绪论 客户端的服务存储分配:每个客户端始终分配一个固定服务存储单元。这样的便于将来可能需要的存储迁移。客户端第一次总是连接到目录服务器，目录服务器会指定服务该客户端的服务单元，包含其 IP 地址、端口号，以及鉴权凭证，同时会把这些分配信息发送给对应的存储单元。文件版本标识:每个文件版本的标识包含两部分:服务单元编号及文件编号。每个服务单元的文件编号从 1 到 4 级。存储的目录和当前的设计相同，采用 3 级目录，文件编号的前三个字节分解为目录，最后一个字节用于文件名。相同文件识别:每个文件的 MD5 和长度等属性都存在数据库。上传文件时，如果服务器上已经有相同 MD5 的文件则不再上传文件的内容。也可能该文件是另外一台客户端上传，所以一个客户端的所有文件并不是总是存在一个存储单元的内部。压缩传输和存储:在服务器保存的解密本应该采用压缩保存。非加密的文件，将采用压缩传输和存储。用户账号考虑:备份过程总是以主机为单位。用户帐号具有移动性，当一个用户登录任意一台主机后，可以建立一个映射目录。映射目录自身上传的版本，也会放到主机所在的存储单元。所以一个用户帐号的文档，可能分散保存在多个存储单元上。存储格式:上传的文件会自动解密保存，同时将原文件备份。其好处就是更容易加密共享，下载时只需加密，无需先解密(加密的密钥可能和解密需要的不一样)。对于自动备份的文件，总是解密保存，同时备份加密的格式。数据库为每个文件保留:解密后的 MD5，原始的 MD5,压缩后的 MD5。支持多硬盘存储备份:一台存储服务器配置可以多达数十个硬盘，备份服务器必须能够充分利用所有的硬盘存储，而不是只用到一个。另外，不同的硬盘使用不同的数据总线，必须能够支持同时在多个硬盘上的并发备份操作，达到高的吞吐量。我们将为每个存储硬盘创建一个对应的存储服务进程，叫做存储服务单元。支持多个存储服务器:客户可能有多个分支机构，处于不同的地域，机构间的网络带宽很有限。 这种情况需要不同的机构设置独立的存储服务器，减少分支机构间的网络流量。服务器上需要配置服务器所属于的地域。不同地域间的服务器将不共享内容相同的文件，也就是说如果碰到上传内容相同的文件，两个地域间的服务器会各创建一个备份。冷备份也称作 离线备份。当用户进行备份时，服务器仅接收备份文件的更新，而数据库则停止工作，对于用户的其他应用需求不会进行响应。离线备份速度很快，解决了数据备份时，数据并发更新不一致的问题。但是在进行备份的同时会影响用户其他工作的同时进行，降低了工作的效率，因此在正常情况下不经常使用，但是在系统升级和工程割接时经常使用。热备份也叫做线备份，或者叫做同步数据备份。当进行备份时，不会停止数据库的运行，用户可以正常使用其他的应用。同步数据备份的数据恢复时间很短，资源投资较大。由于在备份的同时，文件的应用也同时会使用，这就会造成备份的数据不一致的问题。如果备份过程中造成了数据不一致的问题，将导致数据的损坏。我们可以将一些重要的文件数据采取特定的读、写权利，保证其他的应用软件在此重要文件备份时不能对其进行修改。写前拷贝技术是指备份系统启动时或者将文件信息写入数据库时，可以在磁盘上创建一个临时的磁盘空间，将磁盘上原有的文件拷贝到这个临时磁盘中。使用一个位图索引标明原有块的位置和临时磁盘的位置。位图索引的作用就是识别临时磁盘中的文件是否存在。如果拷贝到临时磁盘的文件仍然在临时磁盘中，那么备份系统会直接进入临时磁盘访问此数据。当备份结束时，系统会释放临时磁盘的数据，将磁盘提供给下次使用。快照技术的原理是把已经定义的数据和此数据的映像进行完全拷贝。快照技术可以分为两大类:即写即拷快照和分割镜像快照。即写即拷快照可以将新改动的数据在存储磁盘中生成这些数据的快照。当磁盘损坏、文件丢失、应用程序崩溃后，通过即写即拷快照技术我们可以快速的恢复已经存储的数据。磁盘数据使用了即写即拷快照技术后，如果磁盘上的原始数据试图被改动，快照系统会在磁盘中创建一个新的存储区域，将此数据块拷贝到其中，然后再对其进行修改。如果需要访问原始数据时，快照系统可以通过指针映射到数据新的存储位置。分割镜像快照会引用镜像硬盘组上所有数据。系统的应有每次运行时，不单单对已经更新的数据生成快照，而是会对整个的卷生成快照。这样就可以使用户离线访问磁盘上的数据，简化了备份和恢复全部硬盘数据的过程。分割镜像快照技术的镜像占用计算机磁盘空间较大，复制的速度比较慢。 3 支持数据自动备份和共享的新一代网盘系统整体设计 3.1 系统的整体设计原则 ................................................ 10 3.2 系统整体构架 ...................................................... 10 3.3 系统的功能设计 .................................................... 11 3.4 系统所使用的关键技术 .............................................. 12 4 支持数据自动备份及共享的新一代网盘系统总体设计实现 4.1 客户端连入系统 .................................................... 25 4.2 数据自动备份系统的实现 ............................................ 27 4.3 文档共享的实现 .................................................... 33 4.4 文件、目录的操作实现 .............................................. 33 5 系统性能测试与 5.1 测试环境 .......................................................... 34 5.2 客户端三种连入方式的测试 .......................................... 34 5.3 数据备份系统性能的测试 ............................................ 38 5.3.1 数据备份系统功能测试 .......................................... 38 5.3.2 小文件和 -->大文件备份性能对比测试................................. 39 5.4 数据共享系统性能的测试 ............................................ 41 总结 下一步的研究工作将着重于以下几点考虑: 1、在系统所采用的备份策略上还存在改进的空间。系统采用差量备 份是考虑到采用此技术可以只对数据的增量进行备份，而无需备份 整个文件，减少了对系统和网络的压力，提升备份效率。但是没有 采用差分备份恢复时间短的优点。需要引入差分备份中数据恢复时 间短的优点，将增量和差分备份的优点融合在一起，更好地提高系 统备份和恢复的效率。 2、对系统的备份恢复机制还需完善。如果用户删除了备份的数据， 遇到灾难后，就无法成功恢复数据了。应该对于用户的恢复权限进 行规范，保证存储服务器上备份文 件的安全性。 3(对备份的数据进行预压缩等处理，对数据传输的网络进行优化， 以提高数据在传输过程中的效率。研究并设计了基于 C/S 结构的数 据备份系统。系统由客户端程序、管理服务器和存储服务器的三部 分组成。描述了备份过程的业务。系统通过管理服务器对客户 端和存储服务器进行管理，客户端作为数据发送源，数据会自动备 份到存储服务器上。具体实现了数据备份系统和数据共享系统。详 细阐述了数据备份系统及数据共享系统的实现的和程序流程。 设计了数据可靠传输安全功能。采用身份认证及高效的数据加密策 略，结合 MD5一致性验对系统的备份和共享功能进行了缜密的测 试，并对大小文件备份性能进行了测试，分析了测试结果并提出了 改进的思路。