存储系统中文件元数据的重要作用

存储系统中文件元数据的重要作用 作者: 朱立谷 无论是文件系统还是网络存储，元数据在存储的方方面面发挥作用，它的发展前景是巨大而无止境的。2003年10月著名科技资讯网ZDNet.com上发布了一篇文章叫"The future of storage is in the data--the metadata"，意思是"存储未来就是元数据"，这样说是很有道理的。 Microsoft在构建Longhorn 操作系统时引入了代号为 WinFS 的文件系统，全称为Windows Future Storage，直译为 Windows 未来存储，因此， WinFS 可以同时看作为 Windows File System 和 Windows Future Storage。事实上，由于 WinFS 项目被取消，WinFS成为名副其实的Future Storage。 1.WinFS与元数据 WinFS是一个全新的Windows文件系统。WinFS从文件流中提取出元数据(metadata),并将元数据添加到WinFS存储系统中。元数据描述了文件流的信息，包括文件的路径和其它WinFS从文件流中所提取出来的信息。文件流驻留在NTFS中的，而相应的元数据则驻留在WinFS中，WinFS则对两者进行一致性控制。WinFS不只是一个文件系统，它不仅能管理文件和文件夹，同时还能管理各类非文件的数据，如地址簿中的联系人。 WinFS扩展了传统的文件系统和关系型数据库系统，是一个用于组织、搜索和共享各类信息的存储平台。WinFS部分实现了关系型系统的功能，又不只是一个关系型系统;它支持分级存储，又支持关系存储;它支持结构化类型，又支持对象。因此，WinFS可以看作是层次型、关系型和面向对象型三位一体的数据存储系统。 为什么WinFS的功能如此强大,关键是元数据。传统的文件系统没有给予元数据信息足够重要的位置，因此，不能利用文件的元数据进行信息搜索，不能提供高层的、基于语义的关联式数据存取。WinFS中，任何包含文件数据流的数据项都能够进行元数据处理的操作:WinFS通过从不同的数据中心(比如邮件服务器、其他应用程序)获得元数据信息，其搜索条件不限于文件名、文件大小或者创建日期等，诸如作者名、图像大小、文本内容也可以成为搜索的条件。 与 WinFS 相似的还有语义文件系统。语义文件系统通过增加文件属性的数量,使文件系统包含更多的元数据，并进而利用这些元数据信息提高文件的搜索和获取效率。 2.语义文件系统与元数据 语义文件系统利用元数据抽取工具获取更多的元数据，用户活动,并采用手工或其它方法对文件进行标注，最后将这些信息结合起来实现统一元数据，通过元数据信息在非结构文件和数据库数据之间建立起链接。 语义文件系统是实现虚拟文件系统的一个有效途径。如Apple的Spotlight的虚拟文件夹，虚拟文件夹可采用XML格式的文本文件表 示，内容是对数据库进行查询后返回的结果组成的列表，包含了指向符合某种规则的文件或文件夹的链接。 语义文件系统可实现对文件进行高效地分类。如，Linux平台下基于 FUSE(Filesystem in Userspace，用户空间文件系统)的TagFS采用智能标签(smart tagging)机制，动态让数据文件具备特定的标签，加了标签的数据文件的呈现能依据用户的偏好与意图分类，并依据权重排序后呈现。 除文件系统外，元数据还在引发网络存储领域的重大变革。 3.网络存储与元数据 传统的存储系统的元数据仅反映地址信息和控制信息，使网络存储是单一功能的数据空间的容器。目前，网络存储有一个新的研究方向就是扩展元数据属性，使得元数据不仅包括地址和位置信息，还要包括与数据内容和安全级别等相关的属性，通过扩展元数据属性，而是一种可扩展的信息仓储。 特别是对象存储技术中，元数据扮演着极其重要的角色。 对象存储系统中，对象是存储系统中数据存储的基本单位，一个对象实际上就是文件的数据和元数据的组合，元数据包括数据的属性、属性描述、数据特征和阻止非授权用户访问的安全策略等。存储对象消除了元数据与存储的应用程序之间的依赖关系，为不同的存储应用程序之间的数据共享提供了方便。面向对象的设备提供了基于对象的全新访问接口，存储应用程序可以只以单个对象为单位来存储它们的数 据结构，在此基础上的安全策略非常容易实施，在异构平台数据共享和存储安全机制方面具有极大的优势。 对象存储系统的一个典型的实例是 Lustre。Lustre系统中，客户端通过网络读取服务器上的数据，存储服务器负责实际文件系统的读写操作以及存储设备的连接，元数据服务器负责文件系统目录结构、文件权限和文件的扩展属性以及维护整个文件系统的数据一致性和响应客户端的请求。Lustre把文件当作由元数据服务器定位的对象，元数据服务器指导实际的文件I/O请求到存储服务器，存储服务器管理在基于对象的磁盘组上的物理存储。 由于采用元数据和存储数据相分离的技术，可以充分分离计算和存储资源，使得客户端计算机可以专注于用户和应用程序的请求;存储服务器和元数据服务器专注于读、传输和写数据。存储服务器端的数据备份和存储配置以及存储服务器扩充等操作不会影响到客户端，存储服务器和元数据服务器均不会成为性能瓶颈。 4.小结 无论是文件系统还是网络存储，元数据在存储的方方面面发挥作用，它的发展前景是巨大而无止境的。2003年10月著名科技资讯网ZDNet.com上发布了一篇文章叫"The future of storage is in the data--the metadata"，意思是"存储未来就是元数据"，这样说是很有道理的。