搜索引擎原理概述及其在星空黄页网站中的应用

搜索引擎原理概述及其在星空黄页网站中的应用 陈 哲 倪俊峰 引言 搜索引擎(Search Engine)已经成为大家在工作、学习、娱乐中不可或缺的神兵利器。通过使用搜索引擎，使得我们检索信息的能力获得了极大的提高，成本有效地降低。可以说，搜索引擎是现代的计算机技术，因特网技术与传统的索引理论相结合的成功典范。搜索引擎是在因特网普及的大背景下应运而生的，它出生伊始就带有浓烈的平民色彩，走出了象牙塔、实验室，走进了寻常巷、百姓家。最早搜索引擎应用于门户网站，获得了极大的成功，如今，它已广泛地应用于各行各业，以它为核心引发了所谓的搜索经济，成为大家关注的焦点。 本文对回顾了搜索引擎发展的简要历史、对它的分类和实现原理进行了，并介绍了国内一些主要搜索引擎的特点。星空黄页是中国电信黄页已有八年历史的提供全国企业信息的专业网站，随着数据量的快速增长，用户查询习惯的改变，对黄页网站的检索技术也提出了新的挑战。搜索引擎技术成为改造黄页网站的首选，本文也介绍了搜索引擎技术在黄页网站的应用情况。 1(搜索引擎的历史 曾有人说搜索引擎的鼻祖就是黄页，诞生于十九世纪末。因为黄页，在电话诞生后成为了以电话为主体的信息门户，而且黄页把有电话的企业分门别类，的确与现在的搜索引擎有异曲同工之妙。不过，这更多地是从这两者的形式和用途做的类比，事易时移，今天我们所谓的搜索引擎，是以计算机，网络，大信息量，自动化为特征的新型检索工具。 现在意义上的搜索引擎其实是在近十年的不断发展中逐步形成的，它建立在因特网和诸多计算机技术之上，所以很难把搜索引擎的缘起与哪个具体的产品对应起来。但是我们知道，在它逐步发展过程中，一些关键的产品成为了里程碑。 1993年10月Martijn Koster创建了ALIWEB(Martijn Koster Annouces the Availability of Aliweb)，它相当于Archie的HTTP版本。ALIWEB不使用网络搜寻Robot，如果网站主管们希望自己的网页被ALIWEB收录，需要自己提交每一个网页的简介索引信息，类似于后来大家熟知的Yahoo。1993年2月，6个Stanford(斯坦福)大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。这就是Excite。后来曾以概念搜索闻名。1994年1月，第一个既可搜索又可浏览的分类EINet Galaxy(Tradewave Galaxy) 上线。除了网站搜索，它还支持Gopher和Telnet搜索。Lycos是搜索引擎史上又一个重要的进步。Carnegie Mellon University的Michael Mauldin将John Leavitt的spider程序接入到其索引程序中，创建了Lycos。除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycos第一个在搜索结果中使用了网页自动摘要。1998年10月之前，Google只是Stanford大学的一个小项目BackRub。1999年2月，Google完成了从Alpha版到Beta版的蜕变。Google在Pagerank、动态摘要、网页快照、DailyRefresh、多文档格式支持、地图股票词典寻人等集成搜索、多语言支持、用户界面等功能上的革新，象Altavista一样，再一次永远改变了搜索引擎的定义。 2(搜索引擎的分类 搜索引擎并没有一个精确的定义，大致可以分为两大类:全文搜索引擎(FullText Search Engine)和(Directory)。 全文搜索引擎通过一个叫网络机器人(Spider)或叫网络蜘蛛(crawlers)的软件，自动分析网络上的各种链接并获取网页信息内容，按规则加以分析整理，记入数据库。Google、 1 百度就是比较典型的全文搜索引擎系统。 分类目录则是通过人工的方式收集整理网站资料形成数据库的，比如雅虎中国以及国内的搜狐、新浪、网易分类目录。 全文搜索引擎的使用以关键词和一定的语法为特点，而分类目录则通过建立多级目录对网站进行分类。它们在使用上各有长短。全文搜索引擎因为依靠网络机器人搜集数据，所以数据库的容量非常庞大，但是，它的查询结果往往不够准确;分类目录依靠人工收集和整理网站，能够提供更为准确的查询结果，但收集的内容却非常有限。 此外，基于这两类搜索引擎，还衍生了其它的搜索服务，主要有所谓元搜索引擎(META Search Engine)。和集成搜索引擎(All,in,One Search Page)等，就不一一介绍了。 搜索引擎既然没有明确的定义，一般就以其发展中一些里程碑式的应用标志其阶段。业界普遍的共识是“第一代搜索引擎”是依靠于人工分拣的分类目录搜索，以"雅虎"为标志;而"第二代搜索引擎"则是依靠于机器抓取，并建立在超链分析技术基础之上的网页搜索，以"Google"为代，其信息量大、更新及时、但返回信息过多，可能有很多无关信息。而"第三代搜索引擎"则把"智能化"、"人机交互"等功能融入了主流。将自动分类技术、中文内容分析技术及区域识别技术应用到大型搜索引擎中，除了在信息检索速度、更新频率等基本技术指标方面处于领先地位外，它的网页相关检索、拼音纠错、模糊查询、口音查询技术也具有很高的水准。此外，还同时兼备了新闻、MP3、图片、FLASH搜索功能，已成为能够提供全面、综合的信息搜索服务。 这里介绍的是在国内外影响比较大的主要的一些搜索引擎和分类目录站点， 1、Google() ?、百度()。 3、中国搜索()。 4、搜狗() 5、雅虎一搜()。 6、新浪查博士()。 3(搜索引擎的基本原理 全文搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。 “网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序进行分析，根据一定的相关度算法进行大量的计算建立网页索引，才能添加到索引数据库中。我们平时看到的全文搜索引擎，实际上只是一个搜索引擎系统的检索界面，当你输入关键词进行查询时，搜索引擎会从庞大的数据库中找到符合该关键词的所有相关网页的索引，并按一定的排名规则呈现给我们。不同的搜索引擎，网页索引数据库不同，排名规则也不尽相同，所以，当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。 大型全文搜索引擎的数据库储存了互联网上几亿至几十亿的网页索引，数据量达到几千G甚至几万G。但即使最大的搜索引擎建立超过二十亿网页的索引数据库，也只能占到互联网上普通网页的不到30%，不同搜索引擎之间的网页数据重叠率一般在70%以下。我们使用不同搜索引擎的重要原因，就是因为它们能分别搜索到不同的内容。而互联网上有更大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。 和全文搜索引擎一样，分类目录的整个工作过程也同样分为收集信息、分析信息和查询信息三部分，只不过分类目录的收集、分析信息两部分主要依靠人工完成。分类目录一般都有专门的编辑人员，负责收集网站的信息。随着收录站点的增多，现在一般都是由站点管理 2 者递交自己的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站，以决定是否收录该站点。如果该站点审核通过，分类目录的编辑人员还需要分析该站点的内容，并将该站点放在相应的类别和目录中。所有这些收录的站点同样被存放在一个“索引数据库”中。用户在查询信息时，可以选择按照关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟全文搜索引擎一样，也是根据信息关联程度排列网站。需要注意的是，分类目录的关键词查询只能在网站的名称、网址、简介等内容中进行，它的查询结果也只是被收录网站首页的URL地址，而不是具体的页面。分类目录就像一个电话号码薄一样，按照各个网站的性质，把其网址分门别类排在一起，大类下面套着小类，一直到各个网站的详细地址，一般还会提供各个网站的内容简介，用户不使用关键词也可进行查询，只要找到相关目录，就完全可以找到相关的网站(注意:是相关的网站，而不是这个网站上某个网页的内容，某一目录中网站的排名一般是按照标题字母的先后顺序或者收录的时间顺序决定的)。 由此可见，分类目录引擎的收集信息、分析信息和查询信息方式是非常类似于当前黄页网站分类查询体系，不同的是黄页收集信息主要来自电信渠道，普通的分类目录引擎一般都是由站点管理者递交自己的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站，以决定是否收录该站点。 4(搜索引擎技术在星空黄页网站的应用 星空黄页搜索(SYP,Search Yellow Pages)，是中国电信黄页2004年8月推出，是在中国电信集团黄页信息有限公司覆盖全国数以千万企业信息资源的基础上，推出的专业企业信息搜索服务。 有别于主流的搜索引擎网站，星空黄页搜索是以站内数据搜索为核心，基于全国号码资源数据库为基础的企业搜索，正是由于数据采集渠道来自电信集团内部，所以无论企业是否上网，只要企业信息存在于电信黄页的号码资源数据库中，该企业的信息都能在星空黄页中搜索到。用户可以通过企业名称、产品、电话、地址等任何与企业相关的搜索请求，找到需要的企业信息，还可以按照省、市分地区进行本地化的企业搜索。在部分开通地图服务的城市中还能进一步提供企业地图信息。 星空黄页搜索引擎的建设采取了合作开发模式，采用百度公司网事通系统来提供大数据量搜索。 系统主要有三个体系子系统构成: 1) 用户数据库子系统: 本子系统由用户的数据库(用户所有)与数据库监视和导出系统(百度所有)共同组成。 数据库监视和导出系统负责监视数据库的改变，并将相应信息传输给“信息获取和索引子系统”。 2) 信息获取和索引子系统: 该子系统主要有以下两项功能: (1)接收用户数据库子系统传送来的数据，整理，并建立检索索引。 (2)保证检索数据与用户数据的同步和一致。 3) 信息检索服务子系统: 信息检索服务子系统响应来自internet的检索请求，处理该请求，将检索结果返回给检索请求用户。该子系统是与internet的接口。 3 a功能全面，支持多种搜索特性，提供丰富的选择 1)支持大数据量下的全文检索，在G级数据量下保证亚秒响应速度; 2)支持关键字的实时全文检索，即一旦有数据加入到数据库中就可以立刻被检索到; 3)支持大数据量下的高效全文检索，100万条记录数的相应时间小于1秒; 4)支持对一个字段以及多个字段的复合检索; 5)支持二次检索和各种逻辑检索; b智能化全文检索保证最准确的结果 1)百度特有的自动词汇切分技术，充分考虑了中文语言的特点帮助您找到最准确的关 键字，从而大大提高查询的准确率; 2)支持Big5、GB、GBK、GBK2312等多种汉字编码，并支持英文检索，对于英文的大小 写可以自动转换; 3)支持查询任何词汇，数字、短语等; 4)支持中文或英文的单独检索; 5)支持中英文的混合检索; c实时查询 1) 用户可以对数据库进行实时查询，根据时间排序; 2) 用户数据库中的任何改变，如加入、修改、删除信息可以实时的传送给索引服务器; d高可配置性 1) 支持字段的添加和删除，而无需对程序进行修改; 2) 用户可以随意创建、修改、删除数据库中的信息，信息的变化可以被百度网事通DB 检索系统实时自动识别; 3) 百度网事通DB检索系统和网站之间通过TIP/IP协议通讯，用户可以自己定义检索 结果页面的模版; 4) 用户可以自己定义检索规则，即可支持按字段检索又可以支持全文查询。 星空黄页搜索服务推出以后，大大提高了用户的搜索体验，也为黄页提供了新的商机。 4 5(结论 本文对搜索引擎的历史、分类和原理进行了介绍。概述了搜索引擎发展的演进过程，介绍了当前业界主要的搜索引擎的类别:全文搜索和分类目录。对搜索引擎的工作过程和原理进行了概要的介绍。着重介绍了搜索引擎技术在星空黄页网站中的应用，描述了黄页搜索引擎的体系结构和功能特点。 搜索引擎的出现很大程度上改变了人们对信息的使用习惯，提高了信息的使用效能，它发轫于因特网，但现在已经渗透到了各个行业，了解搜索引擎，研究搜索引擎，应用搜索引擎，具有广阔的发展空间。 参考文献 1 杨兴平 《揭开神秘面纱，搜索引擎原理浅析》 2 HISTORY: W3 SEARCH ENGINES 5 6