利用视觉模型对网页有效信息的抽取

nullnull北京新浪信息技术有限公司 利用视觉模型对网页有效信息的抽取聂华闻 2006/5/24null北京新浪信息技术有限公司什么是网页有效信息所谓网页有效信息,可以概括为: 用于体现网页价值所在或者描述网页制作的目标所在的一系列信息.举例: 1)对于一个新闻网页来说: 该网页的制作目标是展现一条新闻,那么新闻的标题,内容, 该新闻的主题媒体(可能是图片或视频或FLASH),作者,发布的时间,来源,编辑等 与该新闻直接相关的一系列信息,我们称之为有效信息. 2)对于一个BBS页面来说: 该网页的制作目标是展现一个或多个人讨论,发布的信息,那么对于这个网页 来说,所有参与人直接触发和发布的信息都为有效信息.例如所有的发贴人的名字, 发贴的时间,发贴的内容,发贴的主题媒体等,我们都认为是有效信息.null北京新浪信息技术有限公司什么是视觉模型及模型链什么是视觉模型视觉上特征,视觉关系最靠近的视觉区域为一个视觉模型。什么是视觉模型链按照前后位置关系排列输出的，由多个视觉模型组合成的视图内的所有视觉模型的关系列，我们称之为视觉模型链。一条视觉模型链构成一个视图。以下为我们自定义，也许和某些学术单位定义的不一样。null北京新浪信息技术有限公司视觉模型及模型链示意图先看一个视图nullnull右边用不同颜色圈起来的都为单个视觉模型nullnull北京新浪信息技术有限公司结构定义O表示N个网页的集合（N>1). Φ 表示单个网页的视觉模型琏. 表示单个视觉模型null北京新浪信息技术有限公司我们的目标给定接口,高速,精确从单篇网页里面抽取出一系列有效的信息,按照重要程度，半结构化序列输出.为索引系统和排序系统提供数据源和参考根据.null北京新浪信息技术有限公司子系统架构构思Single WebA:分析前端ResultWeb SiteB:模型聚类,模板推算Template Index Lib 2)By AnalyzerQueryAnalyzer1)By TemplateC:维护后端null北京新浪信息技术有限公司抽取算法构思算法一：视觉模型聚类法(暂命名)算法基础：解析单一web源代码,对单一web建立视觉模型链。对每个web site的所有web的视觉模型链进行聚类，把相同的模型的部分合并，反推出该网站的web分类，得出无法重合的模型，这些模型就是有效信息算法二：视觉模型的经验分析法(暂命名)对单个web的视觉模型进行经验分析，不依赖同类网页的帮助，把人的经验用程序表达出来，通过对模型集合的经验分析，得出该网页的有效信息。如那个部是主题，那个部分是内容等信息。null北京新浪信息技术有限公司抽取算法构思算法三：分析结果反推网站模板(暂命名)根据算法一、二分析的结果，进行统计训练和维护，反推出单个网站的URL规律、结构规律和对应模板，最终整理成一个大模板索引库，用于提高分析网页的效率和质量结果以及提供可添加人工干预的接口。反推出正确的模板后，理想的状态下时间复杂程度等于一，比普通的html转换text(把html代码全部去掉）更快，系统性能要求更低。null北京新浪信息技术有限公司算法难点难点一：如何建立web的视觉模型及模型链难点二：如何快速对整站的模型进行统计和聚类。得到一个新网页后如何快速进行聚类得出结果？难点三：如何根据模型统计和聚类的结果整理出模板？得到一个新的网页后，如何在最快的时间里面得到该网页对应的模板？null北京新浪信息技术有限公司不确定的第一点：我们该聚类一个网站全部的模型，还是先对该网站进行分类，然后再聚合每一个类里面的模型？null北京新浪信息技术有限公司笔记对于分类，我们可以根据模型的聚类后的结果，根据URL规律,网页结构， 模型交集等算计得出分类对于怎么迅速定位新网页属于的模板或模型类，我们可以提取出单个网站，每 个类里面特有的字符串(单个或多个)，对于新来的网页，我们可以通过字符串loop 出该网页对应的类或模型集中。快速聚类视觉模型，我们可以根据每个模型的大小，颜色，等属性建立一个 Hash key 以提高聚类的速度null北京新浪信息技术有限公司The End感谢同事：熊家贵，聂宇，李盛韬等给我的支持和帮助。在整理这些想法的过程，他们给予了我更多的帮助和想法的支持。