网络安全态势感知技术研究（可编辑）

网络安全态势感知技术研究（可编辑） 网络安全态势感知技术研究 哈尔滨工程大学 博士学位 网络安全态势感知技术研究 姓名:司加全 申请学位级别:博士 专业:计算机应用技术 指导教师:张健沛 20090601摘要 摘 要 近年来,技术迅速发展,计算机网络在政治、经济、军事、社会 生活等各个领域发挥着日益重要的作用。然而,网络中存在着大量黑客攻击、 木马和病毒等威胁,使得网络安全状况日益严重。虽然防火墙、入侵检测、 防病毒软件、身份认证、安全审计等安全防护和管理产品在网络中得到了广 泛应用,但是这些设备往往仅限于对单点、单一的安全问进行处理,不能 相互支撑、协同工作,而且日志中存在大量的冗余、虚假警报,使得它们尚 不能满足全局网络尤其是大规模网络安全状况的监控需求。因此,本文从态 势感知的角度,对安全事件关联分析、网络威胁及宏观安全态势评估、态势 预测等方面进行了相关研究,主要包括以下四个方面: 首先,根据网络安全威胁态势评估指标的提取原则选取威胁评估指标。 在此基础上,给出了评估指标的量化方法。针对灰色关联分析方法中分辨系 数的选取意义不明确的问题,还提出了基于改进灰色关联分析的评估指标权 重确定方法。该方法采用层次分析法对评价指标赋予归一化的重要性权重, 对关联系数赋予比较序列与参考序列数值接近程度的量化权重,从而实现了 对传统的灰色关联分析模型的修正,得到的指标权重更加客观、可信。 其次,提出了基于层次式聚类的安全事件聚类方法。该方法采用层次方 式结合不同的聚类方法对告警事件进行聚合,在充分体现不同聚类算法优点 的同时避免了因方法单一而导致的聚类结果的单一性。此外,还提出了基于 攻击图的安全事件关联方法。该方法借助网络攻击图提供的信息,得到弱点 利用节点间距离攻击图距离,通过攻击图距离来衡量安全事件间相关性, 从而对多步攻击进行关联。 再次,提出了基于灰色模糊权矩阵的网络威胁评估模型和基于自适应神 经模糊推理系统的网络安全宏观态势评估模型。通过建立模糊权矩阵得到最 终的网络威胁评估结果和网络威胁态势图,对网络威胁评估数据进行灰色关 联分析,得到每种威胁类型的和各主机的威胁程度排序结果,进而发现哪些 哈尔滨工程大学博士学位论文 攻击类型更危险、哪些主机受到的威胁更严重。从入侵检测系统、漏洞扫描 系统等多种设备提取能够反映网络安全性的指标,并采用自适应神经模糊推 理技术对其进行融合、评估,最终以量化的形式显示宏观的网络安全态势演 变趋势。 最后,针对网络安全态势的预警问题,提出基于时间序列分析的网络安 全态势预测技术。通过分析过去和当前的网络安全状况,结合 时间序列分析模型对历史网络 . 安全态势序列进行分析,得到了较为准确的网络安全态势的预测值。 关键词:网络安全;网络安全态势;态势评估:态势预测 , , . ,, . ,,,, ,,,. . ,, : .. ,. , ? ., ., .. ., . , 哈尔滨工程大学博士学位论文, .’ . . ,. , . , . , 、析.. , . ; : ; ; 哈尔滨工程大学 学位论文原创性声明 本人郑重声明:本论文的所有工作,是在导师的指导下, 由作者本人独立完成的。有关观点、方法、数据和文献的引用 已在文中指出,并与参考文献相对应。除文中已注明引用的内 容外,本论文不包含任何其他个人或集体已经公开发表的作品 成果。对本文的研究做出重要贡献的个人和集体,均已在文中 以明确方式标明。本人完全意识到本声明的法律结果由本人承 担。 ?二一 作者签字:石力汀互 日期: 爱少年‖月//日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定,即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索,可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文,可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文口在授予学位后即可口在授予学位个月后:解 密后由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者签字:司功查 靳签字,多嘶 日期: 护口夕年多月日 耐月?日第章绪论 第章 绪论 .研究的背景与意义 随着通信、计算机等信息技术的快速发展,数字化信息的处理和传递已 经超越了时间和地域的限制。借助于网络化与全球化的不断深入, 也在社会活动的各个领域如政治、经济、文化、教育等,所发挥的作用越来 统计, 越为重要。据互联网系统组织 年月,全世界共约有.万台主机接入,截止到年月, 连入的主机数量达到.万台。在我国,截至年月底, 中国网民数量达到.亿,网民规模跃居世界第一位。中国网民规模继续呈 现持续快速发展的趋势,比去年同期增长了万人,同比增长.%【。 然而,网络在带给人们诸多便利的同时,也成为了黑客攻击的目标。他 们以计算机为工具,同时又以计算机为目标,在网上对计算机数据信息进行 恶意的修改、删除,从而造成计算机系统难以正常运行甚至瘫痪。近几年来, 根据美国的统计,美国每年因网络安全问题所造成的经济损失就高达数 十亿美元【。黑客技术已变得不再神秘,黑客和黑客社区的数量正在以难以 想象的速度扩大,一个电脑爱好者利用黑客工具就可以对互联网造成极大的 危害,从而使网络安全形势严重恶化。国内安全组织/近几年接 收的非扫描类攻击事件报告的数量一直呈上升趋势。在年,/ 共接收件非扫描类网络安全事件报告【。所报告的网络安全事件主要有 网络仿冒、垃圾邮件和网页恶意代码事件等,根据报告的事件类型统计结果 如下:垃圾邮件事件数量最多,共件,占接收事件总数的.%,同 比增长%,网页恶意代码事件同比增长%;网络仿冒事件的数量达 件,占.%,同比增长%;漏洞事件为件,占.%;病毒、蠕虫 或木马事件达件,占.%;拒绝服务攻击事件为件,比去年同期 件略有下降,占不到%。总体情况看来,年上半年所接收的网络安全 事件总数与去年同期相比大量增加,而垃圾邮件、网页恶意代码和网络仿冒 哈尔滨工程大学博士学位论文 事件尤为突出,呈现大幅增长。另外,病毒泛滥也给网络安全带来了严重的 威胁。国内杀毒软件厂商瑞星公司发布的最新安全报告显示【】,年月 至月,瑞星公司共截获新病毒样本个,是去年同期的.倍。 其中木马病毒个,后门病毒个,两者之和超过万,占 总体病毒的.%。除此以外,互联网上还充斥着大量通过网页、邮件、聊 天攻击、传播的恶意代码,令人防不胜防。这些病毒和恶意代码大部分 以获取经济利益为最终目的,侵入用户电脑,窃取账号、密码、电脑控制权 等信息,给国家经济造成了巨大的损失。 互连网络开放性、互连性和共享性的特点,使其遭受网络入侵的风险日 益严重。面对各种网络威胁,必须采取有效措施来保证计算机网络的安全运 行。入侵检测、防火墙以及用户认证等安全防护技术,虽然从一定程度上提 高了网络的安全性,但是这些产品或系统大部分功能分散,各自为战,形成 了相互没有关联的、隔离的“安全孤岛”。各种安全产品彼此之间没有有效 的 统一管理调度机制,不能互相支撑、协同工作,从而使安全产品的应用效能 无法得到充分的发挥【。因此,以往单纯依靠、防病毒、入侵检测设 备等单一的网络安全防护产品来实现的被动网络安全管理方式已经不能满 足 目前网络安全的要求,急需采用新的技术来对网络整体安全状况和安全态势 进行更为有效的监控。 网络安全态势感知技术区别于业界普遍采用的“辅助工具人工”的网络 安全管理方式,弥补了传统方式时间长、周期维护繁琐等不足,能够实时地 监测网络安全状态,快速准确地做出安全状态评判,并能利用网络安全属性 的历史记录,以多角度、多尺度的可视化方式,为用户提供一个准确直观的 网络安全态势走向图。网络安全态势感知技术的研究是网络安全领域必然要 经历的下一个发展阶段,该项研究的开展也必会为网络安全技术提供一个更 宽、更广的发展空间,大大增强网络安全管理手段的有效性和实时性。 .网络安全态势感知概述 ..安全态势感知的基本概念 第章绪论 态势感知 ,源于航天飞行的人因 研究,被用来描述飞行员对当前情境的观察、理解及做出决策的过 程,也就是飞行员大脑中的意识框架。态势感知就是在一定的时空范围内, 对周边环境的各种事物进行认识,对它们自身的意义进行理解,对它们未来 的状态进行映射【】。在航空飞行、空中交通管制、电站操控以及军事管控 等 环境复杂、多变的领域,态势感知的主要任务是理解并认识影响决策过程的 关键环境因素。 年, 】首次提出了网络安全态势感知概念,并将其与空中 交通监管 领域的态势感知过程进行类比,目的是把 中态势感知的相关成熟理论和技术借鉴到网络安全态势感知中来。 建立的基于多源数据融合和数据挖掘技术的网络态势感知框架主要是在入 侵 检测的基础上,通过识别攻击者的身份、攻击速度、威胁程度和攻击目标, 进行网络态势的感知。在文献【】中,作者认为,“网络态势感知是在大规模 网 络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示 以及预测未来的发展趋势”。 目前,对网络安全态势感知还未能给出统一的、全面的定义。网络安全 态势感知过程主要是通过提取出网络安全态势分析指标体系,建立基于复杂 网络行为模型与模拟的网络安全态势分析与预测体系,进而得出量化的或定 性的网络安全态势评估结果;并通过对历史态势的分析、建模,对未来的网 络安全态势演化进行预测,以便网络安全管理人员对网络内的安全要素、安 全设备、信息系统进行合理的调整、升级,应对网络安全态势的变化。因此, 开展网络安全态势分析研究具有十分重要的意义。 ..网络安全态势感知框架模型 网络安全态势感知模型是开展网络安全态势感知研究的前提和基础。文 献【中, 在数据融合模型的基础上提出了基于数据融合的入侵 检测模型。该模型共分为四层,第层为数据提取,包括了大量分布式的 包、系统日志、日志和操作指令等;原始的数据在经过校准过滤后, 哈尔滨工程大学博士学位论文 再作为第层的目标被进行提取;第级为状态提取,利用现存的入侵检测 模板对目标网络环境的状态知识进行对象分析、组别统计,进而提供当前的 状态并且建议未来的攻击威胁或网络环境下的相关活动;第级中,威胁估 计和安全策略与目标之间的关系共同构成了当前系统状态的基础;第级资 源管理,基于当前事态评估进一步得到精炼后的检测结果。合作, 美国公司与 研究将博弈论运用到网络态势感知和影响评估领域【,该框架对或 产生的报警信息进行数据提炼层和对象评估层的数据融合,并基 于博弈模型和层次化实体聚类进行高层次的态势/威胁评估层和 层数据融合,以实现网络安全态势的感知。 国防科技大学计算机学院赵文涛等人针对大规模网络环境?,提出利用 入侵检测设备和系统状态监测设备构成网络安全态势感知系统的传感器来 收 集相关网络安全态势信息,通过不同层次的报警信号分析,及时发现攻击者 的攻击路径和意图,实现攻击行为认知并在此基础上实现攻击预测。在研究 过程中,他们结合对攻击过程的空间分析和时间分析,提出了建立在图论基 础上的分层认知模型,并对该模型进行了描述和分析。 哈尔滨工程大学计算机科学与技术学院赖积保等人提出基于简单加权法 和灰色理论的网络安全态势感知模型【;解放军理工大学陈彦德等提出了网 络安全态势系统感知模型【】】。此外,韩国大学计算机科学与工程系】、 美国大学桫。、、大学香槟分校、大学、美国空军 实验室【蚓、美国圣地亚国家实验室【、美国国土安全部【、美国组织 、加拿大国防部【、欧洲【】等也进行了网络安全态势方面的相关研究。 在相关研究的基础上,结合的态势感知认知模型【】,本文给出 网络安全态势感知概念模型。该模型主要分为四层,如图.所示,主要包 括安全设备信息提取、数据预处理和态势数据分析、态势评估以及态势预测 四个层次。安全设备信息提取主要利用现有的安全设备如、、 、等,提取出这些设备产生的信息,采用必要的数据清理 算法,将异构的数据整理成易处理的结构化数据;通过聚类分析等算法压缩 第章绪论 报警记录、消除冗余,并结合知识库进行关联分析;态势分析包括威胁态势 的评估及安全态势的评估,通过合理的评估算法、数学模型,计算网络的威 胁态势值和安全态势值;安全态势预测通过分析态势数据构建合理的预测模 型,预知网络安全态势的发展趋势。 曰曰?一巨 图.网络安全态势感知模型 . ..网络安全态势感知关键技术 整个网络安全态势感知系统中,态势提取、态势分析、态势预警是三个 重要组件,分别代表网络安全态势感知三个不同的阶段。其中态势分析是网 络安全态势感知的核心功能。态势分析主要针对各种网络安全事件进行相关 的分析处理,可以分为微观分析处理和宏观分析处理。微观处理是分析安全 事件的细节特征,对繁杂的安全事件做出归并与关联处理。宏观处理为综合 分析网络中的各种安全事件,得到~个统一的评价结果,比较有代表性的是 安全态势评估技术。因此,安全态势感知所涉及的关键技术主要包括安全事 件预处理与态势特征提取、安全事件关联分析与态势评估、安全态势预测等。 安全事件预处理与态势特征提取 哈尔滨工程大学博士学位论文 、、等网络安全软件产生大量的日志数据,由于各 个厂商的产品采用不同的、处理方式等因素,使得这些日志数据中存在 严重的数据格式不一致,并且由于产品性能的问题使得日志数据存在大量噪 声,原始的记录不能直接用于安全分析和预测。安全事件预处理与态势的特 征提取技术的作用就是从这些复杂数据中提取有用的信息,进行相应的预处 理工作,并为后续的态势分析、态势预警等工作做准备。 整个态势感知系统中,安全事件的预处理与态势特征的提取处于网络安 全态势感知底层。系统从安全设备中获取到日志数据后,通过采用数据 格式进行统一,并对数据进行约减、合并,即将日志数据中与网络安全态势 感知无关的噪声数据去除,合并重复的记录。在不同的书籍和文献中“特征 提取、“特征选择”的意义并不是完全相同的:“特征提取”在有的文献 中专指特征的形成过程,有的则指从形成、经选择或变换直到得出有效特征 这一全过程。特征提取算法根据其目标函数是否与学习算法有关可以分为两 类:和模式,前者采用一些度量指标来评判特征子集的优劣, 而后者直接用学习算法的准确率作为评判的指标。态势特征提取不仅提高了 数据的质量,也进一步加快了安全态势分析的速度。 安全事件关联分析与态势评估 在安全事件预处理后,需要将安全事件进行综合的关联分析,考虑到整 体网络攻击的危害程度和区域安全防护能力,并将得到的结果以可视化的方 式直观地显示出来。 在进行安全事件关联处理前,采用特征提取等海量数据处理技术优化数 据特征。由于海量数据的处理技术必须考虑到系统的实时处理能力,以提高 网络安全态势感知的效率和实时的态势可视化,主成份分析方法、 粗糙集理论等技术即可用于数据的特征提取。因为不同来源的网络 攻击、网络管理数据,具有不完整性、不确定性、模糊性和多变性等特点, 因此,采用事件聚类、融合的方法可以减少误报警事件和漏报警事件,有利 于对网络态势感知状况的准确分析。事件关联技术一般采用决策树、贝叶斯 网络等方法。而网络安全态势评估主要是综合评估网络安全状态,即利用网 第章绪论 络安全属性的历史记录,为用户提供一个准确的网络安全状态评判和网络安 全的发展趋势,使网络管理者能够有目标的进行决策和防护准备。可以将神 经网络、模糊推理等方法引入到态势评估中,进行合理的规则推理,得到合 理的判断结果。 网络安全态势预测与预警 安全态势预警是实现网络安全主动防卫的关键环节。研究如何利用海量 的报警数据,发现黑客入侵规律,根据入侵前奏实现入侵行为的早期预测, 预测系统未来可能遭受的入侵行为、黑客入侵目的及可能遭受威胁的设备, 即实现“分析过去,预测未来”的目的。只有准确地预测入侵行为,才能采取 有效的针对性措施,加以阻止。 在对安全事件关联分析的基础上,研究能够表达信息系统安全性动态变 化的预测模型,利用基于时间序列的预测方法,预测网络的安全态势,绘制 安全态势曲线。并进一步结合网络安全管理人员设定的态势阈值实现态势的 预警,在态势恶化之前采取适当的措施。 本文主要针对网络安全态势感知中的关键技术开展研究,重点围绕着态 势分析组件中的网络安全事件关联分析、网络安全态势评估与分析和态势预 测技术进行。 .网络安全事件关联分析 ..事件关联的定义 由于计算机等相关信息技术的深入发展,研究人员已经可以开发诸如通 信网络、智能交通控制等一类的复杂系统。在这些复杂系统中存在一些空闲、 异常、出错等一类的离散状态,而由于这些状态之间存在相互转换的关系, 因此便能够产生如报警一类的事件。在这些复杂系统中存在的相关事件便构 成了所谓的“离散事件系统”。 由于诸多技术的不断发展,复杂性的、分布式的、异构的相关离散事件 系统不断涌现。在网络安全相关研究中,网络中存在的海量安全事件必须依 靠关联分析技术进行处理,主要的处理目标是发现网络运行及应用过程中对 哈尔滨工程大学博士学位论文 整个网络造成威胁的相关行为,而发现这些行为又主要依靠网络中存在多种 安全设备产生的日志等数据。目前,相关研究的主要对象是针对侵检测系统 产生的数据,但由于入侵检测系统的报警记录时空上离散的特征以及数量上 庞大的特点,使得管理人员很难进行相关分析,导致不能及时发现网络攻击 中存在的意图、威胁等。 除此之外,当前安全产品在和实现上的缺陷,在相关报警日志中存 在比例较高的误报和漏报,甚至有的入侵检测系统提供的报警数据中存在 %以上的误报,严重影响了网络的安全管理的进行。虽然网络在社会生活 日益得到深入,但人们对于网络安全没有清晰的认识,造成了大规模安全事 件如蠕虫、网络等不断出现的。如果分析人员不能够及时发现这种大 规模事件背后存在的攻击场景、时空等关系,更谈不上处理这些事件。因此, 人们将希望寄托于事件关联技术。综合的事件关联技术包括事件的分类、聚 合以及关联,即从复杂的安全数据中发现相关异常行为的潜在逻辑,包括入 侵意图、多步攻击等深层次的内容。 综上可知,对海量安全事件的关联分析就是用相关方法和工具对安全相 关数据进行聚类、分类、关联处理,取得更加精炼的、更高级的安全相关知 识。 ..安全事件关系 攻击事件的关联性可以认为是相关事件是不是由相同攻击行为所导致 的,而所谓的攻击行为既可以包括一个攻击构成,也可以多个攻击构成。由 上述内容可以归纳出安全事件主要有以下两种关系【博】: 因果关系 由于一般黑客采用的攻击手段具有固定的模式,在攻击过程中,某一事 件可能是另一件事件的前因,也可能会是其它相关事件的后果,因此,攻击 序列中安全事件之间存在着一定的因果关系,详见图.。 第章绪论 ? 护?扩 图.因果关系示意图 .冗余关系 安全事件之间的这种关系主要是由于入侵检测设备对一个攻击行为的多 次响应,或是一个攻击行为被多个入侵检测设备发现,这种攻击行为如端口 扫描、网络扫描等。通常这些攻击行为产生的多个相同安全事件间的关系即 为冗余关系。由于这些具有冗余关系安全事件数量惊人,因此往往会掩盖实 际有效的攻击事件,使得网络安全人员很难发现。 从概念和实际情况来看,安全事件之间的冗余关系的判断起来较简单, 使用聚合手段就可以消除,可以在很大程度上提高事件的精炼性。而安全事 件之间的因果关系则较为复杂、很难发现,但是这种因果关系能反映网络中 攻击行为之间的内在逻辑关联,而依据这种关联便可以对于未来网络的安全 趋势和威胁事件进行预警,便于网络安全人员及时优化网络的安全策略,提 高网络自身的防卫能力。 ..事件关联分析技术 目前,相关研究和产品主要采用基于情景、相似度概率以及“前因与后果” 几种关联分析技术。 基于相似概率的关联 在实际研究过程中,人们对攻击行为进行具体的分析时发现相关报警事 件之间的属性在某种程度上存在一些相似性。 哈尔滨工程大学博七学位论文 在文献【】【】中,等人提出一个建立在报警属性相似度基础 上的安全事件关联分析系统,这个系统主要是基于他们自己定义的报警事件 相似度计算方法和最小匹配规则的基础之上。文献】】】中都用了类似 的相似度计算方法和聚类方法。该方法可以对相同的源或目标地址的报警进 行高效的聚类,但对报警之间的因果关系则显得力不从心。针对这种问题, 文献【】中作者同时使用了聚类和关联两种方法。文献中,作者用概率定 义报警之间的距离,再对近距离的记录进行聚合。文献【】中, ,引入到入侵检测数据 等人将模糊认知映射图 融合过程中。 属性相似度方法需要同时考虑重要概念主要是属性集和相似度函数。一 般在计算过程中,属性集中的属性主要包括攻击特征、源/目标和端口以 及时间等。该方法解决了报警重复多、数量大的问题,计算复杂度也不高; 但该方法对时序关系、因果关系的关联分析效果不大,不能辨识出报警事件 中存在的复杂攻击场景,而在具体的计算方法和权重的分配等问题上又过于 依靠专家经验。 基于攻击情景的关联 入侵过程一般可以用攻击情景进行描述,目前实际的攻击情景主要是由 专家经验或者机器学习的方法得到的攻击序列。 文献【】中,作者通过训练包含己知入侵情景的数据集,将报警聚合到 所谓的“情景”中,结合新报警属于给定情景的可能性,再建立起关联模型。 由于训练出来的模型与训练使用的数据过于相关,因此存在遗漏攻击情景的 情况。文献,作者通过语言来描述攻击序列,关联算法从攻击序 列模板有向图的根节点开始进行模式匹配,但要确认在当前待匹配节点的所 有前驱节点都经过了匹配。文献【】【】中,作者提出一种结合网络拓扑信息 的攻击图的方法。该方法用攻击模板描述一致的攻击行为,再通过攻击模板 反向生成系统攻击图。 目前,攻击情景的建立主要采用专家经验或者采用机器学习方法。由于 专家经验的不足,很难获得全部攻击场景;而机器学习方法中训练的效果还 第章绪论 依赖于具体采用的学习算法,并且训练数据的获取也存在一定的难度。 基于因果关系的关联 一般来说,入侵者发动的多个攻击之间存在一定前因后果的关联,依据 这思想可以设计出新的报警关联方法【弓。 在文献,作者结合自己定制的知识库,设计并实现了基于前因 和后果的报警关联算法,该算法根据时间限制和超报警类型定义生成超报警 实例,再对生成的超报警实例进行关联。 基于因果关系的关联方法的效果与制定的知识库紧密相关,考虑到新型 攻击不断出现,很难定义出完备的知识库:此外,由于每个安全事件的关联 分析和归属决策计算过程较为耗时,使得算法的实时效果不好。 ..关联分析技术发展趋势 网络安全事件关联分析的相关技术作为信息安全领域的重要研究热点, 未来关联分析技术的研究工作可能从以下几个方面开展:应用数据融合领域 最新方法或理论成果,建立新型的安全事件融合模型;结合各种关联分析技 术的优缺点,深入研究报警关联算法。借助关联方法的研究成果,结合多种 关联方法相形成多层纵深关联,而多种关联方法的结合策略还待进一步研 究。 .网络安全态势评估与分析 安全态势评估的主要功能是综合评估网络安全状态及变化趋势,即利用 网络安全属性的历史记录,为用户提供一个准确的网络安全状态评判和网络 安全状态的发展趋势,使网络管理者能够有目标的进行决策和防护准备。 在网络安全态势评估领域,国内外研究者借鉴军事领域的战场态势评估, 进行了一些尝试性的研究,取得了一定的研究成果,但还未见到确切应用的 系统。按照态势数据源,已有的安全态势评估成果主要划分为以下几种: 基于系统配置信息的安全隐患态势评估 系统配置信息是指系统的设计、配置状况,包括服务设置、用户及系统 文件的权限设定、主机间的信任关系、系统中存在的漏洞等等,主要来自于 哈尔滨工程大学博学位论文 漏洞评估系统的报告输出。此部分研究主要围绕着系统漏洞扫描、网络脆弱 性分析等内容开展,其相关的工作在本文中不再赘述。 基于系统运行信息的安全威胁态势评估 运行信息指系统所受攻击的状况,来自于网络安全监控设备的上报信息, 主要依赖于入侵检测系统日志库。目前,仅有少部分工作依赖于系统运行信 息对安全态势感知进行研究,大部分停留在单个攻击事件给系统造成威胁的 微观评估。 基于多源数据信息融合的安全态势评估 结合系统配置信息、系统运行信息等多源数据信息,对网络安全态势进 行整体的宏观分析与态势感知,这样既可以实现对攻击事件形成正确的理 解, 也能够对态势获得准确的把握。 ..网络威胁态势评估与分析 网络安全威胁态势评估技术是入侵防御和响应的前提和基础,是构成网 络安全主动防御体系的重要组成部分。年, 启动了“信息安全保障的威胁评估与预警方法”项目,研究威 胁评估的量化方法和预警方法。网络安全威胁态势评估是对一组相关的攻击 事件目标相关,源相关,方法相关,时间相关进行整体的评估,从而得出 攻击事件集对于特定目标的威胁程度,为监管系统提供防御参考【】。 国外从世纪末就己经开始了网络安全威胁态势评估的研究。美国、加 拿大等发达国家已经建立了国家认证和网络安全威胁评估认证体系,研究并 开发出了相关评估标准、评估认证方法和评估技术,并进行基于评估标准的 网络安全评估和认证,对网络威胁进行控制。国外几种典型的安全威胁评估 方面的研究总结如下: 基于的网络安全威胁态势评估方法 是公司提出的网络数据包交换技术,在实际网络管理中一般 用于记录网络流信息【矧。能够提供网络流量的会话级视图,并记录下 每个/事务的信息,其工作原理是:利用标准的交换模式处理数 第章绪论 据流的第一个包数据,生成缓存,随后同样的数据基于缓存信息 在同一个数据流中进行传输,不再匹配相关的访问控制等策略,缓存 同时包含了随后数据流的统计信息。通过分析流数据的特征值,了解 流量的分布情况,网络管理员能够掌握网络利用状况并建立起的网络流量的 特征模型,进而了解网络用户的行为。 基于的网络安全威胁态势评估方法 世纪年代,美国著名的运筹学专家萨蒂提出层次化的评估方法,该 方法是一种多目标决策分析方法【 。该方法将一个复杂问题分解成多个组 成 因素,将这些因素按支配关系分组,再按因素间的相互关联和隶属关系,构 成递阶式的层次结构。通过一系列的判断矩阵、矩阵特征值和特征向量、一 致性检、排序等过程对问题进行分析和决策。层次化的网络安全威胁态势评 估方法为分析决策问题提供了支持,能够评估各个元素的风险程度,由于它 计算过程涉及矩阵运算,因此比较复杂。 基于的网络安全威胁态势评估方法 特尔斐法最早是古希腊地区的预言家预测未来时使用的 方法【们。从年代开始,特尔斐法在现代得到运用,主要使用在未来学的研 究中,被作为预测未来的工具。基于的网络安全威胁态势评估法是一 种主观定性分析方法,多个专家分别对同一个问题做出评估,通过对专家的 评估结果进行整理再反馈给专家,经过类似的几个循环过程,可以得到一个 比较一致的结果。但这种方法所得出的评判结果要取决于专家的主观经验, 因此,对于涉及到多层、多个指标的评估体系的问题,用网络安全威 胁态势评估法实施评估往往是不太现实的。 网络安全威胁评估领域在研究过程中主要是利用入侵检测系统的数据实 现威胁评估,通过监控网络数据包、主机状态的信息,识别出非法入侵行为。 国内有关安全威胁评估研究的工作有: 基于层次化网络安全威胁态势量化评估 文献【】】中,西安交通大学陈秀真等人提出了层次化网络威胁安全态 势评估方法,作者将网络威胁指标归纳为攻击特征、发生时间、类型、源/ 哈尔滨工程大学博士学位论文 目的地址、源/目的端口、协议类型以及攻击威胁程度等,并考虑其他一些与 网络性能相关的因素。通过专家经验将指标量化,建立了一个比较完整的网 络威胁指标评估体系结构。该方法仅考虑入侵检测系统的报警数据,给出的 仅是一个综合的威胁评估结果,使得网络安全管理人员无法了解到不同攻击 类型对整个网络安全态势产生的影响。 基于主机实时流量的网络安全威胁态势评估 文献【,作者提出通过评估方法能够反映主机实时流量状况的参数来 发现出流量中存在的异常情况。该方法选取的指标主要是与网络服务、网络 性能、对攻击敏感相关的数据如各种协议数据包数量、输入流量的比例、输 出流量的比例、网络速率、连接数、包的数量、报文长度等。这种评估 方法需要大量的专家经验对各项指标数据进行定量化的处理。 基于人工免疫网络安全实时威胁态势评估 文献【】刁中,仿照人体免疫系统中自体、非自体、抗体以及抗原的实现 方式,作者建立起网络系统中抗体的克隆选择、学习机制和生命周期模型。 而评估的指标主要有网络重要性、攻击类型、攻击严重程度、攻击的数目、 协议类型、源/目的、源/目的端口等。 ..多源融合态势评估与分析 多源数据融合是一个多级、多层面的数据处理过程,主要完成对来自多 个信息源的数据进行自动监测、关联、估计及组合等处理引。简而言之,数 据融合就是对来自多个传感器的信息进行综合处理,从而得出更为准确的、 可靠的结论。数据融合技术早期应用于军事领域,但自世纪年代中期以 来,世界各国都投入大量的人力、物力从事该领域的理论与应用研究,主要 应用领域有敌我识别、目标检测、图像融合、工业智能机器人、遥感、刑侦、 故障检测、安全态势评估与威胁估计等。 数据融合方法主要是基于传统的估计理论和识别算法,近年来一些新的 方法如络、滤波、期望极大化算法、证据推理、决策论、专 家系统等也逐渐被引入数据融合中来。以下介绍几种常用方法: 第章绪论 网络 网络是人工智能领域中在不确定性环境中进行知识表示和推理的 一种有效工具。网络主要是对概率关系的一种有向图解描述【】,适用 于具有不确定性和概率性对象,多应用于有条件的依赖多种控制因素的决策 问题。该模型是一种新的知识表示模型,用概率来表示知识的不完全、不确 定性【】。可以将一个概率专家系统看成是一个网络,其中概率知识基 础由网络拓扑以及每个节点的局部条件概率表 ,进行表示。建立这个知识基础的主要目的是用于推断,即计算 产生对该领域问题的解答。 网络的主要优点是把人工智能中的神经网络和理论进行了 有效的结合,并且采用有语义性的推理技术,因此,它能很好的反映出推理 的过程。但由于理论会强迫所有传感器在抽象级上以可信度做 出响应【,使得特定传感器不能对抽象级给出精确的可信度表示。 .证据理论 证据理论是有和于世纪年代末和年代初建立 的一套数学理论四【】。给出了上、下概率的概念、合成规则和不满 足可加性条件的概率。而将其推广到一个更加一般的情形并使之系统 化、理论化。该理论是对概率论的进一步扩充,适合于专家系统、人工智能、 模式识别和系统决策等领域的实际问题。 证据理论比传统概率论能更好地把握问题的未知性和不确定性,但其合 成公式存在着不足,在合成高度冲突的证据时,结果常常会有悖常理。 模糊推理 隶属函数是模糊集合理论的中心【,而对于隶属函数的确定没有形式化 的过程】,而隶属函数具体的分布对模糊演算的推理没有太大的影响,因此, 它可以用于证据不确定、决策不准确的问题。模糊集理论在数据融合中的实 际价值在于它能够外延到模糊逻辑。模糊逻辑是一种多值逻辑,根据设定的 模糊规则,用多值逻辑进行推理,根据演算对各各传感器提供的数据进行合 并,即实现了数据融合。 哈尔滨工程大学博十学位论文 该理论面临的挑战是如何确定相关模糊集的隶属度函数。同时,要适当 定义模糊算子,以免在处理模糊信息时,忽略掉对所论模糊概念影响较小的 信息,从而在处理过程中失落较多的信息。 神经网络 神经网络基本上是一种仿效生物神经系统处理信息的新型计算模型,一 般是指用计算机模拟人脑的结构,用许多小的处理单元模拟生物的神经元, 用算法实现人脑的识别、记忆、思考过程。应用于图像、语言、声音等的识 别,复杂的计算,以及趋势预测等领域。人工神经网络是一个具有学习能力 的系统,主要通过基于数学统计学类型的学习方法 进行优 化,因此这种方法比起正式的逻辑学推理演算更具有优势。在多传感器数据 融合领域神经网络具有很广阔的应用前景。 传感器数据融合的许多应用场合对实时处理能力要求较高、数据量也很 大,因此,神经网络在很多情况下能够满足这些要求。 .网络安全态势预测 对研究对象的未来状态或未知状态进行预计和推测就是预测。它根据历 史资料、现状、主观经验和教训,通过分析,对一些不确定的或未知的事物 作出定性或定量的描述,寻求事物发展规律,为今后制定规划、决策和管理 服务。由于预测的对象、目标、内容和期限的不同,形成了多种多样的预测 方法。据不完全统计,目前世界上共有多种预测方法,其中较为成熟的 有多种,常用的有多种,用得最为普遍的有多种。预测技术从大 】: 的角度上可分为以下两类【 数量分析 此方法利用统计资料,借助数学工具,分析因果关系,从而进行预测。 数量分析预测的具体方法很多,如趋向外推法和回归分析法等。 趋向外推法即时间序列分析法,它是根据历史和现有的资料推测发展趋 势,从而分析出事物未来的发展情况。它把在一定条件下出现的事件按时间 顺序加以排列,通过趋势外推的数学模型预测未来。时间序列就是把统计资 第章绪论 料按发生的时间先后进行排列所得到的一连串数字。时序分析是研究预测目 标与时间过程之间的演变关系。因此它是一种定时的预测技术。回归分析法 是从事物变化的因果关系出发来进行预测。回归分析也称相关分析,是研究 引起未来变化的各种客观因素的相互作用、指出各种客观因素与未来状态之 间统计关系的方法。 定性判断 在没有较充分的数据可利用时,只能凭借直观材料,依靠个人经验和分 析能力,进行逻辑判断,对未来作出预测,即为定性判断预测技术。定性预 测进一步可以划分为:判断分析法、专家评估法法、市场调查法、 类推法比拟法等。 当然,这些划分不是绝对的。一个实际预测常常是各种预测形式的组合。 常用的预测方法有很多种,要做好某项活动的预测,关键在于针对该问题选 择适当的数学模型并结合定性分析的手段。由于各种方法都有其缺陷或限 制, 所以,常常是同时采用多种预测方法,以便互相检验和印证,并强调要以定 性分析为根据、定量分析为手段,使得定性预测和定量预测相结合。 网络安全态势感知则指在大规模网络环境中,对能够引起网络安全态势 发生变化的安全要素进行提取、理解、显示并预测未来发展趋势。其中,预 测未来发展趋势是网络安全态势感知的一个重要组成部分。目前,最常见的 用来预测网络安全态势的方法包括以下几种: 人工神经元网络预测技术 人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习 规则等。目前,已有近种神经网络模型,其中有反传网络、感知器、自组 织映射、网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构, 神经网络模型可以分为剐: 前向网络网络中各个神经元接受前一级的输入,并输出到下一级, 网络中没有反馈,可以用一个有向无环路图表示。这种网络实现信号从输入 空间到输出空间的变换,它的信息处理能力来自于简单非线性函数的多次复 合。网络结构简单,易于实现。反传网络是~种典型的前向网络。 哈尔滨工程大学博士学位论文 反馈网络网络内神经元间有反馈,可以用一个无向的完备图表示。 这种神经网络的信息处理是状态的变换,可以用动力学系统理论处理。系统 的稳定性与联想记忆功能有密切关系。网络、波耳兹曼机均属于这种 类型。 时间序列预测技术 时间序列分析方法起源于年,为了预测市场变化的规律数学家耶尔 提出建立自回归模型/。数学家瓦尔格提出了移动平均模型 和自回归。目前,自回归移动平均模型成为时间序列分析方法的基 础,主要应用于经济分析和市场预测等领域,其中.方法是目前最 通用的时间序列预测方法。 时间序列一个典型的本质特征就是相邻观测值的依赖性,而时间序列观 测值之间的这种依赖特征具有很大的实际意义,时间序列分析所论及的就是 对这种依赖性进行分析的技巧。这就要求对时间序列数据生成随机动态模 型, 并将这种模型用于重要的应用领域。信号处理技术的发展使得时间序列分析 方法不仅在理论上更趋完善,在参数估计算法、定阶方法、建模过程等方面 也都得到了许多改进,逐渐走向实用化。 灰色预测技术 近年来,灰色理论的应用已扩大到环境、气候、卫生、医疗、人口等多 种科研领域,在网络流量预测方面也有不少研究成果【】。该理论通过系统的 原始序列累加生成的点群来确定一条最佳拟合曲线,能有效处理不确定性特 征显著且数据样本稀少的系统,从杂乱无章的、有限的、离散的数据中找出 数据的规律,然后建立相应的灰色预测模型。灰色理论的这些特点使得它对 有些现象的预测优于传统方法,但基本的灰色预测算法却存在缺陷。例如, 对于光滑离散函数建模,在数据序列预测随机性较大时,其预测结果有一定 的误差。 .本文的研究内容和组织结构 本学位论文的主要研究内容先后得到国家项目《基于攻击图及 第章绪论 博弈理论的安全事件处理关键技术及系统》项目编号:和 国家信息安全计划项目《大规模网络安全动态风险评估与预测系统研究 及应用》项目编号:的资助。 本文其余部分的主要研究内容如下: 第章首先对网络安全事件预处理技术进行了研究,对不同网络安全设 备生成的异构、冗余的安全事件数据进行标准化处理。并对噪声和重复数据 进行约减归并。其次在对安全态势指标的量化分析基础上,研究并提出基于 灰色关联分析和层次化分析的安全态势指标权重确定的方法。 第章针对安全态势感知中安全事件的微观处理方式,开展网络安全事 件关联分析技术研究。首先研究并提出了基于层次聚类的多特征安全事件聚 合分析方法,其次研究应用基于攻击图的安全事件关联分析方法。在此基础 上结合两种方法对网络安全事件进行融合关联并实际中加以应用。 第章首先针对网络安全威胁态势,研究并提出了基于模糊综合判定的 网络威胁态势评估方法以及基于灰色关联的网络威胁态势排序分析方法。针 对多源数据融合安全态势,提出了基于自适应神经模糊推理的多源网络安全 态势评估模型。 第章对网络安全态势预测技术进行了研究。提出了基于时间序 列分析的网络安全态势预测与预警方法,并通过试验进行了验证。 在本文的各章节中,第章对安全态势感知中的态势提取技术展开研究, 第章对态势感知中安全事件的微观处理技术即事件关联分析技术开展研 究。第章对态势感知中安全事件的宏观处理技术即态势评估与分析技术开 展研究。第章对网络安全态势预测技术进行了相关的研究。本文各章节的 组织结构如图.所示。 哈尔滨工程大学博士学位论文 第章绪论 』量 第章网络安全事件预处理及态势指标提取 态势提取 第章基于灰色 模糊理论和神 经模糊推理的 态势评估分析 态势分析: 态势分析的微 态势分析的宏 观处理方式 观处理方式 第章基于时间序列分析的网络安全 态势预测 态势预测 图.各章节的组织结构 .唱 第章 网络安全事件预处理及态势指标提取 第章 网络安全事件预处理及态势指标提取 .引言 计算机网络作为一种复杂的动态系统,影响其安全性的因素众多,因此 如何建立一个完备、客观的安全态势评估指标体系,已经成为影响评估结果 准确性的关键环节。目前,态势指标提取分为两个方面,一方面为态势指标 的选择,另一方面为态势指标权重的确定。一般来说,安全态势评估指标权 重的确定方法主要分为主观法和客观法,也有一些文献提出了主观和客观结 相合的方法,但由于只是将两者简单地组合在一起,因此效果并不理想。 大量的实验分析表明,在确定指标权重的初始阶段,由于反映指标的数 据样本很少,还没有形成数据的内在规律,应该注重主观因素的影响,此时 专家经验显得很重要,主观权重确定方法成为首选;之后,随着数据样本的 不断增加,数据间的内在规律开始形成,此时可以采用客观方法确定权重。 因此,为了提高指标权重的客观性,应该同时根据专家经验和数据样本的内 在规律来确定指标权重。 本章提出基于改进灰色关联分析法和层次分析法的组合权重确定方法, 力图提高网络安全态势评估指标权重的客观性,从而增强态势评估结果的可 信程度。 .网络安全事件预处理 不同的网络安全设备所提供的安全事件描述方式是不同的,为了对不同 设备提供的安全事件进行融合分析,需要定义安全事件的格式标准,生成统 一的事件表达式。 定义.安全事件在本文中,安全事件表示为一个十元组,, ,,,,,,,。十元组 中的元素分别表示源,目的,源端口,目的端口,与攻击事件对应的弱 点号,攻击类别,攻击类型,协议类型,攻击严重级别以及攻击事件的发生 哈尔滨工程大学博士学位论文 时间。 如果一些安全设备提供的信息不够全面,则需要补充信息。例如,对于 攻击危害级别,可以参照系统提供的级别进行设定。此外,如果安全事 件没有时间信息,可以将接收到此安全事件的时间作为发生时间。对于一些 关键信息缺失,并且无法完善的安全事件,由于无法有效关联此类信息,需 要将其丢弃。 .评估指标的提取 ..指标的提取原则 在建立网络安全态势评估指标体系时,应该充分考虑网络的动态复杂性。 一般来说,评估指标的提取应该遵循以下几点: 安全态势指标必须意义明确、易于收集,并且应该具有可量化性和 可测性等特点。 安全态势评估指标体系应该能够涵盖网络系统安全的各个周期和作 用层面 安全态势评估指标体系应该能够客观、准确地反映网络系统安全性 的本质特征。 ..指标体系的构建 在对网络系统安全态势进行评估前必须建立安全态势评估指标体系。指 标的选取方法、指标权重的确定方法以及安全态势评估模型不同,都有可能 影响评估结果的准确性。已有的网络安全评估方法在评估时,将网络脆弱性 和潜在的攻击事件均视为网络系统存在的风险。这些评估方法将影响网络安 全性的内部和外部因素混在一起,不利于安全管理人员认清网络安全风险的 本质。虽然网络脆弱性和威胁是影响其安全的主要因素,但它们自身都包含 了很多因素。例如,网络威胁包含攻击事件以及与该事件相关的攻击者、攻 击目标和攻击手段。这些因素自身又包含很多信息,就攻击者而言,包含了 攻击能力、意图和掌握的攻击资源等。由于不易直接对攻击主体实施评估, 第章 网络安全事件预处理及态势指标提取 因此直接评估网络威胁就显得非常困难。虽然,采用直接评估威胁的方法在 表面上简化了评估工作的繁杂度,在很大程度上提高了评估结果的主观性。 为 了较为清晰地刻画影响网络安全性的各种因素,需要提出一种层次化的网络 安 全威胁态势评估指标体系。 ..指标的选取方法 本文参照相关网络安全评估标准和方法,对网络安全威胁态势评估指标 的选取方法进行了研究,拟采用分析法来选取影响网络安全性的各个指标。 分析法是将指标体系的度量目标和对象分割成若干个不同的组成部分或 侧面子目标,之后逐步细分,直到各个组成部分和侧面都能用具体的统计 指标来描述。这种方法是建立评估指标体系工作中较为常用的一种方法,一 般来说,可以分为三步: :分析评估工作实质是什么、涉及哪些方面,每方面又包含哪些分 支。例如,在评估前我们应该首先了解网络安全态势的意义,它表现为哪几 个方面在此基础上,分析影响网络安全的各种因素,把威胁态势评估的总 体目标分解为各种子目标,其分解结构如图.所示。 户 ?一 图.指标评估层次分析图 .. :细分各个子目标或侧面,直到各子目标或侧面都可以用明确的、 可量化的指标描述为止。哈尔滨工程大学博士学位论文 :设计并确定指标层中的各个指标。值得注意的是,最终形成的综 合评估指标体系结构应该是树状的,如果指标体系呈网状结构,则需要通过 调整或扩充某些子目标的方法使得体系结构呈树形化。此外,利用分