异常流量分析与网络性能管理

邁向高速網路時代﹐網管的重要性也與日俱增﹐隨著網路頻寬增加與各種不同網路應用程式的出現﹐網路成為一般人日常生活中不可以缺少的喔﹐在這個地球村裏﹐有了網路人們的距離也不在那麼遙遠﹐企業 二十一世纪高速网络下之网管- 异常流量与网络性能管理 (一) 迈入二十一世纪﹐网络与一般人的日常生活息息相关﹐从电子邮件、个人网页、入口网站等﹐更改变了人们过去的生活方式与习惯。在这个地球村里﹐因为有了网络人们之间的距离不再那么遥远，信息传播速度也加快不少。同样的，企业透过网络提高了工作效率与生产力。随着全球化的脚步逐渐加快﹐网络的重要性也与日俱增﹔如何有效管理网络也成为了企业内重要的管理课题。 迈向高速网络时代﹐随着网络带宽增加与各种不同网络应用程序的使用﹐企业对网络管理也越来越重视﹔网管已经不再是口号﹐而是企业必须审慎面对的挑战。一般来说﹐根据网络建置的顺序﹐网管分为四个阶段﹕ 网络管理的四个层次 第一阶段为网元管理(Element Management)﹕企业建置网络时﹐首先会面对构成网络基本设备﹐这些设备包括了计算机、路由器、交换机等﹔在这阶段所进行管理工作包括网络设备的安装、设定与维护﹐利用一台中央服务器来管理企业内分散之计算机、路由器与交换机，主要目的为让使用者能使用网络上资源﹐这也是网管最基本的要求；CiscoWorks则是大家最耳熟能详与常用的设备。 第二阶段为运行管理(Operations Management)﹕运行管理包括了拓朴管理、资产管理、故障管理、事件管理、除错与告警等﹐主要目的是让网络能够正常运作﹐当有问题发生时能通知相关人员来解决﹐此一阶段主要管理设备各界面是否正常运作，当有故障发生时，系统可以立即发出报警；另外，运行管理也包括了对异常流量之告警与提供除错的工具，如实时监控与协议分析等；此类代表性系统如HP OpenView、IBM Tivoli等。 第三阶段为性能/服务管理(Performance/Service Management)﹕当网络建置完成并顺利运作后﹐就进入性能与服务管理阶段﹐性能管理涵盖了网络分析监控、应用分析监控、带宽规划、故障排除、错误管理与服务等级管理等﹐其目的在于维持网络传输之品质与网络应用系统与服务能运行顺畅﹐除了显示实时流量信息外，还进行长时间之流量收集、分析与统计，提供管理人员带宽规划与趋势分析报告，并可以针对不同应用系统与服务之响应时间进行监测与统计，提供服务等级管理；此类代表性系统为NetScout nGenius。 第四阶段为业务管理(Business Management)：业务管理包括了业务服务、业务影响分析、应用仿真测试等。此一阶段代表了企业在实施新的业务时﹐如何预先从不同层面去分析新业务上线后对现有网络环境所造成的影响与所带来之效益；例如，当一家银行推出了网上银行业务时﹐需要重新评估依照现有设备及网络架构是否可以承载新业务所带来的网络流量与服务器工作量﹐藉此评估如何实施此业务，并提供企业未来之整体业务与服务蓝图。 目前在国内大部分的大型企业已经完成了设备管理﹐而金融业与电信业也有部分企业完成了运行管理之系统建置。相较而言﹐欧美企业大都处在性能管理与业务管理阶段﹐而国内企业仍有很大空间去加强网络管理。目前在企业管理网络时普遍遭遇到以下问题﹕ 网络可视性﹕ ​ 知道网络的利用率﹐但不知道是什么应用程序在网络上运行﹖主要用户有哪些﹖ ​ 对于日趋重要的多媒体应用，如VoIP、视频会议等进行有效的监控和管理，以确保服务等级﹔ ​ 遭遇到由于病毒或黑客引起的流量暴涨而导致网络严重拥塞﹔ ​ 网络带宽规划没有长期统计数据来预测其网络使用趋势﹔ ​ 网络需要优化，但是需要提出具体的统计资料来支持相关决策﹔ 应用性能﹕ ​ 当用户抱怨应用性能降低时﹐到底是服务器负载太高而处理慢呢﹖还是网络拥塞传输慢呢﹖ ​ 如何维持企业内重要应用与服务的性能呢﹖ ​ 无法提供详细之网络管理报表﹐包括各局域网与广域网之流量分析与应用服务器之性能状况﹔如：IP地址、应用层响应时间及协议分布等﹔ 故障排除与错误管理﹕ ​ 每天都有新的病毒出现﹐要如何在病毒肆虐前发现中毒征兆呢? ​ 业务网，办公网或Internet带宽被个别用户占用，如何找出凶手呢﹖ ​ 网络出现异常流量时﹐如何找出原因并解决问题呢﹖ 从这些网络管理所面临的问题来看，我们企业已经需要一个有效的性能管理系统来帮助排除这些网络上的盲点，例如流量分析工具可以让管理人员了解更详细的网络使用情形，包括了网络上的主要用户与应用列表，网络电话品质的监控与用户使用统计资料，并可以主动发现异常流量，判断是否为黑客入侵或是病毒散播等；应用程序响应时间测量与监控可以让企业内重要之业务，如银行之网上银行业务、电信业之计费系统、制造业之ERP与PDM等运行顺畅；解决这些问题的根本之道在于有没有一个好的性能管理工具可以利用，这也是建置性能管理系统的开始。所谓的工欲善其事，必先利其器，有效的性能管理系统可以帮助网络管理人员更了解企业内部网络之运行状况，也能加强故障的管理及排障能力。 我们从欧美在网络管理经验可以知道性能管理在整个网管中是非常重要的一环。随着网络业务与应用系统大量快速增加，网络性能变成在企业管理上一个策略性之标的，提高网络性能才能让这些新的业务与应用发挥其效益，包括提高服务品质与效率、减少错误发生、减低成本、提高竞争力。我们以美国一些全球性的金融服务业为例，他们目前正在实施企业内部之网络使用计费系统（UBB，Usage Based Billing），计费系统让企业各部门分担了网络建置投资与维护成本，员工能更珍惜网络带宽使用，保障重要之应用系统能维持好的效能，减少网络中断或是品质下降所造成之损失，并且可以长期分析网络使用行为模式，做为网络优化之基础。 谈了这么多性能管理之优点与实行的需要，那么性能管理究竟包括了哪些范围呢？首先我们就性能管理之资料来源来看，与设备管理与运行管理不同的是，性能管理之资料来源主要来自网络流量，这些流量可能来自内部网络（Intranet）或是广域网（Internet），最普遍的收集流量的方法为放置探针（Probe）来监控网络，探针是一个硬件收集器，利用不同界面架设在内部网络或广域网上，以旁路分接方式利用Y形缆线或是Tap，将流量复制到探针中进行译码、分析与统计，另外也可利用交换机镜像功能将流量复制到探针。探针将流量归纳为下列七大类资料： 1.​ 统计（Statistic）：包括网络利用率与吞吐量、协议分布、包大小、广播包比例； 2.​ 主机（Host）：网络层与应用层主机IP地址列表； 3.​ 通信对（Conversations）：网络层与应用层通信对列表； 4.​ 告警（Alarm）：针对各种异常现象之自动报警； 5.​ 响应时延（Response Time）：应用程序及服务响应时延； 6.​ 误码（Errors）：误码种类、错误率； 7.​ 数据包档案（Trace）：原始数据包资料； 这七大类资料代表性能管理资料核心，可以帮助网络管理人员分析并管理企业网络相关之性能问题，例如统计出网络应用分布与主要使用者；发生异常流量时立即收到告警，并找到问题来源与祸首；当重要业务的性能下降时，也能藉由响应时延统计找到哪个服务器与客户端发生问题，并判断是因为网络或是服务器所造成；或是利用数据包译码来分析原始数据包资料，排除网络故障。 CDM整合各种数据源﹐简化网络性能管理 为了从不同的网络架构上﹐获得上列七大类资料﹐NetScout推出了其独创的资料共享模型（CDM，Common Data Model）。CDM以这七大类资料为中心，扩展到不同网络架构上所运行的不同应用系统，无论企业使用一般网络应用（浏览器、电子邮件、FTP等）、多媒体应用（VoIP）、客制化系统（ERP、SCM、PDM等）、E化业务（网上银行）或是CITRIX、SAN等，在不同的网络架构上传输（如Fast Ethernet、Gigabit Ethernet、GigaChannel、T1/E1、T3/E3、Frame Relay、ATM、POS等），都能将这些应用系统流量归纳为网络性能管理之基本七大类资料。CDM涵盖了网管内第二阶段运行管理之故障排除与错误管理、完整的第三阶段性能管理与第四阶段业务管理之业务服务、业务影响分析与仿真测试﹐并强调通过支持不同的资料来源﹐从而让网络管理人员在投资与管理之间取得最适当的平衡﹐有了CDM后，企业网络性能会更有系统的被管理与监控，并且提供企业在业务管理上重要的依据，达到网络优化与业务最大效益。 随着网络的带宽不断增加，网络架构不断扩充并复杂化，各种网络应用的兴起也逐渐取代过去人们习惯﹐性能管理加强了网络之可视性与可靠性，就好象医师所使用的X光、超音波一样，可以透视企业内部网络运作情况，并找出潜在的问题，让企业的网络更可靠与稳定。异常流量分析是网络性能管理重要的一环。异常流量如病毒、DoS、黑客入侵等造成企业重大损失﹐我们将在下一篇专栏介绍如何利用网络性能管理系统来帮助企业预防、发现、监控与分析异常流量。 二十一世纪高速网络下之网管- 异常流量分析与网络性能管理 (二) 我们在上一期中谈到了网络管理四大阶段与网络管理趋势﹐面对种种管理网络所面临的难题﹐我们如何有效利用性能管理工具来找出网络潜在问题并且提供解决呢﹖目前网管人员最头痛的问题—异常流量。异常流量发生的原因常为病毒发作与黑客攻击。随着网络越来越复杂﹐病毒与黑客有更多机会与空间去破坏与影响网络。网络管理人员往往无法预先发现这些潜在病毒与黑客﹐一直要到有重大攻击或者是大量病毒散播时才会收到告警开始处理﹔而到此时企业因网络中断或性能下降已经遭受重大的损失了。 异常流量有许多可能的来源﹐包括新的应用系统与业务上线、计算机病毒、黑客入侵、网络蠕虫、 拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等等。管理人员可以利用网络安全系统与性能管理工具来帮助侦测、监控与处理异常流量﹔例如防火墙可以预先过滤应用协议与使用者信息﹐以判断是否让这些流量通过﹔协议分析工具帮助管理员统计所有应用业务分布状况﹐以厘清是否为新的应用系统所造成之异常流量或是非法下载软件﹔IDS可以实时侦测与阻止由外部进入企业内对网络与重要服务器之入侵攻击行为﹔防毒软件可以帮助保护重要主机与个人计算机避免受到病毒侵入。 在所有异常流量中﹐以黑客攻击与病毒对企业影响最为严重﹔病毒之散播主要是以非固定对象为主﹐从早期之邮件病毒﹐蠕虫﹐到去冲击波病毒利用微软操作系统内之安全漏洞﹐散播的方式从被动到主动﹐传播速度快﹐影响范围也越来越大。黑客攻击则是以特定对象为主﹐以非法入侵方式去更改、破坏或是窃取资料﹐例如近来出现之DoS(拒绝服务)与DDoS(分布式拒绝服务)攻击方式。DoS之目的就是拒绝服务访问，让服务器充斥大量要求回复的请求，消耗网络带宽与系统资源，导致网络或系统不胜负荷以至于瘫痪﹐而停止提供正常的网络服务。而DDoS是基于DoS的特殊形式的拒绝服务攻击，主要针对大型与知名网站﹐如商业公司、搜索引擎和政府部门的网站。它利用网络协议的缺陷或是计算机操作系统之漏洞，伪造大量或是不正常的数据包涌向服务器提供服务的连接端口，使得服务器疲于处理大量的垃圾数据包而无法提供正常的服务。 要预防病毒与黑客攻击首先需要完善防护企业的大门﹐防火墙与IDS是主要防线。防火墙是界于企业内部网络与Internet间第一道关卡﹐与IDS共同防护已知的病毒与黑客攻击﹔然而﹐防火墙与IDS对于新病毒或新的黑客攻击模式并无法事先防范﹐必须等到管理员手动增加新的存取限制与攻击模式特征后﹐才能找出问题与解决安全漏洞。针对防火墙这个限制﹐让不少病毒与黑客有了活动与发展之空间。企业网络人员与各大网络安全系统设备厂商﹐往往在病毒或黑客造成企业重大的损失后﹐才能提供有效的解决方法与更新之病毒码。企业网络管理人员希望在一有异常流量时﹐就能收到警报并进行分析与监控﹐找出异常流量发生原因、位置与解决方法﹐以避免病毒继续扩散或主机服务被黑客阻断。有效的网络性能管理系统为企业网络管理人员提供强大与可靠之工具﹐使他们在处理异常流量时﹐能够主动预防性地察觉并解决可能发生的问题。 网络性能管理系统对异常流量进行监控与分析。流量分析可以为管理人员提供几个指针性网络信息﹐包括利用率、主机IP、对话列IP、误码、响应时延、原始数据包内容与告警等。利用这些信息我们可以实时监控各网段之利用率、网络应用与业务之运行状况﹐是否有大量误码包发生等﹐并且透过长期历史资料统计之基准线数据来比对是否有异常流量出现。有效的性能管理除了对网络整体之利用率提供监控外﹐对各个应用程序与业务利用率也进行同样的监控﹐例如当某个应用程序流量异常增加时﹐也可以提供相同之利用率信息与报警通知网管人员进行深度分析。 网络性能管理可以帮助管理人员厘清哪些是正常之流量、哪些是异常流量，以及异常流量的来源与发生之原因。针对可能是由病毒或是黑客攻击所产生之异常流量﹐我们可以利用下面几个步骤来判断其发生原因。 一、发现异常流量 二、判断此异常流量所属之应用程序 三、找出异常流量发生之原因与散播对象 四、针对已知之病毒特征预先告警 成功的性能管理不但能帮助发现这些未知之病毒与攻击行为﹐还可以对已知之病毒与攻击方式加以警戒﹐防患于未然。已知之病毒与攻击方式﹐如红色代码病毒以HTTP作为攻击媒介﹐冲击波病毒利用微软之TCP 135端口来散播﹐SQL Slammer 则利用UDP 1434端口来传送大量数据包﹐黑客利用ICMP进行拒绝服务之攻击等﹐当这些特征一旦出现在网络上﹐网络性能管理系统就可以实时侦测并发出告警给相关人员﹐并且提供详细信息﹐如造成异常流量之应用程序、是哪些主机所造成的、这些异常流量又被传送什么地方等等﹐可以帮助管理人员节省不少除错与排障所花之时间﹐在损失尚未扩大前﹐就将问题解决﹐以减少企业因网络中断或是性能下降所造成之损失。 目前，许多银行、政府机关与企业关心网络带宽被非法使用，包括大量非法下载软件、图片、音乐或影片，为了加强内部控管，对网络带宽有效利用，网络性能管理也可以针对此类型之异常流量进行有效的监控，避免因为这些非法使用而导致企业重要业务的运行与网络资源之浪费。 同时网络性能管理可协助网管人员知道哪些人，在什么时间，做了什么事，以监控企业外部联机行为，例如对企业网站联机状况与交易进行监控，以防止网站内信息被外部用户非法下载与利用，造成资料外泄；并且保障网络服务之安全性。 除此之外﹐一个强大的网络性能管理系统可以接收不同的资料来源﹐我们可以将企业网络简单的分成三大部分﹕核心层、分布层与接入层。核心层为企业之骨干网络﹐是流量之汇聚点﹐通常也是重要服务器所在之位置﹔分布层则包括了Internet线路与分支机构之专线等﹔而接入层则代表各用户计算机连接到企业网络之交换机。一般来说企业对Internet出口与服务器群会有防火墙或是IDS系统侦测﹐在这些地点可以部署硬件流量分析器﹐如硬件探针﹐来监控这些重要的线路之完整OSI七层数据。连接分支机构、远端办事处或是上Internet之专线可以收集与分析网络设备所产生之流量统计资料﹐如Cisco probe、Cisco NetFlow等﹐进行实时监控与报表。接入层部分可以利用交换机之mini-RMON、SNMP MIB2或是Foundry sFlow数据来监控每个交换机端口之流量状态。如此一来﹐便架构起对整体企业网络完善之异常流量分析与监控。当企业网络任何地方有异常流量出现时﹐可以立即接收到告警﹐并且藉由网管性能管理平台找出异常流量发生原因与发生位置﹐解决潜在或是已知之问题。 NetScout 所建立之完整企业网络异常流量监控： 企业网络 监控对象 资料来源 核心层 骨干网与服务器 nGenius Gigabit Ethernet probe 分布层 Internet出口 nGenius WAN probe, Cisco NetFlow 接入层 最终用户 Mini RMON, SNMP MIB2, Foundry sFlow 网络性能管理为网络管理的一部分﹐相较于一般网管平台强调网络设备之管理﹐或是网络安全管理系统提供之防毒与防黑客入侵﹐网络性能管理所着重的是流量的监控与分析。我们将再下一期介绍如何在这些网络管理系统内各取所长﹐整合为完整解决方案﹐来达到企业之需求﹐以提供最广泛且具深度的网络管理﹐发挥网络的最大效益。 整合网络性能管理与其它网管系统﹐提供完整解决方案 我们在前两篇文章中描述了网络管理四个阶段与如何利用网络性能管理监控异常流量﹐相信大家已经了解网管与网络性能管理之功能与优势。迈向高速网络时代﹐网络带宽不断增加﹐网络架构越来越复杂并且整合了多样化之网络硬设备﹐单一网管平台已经无法满足网管人员需求﹐需要整合不同类型之网管系统﹐以达到企业网络全面性之监控与管理。 随着网管的范围与架构迅速扩充﹐所要管理的网络设备与网络流量也大量增加﹐包括交换机、路由器、服务器、防火墙、IDS等网络设备﹐在局域网与广域网传送之资料、语音数据﹐数据库、存储系统等。网管系统中有专门管理网络设备之网元管理系统、侦测网络状态与故障检测之运行管理系统、监控网络流量之性能管理系统与仿真网络业务之业务管理系统。这么多不同系统加上不同网络设备所产生之资料﹐往往造成管理上之困难﹐包括了管理工具之混乱与资料来源之混乱﹐不仅各系统无法兼容、不同之操作方式与系统﹐让管理人员与使用者需要花更多时间来学习与自行整合﹐造成昂贵的总拥有成本(Total Cost of Ownership)﹐更无法有效的利用这些系统与资料来管理企业网络。 整合不同网络管理系统﹐充分利用相同的资料来源与采用统一之解决方案﹐已经成为目前企业选择网管系统之趋势。在网管之四个阶段中-设备管理、运行管理、性能/服务管理与业务管理﹐同时可以支持多个管理阶段之解决方案﹐并可以垂直整合其它网管系统将会是今后发展之趋势。由不同资料来源对应到网管四个阶段﹐我们对整个网管系统与资料来源之整合有更详细之认识﹐如下表﹕ 资料来源 资料种类 提供数据 网管阶段 网络设备 SNMP MIB CPU, RAM, port 利用率, 用量等, 为OSI 第二层数据 设备管理, 运行管理 网络设备 NetFlow, sFlow 主机与对话列之IP与应用程序之用量, 为OSI第三层与第四层数据 运行管理, 性能/服务管理 线路流量 原始数据包 完整之流量资料, 为OSI第二层到第七层数据 运行管理, 性能/服务管理, 业务管理 NetScout之资料共享模型（CDM，Common Data Model）即是建立一个共同之资料平台﹐以支持不同的资料来源﹐包括来自网络设备本身之信息、网络设备所提供之资料与实际在网络上运行之流量资料。CDM架构目的在提供一个简单化和高效能的环境来保证和充分发挥网络服务的品质﹐以确保资料的连贯性、保护网络投资与支持企业网络的发展。利用这个共同平台可以将这些资料提供给不同网管系统﹐整合为统一之解决方案﹔以下为实际案例来说明CDM架构如何与不同网管系统整合。 知名的网络业务仿真与模型建立厂商OPNET利用CDM架构﹐作为其应用业务预测与规 划与建立运作模型时之主要资料来源。OPNET之IP Guru利用nGenius所收集到的实际对话与流(Flow)数据﹐来制作“应用特征” 模型﹐以分析实施新的应用程序对网络的影响。nGenius还可以帮助判定什么时候可能出现问题。OPNET之IT Guru通过nGenius所收集封包层流量的信息可进一步将问题进行隔离分析﹐预测出如何改变应用程序﹐网络或服务器的设定来有效地排除网络和应用系统的故障。企业因此能对新业务或是新的网络架构更正确地建立运作模型与仿真分析﹐保证在实施新的应用系统时优化的网络服务。 企业网络使用计费系统（UBB，Usage Based Billing）让企业各部门分担了网络建置投资与维护成本，及时识别不良或性能低的网络或应用系统。如此一来﹐员工能更珍惜网络带宽使用，保障重要之应用系统能维持好的效能，减少网络中断或是品质下降所造成之损失，并且可以长期分析网络使用行为模式，做为网络优化之基础。而如何收集企业内各分公司、各部门之网络流量呢﹖NetScout Systems与一家主要的使用计费解决方案供货商合作将CDM导入到计费系统﹐CDM利用分布式的nGenius探针（probe）作为主要的资料来源﹐收集与统计各分公司与部门之网络流量﹐以提供计费系统各部门网络用量﹔同时﹐监控各部门之网络与应用服务性能﹐当故障发生时﹐利用nGenius系统所收集的资料来排除故障。 除了与其它业务管理与性能服务管理系统整合外﹐CDM也可以充分与运行管理系统结合﹐提供一个完整的网络设备与流量监控分析解决方案。HP OpenView为目前全球使用最普遍之运行管理系统﹐nGenius Performance Manager可以与HP OpenView系统结合为同一个操作平台。 在HP OpenView Network Node manager (NNM)下﹐可以检视网络拓朴下各个设备之状态﹐包括了交换机、路由器、服务器与探针﹔也可以进入nGenius Performance Manager针对分析网络流量﹐以监控网络与应用性能与故障排除。CDM与HP OpenView整合带给企业用户无论是在设备的监控或是网络流量的监控﹐都能完整兼顾与整合在单一平台上﹐减少工具混乱与完整支持不同资料来源。 网络上另外一个重要的议题就是网络安全﹐网络管理系统与网络安全系统之整合也是未来重要之趋势﹔以IDS(Intrusion Detection System)为例﹐与CDM整合可以帮助IDS系统提早在企业网络外部就发现可疑之攻击行为﹐并过滤正常之应用系统之流量如语音、多媒体流等﹐减轻IDS工作负担﹐减少IDS因硬件性能限制而发生误判之错误﹐造成企业重大之损失。 CDM与网络安全整合还可以为网络安全监控(Network Surveillance) 厂商提供7*24小时数据包捕获和详尽的对话列(conversation pair) 信息﹐从而使它们能作出更加准确的流量分类(profiling)和异常网络行为分析。利用CDM将重要网段上之所有流量备份至服务器中﹐利用这些原始数据包﹐管理人员可以分析其流量﹐统计用量最高之使用者与应用业务﹐进而做长期流量趋势分析﹔当有故障发生时﹐可以利用CDM所提供之原始数据包trace档案﹐利用专家系统分析可能发生故障之原因﹔当有黑客入侵时﹐更可以完整纪录其行为﹐找出被攻击之服务器与应用系统﹐配合网络回放系统﹐完整回放其活动﹔完整之网络纪录可以提供日后安全检查﹐如网上银行之用户行为、企业研发之资料控管、国家之机密传送与商业网站之客户行为监控等。这也是未来网络性能管理与网络安全最好之整合解决方案﹐利用相同之资料来源进行网络上不同之控管。 从以上的介绍中﹐我们了解到对于网络管理系统之间与网络安全的一些整合实例﹐网络管理系统是用来管理企业整体网络﹐以发挥其效益﹐增加企业之竞争力与生产力。若是无法有效管理不同之网管系统﹐以充分发挥其功效﹐那么企业网络也就无法完善地管理。整合不同产品为单一解决方案已经成为目前网管系统之趋势﹐利用CDM共同数据平台﹐将不同资料来源整合并提供给不同网管应用系统与网络安全系统﹐不仅减少重复投资与工具浪费﹐并可以充分统一企业网络中不同之资料来源﹐以支持不同网管系统﹐达到企业网络全面性之监控与管理。