NETFLOW技术原理 流量分析技术

NETFLOW技术原理 第三章 目录 NETFLOW技术原理 主流流量工具简介 实验 使用NETFLOW对网络流量进行分析 NetFlow原型 NetFlow 的7个关键字 Flow是由7个关键字段标识单方向的连接 IPsrc，源IP地址 IPdst，目标IP地址 srcPort，源通信端口号 dstPort，目标通信端口号 Protocol，第三层协议类型 TOS，TOS字节（DSCP） Ifindex，网络设备输入（或输出）的逻辑网络端口 NetFlow原理－1 每当路由器端口上收到一个数据包，都会扫描这7个字段来判断次数据包是否属于一个已经存在的flow 是>相应的flow记录内的数据包数，整个flow过程的字节大小就会相应增加 否>一条新的描述这个session的flow在cache中生成 在新的flow不断生成的同时，cache内过期的flow记录以UDP方式导出 NetFlow原理－2 支持NetFlow的设备 对于不支持netflow的设备 读入流量，生成netflow数据 Nprobe v5/v9/nFlow Probe for IPv4/v6 Packet Size (Bytes): Throughtput (Pkt/sec) 64 ~ about 144 Mbit 512 ~ about 850 Mbit 1500 ~ about 970 Mbit GPL：但是不免费 NetFlow版本 版本 V5 版本 v8 版本v9 版本v9 NetFlow的性能 CPU With ~ 10000 active flows: 7.14 percentage points of additional CPU utilization With ~ 45000 active flows: 19.16 percentage points of additional CPUutilization With ~ 65000 active flows: 22.98 percentage points of additional CPU utilization 带宽 Netflow is very efficient, the amount of export data being about 1.5% of the switched traffic in the router NetFlow实测对比 CISCO实测 某省骨干端口GE口GSR12416 CPU前后没有变化2％ 平均入流量在650M，采样率为500的时候 15分钟平均flow条数为110000万条 每秒122条flow 122*1.4k=171k/sec 预期：650M的百分之一6.5兆=6500k Juniper实测 某省骨干端口GE JUNIPER M160 CPU前后没有变化3.76％ 平均入出流量在380M，采样率为100的时候 15分钟平均flow条数为700000万条 每秒778条flow 778*1.3k=1011k/sec 预期：380M的百分之一3.8兆=3800k NetFlow采样 Significantly reduces CPU utilization 采样模式 Deterministic sampling: select every Nth packets, with N specified by the user. Random sampling: randomly select one out of N packets with N specified by the user. Time based sampling: select a sampled packet every N milli-seconds Random sampling is considered the best technique for packet sampling NetFlow采样 新推出 Available on Cisco routers in 12.3(7)T and 12.2(25)S 从翻的MIB里面看主要是TOP x属性 “ciscoNetflowMIB” “1.3.6.1.4.1.9.9.387” E.g. “cnfTopFlowsNhAddressType” “cnfTopFlowsNhAddress” “cnfTopFlowsDstPort” “cnfTopFlowsDstAS” “cnfTopFlowsInputlfIndex” NetFlow开源产品 主流的开源产品包括：flow-tools、stager、Cflowd、CUFLOW、SiLK... 特征: 命令行或者简单图形 命令行功能丰富 图形的一般都基于rrdtools 图形的一般都基于TOPN表示 NetFlow商用产品 商用产品 Mazunetworks 基于网络的IPS系统 NetScout 网络性能管理综合解决，探针 Protego SI/EM之上的STM，刚被cisco收购 Adlex Arbor 见后 GenieNRM 见后 Arbor，Adlex是CISCO安全策略合作伙伴 Flow tools Arbor 支持NetFlow V5，V7，V9，probe Peakflow SP（最新的arbor主页无法看到DoS和Traffic，合并了？） Peakflow DoS：主要侧重于网络内的异常行为 Peakflow Traffic：主要侧重于流量和路由行为 国外较多网络宽带提供商据使用的是Arbor的产品，如： AT&T, British Telecom, EarthLink, Qwest, Sprint GenieNRM NTG 支持NetFlow V1，V5，V7，Netstream，sFlow，探针NTG 提供流量统计、流量成分分析以及Top-N排名 功能侧重于历史流量等，安全方面相对弱 Need money to use their products. Arbor Netflow hardward 硬件 Arbor高端peakflow sp CPU：Intel Xeon 2.4G，512K 操作系统：OPENBSD 内存：2G ram 硬盘：双147G （RAID 1） 网卡：2口 10/100/1000兆 分析性能：每个收集器可处理20000个Flows/秒-NTG 只有性能，操作系统等关键问不告知 NetFlow的应用 IDS and analysis 异常流量 异常流量分析 Top N 模式匹配 TCP标志位 ICMP 基线 异常追踪 Source IP Source AS DDos 强调traceback，not defense 与backscatter相比，到dst的网络不中断！ 选择性切断 Ifindex - spoof ip Octets with same size Traffic diversion NetFlow的应用 对网络内的应用进行观测和分析 最受欢迎的HTTP SERVER? - XXX ;) TOPN应用 TOPN活跃的网段，主机 谁在BT，睡在架设私服，谁在发垃圾邮件 某种应用的历史实时曲线 QoS ... ... NetFlow优点与缺点 优点 面向网络核心设备 没有payload，适用于高宽带 检测未知的网络攻击/蠕虫，大规模爆发 基于统计的异常模式分析 缺点 没有payload 存储，处理要求 网络设备支持性 设备性能影响 NetFlow适用范围 对高带宽，网络骨干，重点区域的监控 NetFlow配置－1 配置netflow版本号 在config全局状态下 (config)#ip flow-export version 5 此命令将netflow配置为版本5 本程序暂时只支持netflow版本V1、V5、V6 实验会做一个snmp看配置，shut down端口等等 Netflow查看流量情况等。 NetFlow配置－2 配置netflow服务器地址和端口号 config全局状态下： (config)#ip flow-export destination xxx.xxx.xxx.xxx 55888 xxx.xxx.xxx.xxx为netflow服务器地址，即运行netflow版流量监视程序主机的IP地址 55888为服务端口号 NetFlow配置－3 配置Cisco系列路由器/交换机 每个接口上,例如 interface fastethernet0/0 interface fastethernet0/1 config全局状态下： (config-if)#ip route-cache flow NetFlow配置－4 配置时区、时钟 在Config全局状态下 (config)#clock timezone Beijing 8 此命令配置为北京时间，+8时区 NetFlow配置－5 设置日期时间 在enable状态下 #clock set 17:05:00 6 aug 2003 此命令配置为2003年8月6日17时05分00秒 注意： 要先配时区，后设置日期时间 接收netflow报文的计算机也要配置成相应的时区 有的Cisco机型掉电后，需重新设置日期和时间 Need money to use their products. 实验会做一个snmp看配置，shut down端口等等 Netflow查看流量情况等。