利用Netflow进行网络安全管理
1 电信运营商互联网安全面临的挑战
随着宽带互联网在中国的迅速发展，中国各大电信运营商的网络规模都在不断扩张，接入的企业用户和个人用户也在成爆炸性增长。而且越来越多的宽带接入用户已经把互联网作为进行企业运作，电子商务和通信沟通的主要平台。互联网上传送的已不再只是网页浏览，电子邮件等单纯的个人通信，而且也包括了银行在线交易，商务视频/语音会议，企业ERP，电子订单等等任务要害型的通信流量。保障这些要害通信业务的安全和服务不中断是运营商提升服务质量，赢得高端用户必不可少的要求。
但在当前环境下，与互联网规模迅速发展相伴随的还有网络安全攻击的频繁涌现。黑客对网络攻击的目标已经由几年前的攻击个别服务器、企业网站扩展到了对整个互联网基础设施的攻击，并希望由此造成整个互联网及其承载的要害业务的整体瘫痪。其中危害较大的攻击方式主要有两种：DDoS攻击和蠕虫病毒。对这两种可能对互联网造成大范围网络瘫痪和巨大经济损失的网络安全事故，运营商需要采用一切必要技术和治理手段进行防范。
DDoS攻击和蠕虫病毒对运营商网络的攻击原理虽然不同，但他们也有内在的共同特点。那就是这两种网络安全攻击都会表现为网络流量的忽然急剧增大，迅速耗尽运营商网络的所有带宽资源，造成普通用户的正常通信阻断，进而瘫痪用户业务甚至整个互联网。如何迅速发现网络中出现的通信流量异常，并及时确定异常通信的准确技术参数（如攻击的来源，异常通信的具体流向和流量信息，占用的网络端口，持续的时间等）是治理员能否在短时间内对网络安全攻击做出正确响应，减少其对运营商网络和用户业务影响的一个要害因素。
2 Netflow技术简介
作为业界领先的互联网解决方案提供商，思科公司不但提供了性能卓越的网络设备，还同步为网络设备配套研发了一系列内嵌式智能网管代理。其中就包括主要用于网络流量/流向分析和网络异常通信检测的Netflow技术。下面对Netflow技术做一个简单介绍。
Netflow技术的起源
Netflow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的，并于同年5月注册为美国专利，专利号为6,243,667。Netflow技术首先被用于网络设备对数据交换进行加速，并可同步实现对高速转发的ip数据流(Flow)进行测量和统计。经过多年的技术演进，Netflow原来用于数据交换加速的功能已经逐步由网络设备中的专用ASIC芯片实现，而对流经网络设备的IP数据流进行特征分析和测量的功能也已更加成熟，成为了当今互联网领域公认的最主要的IP/MPLS流量分析和计量行业标准，同时也被广泛用于网络安全治理。利用Netflow技术能对IP/MPLS网络的通信流量进行具体的行为模式分析和计量，并提供网络运行的准确统计数据，这些功能都是运营商在进行网络安全治理时实现异常通信流量检测和参数定性分析所必需的。
IP网络中的数据流（Flow）信息
为对运营商网络中的异常流量进行检测，首先需要对网络中不同类型业务的正常通信进行基线分析，包括测量和统计不同业务日常的流量和流向数据并计算基线的合理范围。
为完成上述对不同类型业务的测量工作，首先需要对网络中传输的各种类型数据包进行区分。由于IP网络的非面向连接特性，网络中不同类型业务的通信可能是任意一台终端设备向另一台终端设备发送的一组IP数据包，这组数据包实际上就构成了运营商网络中某种业务的一个数据流（Flow）。假如治理系统能对全网传送的所有Flow进行区分，准确记录每个Flow的传送时间、占用的网络端口、传送源/目的地址和数据流的大小，就可以对运营商全网所有通信的流量和流向进行分析和统计，进而计算出正常通信的基线以及发现突发的异常通信流量。
通过分析网络中不同Flow间的差别，可以发现判定任何两个IP数据包是否属于同一个Flow实际上可以通过分析IP数据包的下属7个属性来实现，即数据包的：
·源IP地址
·目标IP地址
·源通信端口号
·目标通信端口号
·第三层协议类型
·TOS字节（DSCP）
·网络设备输入（或输出）的逻辑网络端口（ifIndex）
·思科公司的Netflow技术就是利用分析IP数据包的上述7个属性，可以快速区分网络中传送的各种不同类型业务的Flow。
对区分出的每个数据流Netflow可以进行单独地跟踪和准确计量，记录其传送方向和目的地等流向特性，统计其起始和结束时间，服务类型，包含的数据包数量和字节数量等流量信息。对采集到的数据流流量和流向信息，Netflow可以定期输出原始记录，也可以对原始记录进行自动汇聚后输出统计结果。
Netflow的处理机制
从发明之初思科公司的Netflow技术就已完全融入了IOS操作系统中。由于Netflow技术支持几乎所有类型的网络端口类型，所以每台内置有Netflow 功能的思科网络设备都可以作为网络中一台能够测量、采集和输出网络流量和流向治理信息的实时数据采集器。而且因为Netflow实现的治理功能是由网络设备本身完成的，所以运营商无需购买额外的硬件设备，也无需为安装这些硬件设备占用宝贵的网络端口或改变网络链路的连接关系。这些都将转化成对网络运营成本的大幅度降低，对运营商级的大型网络优势尤其明显。
同时作为一种网络通信的宏观分析工具，Netflow技术并不分析网络中每一个数据包中包含的具体信息，只是对传送的数据流的特性进行检测，这就确保了Netflow技术具有极大的规模可扩展性：支持高速网络端口和大型的电信网络。
为进一步提高Netflow技术对网络流量/流向信息进行采集和统计的效率和灵活性，Netflow还引进了多级的处理流程，如下图所示：
图1 NetFlow的处理流程
在预处理阶段，Netflow可以首先根据网络治理的需要对特定级别的数据流进行过滤或对高速网络端口进行数据包抽样，这样可以在确保需要的治理信息被采集和统计的同时，减少网络设备的处理负荷，增加全系统的可扩展性。
在后处理阶段，Netflow可以选择把采集到的数据流原始统计信息全部输出，由上层治理服务器统一接收后再进行数据的分类处理和汇总；也可以选择由网络设备自身对原始统计信息进行多种形式的数据汇聚，只把汇总后的统计结果发送给上层治理服务器。由网络设备进行原始统计信息的汇聚可以大大减少网络设备输出的数据量，降低对上层治理服务器的配置要求，提高上层治理系统的扩展性和工作效率。
Netflow支持同时向两个治理服务器地址输出采集到的网络流量和流向统计信息，输出数据的方式有三种：
·简单高效UDP传输协议方式（传统方式）。但由于采用了UDP协议，数据传输的可靠性是不保证的。
·SNMP MIB方式。治理服务器可以通过SNMP协议访问网络设备Netflow MIB库中存储的数据流Top N统计结果。
·可靠的SCTP传输协议方式。利用SCTP传输协议，支持拥塞识别，重传和排队机制，确保Netflow统计结果数据正确发送给上层治理服务器。
Netflow的版本演进
在Netflow技术的演进过程中，思科公司一共开发出了5个主要的实用版本，即：
·Netflow V1，为Netflow技术的第一个实用版本。支持IOS 11.1，11.2，11.3和12.0，但在如今的实际网络环境中已经不建议使用
·Netflow V5，增加了对数据流BGP AS信息的支持，是当前主要的实际应用版本。支持IOS 11.1CA和12.0及其后续IOS版本
·Netflow V7，思科Catalyst交换机设备支持的一个Netflow版本，需要利用交换机的MLS或CEF处理引擎。
·Netflow V8，增加了网络设备对Netflow统计数据进行自动汇聚的功能（共支持11种数据汇聚模式），可以大大降低对数据输出的带宽需求。支持IOS12.0(3)T，12.0(3)S12.1及其后续IOS版本。
·Netflow V9，一种全新的灵活和可扩展的Netflow数据输出格式，采用了基于模板（Template）的统计数据输出。方便添加需要输出的数据域和支持多种Netflow新功能，如Multicase Netflow，MPLS Aware Netflow，BGP Next Hop V9，Netflow for IPv6等。支持IOS12.0(24)S和12.3T及其后续IOS版本。在2003年思科公司的Netflow V9还被IETF组织从5个候选方案中确定为IPFIX（IP Flow Information EXPort）标准。
Netflow数据输出格式
下面对网络流量和流向分析系统中最常使用的Netflow V5数据输出的数据包格式进行一个简单介绍。
下图为Netflow输出数据包的包头格式：
图2 Netflow V5输出数据包的包头格式
下图为包含在每个 Netflow V5输出数据包中的具体数据流的流量和流向统计信息的数据格式：
图3 Netflow V5输出数据包中每个数据流的具体流量和流向统计信息格式
Netflow V9的数据输出格式与V5有较大区别，主要是因为Netflow V9采用了基于模板式的数据输出方式。网络设备在进行Netflow V9格式的数据输出时会向上层治理服务器分别发送数据包模板和数据流纪录。数据包模板确定了后续发送的数据流纪录数据包的格式和长度，便于治理服务器对后续数据包的处理。同时为避免传输过程中出现丢包或错误，网络设备会定期重复发送数据包模板给上层治理服务器。
3 如何利用Netflow技术进行互联网的安全治理
利用Netflow技术，运营商治理员主要可以实现对网络异常通信的检测，重点防范DDoS攻击和大范围的蠕虫病毒发作，建议的处理流程如下：
·治理预备阶段：预先在网络设备上启动Netflow，并把Netflow采集到的网络通信流量和流向数据发送给运营商安全治理中心部署的相应Netflow分析和安全治理系统。治理系统通过分析日常Netflow采集到的统计数据，可以事先把握网络的流量分布状况以及全网通信的正常基线，并以此为依据为日后可能出现的通信异常进行评估。
·攻击发现和识别阶段：由于Netflow治理代理是内嵌在网络设备中的，当网络流量忽然出现异常时，Netflow可以迅速做出反应。异常通信的流量和流向统计信息可以被实时汇总到治理中心的安全治理系统。通过分析，治理系统可以区分出异常流量的具体属性，包括异常出现的时刻，通信的来源地址和目的地地址的分布，占用端口的分布状况，通信流量的峰值，持续的时间等等。
·攻击确认和分类阶段：根据分析出的异常通信的具体属性，以及与网络通信正常基线的比对，治理员可以快速定性出现的通信异常是否为网络安全攻击、确定安全攻击的类型和评估本次攻击的危险程度及可能造成的影响范围。对会造成大范围网络影响甚至业务瘫痪的恶性安全攻击需要进行实时告警。
·攻击追踪阶段：在确定安全攻击的类型和危险级别后，为便于在源头阻塞安全攻击，需要为进一步澄清安全攻击出现的原始来源以及除主要攻击源外是否还存在其它安全危险来源。治理员可以利用治理系统对Netflow采集到的原始攻击数据包的具体特性进行察看，查找最先出现攻击的数据源，以及随时间的发展是否还有其它新的安全攻击数据源的出现。
·处理阶段：在确认了所有主要安全攻击的来源后，治理员可根据本次所受攻击的特点采用相应技术手段实施事故应急处理，如为出现攻击的网络端口配置入向或出向的访问控制列表，对特定类型通信流量进行限速等。通过这些技术措施可以对网络安全攻击流量进行阻断，防止其对大范围网络的运行造成影响。
·后续监视阶段：在安全攻击被阻断后，全网所有设备中的Netflow治理代理还会继续对网络通信流量进行采集和检测，汇总到治理系统的统计数据可以评估是否所有攻击都已经被屏蔽，并持续监视是否还有新的安全攻击的出现。
为更好地帮助电信运营商利用思科的Netflow技术对互联网进行有效的安全治理，思科公司还与多家业界知名的安全治理系统开发商达成了技术合作，合作利用Netflow技术开发电信级的网络安全治理系统。现在市场上支持思科Netflow技术的网络安全治理系统有多种，如思科公司自己提供的Cisco Info Center治理系统，以及如Arbor Networks公司，Mazu Networks公司，Adlex公司等多家第三方厂商提供的安全治理软件。
