1 概述
随着电网信息化程度越来越高， 配电网生产、 管理及营销的信息集成度越来越高， 信息部门承载的业务工作也日益沉重， 尽管各种业务在上线前都有过严格的测试， 但实际环境的复杂程度远远高于单纯的压力测试环境， 各种业务系统在上线后总是会遇到各种无法预测的问题。 网络带宽、 网元健康状况、 网络策略、终端性能、 用户使用习惯、 服务器性能、 程序设计……众多相互关联的因素都会影响到业务的质量， 任何一个环境都可能造成业务质量的下降， 孤立的去监控某个元素无法保证整个端到端的传输质量。
另外， 随着云计算技术的快速发展， 电网数据中心很多业务都逐渐迁到云数据中心网络。 云计算是一种按需分配 IT 资源的新模式， 其依赖的虚拟化技术，则通过一虚多的方式进一步提高硬件资源的利用率。 租户随时可以按需购买、 动态扩展相应的资源规模， 而相应的租户网络也需要随之动态变化， 这就对云数据中心的网络运维提出了非常高的要求。 因为网络虚拟化之后， 物理网络之上还多了一层虚拟化的网络(overlay)， 网络的逻辑拓扑随着租户规模增长、 资源动态变更而愈发复杂化。 这个时候一旦出现网络故障， 很难快速地发现并定位问题。在监控方面： 传统的 Netflow、 sFlow、 IPFIX 等网络监控方案是基于采样的， 在性能上有缺陷。 在 OVS (Open vSwitch )里集成的这些技术是基于 Per-packet中断和 netlink 上报实现的， 性能上有瓶颈而无法满足云网监控的需求。 传统解决方案对网络分析不够充分： 首先无法按需进行灵活的、 细粒度的数据采集， 传统网络只需要五元组数据， 而虚拟化网络里的租户五元组信息可能是一样的; 传统网络的控制和转发没有剥离， 无法通过控制面来定义要采集什么样的流量; 对流的描述方式还是传统的五元组， 无法描述虚拟化网络里多元组信息， 比如带tunnel 封装的和带 VLAN 封装的信息， 因为相同 IP 对应的可能是不同的租户。对于 Overlay 的一些包和 IP 分片的处理也有局限。
电网信息部门需要从网络的角度监控(包括传统数据中心和云数据中心)、分析整个业务的流程， 实现全局网络的可视化管理， 把握实际环境中各因素对业务质量的影响， 用量化数据指导信息化建设， 从科学的角度去规划、 优化网络与业务系统。
针对某地市供电局当前网络与业务管理工作现状的分析， 为解决其中存在的上述各种问题和困难， 西麦科技为该供电局信息部门搭建了一套基于 SDN 云网控制器+ vTAP 数据采集分析解决方案。 SDN 技术通过控制和转发分离， 将网络设备控制面集中到 SDN 云网控制器中， 实现网络转发设备的全局化统一管理。 SDN 云网控制器既支持对 OpenFlow 交换机的管理， 又兼容传统网络设备管理。 SDN 云网控制器结合 vTAP 利用 OpenFlow 协议的 40 元组匹配域信息实现更细粒度的数据采集和展示。 该解决方案针对核心链路、 关键业务应用、 传统数据中心、 云数据中心的主要环节进行了持续地监控， 掌握各种应用的使用情况， 深入分析应用的流量模型及性能变化模型， 用以故障预防， 并为网络与应用的规划和运行管理提供依据。
2 现状及需求分析
某地市供电局的网络组网概况如图 1 所示， 现有网络存在 2 个云数据中心，但是云数据中心之间资源各自独立， 随着业务系统不断建设， 市局 IDC 云数据中心存储资源越来越紧张。 而当前 A 分局云数据中心只承载培训中心相关系统、 自助缴费系统、 人力资源管理相关系统等， 云存储资源利用率不足 20%。 如何充分灵活利用 2 个云数据中心存储资源， 实现存储资源共享， 虚拟机可随意迁移， 是供电局面临一大难题。
另外， 供电局现有 IDC 数据网及城域网骨干节点， 分别归属信息部及调度中心， 信息部无法全局视野监控网络、 监控颗粒度不够细， 比如云数据中心中虚拟机之间的东西向流量无法监控、 跨网业务网络无法集中监控， 造成网络出现故障时， 存在网络故障发现时间长、 故障定位周期长、 多部门协调排障时间长等问题。
图 1 供电局现网组网图
为解决以上问题， 西麦科技提出一套基于 SDN 云网控制器 + vTAP 数据采集分析解决方案， 通过 SDN 云网控制器控制指令结合 VXLAN 网络技术， 在云数据中心间部署 vTAP 设备实现多数据中心大二层架构， 实现云数据中心资源共享。 通过在各分局及数据中心部署 vTAP 设备实现网络流量全局可视。
3 整体解决方案
3.1. 方案描述
基于 SDN 云网控制器+ vTAP 数据采集分析解决方案， 主要通过利用西麦 SDN云网控制器及西麦 vTAP 产品实现 2 个云数据中心大二层架构及全局流量可视。
西麦 SDN 云网控制器
西麦 SDN 云网控制器是基于 ODL(OpenDaylight) 架构的可编程控制器， 支持软硬件部署， 软件主要部署在虚拟机环境， 硬件采用基于 x86 架构的服务器平台来实现。 控制器支持 OpenFlow、 NETCONF、 OVSDB、 BGP-LS、 PCEP、 SNMP 、OF-Config 等南向接口协议，通过 OpenFlow 协议实现对 OpenFlow 交换机的控制，流表下发， 通过 Netconf 接口协议实现对传统网络设备的控制和配置下发。 开放的北向 API： 支持软件定义数据中心， 软件定义广域网， 软件定义企业园区网等应用场景。 西麦 SDN 云网控制器通过将控制面和转发面进行分离， 实现全局网络设备统一控制; 控制器与云管理平台相结合， 实现全局业务策略的统一编排和下发， 实现全局网络拓扑可视， 流量智能调度。 将 SDN 云网控制器运用于数据中心互联网络还可以实现端到端的网络业务快速部署。
西麦 SDN 云网控制器具体功能：
● 流量可视化
支持基于 sFlow、 Netflow、 SNMP 等协议采集并处理流量信息
支持端口、 链路、 协议流量分析
支持网络拓扑、 链路连接关系、 业务流量的可视化呈现
支持曲线图、 条状图、 饼图等统计报表的呈现
支持流量的诊断， 监控和自动警告
● 基础网络服务功能
提供拓扑管理
提供统计数据管理
提供交换机管理
提供转发规则管理
提供主机跟踪
提供地址解析协议管理
● 内嵌服务功能
LISP Service、 GBP Service、 DOCSIS Abstraction
Reservation、 VPN、 Persistence、 LACP、 SFC
L2Switch、 SDNi Aggregator、 DIDM
TOPO Processing、 VTN Manager、 NIC、 TSDR
● 其他
提供交互式 Web UI
支持控制器的集群部署
支持通过 Neutron 与 OpenStack 集成
具有模块化、 可扩展的控制器核心
支持运行时业务或应用的安装、 更新、 删除等插拔操作
支持插件的版本控制和生命周期管理
◆ 西麦 vTAP
西麦 vTAP 支持软硬件部署， 软件主要部署在虚拟机环境， 硬件采用基于Intel 芯片的服务器平台来实现， 通过旁挂方式部署。 vTAP 主要由两个功能模块构成的： 数据处理模块和 VTEP 模块， 数据处理模块通过 Open vSwitch 实现数据的采集， 交换和转发， VTEP 模块主要实现数据的 VXLAN 封装和解封装。 vTAP 通过 DPI 技术实现对数据过滤控制， 如数据去重、 切片、 脱敏、 逐流过滤、 会话跟踪、 3G/4G 隧道内外层 IP 识别、 视频流识别、 P2P 数据识别、 数据库识别、 聊天工具识别、 HTTP 协议识别、 流标识、 流重组等， 为客户提供了便捷高效的数据采集分析展示。
西麦 vTAP 具体功能特性如下：
● 复制
万兆智能网络分流器设备可以对原始输入流量和预处理后流量按 1 路信号复制到 N 路信号的线速复制， 完美的解决了网络中同时部署两台以上的多端口监听旁路设备的需求。
● 汇聚
万兆智能网络分流器设备可以对 N 路的原始输入流量和预处理后流量， 按 N路信号汇聚后复制到 M 路信号的线速复制， 完美的解决了网络中多个采集节点同时部署两台以上的多端口监听旁路设备的需求。
● 分流
万兆智能网络分流器设备可以对输入的数据流进行精确分类， 将不同数据业务按需分流至多个接口输出。 支持基于 ethernet type、 vlan tag 标记， IP 五元组、 IP 碎分析、 tcp flag 标识位、 报文特征等元素灵活组合， 进一步满足各类网络安全设备、 协议分析、 信令分析、 等流量监控部署需求。
● 过滤
万兆智能网络分流器设备可以对输入的数据流， 按报文特征执行白名单或黑名单规则， 丢弃或转发报文。 支持来源端口、 五元组标准协议域、 源/目的 MAC地址、 IP 碎片标记、 传输层端口范围、 以太网类型字段、 VLANID、 TCPFlag、 数据包长度、 固定偏移特征、 逐流过滤、 会话跟踪、 3G/4G 隧道内外层 IP 识别、视频流识别、 P2P 数据识别、 数据库识别、 聊天工具识别、 HTTP 协议识别、 流标识、 流重组等方式， 进一步满足各类网络安全设备、 协议分析、 信令分析、 等流量监控部署需求。
● 负载均衡
万兆智能网络分流器设备可依据帧的 MAC 信息、 IP 信息、 端口号、 协议等L2-L7 层特征进行 Hash 算法和基于会话的权重分算法的负载均衡， 以保证旁路监听设备接收到数据流的会话完整性， 且分流端口组成员在链路状态发生变化时可灵活退出(链路 DOWN) 或加入(链路 UP)， 分流组自动重新分配流量， 保证端口输出流量的动态负载均衡。
● 隧道协议识别
万 兆 智 能 网 络 分 流 器 设 备 可 自 动 识 别 各 种 隧 道 协 议GTP/GRE/PPTP/L2TP/PPPOE 等， 可根据用户配置决定根据隧道内层或者外层特征实施流量输出策略。
● MPLS 和 VLAN 多层标签识别
万兆智能网络分流器设备可自动识别多层 MPLS 和多层 VLAN TAG 标签并支持去标签功能， 可根据用户配置基于 MPLS Lable、MPLS TTL、VLAN ID、VLAN Priority等特征进行实施流量输出策略。
● 时间戳标记
万兆智能网络分流器设备可同步 NTP 服务器将时间校准后， 以相对时间的标签形式写入报文中(源 MAC 地址和目的 MAC 后四字节)， 时间的精度为纳秒级。
● MAC 地址替换和 VLAN TAG 标记
万兆智能网络分流器设备支持替换原始数据包中的源目的 MAC 地址和 VLAN TAG 标记， 可根据用户配置决定实施流量输出策略。
● 流量去重
万兆智能网络分流器设备支持对多个采集源数据对比， 在规定时间内对采集到的相同数据包进行去重复， 可根据用户配置决定实施流量输出策略。
● 数据切片(截短)
万兆智能网络分流器设备支持对原始数据进行切片(64-1518 字节可选)， 可根据用户配置决定实施流量输出策略。
● 敏感信息脱敏
万兆智能网络分流器设备支持对原始数据内的任意关键字段进行替换， 以达到屏蔽敏感信息， 可根据用户配置决定实施流量输出策略。
● 邮件类识别
万兆智能网络分流器设备通过应用层特征库支持各种邮件协议识别(如常用的五大邮件类型)， 可根据用户配置决定流量输出策略 。
● 视频类识别
万兆智能网络分流器设备通过应用层特征库支持各种视频协议识别(RTSP、MSTP 等流媒体播放器; PPTV、 迅雷、 QQ 影音等多种在线流媒体数据流。)， 可根据用户配置决定流量输出策略。
● 即时通讯类识别
万兆智能网络分流器设备通过应用层特征库支持各种即时通讯协议识别(如识别 QQ、 微信等实时在线聊天工具)， 可根据用户配置决定流量输出策略。
● 数据库类识别
万兆智能网络分流器设备通过应用层特征库支持各种数据库协议识别(如通用的 mysql、 ORACLE、 SYBASE、 MSSQL 等多种流行的数据库网络数据流。)， 可根据用户配置决定流量输出策略。
● 虚拟机流量监控
支持虚拟环境流量采集单元的采集,支持 VMware 虚拟环境的管理接口,支持OpenStack 虚拟环境下的管理接口。
3.2. 设计思路
1) 云数据中心间大二层架构实现
利用西麦 SDN 云网控制器， 通过标准的南向接口协议(如 OpenFlow)， 集中管理 vTAP 设备和 OpenFlow 交换机， 不仅减少了设备管理的复杂性， 并且扩展灵活， 部署便捷。 接入设备为 vTAP 设备和 OpenFlow 交换机， 主要负责物理主机和VM 接入， 支持 VXLAN 报文的封装与解封装。 IDC 核心交换机和源城局核心交换机主要提供 VXLAN 网关功能， 根据内层报文的 IP 头部进行三层转发， 支持跨VXLAN 之间的转发， 支持 VXLAN 和传统 VLAN 之间的互通。 这大大降低了接入设备的复杂性， 提高了网络性能。
该设计思路具有如下特性：(1) 可以支持虚机与非虚拟化的物理服务器之间的二层数据互通;(2) 用物理设备实现 VXLAN 路由功能， 提升网络的整体性能;(3) 控制面由 SDN 控制器实现， 提高了可靠性和可扩展性， 避免了大规模组播的复杂部署。
2) 全局流量可视监控
在市局 IDC 数据中心及各分局节点部署 vTAP 设备， 通过 VXLAN 协议镜像所有流量到汇聚 vTAP 设备上， 汇聚 vTAP 设备根据策略分发流量到对应流量安全分析设备; 所有 vTAP 设备策略均由西麦 SDN 云网控制器通过 OpenFlow 下发指令控制。
图 2 全局流量可视化实现过程
如图 2， 本方案全局流量可视化实现原理主要由流量采集、 流量汇集、 流量处理、 业务编排以及用户视图组成。 以网络流量的采集与深度检测为基本手段，
综合各种网络处理与信息处理技术， 对网络的物理链路、 逻辑拓扑、 运行质量、协议标准、 流量内容、 用户信息、 承载业务等进行监测、 识别、 统计、 展现、 管控， 进而大数据分析与挖掘， 实现网络管理、 信息安全与商业智能的应用系统。
这些技术包括流量采集和分流、 深度包检测(DPI)、 深度流检测(DFI)、 深度包提取(DPE)、 协议与应用识别、 协议还原、 流控等， 还包括分布式计算与存储、软件定义网络、 大数据、 流式计算等。
3.3. 逻辑架构
全局流量可视化架构整合了接入 vTAP 设备及 OpenFlow 交换机等。在流量采集方面， 通过虚拟的智能流量探针、 镜像复制等技术采集网络上的数据。 流量汇集器及流量处理中心是汇聚 vTAP 设备 2 个模块， 其中流量汇集器， 整合了目前行业主流的流量采集技术， 集中管理流量的数据。 流量处理方面， 通过流量处理中心， 可以对流量进行流量清洗、 分类、 去重、 数据处理、 数据切片、 过滤等操作。 用户界面在控制器实现， 通过不同的视图组件， 可以将网络流量数据展示给用户， 让用户了解网络的使用运行情况， 包括网络负荷、 用户分布与带宽占用、通信质量、 标准与服务水平符合度、 失效与故障风险等， 从而进行网络优化与运营维护等管理工作。
图 3 全局流量可视化架构
3.4. 方案部署
基于SDN云网控制器+vTAP数据采集分析方案
图 4 解决方案组网图
供电局基于 SDN+ vTAP 数据采集分析解决方案组网如图 4 所示， 本方案共分成 2 部分：
● 实现云数据中心大二层架构
组网描述： 为实现 IDC 数据中心与源城局云数据中心大二层架构， 将IDC_VM_vTAP 部署在市局 IDC 数据中心虚拟服务器主机群上， 作为 VXLAN 技术的VTEP 边界节点。 同理， YC_VM_vTAP 部署于源城局数据中心虚拟服务器主机群上也是作为 VTEP 边界节点。 2 个节点之间通过 VXLAN 隧道协议实现 2 个云数据中心跨三层网络实现大二层架构， 实现存储资源共享， 虚拟机随意迁移。
采用如下的思路配置实现：
(1) 分别在 vTAP 设备 IDC_VM_vTAP、 YC_VM_vTAP 上配置 VXLAN 隧道模式。
(2) 分别在西麦 SDN 云网控制器、 vTAP 设备 IDC_VM_vTAP、 YC_VM_vTAP 上配置路由协议， 保证网络三层互通。
(3) 分别在西麦 SDN 云网控制器、 vTAP 设备 IDC_VM_vTAP、 YC_VM_vTAP 上配置 OpenFlow， 建立控制器和 vTAP 设备之间的通信通道。
(4) 在 IDC 核心交换机及源城局核心交换机上配置 VXLAN 三层网关， 配置思路如下：
a. 分别为 vTAP 设备 IDC_VM_vTAP、 YC_VM_vTAP 配置业务接入点， 实现不同的业务报文通过不同的接口接入网络。
b. 分别为 vTAP 设备 IDC_VM_vTAP、 YC_VM_vTAP 配置 VXLAN， vTAP 设备IDC_VM_vTAP、VC_VM_vTAP 之间建立 VXLAN 隧道， 通过 VXLAN 隧道实现数据转发。
c. 分别为 vTAP 设备 IDC_VM_vTAP、 YC_VM_vTAP 配置静态 MAC 地址表， 指导报文正确二层转发。
d 分别为 vTAP 设备 IDC_VM_vTAP、 VC_VM_vTAP 使能 ARP 代答， 避免 ARP 广播请求报文给网络带来广播风暴。
部署效果： 通过该方案的部署实现了市局 IDC 的虚拟机群与源城局的虚拟机群形成大二层架构， 实现这两个地方云数据中心的虚拟机间的迁移以及资源共享。
● 全局流量可视监控
说明： 接入 vTAP 设备包括： vTAP_01、 vTAP_02、 vTAP_03、 vTAP_04、 vTAP_05、vTAP_06、 IDC_VM_vTAP、 IDC_PH_vTAP、 YC_VM_vTAP、 OF 交换机。 汇聚 vTAP 设备包括 :HJ_vTAP
如图所示， 采用如下的思路配置实现：
(1) 分别在接入 vTAP 设备、 汇聚 vTAP 上配置 VXLAN 隧道模式。
(2) 分别在接入 vTAP 设备、 汇聚 vTAP 上配置路由协议， 保证与西麦 SDN云网控制器互通。
(3)分别在接入 vTAP 设备、汇聚 vTAP 上配置 OpenFlow，建立控制器和 vTAP设备之间的通信通道。
(4) 在 IDC 核心交换机及源城局核心交换机上配置 VXLAN 三层网关。
(5) 分别在接入 vTAP 设备上配置 VXLAN 隧道 IP 并将流量目的指向、 汇聚vTAP。
部署效果：
通过 vTAP 流量采集可以对采集结果进行分类的详细展示， 比如：
(1) 不同协议的流量变化的趋势， 可以按以周， 天， 小时显示。
(2) 按时间段显示新建数据流， 建立连接的数据流， 关闭数据流的数量。
(3) 客户端/服务端交互报文的个数和字节数。
(4) 显示每个时间段的流量信息， 不同的协议用不同颜色来显示流量， 如下：
(5) 告警事件和 tcp/udp 流量的比例
(6) 流的状态统计
3.5. 技术优势
● 针对虚拟机迁移范围受到网络架构限制的解决方式
基于 SDN 云网控制器+ vTAP 数据采集分析解决方案把二层报文封装在 IP 报文之上， 因此， 只要网络支持 IP 路由可达就可以部署， 而 IP 路由网络本身已经非常成熟， 且在网络结构上没有特殊要求。 而且路由网络本身具备良好的扩展能力， 很强的故障自愈能力和负载均衡能力。 采用 SDN+ vTAP 技术后， 企业不用改变现有网络架构即可用于支撑新的云计算业务， 方便客户部署。
● 针对虚拟机规模受网络规格限制的解决方式
虚拟机数据封装在 IP 数据包中后， 对网络只表现为封装后的网络参数， 即隧道端点的地址， 因此， 对于承载网络(特别是接入交换机)， MAC 地址规格需求极大降低， 最低规格也就是几十个(每个端口一台物理服务器的隧道端点 MAC)。当然， 对于核心/网关处的设备表项(MAC/ARP) 要求依然极高， 当前的解决方案仍然是采用分散方式， 通过多个核心/网关设备来分散表项的处理压力。
● 针对网络隔离/分离能力限制的解决方式
针对 VLAN 只能支持数量 4K 以内的限制， 在基于 SDN 云网控制器+ vTAP数据采集分析解决方案中采用了 VXLAN 技术中扩展了隔离标识的位数， 可以支持高达 16M 的用户， 极大扩展了隔离数量。
● 全局业务系统流量可视可控
全局流量可视化实现以网络流量的采集与深度检测为基本手段， 综合各种网络处理与信息处理技术， 对网络的物理链路、 逻辑拓扑、 运行质量、 协议标准、流量内容、 用户信息、 承载业务等进行监测、 识别、 统计、 展现、 管控， 进而大数据分析与挖掘， 实现网络全局流量可视， 包括东西向流量、 大二层架构虚拟机流量。 这些技术包括流量采集和分流、 深度包检测(DPI)、 深度流检测(DFI)、深度包提取(DPE)、 协议与应用识别、 协议还原、 流控等。
● 故障预警及精确故障定位
通过 SDN 云网控制器的自动监控功能， 诊断业务流在网络的丢包节点， 找到基于业务流路径自动排查可能故障节点， 并给出网络管理员应对策略， 实现故障自动预警与定位。还可通过历史数据横向对比，分析差异化原因快速找到故障点。
3.6. 方案价值
1. 通过 VXLAN 隧道等可以抓取其它数据中心的流量进行分析并定位问题，可以对全网数据中心进行全局化管理化， 提升客户的运维效率， 降低成本
2. vTAP 集群， 方便扩容， 避免性能瓶颈， 提升整个数据采集方案的可靠性
3. 功能全分布式， 单个 vTAP 只执行部分功能， 比如入口 vTAP 只负责去除隧道报文的头部， 服务节点的 vTAP 负责流量去重等， 使得客户能够充分地利用 vTAP 性能解决现网数据采集问题
4. SDN 云网控制器负责分配资源， 网络应用向 SDN 云网控制器申请特定类型的流量， 做到流量的精细化运营和管理
5. SDN 云网控制器也可以实现应用可视化功能以及分析策略的下发， 可以根据客户定制需求下发个性化策略
6. 通过结合 VXLAN 技术， 创建大容量多租户网络， 提升客户网络容量
7. SDN 云网控制器还可灵活控制虚机的网络路由， 解决客户网络虚拟机管理问题
8. 构建大二层网络实现跨 IDC 的虚机组网和迁移
通过西麦 SDN 云网控制器+vTAP 数据采集分析解决方案的部署， 实现了供电局市局 IDC 云数据中心与源城分局云数据中心的存储资源共享， 使得虚拟机在两个数据中心间可以进行随意迁移， 提高了数据中心资源利用率。 另外， 全网流量可视化为供电局实现了对现有的 IDC 数据网及城域网骨干节点进行全局监控， 而且可以实现云数据中心虚拟机间的东西向流量监控， 跨网业务网络监控， 提高了网络监控颗粒度， 减少了网络故障发现时间， 故障定位时间， 多部门协调排障时间， 提升了整个网络的运维效率， 降低了运维成本。 
