*概念
数据采集分流,是指数据信号从数据采集设备采集后,经过一定的处理方式将其按既定的要求进行初步处理,对数据流量进行分发的过程。目前数据采集分流广泛适用于网络行业对于数据分析领域的应用。专业的采集分流设备,将采集到的数据,通过分析其报文结构,来对数据进行预处理,满足不同应用对不同数据的分发的要求。
*工作原理
数据采集分流,分为采集部分与分流部分。
采集部分主要负责原始传输信号的复制,对稳定性要求比较高,采集数据需要在不影响原有数据传输的情况下,将信号完整地复制出来交给后端分流设备进行分析;
分流部分主要负责对数据的分析,并按照一定的分析结果对数据进行相应的分发,使其能够满足多样化的应用分析需求。
数据的采集分流,原则上,不需要改变其数据所包含的有用信息,只进行预处理分析,然后将其分发给更高级的分析设备进行深度分析,以提高整个系统的分析效率。
*应用
旁路数据采集分流
图示:
以普通网络传输数据的采集分流为例。
采集设备串联在internet网络传输线路中,对数据进行采集,这个过程不影响数据的传输,但却将数据信号原样的复制了一份给旁路的分流设备,它基本建立于物理信号上的处理,属于物理层设备。
分流设备根据采集到的信号,进行初步分析,其能够识别底层协议,对识别到的信号进行逻辑处理,依次分析报文的数据链路层、网络层、传输层、应用层信息,可以按照各个层次的信息,针对报文进行转发,使其从某个指定接口输出。这个过程是对报文分析的过程,建立在一个逻辑的概念里,Internet网络中的数据传输都遵循TCP/IP协议簇,并且各层的传输都遵照特定的封装格式进行封装,分流设备根据标准协议分析报文的封装信息,识别其特性后对其进行转发、丢弃、复制等动作,这个过程,原则上不允许更改报文的内容,避免对后端深度分析设备的分析结果造成影响。
分流设备将数据按照既定的分析结果,针对接口进行转发,输送给不同深度分析设备进行处理,深度分析设备一般是监控服务器或者缓存服务器。
整个系统根据其实际应用需求,配合数据采集分流来实现高效率的数据分析处理,避免了模糊的采集造成服务器资源的浪费。数据采集分流,相当于整个分析业务系统的缓冲带,将不需要因素在缓冲带进行过滤,以提高整个系统的运行效率。