重新定义“超级”：大连理工大学实现海量日志合规之道

从2017年6月1日我国《网络安全法》开始实施到现在一年多的时间，对违反安全法的处罚案例逐渐多了，其中不难发现很多都与网络日志留存的要求有关。网络日志是所有安全问题溯源最基本也是最有价值的信息，《网络安全法》的留存合规要求相比公安部82号令《互联网安全保护技术措施规定》发生了明显变化，这给广大企业和机构带来了新的挑战。

海量日志遭遇存储与查询难题

首先，在时间上从原来的留存60天增加到6个月，整个日志量提升了三倍。另外，在范围上由原来的用户行为日志变为网络相关日志，也就是除了出口行为日志外，还要增加网络、安全、服务器等其他相关日志，导致需要留存的日志量几何级的增加。

大连理工大学（以下简称：大连理工）就遇到了这个问题，经过前期日志收集发现仅出口日志平均每秒都有1.3万条左右，高峰甚至达到2万EPS，要满足安全法仅出口日志就需要300T左右存储，全网日志数据量加起来更加惊人。

面对如此大量的存储需求，用户压力倍增。另外，海量数据的查询速度也是让人头疼，采用传统数据库的日志系统进行查询，几十亿条的日志查起来动辄就需要好几个小时，有时系统甚至直接崩溃。满足合规要求与所需的大量存储天价成本之间的矛盾，让大连理工陷入两难，直到遇到了锐捷RG-BDS大数据安全平台超级日志版（RG-BDS-S）。

▲ 大连理工RG-BDS-S实际部署图

RG-BDS超级日志版重新定义“超级”二字内涵

RG-BDS超级日志版是锐捷基于高校出口应用场景定向开发的，核心价值是超低存储、超高性能、满足超大量日志场景的合规需求。毫不夸张地说，它在功能和性能上重新定义了“超级”二字的内涵，被用户称为“超级赞”。

首先，单位数据所需存储空间超级小。

RG-BDS超级日志版可通过选择性日志字段裁剪、ES默认存储方案压缩优化、索引压缩等技术，大幅减小6个月日志留存所需存储空间，并且，实际环境中数据量越大，数据重复比例越高，压缩比越大，节约的存储空间越多。下面是大连理工的实际存储数据（实现10:1的超级压缩比）。

▲ 大连理工部署RG-BDS-S前后数据存储量对比

第二、满足超级大日志量场景性能需求。

通过可伸缩大数据架构，支撑每秒10000条以上超大日志量场景性能需求，配合集群节点（查询性能扩容）和采集器（收集性能扩容）实现弹性性能扩容。其中：50TB数据级以下，可以使用单机部署；1PB数据级以下，可以使用ES集群部署；1PB数据级以上，可以使用ES+Hadoop部署。

第三、查询速度超级快。

如下方表格所示，ES大数据底层架构，可实现10亿级日志秒级查询，满足网监溯源需求，支持与Hadoop一起部署使用。

第四、兼容品类超级全

RG-BDS-S开放兼容，可收集主流网络、安全、服务器、中间件等厂商日志，内置74个厂商，182种设备的日志标准化脚本。