C114中国通信网  |  通信人家园

专题
2019/5/6 14:07

大数据平台Hive组件深度审计实现技术研究

邮电设计技术  冀 文,田 峰,康 乾,叶荣伟

冀 文,田 峰(中国移动信息技术有限公司,北京 100032):康 乾,叶荣伟(中国移动杭州研发中心,浙江 杭州 310000)

本文版权为《邮电设计技术》所有,如需转载请联系《邮电设计技术》编辑部

摘 要:针对Hive组件的深度审计方法,在现网中结合DPI技术,深度分析Hive组件的交互方式和交互内容,设置多维度的审计分析规则,重塑组件行为、流量和内容侧的交互行为,挖掘大数据组件运行的安全风险。大数据平台Hive组件深度审计方法结合分布式计算能力,能满足现网超大规模流量的分析需求,可适用于数据访问风险监测、数据共享防泄露等场景,实现对Hive组件的深度审计功能。

关键词:Hive;深度审计;DPI;大数据

doi:10.12045/j.issn.1007-3043.2019.04.007

概述

大数据业已成为产业发展的创新要素,不仅在数据科学与技术层次,而且在商业模式、产业格局、生态价值与教育层面,大数据都能带来新理念和新思维。在充分认知大数据产业发展重要性的同时,也要充分意识到大数据安全对大数据应用发展的重要性。

大数据平台是实现大数据分析能力的基础,而大数据行为的合规审计则是一种保护平台的有效方法。目前,这类审计能力基本上是基于组件的安全日志、运行日志和审计日志的组合分析,存在一定局限性。

a)缺少原生分析能力。大数据平台的组件基于开源软件,在设计时缺少安全机制,例如Hadoop生态系统,其本身没有审计功能。

b)日志字段粒度太大。可审计日志包括安全日志、运行日志和审计日志,但是其字段不完整,记录的信息模糊,例如HDFS,其日志缺少对操作目录的记录。

c)审计能力不可扩展。新增日志字段需要修改源代码,分析能力不可扩展,无法满足分析审计规则更新的需求。

针对上述问题,本文提出了大数据组件深度审计方法。该方法主要通过采集和解析网络流量数据,提取全量组件访问、共享过程安全日志进行分析,实现第三方集中式安全深度审计。

点击查看全文(PDF)>

 

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2019 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141