冀 文，田 峰（中国移动信息技术有限公司，北京 100032）：康 乾，叶荣伟（中国移动杭州研发中心，浙江 杭州 310000）
本文版权为《邮电设计技术》所有，如需转载请联系《邮电设计技术》编辑部
摘 要：针对Hive组件的深度审计方法，在现网中结合DPI技术，深度分析Hive组件的交互方式和交互内容，设置多维度的审计分析规则，重塑组件行为、流量和内容侧的交互行为，挖掘大数据组件运行的安全风险。大数据平台Hive组件深度审计方法结合分布式计算能力，能满足现网超大规模流量的分析需求，可适用于数据访问风险监测、数据共享防泄露等场景，实现对Hive组件的深度审计功能。
关键词：Hive；深度审计；DPI；大数据
doi：10.12045/j.issn.1007-3043.2019.04.007
概述
大数据业已成为产业发展的创新要素，不仅在数据科学与技术层次，而且在商业模式、产业格局、生态价值与教育层面，大数据都能带来新理念和新思维。在充分认知大数据产业发展重要性的同时，也要充分意识到大数据安全对大数据应用发展的重要性。
大数据平台是实现大数据分析能力的基础，而大数据行为的合规审计则是一种保护平台的有效方法。目前，这类审计能力基本上是基于组件的安全日志、运行日志和审计日志的组合分析，存在一定局限性。
a）缺少原生分析能力。大数据平台的组件基于开源软件，在设计时缺少安全机制，例如Hadoop生态系统，其本身没有审计功能。
b）日志字段粒度太大。可审计日志包括安全日志、运行日志和审计日志，但是其字段不完整，记录的信息模糊，例如HDFS，其日志缺少对操作目录的记录。
c）审计能力不可扩展。新增日志字段需要修改源代码，分析能力不可扩展，无法满足分析审计规则更新的需求。
针对上述问题，本文提出了大数据组件深度审计方法。该方法主要通过采集和解析网络流量数据，提取全量组件访问、共享过程安全日志进行分析，实现第三方集中式安全深度审计。
