大数据技术,就是从海量、丰富数据中快速采集、筛选、清洗、分类、计算、分析,并获得有价值信息的技术。
中琛源旗下"中琛魔方"大数据分析平台,汇聚了元数据管理、标签管理、ETL数据管理、任务管理、数据采集、算法管理、数据可视化及安全防护等7大核心技术。
① 元数据管理
提供平台内外各数据系统提供统一的元数据定义和管理;
提供元数据关联关系管理,数据标签管理,支持数据溯源。
② ETL数据管理
提供数据抽取、转换、加载等功能,帮助用户快速、便捷处理数据。
③ 任务管理
提供任务创建、任务编排、任务调度、任务监控等离线计算服务。自定义任务时间、执行频率。
④ 数据采集与存储
支持免代码编写的数据采集、清洗、转换、与上载,包括实时数据、历史数据、文件数据、图片数据、视频数据等,支持大规模数据交换能力(Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp )。
支持(Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch )等数据存储技术下的结构化数据存储、半结构化数据存储、非结构化数据存储。
⑤ 算法管理
(MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib )等算法模型、算法统一管理和应用。
⑥ 标签管理
提供标签创建、审核、生产、发布及应用。
⑦ 可视化分析
提供用户画像/行为分析,支持图化展示(散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘),文字展示; 提供数据看板、报告,支撑市场营销决策。
⑧ 安全认证
支持多租户共享模式。