企业级大数据平台

Enterprise big data platform

产品概述

国双大数据平台是以 Hadoop 生态圈开源软件技术栈为基础,自研产品为核心,面向企业级用户提供海量数据分布式存储、计算和分析挖掘的高可靠、高性能的大数据平台。

国双大数据平台旨在为企业级用户提供大数据管理、数据开发以及数据运营的能力,解决数据信息壁垒问题,降低开发周期、提升开发效率,提高数据质量;平台承上启下,从数据采集到数据展示,从数据分析到共享应用得以一站式解决。

平台能够支撑企业整合并治理全域数据,提升跨部门的数据协同效率,协助企业在数字化转型中发挥大数据的驱动作用,深挖企业数据的核心价值,助力企业决策。


产品功能

大数据管理

大数据管理面向平台运维人员提供集群组件管理的能力。支持自动化部署,通过向导式的图形化界面,轻松完成集群搭建。运维人员通过可视化界面对集群组件的健康状态进行监控、配置告警等级、定义自动报警规则,对集群进行一站式的运维监管。

多租户

资源的申请、使用、赋权,数据的采集、存储、分析、开发等操作都是在租户的基础上实现的,通过租户的方式共享资源的分配和隔离,实现平台资源利用最大化,同时也保证了数据的安全可靠,防止外泄。

数据安全

对租户内各类资源实现统一细粒度的数据访问控制,支持 Kerberos 和 LDAP 的方式做用户级别认证;提供安全审计功能,针对系统敏感信息的访问和操作进行记录,为用户提供事件跟踪、实时监测的能力,使数据操作行为有迹可循。

数据集成

在丰富的异构数据源之间提供高可靠、高性能的数据同步和集成能力,同时支持多种常用的数据转换操作,如数据过滤、类型转换等;支持数据的全量、增量、批量、实时同步,并可以灵活定义采集任务的调度周期。

数据开发和任务调度

支持将汇聚到存储层的数据进行开发加工,为上层智能应用提供所需的数据。开发人员通过可视化开发界面,丰富的任务节点,按需进行数据计算和开发,通过拖拽的方式配置工作流依赖。灵活的调度和告警配置可以满足开发节点周期执行,提高开发效率;并在出现问题时第一时间通知运维,协助管理开发过程,形成开发运维管理的闭环。

交互式自助分析

提供给开发人员在可视化界面中,通过SQL命令语句进行数据查询、SQL调试等交互式分析开发,并直接获取到运行结果。自助分析适合处理运行时间较短、期望直接看到数据结果、调试性的任务,也可以对预期时间较长的查询执行离线任务。

实时流计算

提供创建流计算任务、实时消费数据的能力,缩短全链路数据流时延,平摊计算成本。支持不同场景下的高吞吐和低延迟,通过Exactly-once,At-least-once提升计算精准度。平台还提供了流计算任务的可视化开发和管理界面,支持SQL或其他语言开发流计算任务。

多维分析

基于 OLAP 技术,采用多维视图 Cube 来描述数据集的结构,将数据源转化为多维分析模型,支持维度、指标、星型拓扑、雪花拓扑等语义,并支持计算指标功能,从而提供更加灵活的模型搭建能力。适配多种类型数据源,对数据进行预聚合处理,为数据的可视化展示提供更高效的查询能力。

数据质量

提供30+套数据质量检验模板,从多个不同维度来配置数据质量稽核任务,检验数据的完整性、唯一性、有效性、准确性;支持对数据质量任务的运维管理、实时监控、调度配置以及告警方案配置,将校验结果生成为数据质量报告,并支持形成问题库,从而监督问题数据。

数据资产管理

数据资产管理通过对元数据结合业务信息整合描述,形成业务对象,并以目录形式分类管理。通过数据资产地图、数据血缘等,能够全景查看企业内数据现状,多维度评估数据价值,帮助企业厘清内部数据资产的同时,进一步挖掘数据价值。

数据服务

支持将企业数据以API的形式对内对外提供数据服务能力,无需具备编码能力,只需要通过图形化界面进行配置和调试,即可满足个性化查询需求。服务涵盖了API发布、管理、运维、运营的全生命周期管理,同时具备授权鉴权、流量控制、统计分析等能力,为前台业务用户提供数据服务。

为什么选择国双大数据平台?

全方位的数据安全管控

提供Kerberos、LDAP、多租户、细粒度的数据赋权、审计日志等能力,实现共享资源安全隔离。以权限管控、资源管理和成员管理提高数据安全,同时方便赋权管理。

一站式全生命周期数据管理能力

从数据集成到数据存储、从数据计算分析到数据资产展示的全生命周期管理能力,为企业深挖数据价值,完成业务创新提供支持。

海量异构数据快速汇聚

支持20+种数据源类型,提供对结构化、半结构化、非结构化数据采集能力;支撑全量、增量、批量、实时等采集场景,为企业提供稳定、高效的数据汇聚能力。

数据开发便捷易用

支持SQL、Shell、MR、Spark、Flink等多种开发类型的处理节点,通过分支节点、等待节点处理各种复杂工作流逻辑,提供丰富的调度配置策略和调度能力;开发人员可以通过拖拽操作灵活地搭建工作流,大大减少代码开发量,提升开发效率。

智能交互式查询

开箱即用,无需额外安装第三方工具。通过SQL格式化、智能语法提示、关键字高亮、元数据检索等能力,带来更顺滑的交互式查询体验。

完善的数据质量监督体系

支持30+种质量检测模板,自定义质量稽核规则,并实现质量检查任务的执行、调度、告警以及报告,帮助企业提升数据质量,实现对数据质量的闭环管理。

可靠的数据共享机制

为企业搭建数据服务体系,帮助企业管理对内对外的API共享服务。通过共享服务,可以将数据跨租户地提供给其他用户使用,让数据安全地发挥大数据资产价值。

应用案例

能源数据仓库

国双工业互联网平台赋能某大型能源集团打破数据壁垒,发掘数据价值

了解详情



TOP
如您需要我们的帮助,请留言给我们:
*姓名:
*电话:
*公司:
*邮箱:
*内容:
*验证码: