企业级大数据平台

大数据管理面向平台运维人员提供集群组件管理的能力。支持自动化部署，通过向导式的图形化界面，轻松完成集群搭建。运维人员通过可视化界面对集群组件的健康状态进行监控、配置告警等级、定义自动报警规则，对集群进行一站式的运维监管。

资源的申请、使用、赋权，数据的采集、存储、分析、开发等操作都是在租户的基础上实现的，通过租户的方式共享资源的分配和隔离，实现平台资源利用最大化，同时也保证了数据的安全可靠，防止外泄。

对租户内各类资源实现统一细粒度的数据访问控制，支持 Kerberos 和 LDAP 的方式做用户级别认证；提供安全审计功能，针对系统敏感信息的访问和操作进行记录，为用户提供事件跟踪、实时监测的能力，使数据操作行为有迹可循。

在丰富的异构数据源之间提供高可靠、高性能的数据同步和集成能力，同时支持多种常用的数据转换操作，如数据过滤、类型转换等；支持数据的全量、增量、批量、实时同步，并可以灵活定义采集任务的调度周期。

支持将汇聚到存储层的数据进行开发加工，为上层智能应用提供所需的数据。开发人员通过可视化开发界面，丰富的任务节点，按需进行数据计算和开发，通过拖拽的方式配置工作流依赖。灵活的调度和告警配置可以满足开发节点周期执行，提高开发效率；并在出现问题时第一时间通知运维，协助管理开发过程，形成开发运维管理的闭环。

提供给开发人员在可视化界面中，通过SQL命令语句进行数据查询、SQL调试等交互式分析开发，并直接获取到运行结果。自助分析适合处理运行时间较短、期望直接看到数据结果、调试性的任务，也可以对预期时间较长的查询执行离线任务。

提供创建流计算任务、实时消费数据的能力，缩短全链路数据流时延，平摊计算成本。支持不同场景下的高吞吐和低延迟，通过Exactly-once，At-least-once提升计算精准度。平台还提供了流计算任务的可视化开发和管理界面，支持SQL或其他语言开发流计算任务。

基于 OLAP 技术，采用多维视图 Cube 来描述数据集的结构，将数据源转化为多维分析模型，支持维度、指标、星型拓扑、雪花拓扑等语义，并支持计算指标功能，从而提供更加灵活的模型搭建能力。适配多种类型数据源，对数据进行预聚合处理，为数据的可视化展示提供更高效的查询能力。

提供30+套数据质量检验模板，从多个不同维度来配置数据质量稽核任务，检验数据的完整性、唯一性、有效性、准确性；支持对数据质量任务的运维管理、实时监控、调度配置以及告警方案配置，将校验结果生成为数据质量报告，并支持形成问题库，从而监督问题数据。

数据资产管理通过对元数据结合业务信息整合描述，形成业务对象，并以目录形式分类管理。通过数据资产地图、数据血缘等，能够全景查看企业内数据现状，多维度评估数据价值，帮助企业厘清内部数据资产的同时，进一步挖掘数据价值。

支持将企业数据以API的形式对内对外提供数据服务能力，无需具备编码能力，只需要通过图形化界面进行配置和调试，即可满足个性化查询需求。服务涵盖了API发布、管理、运维、运营的全生命周期管理，同时具备授权鉴权、流量控制、统计分析等能力，为前台业务用户提供数据服务。