阿里云DataHub

DataHub服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能,让您可以轻松构建基于流式数据的分析和应用。

产品概述

DataHub服务可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据比如实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等

优势点 优势简介

高吞吐

最高支持单主题(Topic)每日T级别的数据量写入,每个分片(Shard)支持最高每日百GB级别的写入量。

实时性

通过DataHub服务,您可以实时的收集各种方式生成的数据并进行实时的处理,对您的业务产生快速的响应。

易用性

DataHub服务提供丰富的SDK包,包括C++, JAVA, Pyhon, Ruby, Go等语言。DataHub服务也提供Restful API规范,您可以用自己的方式实现访问接口。

高可用

服务可用性不低于99.999%。规模自动扩展,不影响对外服务;数据持久性不低于99.99999999%。数据自动多重冗余备份

动态伸缩

每个主题(Topic)的数据流吞吐能力可以动态扩展和减少,最高可达到每主题256MB/s的吞吐量。

高安全性

提供企业级多层次安全防护,多用户资源隔离机制;提供多种鉴权和授权机制及白名单、主子账号功能。

产品功能

实时数据发布

同时支持结构化和非结构化的数据类型

支持单主题级别的吞吐能力扩缩容,按需使用

高吞吐低延迟的数据写入能力,单Topic TB级别的写入能力

实时数据订阅

数据在毫秒级别实时可订阅

订阅接口简单易用,多种订阅接口,满足不同的场景需求

和流计算产品紧密结合,自动订阅和计算

实时数据归档

实时数据准实时归档入MaxCompute系统

数据链路全自动化 无需人工干预

数据延迟低 最大五分钟延迟

应用场景

DataHub常见的使用场景

  • 流计算StreamCompute
  • 流处理应用
  • 流式数据准实时归档离线
  • DataHub服务和StreamCompute无缝结合,可以作为StreamCompute的数据源和输出源。

帮助与文档