快速构建百亿数据毫秒级响应的日志分析系统

通过MaxCompute和分析型数据库解决海量数据处理性能慢的问题。

申请MaxCompute代金券 企业咨询 企业咨询
场景概述
查看大图

准备工作

1)具备阿里云账号(淘宝及1688帐号可直接使用会员名登录)。

2)下载并安装开源工具Logstash、Fluentd。

3)开通MaxCompute/大数据开发套件Data IDE/DataHub/StreamCompute/AnalyticDB/Quick BI。

教程任务

1)配置Logstash,将网站产生的日志实时采集至DataHub。

2)申请开通DataHub,创建项目Project及Topic(DataHub服务订阅和发布的最小单位)。

3)开通MaxCompute及大数据开发套件,创建项目Project,并创建MaxCompute表及数据同步任务。

4)将数据加工得到的结果表数据同步至AnalyticDB中便于Quick BI进行分析。

5)申请开通Quick BI,新建AnalyticDB数据源进入报表制作。

使用产品
  • 流计算(StreamCompute)

    阿里云流计算(Aliyun StreamCompute)是运行在阿里云平台上的流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具。

    免费
  • MaxCompute

    快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。 立即购买

    0元开通
  • DataHub

    DataHub服务是阿里云提供的流式数据处理(Streaming Data)服务,它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能。

    免费
  • 分析型数据库(AnalyticDB)

    可以在毫秒级针对千亿级别数据进行即时的多维分析透视和业务探索

    活动套餐
  • BI 报表(Quick BI)

    QuickBI提供海量数据实时在线分析,拖拽式操作、丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查。

    首月免费
实现方法

    亲,您的浏览器版本太低,暂时无法加载显示

    请您升级到高版本的浏览器,或者切换成chrome浏览器进行查看

    常见问题
    • Q:DataHub数据归档至MaxCompute需要注意的事项。
      A :准备对应的MaxCompute表,该表字段类型、名称、顺序必须与DataHub Topic字段完全一致,如果三个条件中的任意一个不满足,则归档Connector无法创建。
    • Q:数据归档的频率是怎样的?
      A :数据归档的频率为每个Shard每5分钟或者Shard中新写入的数据量达到64MB,Connector服务会批量进行一次数据归档进入MaxCompute表的操作。
    • Q:在Data IDE需要调整期调度周期,该如何进行?
      A :您可通过工作流开发面板来展开工作流属性配置,详见:https://help.aliyun.com/document_detail/50130.html
    相关场景推荐