轻松搞定日志实时分析及监控大屏

基于一份真实的数据集,掌握如何使用阿里云数加产品完成实时数据分析需求。 基于这份网站日志来实现如下分析需求: 统计并展现网站的PV和UV,并能够按照用户的终端类型(如Android、iPad、iPhone、PC等)分别统计;统计并展现网站的流量来源; 统计并展现网站的用户地域分布。

51元DataV包年 开通相关产品 开通相关产品
场景概述
查看大图

准备工作

1)具备阿里云账号(淘宝及1688帐号可直接使用会员名登录)。

2)下载并安装Logstash。

3)开通DataHub/StreamCompute/DataV产品。

教程任务

1)配置Logstash,将网站产生的日志实时采集至DataHub。

2)申请开通DataHub,创建项目Project及Topic(DataHub服务订阅和发布的最小单位)。

3)开通StreamCompute,创建项目Project及注册数据输入源(DataHub)和输出源(RDS),并创建流任务(Stream SQL任务)。

4)上一步骤中关于输出源RDS的配置,需要事先购买RDS for Mysql资源。

5)申请开通DataV,新建RDS数据源并创建DataV项目进入大屏制作。

使用产品
  • 流计算(StreamCompute)

    阿里云流计算(Aliyun StreamCompute)是运行在阿里云平台上的流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具。

    免费
  • 数据可视化(DataV)

    精于业务数据与地理信息融合的大数据可视化,通过图形界面轻松搭建专业的可视化应用, 满足您日常业务监控、调度、会展演示等多场景使用需求

  • DataHub

    DataHub服务是阿里云提供的流式数据处理(Streaming Data)服务,它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能。

    免费
实现方法

    亲,您的浏览器版本太低,暂时无法加载显示

    请您升级到高版本的浏览器,或者切换成chrome浏览器进行查看

    常见问题
    • Q:在使用Logstash向DataHub实时推送数据时发现报time out。
      A :在endpoint配置项中DataHub提供两个地址可供填写,一个是阿里云生产网http://dh-cn-hangzhou-internal.aliyuncs.com,一个是 http://dh-cn-hangzhou.aliyuncs.com。 若发现用户处于公网环境中需要使用http://dh-cn-hangzhou.aliyuncs.com,否则会出现报错。
    • Q:修改Stream SQL后也进行了上线,但是并没有生效。
      A :一般情况下,点击上线后需要在【运维】中进行暂停任务->停止任务->启动任务,新代码才能才生效。
    • Q:配置了数据可视化DataV大屏后,在预览情况下发现数据不自动刷新。
      A :需要在大屏配置中勾选数据底部的自动更新,并根据需求填写隔多少秒自动刷新一次数据。
    相关场景推荐