Kafka+Flink , 构建秒级异常检测系统

“基于行动者(人或机器)的行为是否正常作出决策”的异常检测技术,已广泛应用于各大领域,如金融场景中的交易检测、贷款检测;工业场景中的生产线预警;安防场景中的入侵检测等。消息队列Kafka+流计算Flink,就是这项技术的关键。

购买消息队列 Kafka 购买实时计算 Flink 购买实时计算 Flink
关于产品
  • 消息队列 Kafka

    消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等。

    低至85折
  • 实时计算Flink

    实时计算(原阿里云流计算)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。

    9折起
技术实现
查看大图

在线系统,常见检测功能:

1)针对单条事件进行检测 ;

2)根据全局上下文进行检测,比如全局黑名单;

3)根据用户画像或近期一段时间的信息进行检测,比如最近20次交易时间与地点 。

消息队列kafka

1)将检测的事件、检测的结果、拒绝或通过的原因等数据发送到下游,供流计算和离线计算进行处理。

Flink近实时处理

1)汇总统计全局的检测状态,并做同期对比,比如规则拦截率变化、全局通过率波动;

2)近实时的更新用户的属性,如最近的交易时间&地点。

实现方法

在线检测系统

    亲,您的浏览器版本太低,暂时无法加载显示

    请您升级到高版本的浏览器,或者切换成chrome浏览器进行查看

    实践入门
    • Q:实时计算 Flink 详细使用文档在哪里 ?
      A :实时计算,学习入门还请参看:https://help.aliyun.com/learn/learningpath/streamcompute.html
    • Q:消息队列 Kafka的详细使用文档在哪里?
      A :消息队列,学习入门还请参看:https://help.aliyun.com/document_detail/68151.html