基于akka和data-sketch技术的实时数据统计服务是怎么样的

基于akka和data-sketch技术的实时数据统计服务是怎么样的

本篇文章给大家分享的是有关基于akka和data-sketch技术的实时数据统计服务是怎么样的,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

实时流数据分析服务:实时提交分析数据,实时获取分析结果

基于akka和data-sketch技术的实时数据统计服务是怎么样的

之前一直在一家公司做埋点的后台数据处理分析程序,在碰到很多问题后就产生一个想法,能不能直接弄一个数据分析服务,

用户可以随时调用分析服务的接口提交分析数据和获取分析结果

技术背景:

  • data-sketch对常见的统计需求,如count(distinct), quantiles, topN等 在精确程度,存储成本,计算成本之间进行了折衷,对每一个计算元素只touch一次的情况下,得到精度相当高的统计结果。

  • akka是一个实现了actor pattern的异步编程 library。业务功能都被封闭成actor, 相互之间的调用或状态改变,通过message传递完成,无状态共享.


目前封装了三种计算模型:

  • theta sketch:基数计算,即计算count(distinct)

  • quantile sketch:分位数计算,即计算一系列数值的分布情况

  • frequency sketch:频率计算,即topn计算

数据安全性:

  • 提交数据使用wss,获取数据使用https,数据不会被中途截取

  • 后台服务不存储任何原始数据,算后即扔,服务端只有分析后的数据

  • 相关计算参数,比如userid,business,可以hash或混淆后再传值

  • 由于目前只做authenticate,开发者应注意appid的保密性,建议后台调用

目前整个服务后台算是完成了0.5左右吧,由于是试验性质,目前只用了一台阿里云的ES,下一步要做的工作有两方面,

1. 增加统计模型

2. 增加对akka cluster 的支持,使整个后台服务能力可扩展

以上就是基于akka和data-sketch技术的实时数据统计服务是怎么样的,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注恰卡编程网行业资讯频道。

发布于 2021-12-23 21:19:49
收藏
分享
海报
0 条评论
51
上一篇:挂载RAW和qcow2虚拟磁盘的方法是什么 下一篇:LVM怎么扩展linux文件系统磁盘大小
目录

    0 条评论

    本站已关闭游客评论,请登录或者注册后再评论吧~

    忘记密码?

    图形验证码