100亿小数据实时计算平台(大数据系列目录)

2017年6月,开始数据分析的职业生涯,作为架构师,建立起一套基于.Net/.Net Core的小数据实时处理计算平台,这里记录学习过程中的点点滴滴!

数据分析的核心,可以理解为:Select xxx From table Where yyy Group By zzz

一、小数据定位

小数据计算平台的定位:

  1. 数据量在1000万行到100亿行之间,传统关系型数据库算起来吃力,且类似项目不是特别多,Hadoop搭起来难以收回成本
  2. 资源投入有限,基于传统项目之上的轻量级数据分析,一般只能有1~2台服务器,Hadoop最好能有8台以上服务器
  3. 门槛低,普通软件工程师容易上手做数据分析,并参与开发配套的业务系统,大数据开发工程师需要会很多(Hadoop、MapReduce、HDFS、Hive、HBase、Spark、Zookeeper、Sqoop)
  4. 实时内存计算,C#/Java/Go+Redis/MongoDB,轻松做到0.5~5分钟实时处理,大多数大数据开发工程师只熟悉 Hadoop+Hive,擅长T+1离线计算,对实时计算Spark+HBASE熟悉的不多

题外:其实大家平时借助消息队列(Kafaka/RocketMQ)异步处理的统计,本身就属于实时计算数据分析的一种!

该平台的目标并非替代Hadoop,而是对中小型数据分析提供一种轻量级选择。

实际上我们大部门就有完整的Hadoop大数据平台,我们的许多模块,都跟Hive、HBase、Kafka等有大量的数据交互

未来的日子里,会根据后面的小数据平台配套,把相关技术慢慢写下来。

 

二、文章目录

大数据系列文章目录:

1,大数据分析中使用关系型数据库的关键点

2,MySql如何做到600000tps的极速批量写入

3,大数据分析中Redis经验分享

4,如何分批处理大数据(调度系统)

新生命Redis组件(日均80亿次调用)

借助Redis做秒杀和限流的思考

大数据分析中Redis怎么做到220万ops

每天4亿行SQLite订单大数据测试(源码)

 

三、小数据平台配套

小数据计算平台配套:

  1. 关系型数据库,数据来源以及计算结果存储,推荐MySql,批量插入5000~50000tps
  2. Redis,原始数据源预热,中间计算数据临时存储,结果数据缓冲队列,选Linux/Windows多实例部署,单实例性能8w~10wops
  3. 计算节点,核心数据分析应用,从数据库或Redis或微服务读取原始数据和基础数据,根据业务规则进行计算,统计结果直接落库或借助Redis异步落库
  4. 调度系统,时间片调度算法,对数据进行切片处理,多实例多线程并行计算,错误或超时重试机制。计算节点上跑的分析应用依赖于调度系统
  5. 服务节点,频繁且反复读取的小数据(1000万~100亿)预热进入Redis,大量部署微服务,封装各种数据访问,10万以下数据直接缓存到进程内存
  6. 微服务注册中心,每个服务至少部署2个节点(可用性、负载均衡),大量服务需要管理起来,伸缩扩容
  7. 配置中心,数据分析应用和微服务的大量伸缩部署,需要有配置中心把数据库配置等各种配置管理起来
  8. 监控中心,监控重要计算节点和服务节点,通过微信/短信/钉钉等工具报告紧急情况,或每天提供数据简报

实际使用根据需要进行调整,如果数据分析项目不多,后面的辅助性配套可以不要。

 

四、关于我

关于博客,10多年来断断续续也写了不少博文,我写的博客有个特点,都是经过深思熟虑并且在网络上很少能找到相关内容的知识点。

关于工作,公司财报提到2018年第二季度包裹量21.16亿件,公司名和具体工作内容不方便讨论,还请大家见谅和监督!

 

本文答疑:QQ群1600800,2018-08-12 20:00:00

 

End.

posted @ 2018-08-12 10:57 大石头 阅读(...) 评论(...) 编辑 收藏