第1章-绪论-课堂随笔

实时计算 绪论 笔记

上课记的，随便看看。

大数据是啥

2008 年 Nature 提了一嘴"大数据"，2011 年 Science 又聊了数据的麻烦事，同年麦肯锡给的定义最常被引用：大到普通数据库搞不定的数据，就是大数据。特点就那几个，俗称 5V：量大、类型杂、速度快、有价值但密度低、得是真的。

要它跑得起来，靠三样：存储便宜了、计算变快了、机器更智能。Hadoop 是绕不开的，HDFS 管存储，MapReduce 管并行计算，后面才有 Spark、Storm 这些。意义说白了就是"用数据说话"，啤酒和尿布、谷歌预测流感这种案例都是这个意思。

数据从哪来

总量大概每 18 个月翻一倍。微信、抖音、B 站这些每天的流量都是天文数字，不展开。来源就三类：企业自己攒的、人产生的（微博微信网购）、机器产生的（日志传感器监控）。存的形式上，结构化的也就两成，剩下八成全是不好直接用的非结构化（文档、图、音视频）。

路径：日志采集（Flume 之类）、爬虫 API、APP 埋点、找数据服务商合作。

计算

计算：采集、存储、处理、分析、展示。中间要预处理，因为数据一堆脏的。分析分两块：统计（R、Python 的 pandas 那些）和数据挖掘（分类、聚类、关联规则、深度学习，一堆算法名）。

实时流计算

流式的三个特征：数据是无限的、处理是持续的、延迟要低。

离线、批量、实时、流式这四种上网查个表就行，区别主要在时延和量。框架的话，离线 Hadoop MapReduce，实时/流式 Spark Streaming、Storm、Flink。

场景：日志分析、物联网告警、智慧交通（自动驾驶）、金融风控。