大数据概述与学习资源

1.了解微信、微博、小视频每天产生的数据量与数据类型

用户量：截止2020年1月，以国内移动互联网DAU计（不去重），腾讯系坐拥18.4亿用户，阿里系7.7亿用户，百度系5.9亿用户，头条系5.1亿用户，快手系2.3亿用户。

时长：截止2020年1月，以用户移动互联网月使用时长计，腾讯系676亿小时，占全网42.9%；阿里系76亿小时，占全网4.8%；百度系90亿小时，占全网5.7%；头条系229亿小时，占全网14.5%；快手系80亿小时，占全网5.1%；其余合计424亿小时。BATTK自2015年至2020年一直保持着70%以上的时长市场份额

 

2.选择一个你感兴趣的领域应用数据思维进行分析决策的案例。

这里是上海城乡结合部九亭镇新华都超市的一个角落，农夫山泉的矿泉水堆头静静地摆放在这里。来自农夫山泉的业务员每天例行公事地来到这个点，拍摄10张 照片：水怎么摆放、位置有什么变化、高度如何……这样的点每个业务员一天要跑15个，按照规定，下班之前150张照片就被传回了杭州总部。每个业务员，每 天会产生的数据量在10M，这似乎并不是个大数字。

但农夫山泉全国有10000个业务员，这样每天的数据就是100G，每月为3TB。当这些图片如雪片般进入农夫山泉在杭州的机房时，这家公司的CIO胡健就会有这么一种感觉：守着一座金山，却不知道从哪里挖下第一锹。

胡健想知道的问题包括：怎样摆放水堆更能促进销售？什么年龄的消费者在水堆前停留更久，他们一次购买的量多大？气温的变化让购买行为发生了哪些改变？竞争对手的新包装对销售产生了怎样的影响？不少问题目前也可以回答，但它们更多是基于经验，而不是基于数据。

从2008年开始，业务员拍摄的照片就这么被收集起来，如果按照数据的属性来分类，“图片”属于典型的非关系型数据，还包括视频、音频等。要系统地对非 关系型数据进行分析是胡健设想的下一步计划，这是农夫山泉在“大数据时代”必须迈出的步骤。如果超市、金融公司与农夫山泉有某种渠道来分享信息，如果类似 图像、视频和音频资料可以系统分析，如果人的位置有更多的方式可以被监测到，那么摊开在胡健面前的就是一幅基于人消费行为的画卷，而描绘画卷的是一组组复 杂的“0、1、1、0”。

3.大数据 人工智能 云计算 物联网 区块链的概念及相互关系。

大数据：任何形式产生的数据，有海量、多样、复杂等属性。

物联网：把任何物品与互联网连接起来进行信息交换，以实现智能化识别、定位、跟踪、监控和管理的一种网络，简言之物联网就是“物物相连的互联网”。

云计算：按使用量付费，提供可配置的共享资源，减少我们的开发、管理维护。

人工智能：人工智能英文缩写为AI，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

区块链：区块链是比特币的一个概念。是利用块链式数据结构来验证与存储数据。利用分布式节点共识算法，来生成和更新数据。利用密码学的方式，保证数据传输和访问的安全。

物联网和云计算的关系：云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据和云计算的关系：从技术上来看，大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

 4.大数据的职业前景

数联寻英《大2113数据人才报告》显示，目前5261中国的大数据人才仅46万。仅就人工智能4102领域而言，印度的从业人员在165315万左右，美国有85万，而我国仅有5万人。随着科技的不断发展，在短短3-5年内，我国大数据人才的缺口将增至150万。

而波士顿咨询公司（BCG）发布的《数字经济下就业与人才研究报告》预计，中国整体数字经济规模在2035年将达到16万亿美元左右，总就业容量将达到4.15亿。

目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万，越来越多人加入到大数据培训，当下大数据从业人员的两个主要趋势是：

1、大数据领域从业人员的薪资将继续增长；

2、大数据人才供不应求。