大数据概述与学习资源

1、了解微信、微博、小视频每天产生的数据量与数据类型

 

微信：根据数据显示每天有450亿次信息发送出，有4.1亿次音视频呼叫成功。其中，视频通话用户比三年前多了570%。

其数据类型有：String：字符串

Number：数字

Object：对象

Array：数组

Bool：布尔值

Date：时间

Geo：多种地理位置类型

 

微博：每秒数据抓取达到4500+，一天可达到4亿+的数据量

数据类型：number、varchar，date ，name

 

小视频：每天产生几千万的数据量

数据类型：code、filename、fileversion、VersionDes、Size、Md5、CreateTime、creator、

 

2、选择一个你感兴趣的领域应用数据思维进行分析决策的案例

我选择淘宝进行数据分析决策。

淘宝每天都是有数亿的人群浏览和购物，所以每天信息数据量流动都是一个非常庞大的数据，阿里的技术人员可根据在淘宝客户浏览的服务器中获取用户任何动态的数据，包括他的个人资料、购物车情况、浏览动向、还有购买次数最多、浏览次数最多的商品、收藏喜爱的商品。根据这些的数据，可以推出相应的促销活动，以满足大部分人群的喜爱需求，达到利益最大化的结果。采取这些用户的数据，调整算法，推出更吸引每一个顾客的眼光的商品，促进顾客的消费，达到留住顾客的用途以及及时出售商品、减少滞留商品的情况。在这个大数据的时代，数据都是前车之鉴，谁若不把旁人做前车之鉴，旁人便把他做前车之鉴。若能抓住数据的尾巴就能抓住顾客的消费心理，淘宝的服务器就可以每一天推送出符合该顾客的商品，一步一步的攻克这个顾客的心理。

 

3、大数据 人工智能 云计算 物联网 区块链的概念及相互关系

大数据概念：IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

人工智能概念：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，可以产出一种新的可以和人类智能相似的方式做出反应的智能机器，该领域的研究主要有机器人、语言识别、图像识别、自然语言处理和专家系统等。

云计算概念：通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本为目标的、动态可扩展的网络应用基础设施。

物联网概念：物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术吧传感器、控制器、机器、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。

区块链概念：区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链，是比特币的一个重要概念，它本质上是一个去中心化的数据库，同时作为比特币的底层技术，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次比特币网络交易的信息，用于验证其信息的有效性和生成下一个区块。

相互关系：

 

 

 

大数据的职业前景

我觉得大数据职业前景还是挺好的，大数据也是近几年才开始流行的专业，大数据人才缺口达到了150万多，说明大数据的领域还是需要更多精英的人才去探索。我认为未来的IT的时代将过度为一个DT的时代（Date technology），现在更多企业都更加注重数据的管理，对这个维度的世界也有了自己企业独特的认识和想法，有些企业甚至对数据管理做到了非常精细的地步。然后人们也对大数据这个领域进行深入地探索和挖掘，这个数据的时代正在以飞速的速度在发展。

大数据热门的岗位有：Hadoop开发、可视化工具开发、信息架构开发、数据仓库开发研究、数据预测分析、企业数据管理、数据安全研究。

我觉得学习能力能帮助大数据工程师快速地适应不同的领域的项目，并在短时间内完成该项目的数据收集。数据足够多，挖掘得足够深可以预测未来发生的事情，预测许多走势，提前做好预防的准备。