20200911-大数据-01

1、了解微信、微博、小视频每天产生的数据量与数据类型

 

其数据类型有：

String：字符串

Number：数字

Object：对象

Array：数组

Bool：布尔值

Date：时间

Geo：多种地理位置类型

 

微信：根据数据显示每天有450亿次信息发送出，有4.1亿次音视频呼叫成功。其中，视频通话用户比三年前多了570%。

 

微博：每秒数据抓取达到4500+，一天可达到4亿+的数据量

数据类型：number、varchar，date ，name

 

小视频：每天产生几千万的数据量

数据类型：code、filename、fileversion、VersionDes、Size、Md5、CreateTime、creator

 

2、选择一个你感兴趣的领域应用数据思维进行分析决策的案例

　　　美团平台会搜集用户搜索和经常浏览的数据，并根据这些数据有限推送用户可能感兴趣的地方美食或特色美食、堂食优惠或外卖优惠等等，并根据推送后用户的消费记录信息反馈出推送的内容是否符合用户的喜好，判断是否继续推送类似的内容，刺激用户进一步消费。

 

3、大数据 人工智能 云计算 物联网 区块链的概念及相互关系

首先，大数据是物联网和云计算发展到一定阶段的必然结果，物联网为大数据提供了大部分的数据来源，而云计算则为大数据提供了支撑平台。

大数据又是人工智能的重要基础，人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看，物联网是触角，云计算是支撑平台，大数据提供数据分析，人工智能完成最终的决策。

区块链技术未来与大数据技术的结合应用将会带来一系列重要的改变，区块链技术本身就是一种数据存储方式，而且区块链存取的数据具有较强的安全性和防篡改特性，大数据与区块链的结合还能解决数据价值化过程中的“确权”问题和流通问题，可以说未来大数据与区块链的结合将更加紧密。

大数据（big data），是IT行业的术语，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。       

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类只会的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。     

云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒种）完成对数以万计的数据的处理，从而达到强大的网络服务。  

物联网（The Internet of Things，简称IOT）是指通过 各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化 学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。 

区块链是一个信息技术领域的术语。从本质上讲，它是一个共享数据库，存储于其中的数据或信息，具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征。基于这些特征，区块链技术奠定了坚实的“信任”基础，创造了可靠的“合作”机制，具有广阔的运用前景。 

 

4.大数据的职业前景

《大数据人才报告》指出,目前全国的大数据人才仅46万,未来3-5年内将会出现高达150万的大数据人才的缺口。

《2016年中国互联网最热职位人才报告》显示，当下中国互联网行业需求最多的六类人才职位为研发工程师、产品经理、人力资源、市场营销、运营和数据分析。其中需求量最大的是研发工程师，而最为稀缺的是数据分析人才。领英报告表明，高度稀缺的是数据分析人才，其供给指数最低，仅为0.05，。并且其才跳槽速度也最快，平均跳槽速度为19.8个月。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将高达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

主要就职方向有：1. Hadoop大数据开发方向 2. 数据挖掘、数据分析&机器学习方向3. 大数据运维&云计算方向