大数据概述与学习资源

了解微信、微博、小视频每天产生的数据量与数据类型

1.微信在2018年间每天就有450亿次的信息发送，较2017年增长18%;每天音视频 通话次数达4.1亿次,较去年增长100%。数据类型有文字，视频以及链接。

2.短视频是指视频长度显著短于传统视频,通过手机终端实现播放、拍摄、编辑,可实时分享和互动的新型视频形式。根据中国产业信息网的资料,截止到2018年,短视频的用户规模已经达到3.53亿人,预计2020年达到6.67亿,市场资本规模已突破百亿大关。抖音作为短视频社区的典型,与工具类短视频和资讯类短视频相比,社区型短视频因为社交互动的属性,本质上拥有更强的用户黏性和更大的用户的吸引力,所满足的用户需求蕴含着更大的用户情感。2016年至2018年上半年见证了社区类短视频用户的急速增长,社区类短视频的爆发的重要背景是4G网 速的提升及大屏幕手机的快速普及。目前头部社区包括快手、抖音、火山小视频、西瓜视频等,而快手和抖音占领了社区类短视频的绝大 部分市场份额。

3.在2018上半年中国微博用户规模及使用情况中,数据显示,2018上半年中国微博用户规模为3.37亿人,与2017年末相比增长2140万人,在整体网民数量中微博用户数比例达到42.1% 。

选择一个你感兴趣的领域应用数据思维进行分析决策的案例————短视频

短视频行业从16年开始持续升温，短视频产品利用碎片化时间，具有高传播、低门槛的特性，在未来仍有较大的用户增长空间。当前短视频行业在整体移动互联网用户中渗透率较低，且处于持续增长状态，因此用户红利增长仍存，目前短视频产品见竞争压力相对较小，预计未来至少可达到70%的用户渗透率。在未来1~2年，短视频行业还有很大的用户增长空间，行业竞争会更加剧，不断有新的平台涌入市场。未来两年用户红利逐渐消失，用户流量会逐渐涌向少量的头部平台和垂直细分领域的腰部平台，大量中长尾平台将面临被整合甚至淘汰；在国内市场饱和后，平台方会继续拓展海外市场；与MCN合作，争取优质内容资源。

大数据、人工智能、云计算、物联网、区块链的概念及相互关系

大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”．

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

人工智能

人工智能打个比喻为一个人吸收了人类大量的知识（数据），不断的深度学习、进化成为一方高人。人工智能离不开大数据，更是基于云计算平台完成深度学习进化。

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

云计算

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

物联网

物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新是物联网发展的灵魂。

区块链

区块链是一个信息技术领域的术语。从本质上讲，它是一个共享数据库，存储于其中的数据或信息，具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征。基于这些特征，区块链技术奠定了坚实的“信任”基础，创造了可靠的“合作”机制，具有广阔的运用前景。

大数据是物联网和云计算发展到一定阶段的必然结果，物联网为大数据提供了大部分的数据来源，而云计算则为大数据提供了支撑平台。大数据又是人工智能的重要基础，人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看，物联网是触角，云计算是支撑平台，大数据提供数据分析，人工智能完成最终的决策。区块链技术未来与大数据技术的结合应用将会带来一系列重要的改变，区块链技术本身就是一种数据存储方式，而且区块链存取的数据具有较强的安全性和防篡改特性，大数据与区块链的结合还能解决数据价值化过程中的“确权”问题和流通问题，可以说未来大数据与区块链的结合将更加紧密。通过物联网产生、收集海量的数据存储于云平台，再通过大数据分析，甚至更高形式的人工智能为人类的生产活动，生活所需提供更好的服务。

大数据的前景

全球范围內,研究发展大数据技术、运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。下面将从应用、治 理和技术三包面对当前大数据的现状与趋势进行梳理。

一是已有众多成功的大数据应用,但就其效果和深度而言,当前大数据应用尚处于初级阶段,根据大数据分析预测未来、指导实践的深层次应用将成为发展重点。
二是大数据治理体系远未形成,特别是隐私保护、数据安全与数据共享利用效率之间尚存在明显矛盾,成为制约大数据发展的重要短板,各界 已经意识到构建大数据治理体系的重要意义,相关的研究与实踐将持续加强。
三是数据规模高速増长,现有技术体系难以满足大数据应用的需求,大数据理论与技术远未成熟,未来信息技术体系将需要颊覆式创新和变革。