大数据 第一次作业

1.为什么产生大数据技术？

首先我们得知道大数据是什么：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

它是一种珍贵信息资产，要想利用这种资产那么就要有能利用它的工具，但人们没有这样的工具，所以大数据技术就应运而生了。

2.为什么要学习大数据技术？

大数据已经不仅仅是政府用来分析居民生活状态的工具了，现在它被广泛的应用于各个领域。医疗，教育，体育，金融，娱乐产业，房地产，电影电视剧的制作等等，都用上了大数据。大数据可以用来具体研究某一疾病的治疗，可以记录提高运动员的体育成绩，可以分析金融交易，在多种行业中，大数据都可以用来分析顾客需求，优化业务流程，以此来提高企业业绩。所以在学完大数据后，你可以选择的就业领域会十分的广。

3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。

1）云计算

云计算可以被理解成一个系统硬件，一个具有巨大的计算能力、网络通讯能力和存储能力的数据处理中心（Internet Data Center，简称IDC）。数据处理中心本质上是大量服务器的集合，数据处理中心的功能、规模是以服务器的数量来衡量的。

2）大数据

　　大数据之大有静态之大、动态之大和运算之后叠加之大。静态数据，比如大英博物馆、上海博物馆的存储资料全部以数字化的形式存储。动态变量之大可能有几千个、几万个坐标，这个坐标上每个指标每一秒钟、每一分钟、每一小时、每一天、每一个月、每一年不断叠加，就有一个动态数据越加越多。所有的静态、动态数据被任何人使用，就会有变化，数据与数据计算后产生新的数据，数据就会在使用中不断叠加、增长。数据大就大在静态数据大、动态数据大以及使用的数据大。这就是大数据的概念。

3）人工智能

人工智能就是制造智能的机器，更特指制作人工智能的程序。人工智能模仿人类的思考方式使计算机能智能的思考问题，人工智能通过研究人类大脑的思考、学习和工作方式，然后将研究结果作为开发智能软件和系统的基础。

4）区块链

区块链技术，简单的说就是利用分布式网络+非对称加密算法将已经形成的信息有效的串联起来，保证信息是达成人们共识的还不可修改。

相互联系

(1)区块链与物联网

区块链技术可以为物联网提供点对点直接互联的方式来传输数据，而不是通过中央处理器。可以充分利用分布在不同位置的数以亿计闲置设备的计算力、存储容量和带宽，用于交易处理，大幅度降低计算和储存的成本。

(2)区块链与云计算

区块链本身就是一种资源，有按需供给的需求，是云计算的一个组成部分，云计算的技术和区块链的技术之间是可以相互融合的

(3)区块链与大数据

区块链是底层技术，大数据则是对数据集合及处理方式的称呼。区块链上的数据是会形成链条的，它就有真实、顺序、可追溯的特性，相当于已经从大数据中抽取了有用数据并进行了分类整理。

(4)区块链与人工智能

人工智能与区块链技术结合最大的意义在于，区块链技术能够为人工智能提供核心技能——贡献区块链技术的“链”功能，让人工智能的每一步“自主”运行和发展都得到记录和公开，从而促进人工智能功能的健全和安全、稳定性。

4.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。

 

 大数据的发展前景

(1)技术开源免费

主流的大数据技术都是开源的，大数据开发者可以免费获得。免费的技术和活跃的社区使版本迭代更快。例如Hadoop、Spark、Flink、HBase、Kafka大数据核心技术等。

(2)人才短缺

目前，根据人才市场的相关统计，虽然很多大数据岗位的人才需求很大，但大数据行业的从业人数不足5万人。

可以预测未来3-5年，大数据人才缺口将继续扩大至200W以上。因此，大数据就业前景将极为广阔。

(3)行业高薪

大数据的薪酬高于一般的开发工程师。而且，如果学好大数据技术，将有更多的机会进入大厂。例如阿里巴巴、腾讯等一线互联网公司仍然需要大量大数据人才。

大数据就业趋势

大数据的就业范围广，可以选择岗位很多。

如：大数据发展工程师，操作工程师、大数据架构师、工程师、BI工程师、数据挖掘工程师、ETL开发工程师、Spark开发工程师等等。

虽然大数据的就业前景很好，但掌握大数据开发技术也是前提。否则，不管这个行业发展得多好，有多少工作机会，都和你没有关系。

我认为大数据行业应用广泛，大数据职业的相关人才匮乏，人才缺口非常大。职业选择多达几十种，要升职加薪很容易！可以说，未来的大数据工作，就意味着高工资，稳定，广泛的职业使用度、优越感

 

5.大数据可能带来什么样的问题？如何应对这些隐患？

大数据遭受异常流量攻击,大数据信息泄露风险,大数据传输过程中的安全隐患,大数据的存储管理风险,大数据使用中的伦理问题。

应对方法

一、监控企业的设备和硬件二、备份数据并单独存储以防止数据丢失