第一次作业

1.为什么产生大数据技术？

首先大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合，大数据是因为互联网的发展带来的，他不会有人专门收集，在这个用户以亿为单位的世界里每天都会因用户操作而产生数亿条数据。

 

2.为什么要学习大数据技术？

因为大数据技术对我们不同领域的人的生活都有着巨大的价值，例如好处：

1.对大量消费者提供产品或服务的企业可以利用大数据分析消费者们的喜好了解商品热度来进行精准营销

2.做小而美模式的中小微企业可以利用大数据做服务转型

3.面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值

其实我觉得最重要的还是传统的分析方法无法满足日前的要求，产生的数据要通过大数据技术发挥出更大的效益

 

3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。

一：大数据称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。总的来说就是海量数据集合

二：云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。通过这项技术，可以在很短的时间内（几秒钟）完成对数以万计的数据的处理，从而达到强大的网络服务。

三：物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络

四：区块链是一个信息技术领域的术语。从本质上讲，它是一个共享数据库，存储于其中的数据或信息，具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征。基于这些特征，区块链技术奠定了坚实的“信任”基础，创造了可靠的“合作”机制，具有广阔的运用前景

五：人工智能是是计算机科学的一个分支领域，致力于让机器模拟人类思维，从而执行学习、推理等工作。

        相互关系：物联网是数据的收集基础，通过各种信息传感器和收集器收集信息，统一形成了以海量数据组成的大数据；大数据作为信息载体，为人工智能提供数据集进行分析，以达到能做出正确决策的AI智能系统进入人们的生活；在一个这样数据庞大并时刻在产生数据的时代，数据量的庞大让线下计算无法实现，只能在云端进行存储和计算，并且使用分布式计算减少计算量和计算难度。当然在这样一个数据爆炸的时代，我们所有人无异于裸奔，大数据下的安全隐患和保护被人们所重视，区块链应运而生，具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征，初步做到了保护隐私的作用。

 

4.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。

1：发展前景

(1)技术开源免费。主流的大数据技术都是开源的，大数据开发者可以免费获得。免费的技术和活跃的社区使版本迭代更快。例如Hadoop、Spark、Flink、HBase、Kafka大数据核心技术等。

(2)人才短缺。目前，根据人才市场的相关统计，虽然很多大数据岗位的人才需求很大，但大数据行业的从业人数不足5万人。可以预测未来3-5年，大数据人才缺口将继续扩大至200W以上。因此，大数据就业前景将极为广阔。

(3)行业高薪大数据的薪酬高于一般的开发工程师。而且，如果学好大数据技术，将有更多的机会进入大厂。例如阿里巴巴、腾讯等一线互联网公司仍然需要大量大数据人才。

2：大数据就业方向

大数据的就业范围广，可以选择岗位很多。如：大数据发展工程师，操作工程师、大数据架构师、工程师、BI工程师、数据挖掘工程师、ETL开发工程师、Spark开发工程师等等。

5.大数据可能带来什么样的问题?如何应对这些隐患?

        大数据在落地应用的过程中，潜在的问题涉及到数据泄露问题，而数据泄露不仅可能会侵犯个人的隐私，甚至会泄露企业的核心技术，所以如果大数据不能解决数据泄露问题，大数据技术未来的发展将会受到很大的制约，而大数据作为人工智能的基础，大数据发展速度减缓也会在一定程度上影响人工智能技术的发展。