201906110137 张嘉林 大数据作业

1.为什么会产生大数据技术？

（1）、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。

（2）、进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

（3）、电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。

（4）、传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

 

2.为什么要学习大数据技术？

学习大数据的原因就是大数据分析的采用率很高，现在很多公司都开始使用大数据这一技术，正如公司开始转向社交媒体品牌广告和客户参与一样，他们也开始转向数据分析。今天几乎不可能找到没有社交媒体的品牌。就数据分析适应而言也是如此。在不久的将来，每个公司都将需要数据分析专家。这使得它成为一个明智的职业生涯，实际上有一个未来的业务。因此，现在大数据的工作人员十分吃香。

 

3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。

首先，大数据是物联网和云计算发展到一定阶段的必然结果，物联网为大数据提供了大部分的数据来源，而云计算则为大数据提供了支撑平台。大数据又是人工智能的重要基础，人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看，物联网是触角，云计算是支撑平台，大数据提供数据分析，人工智能完成最终的决策。区块链技术未来与大数据技术的结合应用将会带来一系列重要的改变，区块链技术本身就是一种数据存储方式，而且区块链存取的数据具有较强的安全性和防篡改特性，大数据与区块链的结合还能解决数据价值化过程中的“确权”问题和流通问题，可以说未来大数据与区块链的结合将更加紧密。

4.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。

 

当下，大数据方面的就业主要有三大方向：一是数据分析类大数据人才，二是系统研发类大数据人才，三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。

大数据可能带来什么问题？如何应这些隐患？

大数据遭受异常流量攻击　　大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力。　　由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。

大数据平台的信息泄露风险　　在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘。需要考虑的是在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，但是，传统的数据隐私保护技术大多是针对静态数据的，所以，如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。