01

一.为什么产生大数据技术？

   从本质上来说，大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。但是，它和传统数据库不同的是，大数据不用构建。在典型的数据库中，数据会被组织成标准的字段，并使用特定的密钥索引。如果你熟悉Microsoft Access应用程序，那么你就能完全理解这个概念。比如，一个顾客记录可以由姓氏、名字、地址和其它信息组成有通用标签的字段。每个顾客记录样式都是相同的，这样可以通过使用搜索关键词来检索，比如搜索姓氏。

   现在，如果你想链接到这些客户记录需要怎么做?链接到客户的图片或者视频呢?如果是链接到客户的所有记录呢?将这么多不同的数据源互相映射，一般的数据库还做不到。另外，需要链接的数据量是非常巨大的。这就产生了大数据概念。大数据使用特殊的数据结构来组织和访问巨大数量的数据，可能达到多个艾字节的范围。一般情况下，这需要跨多个服务器和离散数据存储进行并行计算，而小企业往往难以维持这种大数据的存储库。但是，大数据正逐渐成为云服务提供商能提供的一种服务，从而把大数据应用推向更多的公司。但是，还有一个“大”问题，就是我们为什么需要大数据?答案就是相关性的价值。如果你能看到乍一看似乎没什么关系的数据设置之间的关系，你会获取很多重要信息。比如你想知道你的公司是不是容易被黑客利用。那么你需要跨多个应用程序和数据中心检查无数条交易。这时如果没有大数据技术和相关的分析技术，这几乎是不可能完成的。最终，随着数据量的增长、业务的可用性和重要性的增加，大数据的定义可能会用来描述大多数数据库应用。IT专业人士应该掌握大数据相关概念和术语，以免遇到困难。

二.为什么要学习大数据技术？

1.对大量消费者提供产品或服务的企业可以利用大数据进行精准营销

2.做小而美模式的中小微企业可以利用大数据做服务转型

3. 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值

 

三.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法

 大数据发展前景

(1)技术开源免费

主流的大数据技术都是开源的，大数据开发者可以免费获得。免费的技术和活跃的社区使版本迭代更快。例如Hadoop、Spark、Flink、HBase、Kafka大数据核心技术等。

(2)人才短缺

目前，根据人才市场的相关统计，虽然很多大数据岗位的人才需求很大，但大数据行业的从业人数不足5万人。

可以预测未来3-5年，大数据人才缺口将继续扩大至200W以上。因此，大数据就业前景将极为广阔。

(3)行业高薪

大数据的薪酬高于一般的开发工程师。而且，如果学好大数据技术，将有更多的机会进入大厂。例如阿里巴巴、腾讯等一线互联网公司仍然需要大量大数据人才。

2. 大数据就业方向

大数据的就业范围广，可以选择岗位很多。

如：大数据发展工程师，操作工程师、大数据架构师、工程师、BI工程师、数据挖掘工程师、ETL开发工程师、Spark开发工程师等等。

四..大数据可能带来什么样的问题？如何应对这些隐患？

1.大数据遭受异常流量攻击　　

大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力.由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。

2.大数据平台的信息泄露风险　　

在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘。需要考虑的是在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，但是，传统的数据隐私保护技术大多是针对静态数据的，所以，如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。

3大数据的存储管理风险　　

大数据的数据类型和数据结构是传统数据不能比拟的，在大数据的存储平台上，数据量是非线性甚至是指数级的速度增长的，各种类型和各种结构的数据进行数据存储，势必会引发多种应用进程的并发且频繁无序的运行，极易造成数据存储错位和数据管理混乱，为大数据存储和后期的处理带来安全隐患。