01 大数据概述
1.为什么产生大数据技术？
随着时代的发展和人们对数据的利用率，随着数据量的庞大增长、复杂业务的可用性和对部分方面重要性的剧增，人们对大数据的定义可能是会用来描述大多数数据库应用。
（1）数据分析现在是顶级组织的优先事项
随着市场竞争的加剧，顶级组织正在转向数据分析，以确定其服务和产品的新市场机会。目前，77%的顶级组织认为数据分析是业务绩效的关键组成部分。这意味着大数据专业人员对公司政策和营销策略产生巨大影响。
（2）增加就业机会
随着公司开始意识到他们无法全面收集，解读和使用数据，他们开始寻找可以这样做的专家。具有这一特殊技能的专业人士的需求正在上升，这为这一领域的个人创造了巨大的就业机会。
3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。
物联网、大数据、人工智能、云计算，作为当今信息化的四大版块，它们之间有着本质的联系，具有融合的特质和趋势。从一个广义的人类智慧拟化的实体的视角看，它们是一个整体：物联网是这个实体的眼睛、耳朵、鼻子和触觉；而大数据是这些触觉到的信息的汇集与存储；人工智能未来将是掌控这个实体的大脑；云计算可以看做是大脑指挥下的对于大数据的处理并进行应用。
物联网、大数据、人工智能、云计算它们之间是一个整体，四者的关系就是，通过物联网产生、收集海量的数据存储于云平台，再通过大数据分析，甚至更高形式的人工智能提取云计算平台存储的数据为人类的生产活动，生活所需提供更好的服务。最终人工智能会辅助物联网更加发达，形成一个恐怖的循环，这必将是第四次工业革命进化的方向。
4.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。
发展前景：未来大数据与云计算、AI相结合，将缔造数百个就业新岗位。行业前景可观，未来可期。
就业趋势：
(1) 人才缺口。未来3至5年，中国需要200万+大数据人才，目前大数据从业人数不足50万，市场需要远远得不到满足。总结来说就是，未来大数据人才缺口会越来越大，缺的人多了，自然好就业。
(2) 普通大数据开发工程师的基本岗位薪资起步即1万+，一般入职薪资13000元左右，3年以上工作大数据开发工程师薪资高达30000元/月。
(3) 企业需求高，BAT、滴滴、字节跳动重金招贤纳士，急寻大数据人才，校招年薪水平均在30万以上，80%中小型企业大数据建设已经起步，需求量大增。有大企业需求，未来就业前景自然不言而喻。
总结：大数据行业应用广泛，大数据职业的相关人才匮乏，人才缺口非常大。职业选择多达几十种，要升职加薪很容易！可以说，未来的大数据工作，就意味着高工资，稳定。
5.大数据可能带来什么样的问题？如何应对这些隐患？
问题：
（1）大数据遭受异常流量攻击
大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力。由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。
（2）大数据平台的信息泄露风险
在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘。需要考虑的是在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，但是，传统的数据隐私保护技术大多是针对静态数据的，所以，如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。
（3）大数据的存储管理风险
大数据的数据类型和数据结构是传统数据不能比拟的，在大数据的存储平台上，数据量是非线性甚至是指数级的速度增长的，各种类型和各种结构的数据进行数据存储，势必会引发多种应用进程的并发且频繁无序的运行，极易造成数据存储错位和数据管理混乱，为大数据存储和后期的处理带来安全隐患。当前的数据存储管理系统，能否满足大数据背景下的海量数据的数据存储需求，还有待考验。不过，如果数据管理系统没有相应的安全机制升级，出现问题后则为时已晚。
应对：
（1）个人隐私保护
以前数据是企业的资产，是在企业内部、局部的环境里使用，流动性不强，所以，数据的个人隐私表现不突出。但是到了互联网+时代，数据无处不在，各种数据积累起来后形成了多元数据关联，不法分子和别有用心的人可通过多元数据关联分析导致个人隐私信息泄露。怎样有效保护个人隐私是大数据安全面临的第一个重要问题。
（2）平台安全机制亟待改进
以前我们用ORACLE数据库，到了大数据时代，大家基于hadoop体系结构。在hadoop体系结构里，用户的身份鉴别和授权访问等安全保障能力比较薄弱。同时开源hadoop的一些组件在使用时没有测试，里面可能存在漏洞和恶意代码，存在人家开的后门。
（3）应用访问控制愈加复杂
在数据库时代应用访问控制通过数据库的访问机制解决。每一个用户都要注册，注册完才能访问到数据库。但是到了大数据时代，存在大量未知的用户和大量未知的数据，有很多的用户不知道他的身份，虽然他注册了也不知道他是谁，所以预先设置角色和预先设置角色的权限都做不到。
