01大数据概述

1.为什么产生大数据技术？

大数据：就是现代化的数据感知、采集、加工处理技术的成熟，和现代网络互联网物联网以及网络自媒体相互贯通

例如：

1：手机上的各大软件每次登录都要实名获取或者手机注册认证、音频、视频、图片、地理位置信息等、用的软件都是不同公司开发，开发公司要获取到你的信息就是流量

2： 微信登录，你用的手机型号 、价格、地理位置、用户出门场景行为、兴趣爱好、腾讯大数据实时都可以检测、生活在互联网大数据时代，你已经被优化了

人们的使用习惯，人们经常浏览网络、网络购物、网络社交等留下的信息都会被大数据的收集工具所收集，并上传到数据处理平台进行数据处理。或许理论上的解释很难去了解，但是它现在已经和我们的生活紧密联系在一起

 

  “大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用,形成的智力资源，和知识服务的能力

 

 

2.为什么要学习大数据？

 

１．价值隐藏于数据之后

在商业活动中，无时无刻不在产生大量的数据。但大多数时候，这些数据是零散的、不规律的，这就是我们常说的原始数据。原始数据本身并不具备价值，需要对其进行整合和进一步处理才能得到我们想要的数据。

无数案例的经验告诉我们，具有决策指导意义的数据就隐藏在这些看起来杂乱无章的数据之中。大数据对于未来的预见性和科学性使得这些数据具有价值，我们分析大数据其实就是想要得到能够“预见未来”能力。

２．大数据分析与科学决策

在过去的商业决策中，管理者凭借自身的经验和对行业的敏感来决定企业发展方向和方式，这种决策有时候仅仅参考一些模糊的数据和建议。而大数据和大数据分析工具的出现。让人们找到了一条新的科学决策之路。

大数据主义者认为，所有决策，都应当逐渐摒弃经验与直觉，并且加大对数据分析的倚重。相对于全人工决策，科学的决策能给人们提供可预见的事物发展规律，不仅让结果变得更加科学、客观，在一定程度上也减轻了决策者所承受的巨大精神压力。

３．大数据分析工具，科学决策指南针

在大数据分析工具出现之前，参与决策指导的数据一般都是人工分析得出的。科学的决策需要科学的数据，人工分析数据并不能保证数据的绝对真实和客观。这意味着在大数据分析工具的使用中，数据必须确保真实与可靠。

国内有些数据分析工具在性能上已经能比肩国外同类技术。国云数据的新锐产品大数据魔镜，作为国内领先的数据分析工具，能为用户提供完整的数据分析。随着数据市场和云BI等功能的开放，大数据魔镜有望成为新的数据分析平台。

大数据价值体现在服务人类，大数据和大数据分析工具都是为人服务的，这在大数据魔镜的功能中被体现地淋漓尽致——人性化、智能化服务于用户。数据分析工具的作用取决于人们的需要，而不是数据本身。

在大数据的帮助下，我们将会越来越清晰地看到这个世界的本来面目，也会越来越清晰地认识人类自身。而大数据分析工具，就是探索大数据与现实世界之间联系的放大镜和启明灯!

 

 

3.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。

 

大数据行业发展现状

1、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。

2、移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。

3、电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。

4、进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

5、电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。

6、传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据

大数据就业趋势

大数据人才需求及现状分析

首先来说人才缺口，未来3至5年，中国需要200万+大数据人才，目前大数据从业人数不足50万，市场需求远远得不到满足。

总结来说就是，未来大数据人才缺口会越来越大，缺的人多了，自然好就业。

然后来看职位薪资，普通大数据开发工程师的基本岗位薪资起步即1万+，一般入职薪资13000元左右，3年以上工作大数据开发工程师薪资高达30000元/月。

接着来看行业前景，2017年中国大数据产业总体规模为4700亿元人民币，预计2018年将突破5700亿元，未来大数据与云计算、AI相结合，将缔造数百个就业新岗位。

说白了就是行业前景可观，未来可期。

 

4.大数据可能带来什么样的问题？如何应对这些隐患？

大数据安全隐患

　　(一)大数据遭受异常流量攻击

　　大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力。由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。

　　(二)大数据信息泄露风险

　　大数据平台的信息泄露风险在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘。需要考虑的是在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，但是，传统的数据隐私保护技术大多是针对静态数据的，所以，如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。

　　(三)大数据传输过程中的安全隐患

　　数据生命周期安全问题。伴随着大数据传输技术和应用的快速发展，在大数据传输生命周期的各个阶段、各个环节，越来越多的安全隐患逐渐暴露出来。比如，大数据传输环节，除了存在泄漏、篡改等风险外，还可能被数据流攻击者利用，数据在传播中可能出现逐步失真等。又如，大数据传输处理环节，除数据非授权使用和被破坏的风险外，由于大数据传输的异构、多源、关联等特点，即使多个数据集各自脱敏处理，数据集仍然存在因关联分析而造成个人信息泄漏的风险。

　　基础设施安全问题。作为大数据传输汇集的主要载体和基础设施，云计算为大数据传输提供了存储场所、访问通道、虚拟化的数据处理空间。因此，云平台中存储数据的安全问题也成为阻碍大数据传输发展的主要因素。

　　个人隐私安全问题。在现有隐私保护法规不健全、隐私保护技术不完善的条件下，互联网上的个人隐私泄露失去管控，微信、微博、QQ等社交软件掌握着用户的社会关系，监控系统记录着人们的聊天、上网、出行记录，网上支付、购物网站记录着人们的消费行为。但在大数据传输时代，人们面临的威胁不仅限于个人隐私泄露，还在于基于大数据传输对人的状态和行为的预测。近年来，国内多省社保系统个人信息泄露、12306账号信息泄露等大数据传输安全事件表明，大数据传输未被妥善处理会对用户隐私造成极大的侵害。因此，在大数据传输环境下，如何管理好数据，在保证数据使用效益的同时保护个人隐私，是大数据传输时代面临的巨大挑战之一。

　　(四)大数据的存储管理风险

　　大数据的数据类型和数据结构是传统数据不能比拟的，在大数据的存储平台上，数据量是非线性甚至是指数级的速度增长的，各种类型和各种结构的数据进行数据存储，势必会引发多种应用进程的并发且频繁无序的运行，极易造成数据存储错位和数据管理混乱，为大数据存储和后期的处理带来安全隐患。当前的数据存储管理系统，能否满足大数据背景下的海量数据的数据存储需求，还有待考验。不过，如果数据管理系统没有相应的安全机制升级，出现问题后则为时已晚。

 

大数据安全挑战

　　大数据安全虽仍继承传统数据安全保密性、完整性和可用性三个特性，但也有其特殊性，主要表现在以下两方面：

　　(一)个人隐私保护

　　以前数据是企业的资产，是在企业内部、局部的环境里使用，流动性不强，所以，数据的个人隐私表现不突出。但是到了互联网+时代，数据无处不在，各种数据积累起来后形成了多元数据关联，不法分子和别有用心的人可通过多元数据关联分析导致个人隐私信息泄露。怎样有效保护个人隐私是大数据安全面临的第一个重要问题。

　　(二)跨境数据流动

　　在现在这个时代，数据的流动很重要。全球性购物促销活动多个国家都参与其中，数据的跨境流动是大数据的一个特殊属性。在法律制度、数据服务外包、打击网络犯罪方面保护跨境数据的安全是很重要的。

　　所以，建立大数据安全标准体系框架时要对传统数据的采集、组织、存储、处理等生命周期各方面安全标准进行适用性分析,适合的接着采用，不适合的要修订，缺项的必须增加。

　　外部非授权人员对信息系统进行恶意入侵，非法访问隐私数据；数据具有易复制性，发生数据安全事件后，无法进行有效的追溯和审计；大数据有流动、共享的需求，大量数据的汇聚传输加大了数据泄露的风险。

　　(三)传统安全措施难以适配

　　大数据海量、多源、异构、动态的特征导致大数据系统存储结构复杂、开放性、分布式计算和高效精准的服务，这些特殊需求传统安全措施解决不了。

　　(四)平台安全机制亟待改进

　　以前我们用ORACLE数据库，到了大数据时代，大家基于hadoop体系结构。在hadoop体系结构里，用户的身份鉴别和授权访问等安全保障能力比较薄弱。同时开源hadoop的一些组件在使用时没有测试，里面可能存在漏洞和恶意代码，存在人家开的后门。

　　(五)应用访问控制愈加复杂

　　在数据库时代应用访问控制通过数据库的访问机制解决。每一个用户都要注册，注册完才能访问到数据库。但是到了大数据时代，存在大量未知的用户和大量未知的数据，有很多的用户不知道他的身份，虽然他注册了也不知道他是谁，所以预先设置角色和预先设置角色的权限都做不到