01大数据概述

1、为什么产生大数据技术？

 

大数据到底是什么?我们为什么需要大数据技术?

       从本质上来说，大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。但是，它和传统数据库不同的是，大数据不用构建。在典型的数据库中，数据会被组织成标准的字段，并使用特定的密钥索引。如果你熟悉Microsoft Access应用程序，那么你就能完全理解这个概念。比如，一个顾客记录可以由姓氏、名字、地址和其它信息组成有通用标签的字段。每个顾客记录样式都是相同的，这样可以通过使用搜索关键词来检索，比如搜索姓氏。

       现在，如果你想链接到这些客户记录需要怎么做?链接到客户的图片或者视频呢?如果是链接到客户的所有记录呢?将这么多不同的数据源互相映射，一般的数据库还做不到。另外，需要链接的数据量是非常巨大的。这就产生了大数据概念。大数据使用特殊的数据结构来组织和访问巨大数量的数据，可能达到多个艾字节的范围。一般情况下，这需要跨多个服务器和离散数据存储进行并行计算，而小企业往往难以维持这种大数据的存储库。但是，大数据正逐渐成为云服务提供商能提供的一种服务，从而把大数据应用推向更多的公司。但是，还有一个“大”问题，就是我们为什么需要大数据?答案就是相关性的价值。如果你能看到乍一看似乎没什么关系的数据设置之间的关系，你会获取很多重要信息。比如你想知道你的公司是不是容易被黑客利用。那么你需要跨多个应用程序和数据中心检查无数条交易。这时如果没有大数据技术和相关的分析技术，这几乎是不可能完成的。最终，随着数据量的增长、业务的可用性和重要性的增加，大数据的定义可能会用来描述大多数数据库应用。IT专业人士应该掌握大数据相关概念和术语，以免遇到困难。

2、为什么要学习大数据技术？

1、门槛

大数据比 Java 高一点，除了对数据库的操作之外，还需要学习大数据生态的东西，分布式、数仓、中间件等知识。大数据比机器学习低一些，不用会太多的算法和高等数学知识，这是需要长时间的磨练和沉淀，所以做这方向的研究生和博士居多。

也正是因为大数据的学习门槛比 Java 高，目前市场上相关的正规的培训机构较少，让你学学 Python 爬爬数据然后自称大数据培训。

2、高校专业设立大数据专业

计算机专业都会接触到Java、数据、C、C++等，但大数据专业设立以来，第一批大数据专业的学生也还在校，目前社会上的大数据岗位的人几乎都是自学的，谈不上对口，但是再过两年就不一定了，所以「早，就是优势」。

3、薪资待遇

这是吸引大部分人学习的原因，普通开发岗和大数据开发薪资还是会差一个档次的，具体多少视公司而定。

4、积累性和挑战性

很多IT从业者对自己的职业前景感到迷茫和担忧，在许多大数据的学习群里经常讨论一些分布式，Redis、Zookeeper等知识之时显得不太合群，学习大数据是件具有挑战性的事。

为什么说大数据开发是积累性又有挑战性的呢？

了解过大数据的应该知道大数据的「4V理论」，随着时间的发展，企业产生的数据量肯定越来越大。在以前，我们对数据是不重视的，但是随着机器学习的发展，数据是越来越重要的。如果只是进行一些数据库的增删改查或者一些页面展示什么的，这些套路都是可复用的，讲究能用就行。但是大数据不一样，无论你是做平台的建设，数仓，计算等，一些场景一些机制都是需要你去思考的。

大数据面试中面试官经常问一个问题：「你为什么不做 Java，要去做大数据？」

你们有仔细想过为什么吗？

5、推动你现有岗位的发展

很多人问，我从事前端的学大数据有什么用？我从事运维，学大数据能帮我什么？等等。

大数据+现有岗位是一个趋势。大数据来临的时候，你前端不用做一些静态化，或者一些缓存机制吗？会一些 Hive、Hadoop，做可视化或和后端对接的时候是不是更有优势呢？后端学一些大数据的觉得是必要的，例如Kafka、Zookeeper等分布式、缓存相关的数据存储和传输是进阶 Java 必会的，让你在现有企业需要转型的时候可以直接就上。而运维呢？分布式集群运维，各个大数据平台上的节点运维，这不是一个趋势吗？

什么都不学，认为现在的公司用不到，等公司要用到的时候，你会，可能就是升职加薪的好机会啊。

6、过渡到机器学习人工智能的捷径

随着科技的进步，包括硬件和软件，机器学习的使用门槛会越来越低，为什么这里强调使用。因为研究部门在每一家公司都是极少数的，更多的是在调库，调参。而随着硬件的进步，很多算法都是封装好的，可以进行傻瓜化操作，我们只需要给他大量的数据。

大数据时代各种技术日新月异，想要保持竞争力就必须得不断地学习。写这些文章的目的是希望能帮到一些人了解学习大数据相关知识 。加米谷大数据，大数据人才培养机构，喜欢的同学可关注下，每天花一点时间学习，长期积累总是会有收获的。

3.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。

一、大数据的意义

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。

对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。

二、大数据的价值

大数据的价值体现在以下几个方面：

1. 对大量消费者提供产品或服务的企业可以利用大数据进行精准营销。

2. 做小而美模式的中小微企业可以利用大数据做服务转型。

3. 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

三、大数据就业方向

当下，大数据方面的就业主要有三大方向：一是数据分析类大数据人才，二是系统研发类大数据人才，三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。

对于求职者来说，大数据只是所从事事业的一个方向，而职业岗位则是决定做什么事?

大数据从业者/求职者可以根据自身所学技术及兴趣特征，选择一个适合自己的大数据相关岗位。

下面为大家介绍十种与大数据相关的热门岗位。

1. ETL研发

企业数据种类与来源的不断增加，对数据进行整合与处理变得越来越困难，企业迫切需要一种有数据整合能力的人才。ETL开发者这是在此需求基础下而诞生的一个职业岗位。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。

2. Hadoop开发

随着数据规模不断增大，传统BI的数据处理成本过高企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘，企业需求持续增长。并成为大数据人才必须掌握的一种技术。

3. 可视化工具开发

可视化开发就是在可视化工具提供的图形用户界面上，通过操作界面元素，有可视化开发工具自动生成相关应用软件，轻松跨越多个资源和层次连接所有数据。过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。

4. 信息架构开发

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等

5. 数据仓库研究

为方便企业决策，出于分析性报告和决策支持的目的而创建的数据仓库研究岗位是一种所有类型数据的战略集合。为企业提供业务智能服务，指导业务流程改进和监视时间、成本、质量和控制。

6. OLAP开发

OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

7. 数据科学研究

数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。

8. 数据预测分析

营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。

9. 企业数据管理

企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家的人，需要保证市场数据的完整性，准确性，唯一性，真实性和不冗余。

10. 数据安全研究

数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验，具备运维管理方面的知识和能力，对企业传统业务有较深刻的理解，才能确保企业数据安全做到一丝不漏。

四、大数据就业前景

在就业“钱景”方面，各大互联网公司都在囤积大数据处理人才，从业人员的薪资待遇也很不错。以基本的Hadoop开发工程师为例，入门月薪已经达到了8K以上，工作1年月薪可达到12K以上，资深的hadoop人才年薪可达到30万—50万。

大数据开发人员薪资 来自猎聘网

大数据开发人员薪资 来自猎聘网

全球顶尖管理咨询公司麦肯锡分析报告显示，到2018年，大数据或者数据工作者的岗位需求将激增。其中大数据科学家的缺口在14万到19万之间，对于懂得如何利用大数据做决策的分析师和经理的岗位缺口则将达到150万！

以上种种，无不揭示着大数据未来发展的大好前景！时不我待，抓住机遇！

4.大数据可能带来什么样的问题？如何应对这些隐患？

近期大数据产业链上的不少企业成为了科技领域的热门话题，一部分大数据企业在运营的过程中出现了一定的问题，从而接连受到监管部门的问询，这也为大数据的落地应用敲响了警钟。

随着大数据技术体系的逐渐成熟，大数据技术也处在落地应用的初期，但是由于大数据技术涉及到的数据，本身就具有一定的敏感性，所以目前很多大数据产业链上的企业，都处于业务发展的探索阶段，一部分业务也处在所谓的“灰色地带”，这在一定程度上，也制约了大数据行业的发展。如何规范大数据行业，以及如何让大数据能够更加合理、顺利地落地到产业领域，并为产业领域的发展赋能，将是一个必须面对和解决的问题。

大数据在落地应用的过程中，潜在的问题涉及到数据泄露问题，而数据泄露不仅可能会侵犯个人的隐私，甚至会泄露企业的核心技术，所以如果大数据不能解决数据泄露问题，大数据技术未来的发展将会受到很大的制约，而大数据作为人工智能的基础，大数据发展速度减缓也会在一定程度上影响人工智能技术的发展。

除了数据泄露之外，大数据技术如果在使用的过程中，没有边界的限制，很有可能会对大数据的使用者形成一个“认知壁垒”，这对于使用者来说，也是一个潜在的风险。所以，在大数据的落地应用过程中，应该让大数据使用者更多地了解大数据技术的细节，让大数据的参与者共同推动大数据的合理发展。