01 大数据概述

1、为什么产生大数据技术？

      从采用数据库作为数据管理的主要方式开始，人类社会的数据产生方式大致经历了 3 个阶段，而正是数据产生方式的巨大变化才最终导致大数据的产生。

1）运营式系统阶段。

      数据库的出现使得数据管理的复杂度大大降低，在实际使用中，数据库大多为运营系统所采用，作为运营系统的数据管理子系统，如超市的销售记录系统、银行的交易记录系统、医院病人的医疗记录等。

2）用户原创内容阶段。

     互联网的诞生促使人类社会数据量出现第二次大的飞跃，但是真正的数据爆发产生于 Web 2.0 时代，而 Web 2.0 的最重要标志就是用户原创内容。这类数据近几年一直呈现爆炸性的增长。
     主要有以下两个方面的原因：

      1、新型社交网络的岀现和快速发展，使得用户产生数据的意愿更加强烈。

      2、新型移动设备的出现，这些易携带、全天候接入网络的移动设备使得人们在网上发表自己意见的途径更为便捷。

3）感知式系统阶段。

        人类社会数据量第三次大的飞跃最终导致了大数据的产生，今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的广泛使用。随着科技的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛地布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。

    

 

2、为什么要学习大数据技术？

1、门槛

      大数据比 Java 高一点，除了对数据库的操作之外，还需要学习大数据生态的东西，分布式、数仓、中间件等知识。大数据比机器学习低一些，不用会太多的算法和高等数学知识，这是需要长时间的磨练和沉淀，所以做这方向的研究生和博士居多。也正是因为大数据的学习门槛比 Java 高，目前市场上相关的正规的培训机构较少，让你学学 Python 爬爬数据然后自称大数据培训。

2、高校专业设立大数据专业

      计算机专业都会接触到Java、数据、C、C++等编程语言，但大数据专业设立以来，第一批大数据专业的学生也还在校，目前社会上的大数据岗位的人几乎都是自学的，谈不上对口，但是再过两年就不一定了，所以“早，就是优势”。

3、薪资待遇

      这是吸引大部分人学习的原因，普通开发岗和大数据开发薪资还是会差一个档次的，具体多少视公司而定。

4、积累性和挑战性

      很多IT从业者对自己的职业前景感到迷茫和担忧，在许多大数据的学习群里经常讨论一些分布式，Redis、Zookeeper等知识之时显得不太合群，学习大数据是件具有挑战性的事。

      其实学习大数据开发是积累性又有挑战性的一件事。了解过大数据的应该知道大数据的「4V理论」，随着时间的发展，企业产生的数据量肯定越来越大。在以前，我们对数据是不重视的，但是随着机器学习的发展，数据是越来越重要的。如果只是进行一些数据库的增删改查或者一些页面展示什么的，这些套路都是可复用的，讲究能用就行。但是大数据不一样，无论你是做平台的建设，数仓，计算等，一些场景一些机制都是需要你去思考的。

5、推动你现有岗位的发展

      大数据+现有岗位是一个趋势。大数据来临的时候，你前端不用做一些静态化，或者一些缓存机制吗？会一些 Hive、Hadoop，做可视化或和后端对接的时候是不是更有优势呢？后端学一些大数据的觉得是必要的，例如Kafka、Zookeeper等分布式、缓存相关的数据存储和传输是进阶 Java 必会的，让你在现有企业需要转型的时候可以直接就上。

6、过渡到机器学习人工智能的捷径

      随着科技的进步，包括硬件和软件，机器学习的使用门槛会越来越低，为什么这里强调使用。因为研究部门在每一家公司都是极少数的，更多的是在调库，调参。而随着硬件的进步，很多算法都是封装好的，可以进行傻瓜化操作，我们只需要给他大量的数据。

      总而言之，大数据时代各种技术日新月异，想要保持竞争力就必须得不断地学习。

 

 

3、大数据的发展前景和就业趋势分析

    （1）大数据的发展前景

       1、前沿技术的基石：推动大数据企业创新发展，培育新技术、新业态、新模式、新产业。坚持以大数据为突破口，大力推进核心技术创新，坚持以应用为中心，推动大数据在各行业应用。

       2、高新产业发展需要：数据产业链逐步形成。许多企业开始参与大数据产业链，形成了一定的产业规模。数据领域的未来发展仍然很大，但目前还需要对大数据进行更深入的研究。

       3、政策支持：数据开发日新月异。分析我国大数据发展的成果和问题，推动大数据战略的实施改善数字基础设施，加快数字中国建设。十八届五中全会提出实施大数据战略发展。

 

    （2）大数据的就业趋势

      《大数据人才报告》指出,目前全国的大数据人才仅46万,未来3-5年内将会出现高达150万的大数据人才的缺口。

      《2016年中国互联网最热职位人才报告》显示，当下中国互联网行业需求最多的六类人才职位为研发工程师、产品经理、人力资源、市场营销、运营和数据分析。其中需求量最大的是研发工程师，而最为稀缺的是数据分析人才。领英报告表明，高度稀缺的是数据分析人才，其供给指数最低，仅为0.05。并且其才跳槽速度也最快，平均跳槽速度为19.8个月。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将高达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

       数据开发隶属于大数据领域。而数据开发岗位在互联网岗位薪酬中，排名第二。

                 

         再来看看，大数据具体岗位的收入水平。

         

          

          

        综合以上图表，皆可得出大数据岗位的收入水平处于比较高水平。借此，我希望尽自己所能努力学习大数据技术，以后争做一名大数据人才。

 

 

4、大数据可能带来什么样的问题？如何应对这些隐患？

      大数据时代的安全隐患分为两大类，一类是数据传输过程中的安全隐患，另一类是黑客攻击。

      首先，先来谈谈数据传输过程中的安全隐患。数据传输层存在着大量的网络节点，网络节点实质就是互联网中的路由器，路由器的主要功能就是根据数据的目的地址进行路由的选择和转发。由于数据在传输过程当中，信号的传输是在链路中进行的，对于用户而言是不可视的。因此在数据传输过程当中存在着很多安全威胁。常见安全威胁有以下几种：

      （1）窃听：在数据传输过程当中，攻击者会通过抓包工具截取数据，如果截取的数据是以明文的形式传输的，这样攻击者很容易得到用户传输的具体信息，因而造成用户信息的泄露。

      （2）篡改：篡改主要是指数据传输过程当中，攻击者截取中途传输的数据，然后对其中的一些重要信息进行修改，再依照数据包中的目的地址将数据继续传送给接收者，攻击者对数据进行篡改从而使数据的完整性遭到了严重的破坏。

      （3）路由攻击：路由攻击就是攻击者直接攻击路由器，恶意篡改内部路由表中的信息，发送的数据包经过被攻击的节点后，会根据错误的路由表信息进行路由选择，这样的话就会选择错误的路径，造成网络带宽的浪费。

       其次，再来谈谈黑客攻击。

      黑客攻击主要分为非破坏性攻击和破坏性攻击两大类，非破坏性攻击和破坏性攻击两大类，非破坏性攻击主要目的是为了扰乱系统的正常运行，而破坏性攻击主要就是采用非法的手段窃取用户的信息。下面是常见的黑客攻击手段：

      （1）后门程序：后门程序又称特洛伊木马，它一般潜伏在电脑中，绕过安全性检查进行数据的采集，之后将获取的数据发送给远程的控制机器。

     （2）拒绝服务:拒绝服务实质就是信息炸弹，攻击者对指定服务器发送超过其目标处理能力的大量数据包，从而导致目标服务器的缓冲队列一直为满的状态，从而导致网络或者服务器系统不堪重负。对于用户新来的请求，由于缓冲队列一直为满的情况，所以系统无法提供正常的网络服务，最终会导致服务器瘫痪。

     （3）网络窃听：网络窃听是指攻击者监视网络状况。黑客一般通过这种方式来获取用户口令，将截取到的口令以登录相应的系统从而获取到用户的隐私信息。

       当面临大数据时代带来的网络安全隐患时，我们可以做如下安全措施来防止隐患：

      （1）数据加密：数据加密是对用户传输的数据进行加密，这样子数据传输的过程当中，即使被恶意的攻击者截取，攻击者通过穷举的方式在有效的时间内也破解不了，因此能有效保障用户的隐私不被泄漏。数据加密实质就是在用户发送数据到传输信道之前，将传输的数据通过加密算法使明文转换成密文，接受者在接收到信息之后再通过事先约定的密钥通过解密算法将密文转换成明文。数据加密主要分对称加密和非对称加密。对称加密的加密算法和解密算法使用的是同一个密钥，而非对称加密中加密算法和解密算法使用的密钥是不相同的，数据的接受者拥有私钥，而将公钥公开，任何人可以通过接受者释放的公钥对数据进行加密之后然后向接受者发送消息，接受者接收到数据之后可以通过自己的私钥可以将密文转换成明文。

      （2）建立安全的数据存储和防护体系:要解决大数据的安全存储问题，就要建立健全数据安全存储体系，为了保护核心数据的安全，采用了隐式机制解决存储问题，窃取者如果想要获取用户的个人信息，必须要知道所存储的矩阵的每一个元素的信息，这给窃取信息者在技术操作上增加了很大的难度，对于保护用户的隐私是非常有意义的。

      （3）建立完善的网络管理机制：随着大数据的发展，网络犯罪也越来越多，因此管理层必须要重视计算机网络的安全使用，加强防范意识，相关部门必须要完善立法，加强网络信息和个人隐私信息的保护力度，建立健全完善的法律法规，全面提升网络安全的监管力度。除此之外，在这样一个时代，用户自身也要加强安全防范意识，避免人为因素造成自身隐私的泄露。

      （4）查补漏洞：在大数据时代，一些攻击者往往将一些恶意的病毒注入到相关的网页当中，一旦点击进去，病毒就会进行传染，它们就像寄生者一样，可以监控计算机内各个进程的运行状况，对计算机系统进行破坏，对计算机内存中的内容进行删除，造成用户隐私的泄露。因此一旦遇到这种问题，要立即使用杀毒软件对计算机中的病毒进行清理，维护系统的安全。除此之外，用户要定时的清理和更新最常用的软件，使之保证最新的版本。