大数据概述01

 1.为什么产生大数据技术？

        大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。如果是链接到客户的所有记录呢?将这么多不同的数据源互相映射，一般的数据库还做不到。另外，需要链接的数据量是非常巨大的。这就产生了大数据概念。大数据使用特殊的数据结构来组织和访问巨大数量的数据，可能达到多个艾字节的范围。一般情况下，这需要跨多个服务器和离散数据存储进行并行计算，而小企业往往难以维持这种大数据的存储库。但是，大数据正逐渐成为云服务提供商能提供的一种服务，从而把大数据应用推向更多的公司。

2.为什么要学习大数据技术？

    大数据，根本上与数学、统计学、计算机学、数据学等基本理论知识无法分割，技术水平突飞猛进给数字领域带来最直接的跃进。App研发应用、数据库编写应用等促进人类社会技术进步的价值都来源于大数据的发明和运营。单就运营而论，数据作为一种度量方式，能够真实的反映运营状况，帮助企业进一步了解产品、了解用户、了解渠道进而优化运营策略是其快速发展的根本动因。大数据为人的生活带来的不仅只是便利，还有紧密的生活服务网络，将来为人们的出行、就医、上学等服务时，我们将进入新的时代。

3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系

(1)物联网：物联网简单来讲就是“物物相连的互联网”，使用信息传感物理设备按照约定的协议把任何物品与互联网连接起来进行信息交换的网络，以实现物理生产环境的智能化识别、定位、跟踪、监控和管理。

(2)云计算：本质上是将具备一定规模的物理资源转化为服务的形式提供给用户。

(3)大数据：大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量，这种情况下出现了数据组织技术。

(4)人工智能：组织好数据，接下来就需要深度挖掘数据。对这样的海量数据，人类的大脑已经处理不过来了，于是人类将各种意义转化为算法交给机器，让机器自行决策，最终给我们提供一个收敛的结果，就有了有效信息。

(5)区块链：区块链技术，简单的说就是利用分布式网络+非对称加密算法将已经形成的信息有效的串联起来，保证信息是达成人们共识的还不可修改

 相互关系

(1)区块链与物联网：区块链技术可以为物联网提供点对点直接互联的方式来传输数据，而不是通过中央处理器。可以充分利用分布在不同位置的数以亿计闲置设备的计算力、存储容量和带宽，用于交易处理，大幅度降低计算和储存的成本。

(2)区块链与云计算：区块链本身就是一种资源，有按需供给的需求，是云计算的一个组成部分，云计算的技术和区块链的技术之间是可以相互融合的

(3)区块链与大数据：区块链是底层技术，大数据则是对数据集合及处理方式的称呼。区块链上的数据是会形成链条的，它就有真实、顺序、可追溯的特性，相当于已经从大数据中抽取了有用数据并进行了分类整理。

(4)区块链与人工智能：人工智能与区块链技术结合最大的意义在于，区块链技术能够为人工智能提供核心技能——贡献区块链技术的“链”功能，让人工智能的每一步“自主”运行和发展都得到记录和公开，从而促进人工智能功能的健全和安全、稳定性。

4.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。

       大数据发展前景应该是很不错的，新职业，企业缺人，属于高技术的职业。可能会做到一些关于收集用户信息，然后将网站或者软件进行调整的工作。应该是收集分析方面的工作。感觉会面对非常庞大的用户数据，随着社会的发展，人们产生的数据将会越来越大。在我看来，就这样的趋势下去，与大数据相关的产业会发展的越来越好，越来越庞大，从而导致的人才的工作岗位增加，所以说大数据的就业前景是无限广大的

5.大数据可能带来什么样的问题？如何应对这些隐患？

（1）个人隐私安全问题

        个人隐私安全问题。在现有隐私保护法规不健全、隐私保护技术不完善的条件下，互联网上的个人隐私泄露失去管控，微信、微博、QQ等社交软件掌握着用户的社会关系，监控系统记录着人们的聊天、上网、出行记录，网上支付、购物网站记录着人们的消费行为。但在大数据传输时代，人们面临的威胁不仅限于个人隐私泄露，还在于基于大数据传输对人的状态和行为的预测。近年来，国内多省社保系统个人信息泄露、12306账号信息泄露等大数据传输安全事件表明，大数据传输未被妥善处理会对用户隐私造成极大的侵害。因此，在大数据传输环境下，如何管理好数据，在保证数据使用效益的同时保护个人隐私，是大数据传输时代面临的巨大挑战之一

（2）大数据会被攻击而导致信息泄露

       大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力。由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。