大数据概述

1.为什么产生大数据技术?

答:从本质上来说,大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义,大数据就是一个大型的数据仓库,一般有一个能支持业务决策的业务重点。如果是链接到客户的所有记录呢?将这么多不同的数据源互相映射,一般的数据库还做不到。另外,需要链接的数据量是非常巨大的。这就产生了大数据概念。大数据使用特殊的数据结构来组织和访问巨大数量的数据,可能达到多个艾字节的范围。一般情况下,这需要跨多个服务器和离散数据存储进行并行计算,而小企业往往难以维持这种大数据的存储库。但是,大数据正逐渐成为云服务提供商能提供的一种服务,从而把大数据应用推向更多的公司.

2.为什么要学习大数据?

答:第一:提高速度。从基本的蓝牙到大数据分析,如今的技术正在迅速发展。随着世界慢慢接受诸如5G网络等新技术,高速网络和数据分析成为首要关注点。要构建更多这样的实时应用程序,移动应用程序开发人员需要高效地管理数据分析,最好的解决方案 是采用大数据。它以最好的方式,以前所未有的素的分析大量的数据。大数据分析比传统的数据分析技术速度更快。第二:人工智能。随着企业向机器学习技术、复杂系统和高级分析的方向发展,人工智能的投资已增加了两倍。第三:发展生产力。通过获取大数据,企业将能够分析相关数据,并提供最佳解决方案。这将提高组织的生产力,并为他们的消费者和市场价值提供更多的服务。

3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。

答:

1、大数据称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。总的来说就是海量数据集合

2、云计算是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。通过这项技术,可以在很短的时间内(几秒钟)完成对数以万计的数据的处理,从而达到强大的网络服务。

3、物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要监控、 连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互联互通的网络

4、区块链是一个信息技术领域的术语。从本质上讲,它是一个共享数据库,存储于其中的数据或信息,具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征。基于这些特征,区块链技术奠定了坚实的“信任”基础,创造了可靠的“合作”机制,具有广阔的运用前景

5、人工智能是是计算机科学的一个分支领域,致力于让机器模拟人类思维,从而执行学习、推理等工作。

相互关系:物联网是数据的收集基础,通过各种信息传感器和收集器收集信息,统一形成了以海量数据组成的大数据;大数据作为信息载体,为人工智能提供数据集进行分析,以达到能做出正确决策的AI智能系统进入人们的生活;在一个这样数据庞大并时刻在产生数据的时代,数据量的庞大让线下计算无法实现,只能在云端进行存储和计算,并且使用分布式计算减少计算量和计算难度。当然在这样一个数据爆炸的时代,我们所有人无异于裸奔,大数据下的安全隐患和保护被人们所重视,区块链应运而生,具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征,初步做到了保护隐私的作用。

4.用图表和简单的文字简要描述大数据的发展前景和就业趋势,并谈谈你的看法。

答:1.发展前景

(1)技术开源免费。主流的大数据技术都是开源的,大数据开发者可以免费获得。免费的技术和活跃的社区使版本迭代更快。例如Hadoop、Spark、Flink、HBase、Kafka大数据核心技术等。

(2)人才短缺。目前,根据人才市场的相关统计,虽然很多大数据岗位的人才需求很大,但大数据行业的从业人数不足5万人。可以预测未来3-5年,大数据人才缺口将继续扩大至200W以上。因此,大数据就业前景将极为广阔。

(3)行业高薪大数据的薪酬高于一般的开发工程师。而且,如果学好大数据技术,将有更多的机会进入大厂。例如阿里巴巴、腾讯等一线互联网公司仍然需要大量大数据人才。

       2.大数据就业方向

大数据的就业范围广,可以选择岗位很多。如:大数据发展工程师,操作工程师、大数据架构师、工程师、BI工程师、数据挖掘工程师、ETL开发工程师、Spark开发工程师等等。

5.大数据可能带来什么样的问题?如何应对这些隐患?

大数据在落地应用的过程中,潜在的问题涉及到数据泄露问题,而数据泄露不仅可能会侵犯个人的隐私,甚至会泄露企业的核心技术,所以如果大数据不能解决数据泄露问题,大数据技术未来的发展将会受到很大的制约,而大数据作为人工智能的基础,大数据发展速度减缓也会在一定程度上影响人工智能技术的发展。

  除了数据泄露之外,大数据技术如果在使用的过程中,没有边界的限制,很有可能会对大数据的使用者形成一个“认知壁垒”,这对于使用者来说,也是一个潜在的风险。所以,在大数据的落地应用过程中,应该让大数据使用者更多地了解大数据技术的细节,让大数据的参与者共同推动大数据的合理发展。

然而,对于数据的泄露在当前阶段是完全规避不了的,所以,只能在会泄露隐私的平台上尽量有的没的多刷一下,开多个小号什么的来避免隐私过多的泄露。

posted on 2021-09-10 18:22  叶落无悔  阅读(233)  评论(0)    收藏  举报