01大数据概述

1.为什么产生大数据技术?

  从采用数据库作为数据管理的主要方式开始,人类社会的数据产生方式大致经历了 3 个阶段,而正是数据产生方式的巨大变化才最终导致大数据的产生。

1)运营式系统阶段。

数据库的出现使得数据管理的复杂度大大降低,在实际使用中,数据库大多为运营系统所采用,作为运营系统的数据管理子系统,如超市的销售记录系统、银行的交易记录系统、医院病人的医疗记录等。

人类社会数据量的第一次大的飞跃正是在运营式系统开始广泛使用数据库时开始的。这个阶段的最主要特点是,数据的产生往往伴随着一定的运营活动;而且数据是记录在数据库中的,例如,商店每售出一件产品就会在数据库中产生一条相应的销售记录。这种数据的产生方式是被动的。

2)用户原创内容阶段。

互联网的诞生促使人类社会数据量出现第二次大的飞跃,但是真正的数据爆发产生于 Web 2.0 时代,而 Web 2.0 的最重要标志就是用户原创内容。这类数据近几年一直呈现爆炸性的增长。

主要有以下两个方面的原因。

1.是以博客、微博和微信为代表的新型社交网络的岀现和快速发展,使得用户产生数据的意愿更加强烈。
2.是以智能手机、平板电脑为代表的新型移动设备的出现,这些易携带、全天候接入网络的移动设备使得人们在网上发表自己意见的途径更为便捷。这个阶段的数据产生方式是主动的。
3)感知式系统阶段。

人类社会数据量第三次大的飞跃最终导致了大数据的产生,今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的广泛使用。

随着技术的发展,人们已经有能力制造极其微小的带有处理功能的传感器,并开始将这些设备广泛地布置于社会的各个角落,通过这些设备来对整个社会的运转进行监控。这些设备会源源不断地产生新数据,这种数据的产生方式是自动的。

2.为什么要学习大数据技术?

  首先,学习大数据的原因就是大数据分析的采用率很高,现在很多公司都开始使用大数据这一技术,正如公司开始转向社交媒体品牌广告和客户参与一样,他们也开始转向数据分析。今天几乎不可能找到没有社交媒体的品牌。就数据分析适应而言也是如此。在不久的将来,每个公司都将需要数据分析专家。这使得它成为一个明智的职业生涯,实际上有一个未来的业务。因此,现在大数据的工作人员十分吃香。

  其次,数据分析正在快于预期,曾经有一项调查显示,数据分析的速度要比预计的快得多。调查发现数据分析技术将在未来3年内寻找技术。因此,在未来十年中,数据分析工作可以说是一个铁饭碗。

  而数据分析行业也能够代表完美的自由职业机会。相信在不久的将来,极大部分的劳动力不会被束缚在一个雇主身上。人们正在稳步寻找各种各样的收入来源和方法,通过这些渠道找到完美的工作与生活平衡。数据分析,这是一个研究数字、趋势和数据的一般问题 ,为我们提供了一个完美的机会,成为世界上一些最大的公司的高薪自由职业者或顾问。在很大的信息技术基础上,这种工作可以在任何时候从世界任何地方完成。因此我们就会变得十分自由。

  当然,大数据还能够帮助我们开发新的收入来源。我们可以分析并将好的数据信息用于良好用途,您可以轻松识别新的和未开发的创收流。这是通过增加收入来丰富您的生活的最佳方式之一。而且大数据行业中,薪资水平还是很高的,这让很多人心之向往。

 

3.用图表和简单的文字简要描述大数据的发展前景和就业趋势,并谈谈你的看法。

大数据发展前景

(1)技术开源免费

主流的大数据技术都是开源的,大数据开发者可以免费获得。免费的技术和活跃的社区使版本迭代更快。例如Hadoop、Spark、Flink、HBase、Kafka大数据核心技术等。

(2)人才短缺

目前,根据人才市场的相关统计,虽然很多大数据岗位的人才需求很大,但大数据行业的从业人数不足5万人。

可以预测未来3-5年,大数据人才缺口将继续扩大至200W以上。因此,大数据就业前景将极为广阔。

(3)行业高薪

大数据的薪酬高于一般的开发工程师。而且,如果学好大数据技术,将有更多的机会进入大厂。例如阿里巴巴、腾讯等一线互联网公司仍然需要大量大数据人才。

3. 大数据就业方向

大数据的就业范围广,可以选择岗位很多。如:大数据发展工程师,操作工程师、大数据架构师、工程师、BI工程师、数据挖掘工程师、ETL开发工程师、Spark开发工程师等等。

虽然大数据的就业前景很好,但掌握大数据开发技术也是前提。否则,不管这个行业发展得多好,有多少工作机会,都和你没有关系。

 

4.大数据可能带来什么样的问题?如何应对这些隐患?

 

大数据在落地应用的过程中,潜在的问题涉及到数据泄露问题,而数据泄露不仅可能会侵犯个人的隐私,甚至会泄露企业的核心技术,所以如果大数据不能解决数据泄露问题,大数据技术未来的发展将会受到很大的制约,而大数据作为人工智能的基础,大数据发展速度减缓也会在一定程度上影响人工智能技术的发展。

除了数据泄露之外,大数据技术如果在使用的过程中,没有边界的限制,很有可能会对大数据的使用者形成一个“认知壁垒”,这对于使用者来说,也是一个潜在的风险。所以,在大数据的落地应用过程中,应该让大数据使用者更多地了解大数据技术的细节,让大数据的参与者共同推动大数据的合理发展。



posted @ 2021-09-06 20:34  L憨憨  阅读(315)  评论(1编辑  收藏  举报