什么是大数据?初步认识大数据(1)

大数据是什么?

  首先提一个问题:“大数据"是一项专门的技术吗?有的人可能会以为大数据是一项专门的技术,其实不是。“大数据"这三个字只是一门市场语言(Marketing Language),其背后是硬件、数据库、操作系统、I-ladoop等一系列技术的综合应用。

大数据导论

大数据简史

  大数据(Big Data)现在可以说是人尽皆知,其实真正回溯起来,其是由SGI的首席科学家 JohnR.Masey于1998年在USENIX大会上首次提出的。他在其发表的一篇名为 Big Data and the Next Wave of Infrastress 的论文中首次提出这个词,用来描述数据爆炸的现象。估计他当时未必能想到十几年后Big Data能这么火。

  如果追溯大数据的概念,则是阿尔文·托夫勒(Alvin Toffler)于1980年在《第三次浪潮》一书中预言了信息时代的到来会带来数据爆发,所以科学家很早就预见到了大数据。大数据的历史由来已久,但是技术需要持续积累,才能由量变到质变。

  对于工业界来说,不得不提Google在2003一2006年公布的关于GFS、MapReduce和BigTable 的三篇技术论文,正是这三篇论文奠定了大数据发展的基石。Hadoop之父—Doug cuttingo正是参考论文,后来才实现了当前鼎射大名的Hadoop,而Hadoop的诞生极大地促进了大数据技术的蓬勃发展。

  当然,这里特别要指出,Hadoop并不等同于大数据,大数据也并不特指Hadoop,大数据只是一门市场语言,代表的是一种理念、一种问题解决思路、一系列技术的集合,Hadoop只是其中一种具体的处理数据的框架技术。

大数据现状

  Gartner发布的2016技术成熟度曲线(见图1.1)首次将云计算、大数据及相关技术移除。Gartner 指出这些技术不是不重要,而是不再“新兴",大家虽然对大数据的兴趣依然不减,但是这个市场已经安定下来,有了一整套合理的方法,新的技术和实践被添加进现有方案。所以大数据度过了技术的期望膨胀高峰期,到了真正使用大数据解决问题的时候。未来大数据相关技术的演进在很长一段时间仍将展现出强大的生命力,相关市场的营收也将不断放大。

               图1.1

大数据与BIO

  前面说了大数据是一种理念、一种问题解决思路和一系列技术的集合,它与传统的Bl既有相同之处,也有不同之处。

  相同之处,都是从数据中挖掘价值,促进商业成功。不同之处,核心是分布式技术的发展、处理能力的极大提高,以前想都不敢想的处理变成了可能。所以在对数据的处理理念上也得到了扩展:
(1)不局限于传统的Bl从数据中抽样建模,再回DW实施,大数据可以直接从全量数据中找出规律,通过数据的样本多样化弥补模型的准确性。
(2)不局限于传统的Bl简单地通过汇总、统计分析找出群体共性从而输出报表,大数据可以直接通过足够多的数据对个体进行刻画。

  虽然有种种不同,但未来大数据和Bl的界限会模糊,企业的核心驱动目标是从数据资产中找出商业价值,而不关心构建和分析的方法论。

关注我带你学习大数据

 

posted @ 2019-03-20 22:56 YN-ZJH 阅读(...) 评论(...) 编辑 收藏