盘点Cloudera发展史:大数据的弄潮儿
说起Cloudera的发展史,离不开Hadoop,Cloudera的过去就是Hadoop时代中的一个缩影。
作为全球全球第一家也是最大一家Hadoop商业化公司,Cloudera一直是Hadoop生态的领导者。
经过了14年的发展,目前Cloudera已拥有3000 多名员工,并构建了100 多名 Apache Committer主导的大数据领域生态圈。
先让我们顺着时光隧道追溯Cloudera发展过程中的重要里程碑:
2008年1月
Hadoop成为Apache顶级项目
2008年8月
Cloudera公司在硅谷成立
2009年3月
发布Hadoop首个发行版——CDH平台
2009年6月
出版《Hadoop权威指南》,后被誉为Hadoop圣经
2009年8月
Hadoop创始人Doug Cutting加入并担任CTO
2011年8月
发布合作伙伴生态计划、推出Hadoop企业解决方案Cloudera Enterprise
2015年10月
发布Hadoop原生存储替代方案—Kudu
2017年4月
成功在纽约上市
2019年1月
与Hortonworks正式合并,定位为企业数据云提供商
2019年6月
推出全新一代数据平台产品CDP
2019年7月
宣布所有代码全部开源
2021年6月
同意收购Cloudcoral和Cozena两家SaaS公司
2021年7月
宣布与阿里云达成合作
2021年10月
私有化退市,聚焦新产品研发
Hadoop之父与Cloudera之父
2005年,计算机科学家 DougCutting 和MikeCafarella 创建了Apache Nutch项目并带着项目加入了雅虎。
希望能在雅虎的帮助下为世界提供一个开源、可靠、可扩展的计算框架,于是成立了一个新项Hadoop。
Doug Cutting 也认识了当时的雅虎副总裁 Amr Awadallah。
Amr 当时正在研究如何让雅虎搜索更智能,也碰到很多性能、成本与弹性的问题。
在 Doug Cutting 的建议下,他开始尝试 Hadoop。
在随后的两年里,Amr 基于 Hadoop 改造了之前的数据处理系统,结果出乎意料的好。不仅新系统成本是之前的十分一,更重要还能完成之前根本无法想象的事情,这让 Amr 大为惊喜。
他敏锐地觉察到Hadoop这种革命性的数据处理能力里蕴含着巨大商机。于是他萌生了再度创业的想法。
这并不是 Amr 的第一次创业,实际上他在很早之前就创立了一家叫做 VivaSmart 的公司,2000 年被雅虎收购,他也随之加入雅虎。
2008年,Amr召集几位包括来自谷歌和Facebook和 Oracle的志同道合的伙伴,一起在硅谷创立了 Cloudera,自己担任 CTO。
一年后,Hadoop的创始人Doug Cutting 也加入Cloudera,成为新的CTO,之后他很快被选为 Apache 基金会主席。
天时、地利、人和,独角兽的羽翼丰满,只等风来。
Hadoop势不可挡/Cloudera乘风破浪
Hadoop一问世便以燎原之势蔓延,不仅席卷了硅谷,也燃烧到了大洋彼岸的淘宝和百度等巨型互联网公司,很快就成了 Apache 的顶级项目。
接下来的几年里,Hadoop成为云计算大数据时代的宠儿,只要搜索“Hadoop is”,自动填充就会显示“future”。所有人都关注着它,生怕错过什么。
Cloudera 先后与 Oracle、戴尔、Intel、埃森哲、德勤、MasterCard、SAP、TeraData、微软等IT巨头达成战略合作。
2013 年,Cloudera 表示已经找到了在 Hadoop 上成功的商业模式。
那时的 Cloudera作为大数据领域最耀眼的明星,同样也是资本的宠儿。
5年内拿到三笔投资,在2015年华尔街日报的独角兽排名Cloudera排名21,超越了大众点评,而且是唯一上榜的大数据公司。
2017 年,Cloudera 成功上市。
随着数据技术的发展,Hadoop最开始赖以成名的HDFS和MapReduce技术逐渐被新的技术取代。被Hadoop深刻影响了十几年的IT界感受到了这个时代的落幕。
于是开始有人宣称“Hadoop已死”,如果这时你搜索“Hadoop is”,自动填充就会显示 “dead”。
尤其是到了2019 年,往日的 Hadoop三巨头的日子都不太好过。
MapR 裁员,然后卖给了 HPE。Cloudera也与 Hortonworks合并,合并后股价很快下跌,CEO 离职……
Cloudera意识到Hadoop的红利时代已经过去,真正的Cloud Era(云纪元)已经开启,需要开发下一代数据产品拥抱企业云计算。
2019年,合并之后的Cloudera推出了全新一代的数据平台产品CDP,这是世界上第一款企业数据云平台产品。
最大化地整合了Cloudera原来的产品CDH和Hortonworks原来的产品HDP,把这两条产品线里最优势的部分进行整合,并对已有技术提供了增强功能。
2022年,原有的CDH和HDP用户均可升级到CDP。
Cloudera新一代CDP的数据架构,意味着数据管理方式向混合云的方向转变。
CDP可以跨多个主流公有云平台以及私有云之间进行数据管理。
无论数据位于何处,企业都能跨多个云处理复杂的数据流程,管理数据并实现多功能分析。
对于企业来说,也可以摆脱被单一云平台供应商锁定的风险。
2021年Cloudera宣布与阿里云达成合作。
CDP将正式入驻阿里云,成为阿里云中的企业数据云,方便国内的企业能更有效地运用数据赋能业务。
Cloudera在过去十几年之间的浮浮沉沉让人唏嘘不已,但有一点Cloudera做的非常明智,那就是审时度势,紧跟技术趋势持续革新,拿得起放得下方显英雄本色。
当今世界已进入一个混合云的新时代,在过去十年间,世界创建、捕获、复制和使用的结构化数据量已从 2011 年的不到 1ZB 增长到 2020 年的近14ZB,这已经很惊人了。
但还有另外更巨大的 50ZB数据 – 非结构化数据、云数据和机器数据。到 2025 年,数据总量预计将增加近两倍。
时隔多年,大数据的潮流再次兴起,但现在的大数据已经不再是过去的大数据,它已经经历了云数据时代演变成现在的混合大数据时代。涌现出像Data Fabric、Lakehouse、Data Mesh这些新的技术。
Cloudera在这些方向已经有了研究和对应解决方案。现在的Cloudera在混合数据方面已经占据了先机,处于领先地位,让我们拭目以待。
这个大数据的弄潮儿在不久的未来再度迎来它的高光时刻!
如有帮助的话欢迎关注我们大数据项目 CDP充电瓶 哟! (0ᴗ0✿)

浙公网安备 33010602011771号