Hadoop develop

博学笃志,切问近思,此八字,是收放心的工夫。 神闲气静,智深勇沉,此八字,是干大事的本领。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

一、引言

  5月8日,作为受邀嘉宾,参加了Intel与Cloudera在北京中国大饭店新闻发布会,两家公司宣布战略合作,该消息成为继Intel宣布放弃大数据平台之后的另外一个热点新闻。对于Intel的放弃早在预料之中,对于Intel与Cloudera合作也在意料之中,但是没有想到的是居然那么快。壮士断腕的Intel反倒让我看出几分勇气可嘉来,Cloudera的顺势而为,也被我所认同,Intel借助Cloudera的技术能力,Cloudera借用Intel的商务平台,然后彼此合作真的就能够成功?换句话说,就一定能在中国成功吗?倒是需要时间的检验?因为到现在为止,大数据应用其实已经不再只是一个平台问题,而是如何与业务应用相结合的问题。

二、大数据实施的瓶颈

  技术能力到业务价值的转化,是当今大数据传统行业实践面临的首要问题,经过这些年的发展大数据平台本身已经相对成熟,已经基本具备生产应用的可能。从实际项目的实践情况来看,成熟的也仅限平台框架本身,应用支撑实施工具层面的匮乏,使得大数据技术的企业应用很难做到如传统SQL技术一样的工程化,易用化。目前大部分厂家将注意力放在平台管理工具的开发上面,如Cloudera manager等,而没有将关注点放到企业实施的工具化,可视化等方面,从而造成了大数据项目在工程化和可交付方面的不足。大数据项目的建设是厂商、开发是厂商、管理是厂商、维护也是厂商,最终用户始终无法接手系统,这是目前比较突出的问题。

  技术平台与业务领域的结合,也面临同样的问题。大数据技术的发展,落实到传统企业的业务应用,集中在数据存储、运算平台和数据挖掘等几个方面。因为大数据技术发展和成熟度的原因,大部分企业不具备业务应用在大数据平台上的开发能力,这就需要平台厂商和软件企业来具体实施。以数据中心项目的应用为例,其他因素不考虑,但就围绕数据存储来看,核心的内容在于主题模型、概念模型和逻辑模型的设计,物理模型则只是一个存储实体,则不是业务关注的重点。如果考虑数据的应用,则数据的服务接口,数据访问控制、数据安全则成为一个新的焦点,而非存储设施本身。因此大数据的发展,必须考虑业务领域的特点和实施场景的差异。

三、对IDP&CDH平台的期待

  定位为平台厂商,不做垂直应用,但是不代表不去关注用户到底是如何使用大数据平台,用户需要什么样的大数据平台,否则只能是走弯路,弯走路,毕竟脱离用户的产品,是无法评价其好坏的。

 

 

posted on 2014-05-10 10:12  张子良  阅读(1158)  评论(0编辑  收藏  举报