还是昨天,另一个头条网友提问,Hadoop节点规模为什么不如Laxcus?和昨天那篇《Laxcus管理几十万台服务器,是怎么做到的?》的提问有点异曲同工,现在顺着上篇的思路再回应一下,建议没看过昨天那篇的先去看看,这样容易理解。

  还是从这三个角度来解释:

  1. 多域并行集群

  2. 松耦合架构

  3. 基于DFL人工智能模型的自适应机制

  这三个角度实际对应的是:多集群、单集群、单集群下的节点。

  多域并行集群。就是将多个子域集群并联起来,由主域集群进行管理,通过并行加大集群规模。Hadoop目前还是单集群结构,而Laxcus能够提升三个量级。

  松耦合架构。是借助“异步+弱依赖”的策略,在单集群范围内大幅增加节点并行规模。以采用Power8芯片的核心节点为例,在有大规模并行存储计算和应用软件运行参与的压力测试下,单集群节点稳定运行数量在1000 - 5000之间,所以说可控范围非常大。

  基于DFL人工智能模型的自适应机制。这是一种AI算法,作用在单节点上,能够在上级集群不参与情况下,实现节点实现自治管理,保证单台服务器稳定运行不超载。

  所以这样下来,集群管理工作的流程就是:首先通过多域并行集群分散集群管理压力,再通过松耦合架构增加单集群可管理节点数量,进一步使用DFL自适应机制保证节点稳定运行减少宕机概率,并且由于人工智能介入集群管理,还可以大幅降低管理人员工作压力,减少误判误操作现象 。三者效果叠加,即保证了Laxcus节点数量远超Hadoop,又保证集群稳定运行。

  目前Hadoop仍然使用Yarn的Resource Manager管理节点,设计上没有Laxcus这么复杂,也没有节点自治的概念,节点规模低于Laxcus是可以理解的。

 

  另外说明一下,Laxcus和Hadoop是两个层面的产品。

  Laxcus是面向计算机集群和云环境设计的集群操作系统,是运行分布式应用软件的平台,所有基础模块和云端刚需全部一站式实现和集成,比如数据库、大数据、AI、应用容器、安全服务都已经集成在里面。完全不依赖第三方软件。

  而Hadoop属于大数据,处理的都是大数据业务,采用模组设计,目前参与的团队组织已经有几十个,产品线非常庞杂,而且有大量重叠,使用的时候,需要用户自己去组装这些模块,象搭积木一样。况且大数据在Laxcus里面只是一个子集,二者无论设计、技术、应用方向,都不是一个层面的产品。

全体系自主设计研发大数据管理系统
posted on 2021-04-22 15:27  laxcus  阅读(40)  评论(0编辑  收藏  举报