摘要:前面的一篇文章写到了hadoop hdfs 3.2集群的部署,其中是部署的单个namenode的hdfs集群,一旦其中namenode出现故障会导致整个hdfs存储不可用,如果是要求比较高的集群,有必要配置namenode故障转移来保证集群服务的可用性,hdfs提供两种机制实现的高可用: 1. 使用 阅读全文
posted @ 2020-10-20 14:24 小得盈满 阅读(12) 评论(0) 推荐(0) 编辑
摘要:kong网关自身的管理界面属于付费的应用,而第三方界面又非常少,konga算是相对比较好的一款了,虽然也有一些问题,但整体的功能还比较全,github仓库为:https://github.com/pantsel/konga,konga支持两种方式部署分别是docker和nodejs原生部署,下面将依 阅读全文
posted @ 2020-09-08 17:46 小得盈满 阅读(397) 评论(0) 推荐(0) 编辑
摘要:Ceph是一个分布式的存储系统,可以在统一的系统中提供唯一的对象、块和文件存储,Ceph的大致组件如下: 1. Ceph监视器(ceph-mon):用来维护集群状态的映射,包括监视器映射,管理器映射,OSD映射,MDS映射和CRUSH映射,这些映射是ceph守护程序相互协调所需的关键状态,另外还负责 阅读全文
posted @ 2020-08-25 15:29 小得盈满 阅读(778) 评论(0) 推荐(1) 编辑
摘要:kong是基于openresty构建的一个网关,并且直接带了很多的功能比如反向代理、负载均衡、限流等模块直接开箱即用,同时兼具OpenResty的高性能,大部分情况下无需编程就可以实现想要的功能,下面在CentOS8 Linux上使用源码编译的方式安装kong,kong的官网是:https://ko 阅读全文
posted @ 2020-08-12 17:54 小得盈满 阅读(234) 评论(0) 推荐(0) 编辑
摘要:OpenResty是一款基于Nginx和Lua的高性能Web平台,在nginx基础之上集成了大量的lua库,第三方模块等,以便搭建各种处理高并发、可扩展的Web应用、服务或网关,并且OpenResty完全兼容nginx所有的配置,可以直接当做nginx来使用,而且可以支持lua进行编程处理相应的逻辑 阅读全文
posted @ 2020-08-06 15:31 小得盈满 阅读(142) 评论(0) 推荐(0) 编辑
摘要:之前写过HDFS 2.6的部署,最近项目中尝试使用最新的HDFS 3.2.1做离线存储,部署方式略有不同,所以这里再简单写一下,这里只涉及到存储因此不再配置yarn,只配置HDFS最基本的服务NameNode、DataNode、以及SecondaryNameNode,我这里用到的包是hadoop-3 阅读全文
posted @ 2020-06-08 15:04 小得盈满 阅读(194) 评论(0) 推荐(0) 编辑
摘要:ElasticSearch目前最新版是7.7.0,其中部署的细节和之前的6.x有很多的不同,所以这里单独拉出来写一下,希望对用7.x的童鞋有一些帮助,然后部署完ES后配套的kibana也是7.7.0,这个就简单了放到最后说,下面先进入ES 7.7.0的部署. 首先是下载es的安装包,官网下载即可,我 阅读全文
posted @ 2020-06-03 08:51 小得盈满 阅读(1670) 评论(0) 推荐(0) 编辑
摘要:redhat/centos 7.x默认使用的时间同步服务为ntp服务,但是从redhat/centos 8开始在官方的仓库中移除了ntp软件,换成默认的chrony进行时间同步的服务,虽然也可以通过添加第三方的源安装ntp,但是毕竟还是使用官方推荐的更好一些,使用和ntp基本上一样,个人感觉比ntp 阅读全文
posted @ 2020-05-28 14:50 小得盈满 阅读(1736) 评论(4) 推荐(0) 编辑
摘要:上篇文章简单叙述了Flink standalone集群的基础部署,在生产环境中假如只有1个jobmanager的话,那么这个节点一旦挂掉,所有运行的task都会中断,带来的影响比较大,因此在生产环境至少要保证jobmanager的高可用,至少2个节点,也可以将jobmanager和taskmanag 阅读全文
posted @ 2019-12-24 17:04 小得盈满 阅读(533) 评论(2) 推荐(0) 编辑
摘要:Flink Standalone模式部署集群是最简单的一种部署方式,不依赖于其他的组件,另外还支持YARN/Mesos/Docker等模式下的部署,这里使用的flink版本为最新的稳定版1.9.1版本,对应的Scala版本是2.11,二进制包为:flink-1.9.1-bin-scala_2.11. 阅读全文
posted @ 2019-12-24 15:51 小得盈满 阅读(2096) 评论(1) 推荐(0) 编辑