摘要:之前写过HDFS 2.6的部署,最近项目中尝试使用最新的HDFS 3.2.1做离线存储,部署方式略有不同,所以这里再简单写一下,这里只涉及到存储因此不再配置yarn,只配置HDFS最基本的服务NameNode、DataNode、以及SecondaryNameNode,我这里用到的包是hadoop-3 阅读全文
posted @ 2020-06-08 15:04 小得盈满 阅读(80) 评论(0) 推荐(0) 编辑
摘要:ElasticSearch目前最新版是7.7.0,其中部署的细节和之前的6.x有很多的不同,所以这里单独拉出来写一下,希望对用7.x的童鞋有一些帮助,然后部署完ES后配套的kibana也是7.7.0,这个就简单了放到最后说,下面先进入ES 7.7.0的部署. 首先是下载es的安装包,官网下载即可,我 阅读全文
posted @ 2020-06-03 08:51 小得盈满 阅读(879) 评论(0) 推荐(0) 编辑
摘要:redhat/centos 7.x默认使用的时间同步服务为ntp服务,但是从redhat/centos 8开始在官方的仓库中移除了ntp软件,换成默认的chrony进行时间同步的服务,虽然也可以通过添加第三方的源安装ntp,但是毕竟还是使用官方推荐的更好一些,使用和ntp基本上一样,个人感觉比ntp 阅读全文
posted @ 2020-05-28 14:50 小得盈满 阅读(521) 评论(1) 推荐(0) 编辑
摘要:上篇文章简单叙述了Flink standalone集群的基础部署,在生产环境中假如只有1个jobmanager的话,那么这个节点一旦挂掉,所有运行的task都会中断,带来的影响比较大,因此在生产环境至少要保证jobmanager的高可用,至少2个节点,也可以将jobmanager和taskmanag 阅读全文
posted @ 2019-12-24 17:04 小得盈满 阅读(343) 评论(2) 推荐(0) 编辑
摘要:Flink Standalone模式部署集群是最简单的一种部署方式,不依赖于其他的组件,另外还支持YARN/Mesos/Docker等模式下的部署,这里使用的flink版本为最新的稳定版1.9.1版本,对应的Scala版本是2.11,二进制包为:flink-1.9.1-bin-scala_2.11. 阅读全文
posted @ 2019-12-24 15:51 小得盈满 阅读(1374) 评论(1) 推荐(0) 编辑
摘要:RabbitMQ是基于erlang开发的消息服务,官网为:https://www.rabbitmq.com,RabbitMQ要依赖erlang运行,所以要先安装erlang环境,rabbitmq可以用rpm或通用二进制包安装,这里使用二进制包的方式安装,版本为3.8.1,对应的erlang版本为22 阅读全文
posted @ 2019-11-08 14:03 小得盈满 阅读(285) 评论(0) 推荐(0) 编辑
摘要:之前说过python confluent kafka客户端做kerberos认证的过程,如果使用kafka python客户端的话同样也可以进行kerberos的认证,具体的认证机制这里不再描述,主要叙述配置认证的过程 需要的模块有下面这些: kafka-python:https://pypi.or 阅读全文
posted @ 2019-10-15 09:36 小得盈满 阅读(1186) 评论(0) 推荐(1) 编辑
摘要:kafka的认证方式一般有如下3种: 1. SASL/GSSAPI 从版本0.9.0.0开始支持 2. SASL/PLAIN 从版本0.10.0.0开始支持 3. SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 从版本0.10.2.0开始支持 其中第一种SASL/G 阅读全文
posted @ 2019-10-11 17:57 小得盈满 阅读(744) 评论(2) 推荐(0) 编辑
摘要:RocksDB起源于Facebook的实验室项目,实现了一个高性能的快速存储器,是基于C++编写的key value数据库,很多软件都是采用内置rocksdb的方式运行,所以需要我们提前安装rocksdb的库,下面主要叙述一下rocksdb的源码编译过程, github仓库:https://gith 阅读全文
posted @ 2019-04-12 17:14 小得盈满 阅读(3012) 评论(0) 推荐(0) 编辑
摘要:gflags是google开发的一套命令行参数解析工具,被很多软件系统所依赖,应该算是一个基础的库,安装其实很简单,但是如果在网上找的一些教程大部分都是安装后不能被其他软件调用的,因为默认使用cmake编译出的gflags只开启的静态库,当调用动态库时会报各种错误,正确开启方法应该是编译时开启动态链 阅读全文
posted @ 2019-04-12 16:30 小得盈满 阅读(3186) 评论(0) 推荐(2) 编辑