摘要:RabbitMQ是基于erlang开发的消息服务,官网为:https://www.rabbitmq.com,RabbitMQ要依赖erlang运行,所以要先安装erlang环境,rabbitmq可以用rpm或通用二进制包安装,这里使用二进制包的方式安装,版本为3.8.1,对应的erlang版本为22 阅读全文
posted @ 2019-11-08 14:03 小得盈满 阅读 (16) 评论 (0) 编辑
摘要:之前说过python confluent kafka客户端做kerberos认证的过程,如果使用kafka python客户端的话同样也可以进行kerberos的认证,具体的认证机制这里不再描述,主要叙述配置认证的过程 需要的模块有下面这些: kafka-python:https://pypi.or 阅读全文
posted @ 2019-10-15 09:36 小得盈满 阅读 (74) 评论 (0) 编辑
摘要:kafka的认证方式一般有如下3种: 1. SASL/GSSAPI 从版本0.9.0.0开始支持 2. SASL/PLAIN 从版本0.10.0.0开始支持 3. SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 从版本0.10.2.0开始支持 其中第一种SASL/G 阅读全文
posted @ 2019-10-11 17:57 小得盈满 阅读 (87) 评论 (2) 编辑
摘要:RocksDB起源于Facebook的实验室项目,实现了一个高性能的快速存储器,是基于C++编写的key value数据库,很多软件都是采用内置rocksdb的方式运行,所以需要我们提前安装rocksdb的库,下面主要叙述一下rocksdb的源码编译过程, github仓库:https://gith 阅读全文
posted @ 2019-04-12 17:14 小得盈满 阅读 (1177) 评论 (0) 编辑
摘要:gflags是google开发的一套命令行参数解析工具,被很多软件系统所依赖,应该算是一个基础的库,安装其实很简单,但是如果在网上找的一些教程大部分都是安装后不能被其他软件调用的,因为默认使用cmake编译出的gflags只开启的静态库,当调用动态库时会报各种错误,正确开启方法应该是编译时开启动态链 阅读全文
posted @ 2019-04-12 16:30 小得盈满 阅读 (848) 评论 (0) 编辑
摘要:Linux上管理和运行进程除了程序级别的守护进程之外,经常用到的有比如nohup &的方式,以及screen会话的方式,而Tmux正是一个非常优秀的终端进程管理的软件,和GNU screen类似,Tmux采用BSD协议,并且支持多控制台以及灵活的切换操作,支持屏幕切分,后台输入命令等,相当于是scr 阅读全文
posted @ 2019-03-18 16:25 小得盈满 阅读 (218) 评论 (0) 编辑
摘要:最近项目中要用到Go语言,所以简单总结一下安装和配置,Go这个语言本身就限定了很多规范,比如项目设置,编程风格等,开发中就不需要再因为各种规范问题纠结了,直接用官方规定的能避免很多坑,下面直接切正题,go一般参考两个网站,官网和中文网,网址如下: 官网:https://golang.org 中文网: 阅读全文
posted @ 2018-08-07 15:55 小得盈满 阅读 (797) 评论 (0) 编辑
摘要:上一篇文章写过centos 7下clickhouse rpm包安装和基本的目录结构,这里主要介绍clickhouse高可用集群的部署方案,因为对于默认的分布式表的配置,每个分片只有一份,这样如果挂掉一个节点,则查询分布式表的时候直接会报错,这个是基于clickhouse自己实现的多分片单副本集群,配 阅读全文
posted @ 2018-07-23 16:49 小得盈满 阅读 (11073) 评论 (0) 编辑
摘要:clickhouse是由俄罗斯Yandex公司开发的列式存储数据库,于2016年开源,clickhouse的定位是快速的数据分析,对于处理海量数据的情况性能非常好,在网上也有很多测试的案例,在大数据的情况下性能远超过其他数据库,并且不依赖于hadoop的生态系统,都是独立使用,在大数据存储业务上还是 阅读全文
posted @ 2018-07-20 18:14 小得盈满 阅读 (4755) 评论 (0) 编辑
摘要:SeaweedFS是一个简单并且高度可扩展的分布式文件系统,可以存储数十亿的文件并且快速获得文件,特别适合于有效处理小文件,这里我们简称为weed,weed的主节点不管理文件元数据而是仅管理文件卷,这些文件卷服务器各自管理各自的元数据,所以这样在高并发的情况下减少了主节点的压力和网络通信,同时定位文 阅读全文
posted @ 2018-07-20 11:20 小得盈满 阅读 (1275) 评论 (2) 编辑