03 2021 档案

MongoDB shard cluster 搭建
摘要：在Mongodb里面存在另一种集群，就是分片技术,可以满足MongoDB数据量大量增长的需求。 当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。 准备十个节点: 创建配置 阅读全文
posted @ 2021-03-17 17:18 kpwong 阅读(219) 评论(0) 推荐(0)
K8S 下载 google镜像文件脚本
摘要：docker.sh #!/bin/bash images=`kubeadm config images list --kubernetes-version=v1.17.4|awk -F '/' '{print $2}'` for image in $images do docker pull reg 阅读全文
posted @ 2021-03-15 14:02 kpwong 阅读(232) 评论(0) 推荐(0)
Docker 更换国内 阿里云镜像(centos6为例)
摘要：1:修改/etc/docker/daemon.json文件 { "registry-mirrors": [ "https://kfwkfulq.mirror.aliyuncs.com", "https://2lqq34jg.mirror.aliyuncs.com", "https://pee6w65 阅读全文
posted @ 2021-03-14 22:00 kpwong 阅读(563) 评论(0) 推荐(0)
flume interceptors flume拦截器
摘要：flume用户自定义拦截器.创建flume-demo的maven项目. 创建项目文件POM.xml. <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1. 阅读全文
posted @ 2021-03-09 10:18 kpwong 阅读(132) 评论(0) 推荐(0)
Flume Agent原理
摘要： 阅读全文
posted @ 2021-03-07 11:55 kpwong 阅读(63) 评论(0) 推荐(0)
flume事务机制
摘要：两个事务: Put事务，take事务 阅读全文
posted @ 2021-03-07 10:31 kpwong 阅读(186) 评论(0) 推荐(0)
生成环境 经常使用 taildir : 支持断点续传
摘要：配置文件 flume-taildir-logger.conf： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. 阅读全文
posted @ 2021-03-07 10:09 kpwong 阅读(230) 评论(0) 推荐(0)
dir-flume-hdfs
摘要：配置文件flume-dir-hdfs.conf a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.type = spooldir a3.sources.r3.spo 阅读全文
posted @ 2021-03-06 16:55 kpwong 阅读(73) 评论(0) 推荐(0)
logfile-flume-hdfs
摘要：conf配置文件flume-file-hdfs.conf # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sou 阅读全文
posted @ 2021-03-06 16:29 kpwong 阅读(207) 评论(0) 推荐(0)
netcat-flume-logger
摘要：flume-netcat-logger.conf 文件编写: # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.s 阅读全文
posted @ 2021-03-06 10:24 kpwong 阅读(129) 评论(0) 推荐(0)