摘要：
一，什么是mysql分表，分区 什么是分表，从表面意思上看呢，就是把一张表分成N多个小表，具体请看:mysql分表的3种方法。 什么是分区，分区呢就是把一张表的数据分成N多个区块，这些区块可以在同一个磁盘上，也可以在不同的磁盘上，具体请参考mysql分区功能详细介绍，以及实例。 二，mysql分表和
阅读全文
posted @ 2019-10-09 10:23
哈喽哈喽111111
阅读(1434)
推荐(0)
摘要：
1.Sonar 介绍 Sonar 是一个用于管理代码质量的开源工具，可以分析代码中的bug和漏洞以及Code Smells，支持20多种编程语言的检测，如java，c/c++，python，php等语言，当前有超过85000家组织在使用sonar。Sonar可以与DevOps工具链完全整合，可以与大
阅读全文
posted @ 2019-10-09 10:19
哈喽哈喽111111
阅读(711)
推荐(0)
摘要：
环境说明 现在测试的架构是主库1的work1和主库2的work2，进行多源复制到从库3中，而且忽略系统库mysql库。 主库操作 1. 从主库导出要同步的数据库 2. 主库上创建同步用户，并授权访问要同步的数据库 然后，把主库导出的这俩sql文件导入到目的从库环境，只要数据不冲突，都可以导进去。 理
阅读全文
posted @ 2019-10-09 10:13
哈喽哈喽111111
阅读(622)
推荐(0)
摘要：
1. replicate_wild_do_table 这个参数的意思是只执行某个库或某个表的同步语句,其他库和表都不处理，从而达到选择性复制业务库的目的，这就不会有无用的数据了，也不会互相干扰。官方文档解析只能一个参数标记一个库，而且这个参数是全局通用，也就是说多源复制下，所有源频道都通用这个配置。
阅读全文
posted @ 2019-10-09 10:13
哈喽哈喽111111
阅读(688)
推荐(0)
摘要：
多主一从，也称为多源复制，数据流向： 主库1 从库s 主库2 从库s 主库n 从库s 应用场景 数据汇总，可将多个主数据库同步汇总到一个从数据库中，方便数据统计分析。 读写分离，从库只用于查询，提高数据库整体性能。 部署环境 注：使用docker部署mysql实例，方便快速搭建演示环境。但本文重
阅读全文
posted @ 2019-10-09 10:11
哈喽哈喽111111
阅读(834)
推荐(0)
摘要：
主从从，也称为级联主从，数据流向：A(主) B(从) C(从从)，主从从级联复制。 应用场景 在主从配置的基础上，再增加一个从库，进一步提高数据安全，容灾备份。 读写分离，从库只用于查询，提高数据库整体性能。 从从库，用于备份，等同在线实时增量备份。 部署环境 注：使用docker部署mysql
阅读全文
posted @ 2019-10-09 10:11
哈喽哈喽111111
阅读(3259)
推荐(0)
摘要：
主从同步，将主服务器（master）上的数据复制到从服务器（slave）。 应用场景 读写分离，提高查询访问性能，有效减少主数据库访问压力。 实时灾备，主数据库出现故障时，可快速切换到从数据库。 数据汇总，可将多个主数据库同步汇总到一个从数据库中，方便数据统计分析。 部署环境 注：使用docke
阅读全文
posted @ 2019-10-09 10:10
哈喽哈喽111111
阅读(8280)
推荐(3)
摘要：
多源复制使用场景 数据分析部门会需要各个业务部门的部分数据做数据分析，这个时候就可以用到多源复制把各个主数据库的数据复制到统一的数据库中。 在从服务器进行数据汇总，如果我们的主服务器进行了分库分表的操作，为了实现后期的一些数据统计功能，往往需要把数据汇总在一起再统计。 在从服务器对所有主服务器的数据
阅读全文
posted @ 2019-10-09 10:07
哈喽哈喽111111
阅读(355)
推荐(0)
摘要：
2. 在server1上操作 vi /etc/my.cnf 修改或添加下面这几行： server id=1 log bin=mysql bin 启用二进制日志 auto increment increment = 2 每次增长2 auto increment offset = 1 设置自动增长的字段
阅读全文
posted @ 2019-10-09 10:03
哈喽哈喽111111
阅读(1447)
推荐(0)
摘要：
```bash echo "设置阿里云镜像仓库" mkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/ .repo /etc/yum.repos.d/bak curl o /etc/yum.repos.d/CentOS Base.repo http:/
阅读全文
posted @ 2019-10-09 09:48
哈喽哈喽111111
阅读(1735)
推荐(0)
摘要：
1. 实验环境 CPU:4 内存：8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C
阅读全文
posted @ 2019-10-08 18:02
哈喽哈喽111111
阅读(2387)
推荐(0)
摘要：
ip:192.168.0.145 环境设置 防火墙，selinux等，可以使用本章开头的那个shell脚本 其他主机的hosts文件也都添加上 ip hub.aaa.com windows系统的hosts也修改 安装docker,启动，开机启动 其他主机也都加上这个 添加后重启docker 下载配置
阅读全文
posted @ 2019-10-08 17:39
哈喽哈喽111111
阅读(697)
推荐(0)
摘要：
CSF是国外一家小公司开发的linux系统免费防火墙，它基于iptables工作，能有效缓解服务器压力，具有自动屏蔽暴力破解密码IP、管理开放端口、免疫轻量DDos和CC等等功能，同时，安装和使用也极为简便，在我们常用的DA和CP面板还有图形化操作界面，也支持个人普通用户安装于LNMP环境下使用。
阅读全文
posted @ 2019-10-08 16:44
哈喽哈喽111111
阅读(1248)
推荐(0)
摘要：
在web浏览器中查看服务器并使用鼠标执行系统任务,很容易管理存储、配置网络和检查日志等操作。 打开浏览器，输入 https://ip地址:9090 使用系统用户登录即可 登陆后右上角可以设置语言 其他功能有待慢慢发掘
阅读全文
posted @ 2019-10-08 15:14
哈喽哈喽111111
阅读(5098)
推荐(2)
摘要：
在RHEL8中把软件源分成了两部分一个是BaseOS,一个是AppStream. 在Red Hat Enterprise Linux 8.0中，统一的ISO自动加载BaseOS和AppStream安装源存储库。 已经存在于光盘中，只不过要分别去配置.repo文件 BaseOS存储库旨在提供一套核心的
阅读全文
posted @ 2019-10-08 15:01
哈喽哈喽111111
阅读(12035)
推荐(1)
摘要：
注意事项：默认Kafka传递给elastci的数据是在'data'字段,且不包含其他数据，所以需要使用额外的操作进行处理 logstash配置文件操作
阅读全文
posted @ 2019-10-08 11:14
哈喽哈喽111111
阅读(1902)
推荐(0)
posted @ 2019-09-28 16:32
哈喽哈喽111111
阅读(1468)
推荐(0)
摘要：
1. filebeat.yml 2. logstash.conf
阅读全文
posted @ 2019-09-27 14:45
哈喽哈喽111111
阅读(2166)
推荐(0)
摘要：
```bash # Docker默认的镜像和容器存储位置在/var/lib/docker中 # 修改docker.service文件 vim /lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd --graph=/data/docker --storage-driver=overlay --registry-mirror=htt
阅读全文
posted @ 2019-09-26 17:02
哈喽哈喽111111
阅读(3914)
推荐(0)
摘要：
Elasticsearch 的官方查询语言是 Query DSL，存在毕竟有存在的道理，存在即合理。SQL 作为一个数据库查询语言，它语法简洁，书写方便而且大部分服务端程序员都清楚了解和熟知它的写法。但是作为一个 ES 萌新来说，就算他已经是一位编程界的老江湖，但是如果他不熟悉 ES ，那么他如果要
阅读全文
posted @ 2019-09-25 11:48
哈喽哈喽111111
阅读(5466)
推荐(0)
摘要：
kazoo 介绍 zookeeper的开发接口以前主要以java和c为主，随着python项目越来越多的使用zookeeper作为分布式集群实现，python的zookeeper接口也出现了很多，现在主流的纯python的zookeeper接口是kazoo。因此如何使用kazoo开发基于python
阅读全文
posted @ 2019-09-24 17:04
哈喽哈喽111111
阅读(11702)
推荐(1)
摘要：
使用python操作kafka目前比较常用的库是kafka python库 安装kafka python 生产者 producer_test.py 执行此程序，它没有输出！这个是正常的 消费者 执行此程序，此时会hold住，因为它在等待生产者发送消息！ 再次执行生产者，此时会输出：
阅读全文
posted @ 2019-09-24 16:46
哈喽哈喽111111
阅读(20391)
推荐(3)
摘要：
文章链接：https://www.cnblogs.com/xiao987334176/p/11405416.html
阅读全文
posted @ 2019-09-24 16:26
哈喽哈喽111111
阅读(347)
推荐(0)
摘要：
文章链接：https://www.cnblogs.com/xiao987334176/p/11405971.html
阅读全文
posted @ 2019-09-24 16:25
哈喽哈喽111111
阅读(204)
推荐(0)
摘要：
引用文章链接：https://www.cnblogs.com/xiao987334176/p/10049844.html 六、操作总结 1. 修改不同主机上docker默认的网络参数 2. 每个主机添加路由规则 永久生效的话需要添加到文件中 3. 每个主机上添加路由规则 永久生效的话需要添加到文件中
阅读全文
posted @ 2019-09-24 16:01
哈喽哈喽111111
阅读(797)
推荐(0)
摘要：
刚Yum装完发现是没有网上所说的/etc/default/docker文件的，自己vim后其实也是不生效的。 因为Docker的systemd启动脚本(/usr/lib/systemd/system/docker.service)，默认是没有加载到环境变量中的。 添加的2行说明： 自定义的docke
阅读全文
posted @ 2019-09-24 15:33
哈喽哈喽111111
阅读(2645)
推荐(0)
摘要：
因为Docker从1.3.X之后，与docker registry交互默认使用的是https，然而此处搭建的私有仓库只提供http服务，所以当与私有仓库交互时就会报上面的错误。 解决办法： "registry mirrors"：表示的是使用的阿里云镜像 "insecure registries"：解
阅读全文
posted @ 2019-09-24 14:53
哈喽哈喽111111
阅读(1818)
推荐(1)
摘要：
```bash # 监控kafka集群，开启监控趋势图使用 # 有一个问题，需要在kafka-server-start.sh文件中配置端口，有如下三种办法 # 第一种：复制并修改kafka目录，比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种：在启动脚本start.sh中添加指定端口 # 第三种：多复制几个kafka
阅读全文
posted @ 2019-09-23 18:19
哈喽哈喽111111
阅读(3122)
推荐(0)
摘要：
```bash
# kafka集群，伪集群
cd /usr/local/src
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz
tar -zxv -f kafka_2.12-2.3.0.tgz -C /usr/local/
cd /usr/local/kafka_2.12-2.3.0/...
阅读全文
posted @ 2019-09-23 18:17
哈喽哈喽111111
阅读(281)
推荐(0)
摘要：
之前的流程是：filebeat，redis，logstash，elasticsearch 现在的流程是：filebeat，Kafka(zookeeper)，logstash，elasticsearch zookeeper集群，使用ZK UI提供的web界面 kafka集群，使用的是kafka eag
阅读全文
posted @ 2019-09-23 18:15
哈喽哈喽111111
阅读(1009)
推荐(0)
摘要：
1. 实验环境 CPU:4 内存：8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C
阅读全文
posted @ 2019-09-20 18:28
哈喽哈喽111111
阅读(5749)
推荐(0)
摘要：
本例搭建的是伪集群模式，即一台机器上启动三个zookeeper实例组成集群，真正的集群模式无非就是实例IP地址不同，搭建方法没有区别 配置JAVA环境，检验环境： `echo ${JAVA_HOME}`
阅读全文
posted @ 2019-09-20 14:15
哈喽哈喽111111
阅读(621)
推荐(0)
摘要：
```
# 监控kafka集群
# 有一个问题，需要在kafka-server-start.sh文件中配置端口，有如下三种办法
# 第一种：复制并修改kafka目录，比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件
# 第二种：在启动脚本start.sh中添加指定端口
# 第三种：多复制几个kafka-server-start....
阅读全文
posted @ 2019-09-20 14:12
哈喽哈喽111111
阅读(986)
推荐(0)
摘要：
jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka server start.sh中找到堆设置 或者在启动脚本中添加如下：
阅读全文
posted @ 2019-09-20 14:11
哈喽哈喽111111
阅读(3274)
推荐(0)
摘要：
在使用四字命令或者zk ui界面查看zookeeper集群时，出现如下提示： 解决办法
阅读全文
posted @ 2019-09-20 10:41
哈喽哈喽111111
阅读(4248)
推荐(0)
摘要：
kazoo的官方文档地址：https://kazoo.readthedocs.io/en/latest/index.html
阅读全文
posted @ 2019-09-19 17:16
哈喽哈喽111111
阅读(1557)
推荐(0)
摘要：
1. 全局配置 添加阿里云的镜像到maven的setting.xml配置中，这样就不需要每次在pom中，添加镜像仓库的配置，在mirrors节点下面添加子节点： 注：可以设置为哪个中央仓库做镜像，为名为“central”的中央仓库做镜像，写作central;为所有中央仓库做镜像，写作 。Maven默
阅读全文
posted @ 2019-09-19 16:47
哈喽哈喽111111
阅读(17840)
推荐(1)
摘要：
安装maven 查找maven安装路径 配置文件路径
阅读全文
posted @ 2019-09-19 16:43
哈喽哈喽111111
阅读(13434)
推荐(1)
摘要：
```bash # 使用WEB UI查看监控集群-zk ui安装 cd /usr/local git clone https://github.com/DeemOpen/zkui.git yum install -y maven # 更换使用阿里云maven源 vim /etc/maven/settings.xml nexus-aliyun ...
阅读全文
posted @ 2019-09-19 16:29
哈喽哈喽111111
阅读(710)
推荐(0)
摘要：
从官网下载zookeeper的地址中有俩文件 一个是apache zookeeper 3.5.5.tar.gz ，另一个是apache zookeeper 3.5.5 bin.tar.gz 若是使用前者，运行的话会报错：Error: Could not find or load main class
阅读全文
posted @ 2019-09-18 17:01
哈喽哈喽111111
阅读(975)
推荐(0)
浙公网安备 33010602011771号