2022年2月16日
（转载）go中的任务队列
摘要： 这篇文章非常不错 在 RapidLoop 中，我们几乎用 Go 做所有事情，包括我们的服务器，应用服务和监控系统 OpsDash。 Go 十分擅长编写异步程序 - goroutine 和 channel 使用十分简单不容易出错并且和其他语言相比异步/等待模式，语法和功能都更加强大。请继续阅读来瞧瞧围 阅读全文
posted @ 2022-02-16 19:08 mmgithub123 阅读(597) 评论(0) 推荐(0)
2022年2月10日
使用python将mysql数据导入mongodb分片数据
摘要： mongodb 版本3.4 所以有些pymongo的api是老的： 代码如下： 代码来自：https://github.com/zshameel/MySQL2MongoDB 1，代码不支持多线程，修改代码支持了多线程。2，代码是高版本pymongo，如果使用mongodb3.4，已改成低版本的API 阅读全文
posted @ 2022-02-10 21:44 mmgithub123 阅读(331) 评论(0) 推荐(0)
python
摘要： 1，本机python2.7升级到3.6 一般老的虚机安装时python默认时2.7版本，需要升级 ]# which python/usr/bin/python ls -lah /usr/bin/pythonlrwxrwxrwx. 1 root root 7 Apr 22 2020 /usr/bin/ 阅读全文
posted @ 2022-02-10 16:55 mmgithub123 阅读(163) 评论(0) 推荐(0)
mongodb分片架构
摘要： mongo节点上下线 原来的副本集节点要下线，且这个机器要做为新的分片节点，那么原来的数据就需要删除，也就是dbpath: /var/lib/mongo里的内容，直接文件删除，然后改配置重启 副本集下线： rs.remove("192.168.102.154:27017"); 分片下线： db.ru 阅读全文
posted @ 2022-02-10 16:49 mmgithub123 阅读(66) 评论(0) 推荐(0)
mysql
摘要： 信息统计： 获取每个库的磁盘占用空间大小： select TABLE_SCHEMA, concat(truncate(sum(data_length)/1024/1024,2),' MB') as data_size, concat(truncate(sum(index_length)/1024/1 阅读全文
posted @ 2022-02-10 16:29 mmgithub123 阅读(112) 评论(0) 推荐(0)
2022年2月8日
shell实现交互式输入变自动化输入，就是可编程
摘要： 可以使用expect脚本 1，在shell脚本中调用expect脚本。 2，或者使用重定向（所谓重定向就是把标准输入重定向到标准输入）比如 sh run_hmj_with_java_pid.sh 源码为： #!/bin/bash echo "input array element split by 阅读全文
posted @ 2022-02-08 15:21 mmgithub123 阅读(606) 评论(0) 推荐(0)
2022年2月7日
shell脚本里有数组时的执行问题，centos下成功不报错，debian就报错
摘要： 无论用 （） 这种一行代码的语法。 hmj_arr=(hmj_status) 还是用 六行代码的语法 hmj_status=$(pgrep -l java|awk '{print $1}')i=0for hmj_pid in $hmj_statusdohmj_arr[$i]=$hmj_pidi=$i 阅读全文
posted @ 2022-02-07 20:49 mmgithub123 阅读(98) 评论(0) 推荐(0)
2022年1月30日
git
摘要： git on windows: 安装：https://git-scm.com/book/en/v2/Getting-Started-Installing-Git 下载：https://git-scm.com/download/win 使用： 1，配置用户名和邮箱： git config --glob 阅读全文
posted @ 2022-01-30 16:07 mmgithub123 阅读(383) 评论(0) 推荐(0)
2022年1月29日
read tcp :49560->:9092: i/o timeout under sarama kafka golang panic
摘要： 我们经常出现这个问题，除了上次修复完后，正常跑也总有这种问题。因为我们的场景是文件扫描，文件扫描的处理方式是很重的，消费时间长。所以经常触发重平衡。 那么又回到了原始问题。第一性原理，运维和架构，就是要做工程上的最佳实践，而不是什么技术新旧。最佳实践就是最佳适配。 kafka的consumer重平衡 阅读全文
posted @ 2022-01-29 15:01 mmgithub123 阅读(3067) 评论(0) 推荐(0)
2022年1月28日
redis经典问题：Asynchronous AOF fsync is taking too long (disk is busy?). Writing the AOF buffer without waiting for fsync to complete, this may slow down Redis
摘要： 本文分享自微信公众号 - DBA随笔（gh_acc2bbc0d447），作者：DBA随笔 我们的场景结论， 1，使用的nfs文件系统 挂载的远端存储，存的aof文件。 2，盘远端网络存储又不是ssd高性能io盘。属于远端网络+慢io 3，设置的appendfsync everysec 4，redis 阅读全文
posted @ 2022-01-28 20:06 mmgithub123 阅读(6022) 评论(0) 推荐(0)