backend - 随笔分类 - KerryJava

kafka 延迟调优

摘要：场景，通过日志发现总有某些消息从kafka发出到消费者接受，这段延时高达200毫秒需求：发现那个环节是瓶颈手段：模拟环境测试模拟环境： 4G8核心，千兆网卡，阿里云kafka标准版集群20MB/s 读写规格，客户端go1.5 sarama v1.29.0 from github.com/ 阅读全文

posted @ 2021-06-20 21:42 KerryJava 阅读(1581) 评论(0) 推荐(0)

阿里云的内网速度

摘要：经过测试，发现内网的速度还是可以Gbps的阅读全文

posted @ 2021-06-07 15:53 KerryJava 阅读(224) 评论(0) 推荐(0)

Golang runtime初探

摘要：可以使用docker构造自己的环境: Dockerfile FROM centos RUN yum install golang -y \ && yum install dlv -y \ && yum install binutils -y \ && yum install vim -y \ && 阅读全文

posted @ 2021-05-16 19:43 KerryJava 阅读(259) 评论(0) 推荐(0)

vmware 网络不通

摘要：1. 首先可以重置软件的网络编辑 2. 选择桥接模式 3. 确认windows网络连接具有vmnet1 4. linux 执行命令ifconfig 看是否有设备ens33 5. 没有，可以linux systemctrl restart network :1.199/nmcli-connect/0 阅读全文

posted @ 2021-04-29 10:07 KerryJava 阅读(261) 评论(0) 推荐(0)

influxdb时序数据库之随想其他列式存储数据库

摘要：配置2CPU， 8G内存， 80G磁盘，目前存储了8亿条经纬度数据。写入测试，最高可达1W QPS，查询可达1000QPS。写入的时候，消耗内存，因为influxdb有写入cache的机制，并CPU定时有毛刺波峰，这是因为influxdb有定时压缩处理数据的机制。 influxdb内部使用了类阅读全文

posted @ 2021-04-18 11:56 KerryJava 阅读(1242) 评论(0) 推荐(0)

ss 命令参数 redis-benchmark 以及POSTMAN， CURL分析网络

摘要：ss -ti https://www.man7.org/linux/man-pages/man8/ss.8.html -i, --info Show internal TCP information. Below fields may appear: ts show string "ts" if t 阅读全文

posted @ 2021-03-31 11:31 KerryJava 阅读(1111) 评论(0) 推荐(0)

HTTP2.0

摘要：1. golang http库是支持http2.0 2. 阿里云的均衡负载也是支持http2.0 3. 最近这几年的客户端的http请求库也支持了http2.0 http2.0 兼容http 1.0, 其中有协商的过程。使用了http2.0之后，发现流量减少了三分之一，因为http头部压缩HPAC 阅读全文

posted @ 2021-03-29 03:14 KerryJava 阅读(153) 评论(0) 推荐(0)

我的2020工作总结

摘要：工作总结着手的工作使得服务可靠稳定，性能提升，公司业务也由此开始扭亏为盈 1. 稳定服务，提高服务可靠性。梳理了架构，分析出服务问题所在，解决系统瓶颈，使得服务请求成功率到99.99%。2. 搭建一套运营监控，进行精细化优化，搭建系统级别和应用级别监控系统，方便日常的运维工作。优化了数据库的慢查询阅读全文

posted @ 2021-02-19 15:25 KerryJava 阅读(80) 评论(0) 推荐(0)

修改后台来测试APP的方法

摘要：场景：APP测试通常会出一个测试版，但是测试版需要修改代码，把请求地址改为测试地址，存在一个问题，测试环境测试通过了，有可能在发布正式环境的过程中，开发人员忘记修改回正式环境的请求地址，导致出现了很严重的问题。解决思路：APP由于发布后，难以修改修复问题，所以尽量少改动，尽量做到代码从测试到生成过阅读全文

posted @ 2020-12-31 17:06 KerryJava 阅读(212) 评论(0) 推荐(0)

mysql 数据库优化之路

摘要：1 首先，一个很基础，但是发现还是有人忽略，导致问题也比较严重的问题。就是服务日志不能存到跟业务数据库里面，就算是分库也会受影响，最好就是完全隔离。存到独立的组件里面，业界比较流行就是ELK了，各种云服务也是在ELK上面改进而来。如果不这样做，首先日志存储到业务数据库里面，相当于变相人为给数据库加重阅读全文

posted @ 2020-11-21 19:58 KerryJava 阅读(114) 评论(0) 推荐(0)

tcp协议在定位中的应用（2）

摘要：上一篇文章说到还是产生 accpet open too many files的错误。这个一般是通过修改ulimit就可以了，但是修改这个参数有一个误区，就是生效的时机。虽然你登录终端看ulimit -a看到open files连接数是够大了，但是对于app运行的环境并不一定是这个数目。具体可以通过阅读全文

posted @ 2020-11-15 06:16 KerryJava 阅读(201) 评论(0) 推荐(0)

tcp协议在定位中的应用

摘要：1. 问题背景线上服务变得卡顿。发现 open too many files错误。 2. 定位经过首先查看linux服务器负载是否高，CPU，MEM，磁盘读写IOPS（发现高，但是很快排除了，因为是错误日志打印太多到本地磁盘）使用netstat 查看当时的连接情况，有条件的可以看监控软件。发现整阅读全文

posted @ 2020-11-15 05:06 KerryJava 阅读(325) 评论(0) 推荐(0)

计算机术语中一些歧义

摘要：1. HEAP 堆对于程序而已，是内存分配的一种模式，通常与栈相提并论。在分析算法的情形下，指得是一种数据结构，通常用来在固定数目的数据里快速获取最大或者最小数值，可以作为优先队列。 2. 同步 synchronize 在多线线程的情形下，指的是访问资源的保护机制，常见有锁，原子操作，关键字修饰利阅读全文

posted @ 2020-09-13 22:48 KerryJava 阅读(232) 评论(0) 推荐(0)

网络常见问题背后的原因

摘要：1. 为啥程序启动的时候，总是有"bind address" 错误，通常通过设置socket REUSEADDR，就可以解决这个问题。但是这个问题的背后是什么原理？一般是计算机程序，都是通过socket建立了基于tcp连接的网络应用，常见的就是实现http请求的应用，绑定了host主机的端口，因阅读全文

posted @ 2020-09-12 21:43 KerryJava 阅读(344) 评论(0) 推荐(0)

java debug

摘要：java \-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=9008 \-Djava.rmi.server.hostname=127.0.0.1 -Dcom.sun.management.jmxremote.port= 阅读全文

posted @ 2019-08-16 17:04 KerryJava 阅读(136) 评论(0) 推荐(0)

elasticsearch jvm

摘要：from Elasticsearch the Definivte guide Please Do Not Tweak JVM Settings The JVM exposes dozens (hundreds even!) of settings, parameters, and configura 阅读全文

posted @ 2019-05-19 10:17 KerryJava 阅读(360) 评论(0) 推荐(0)

yum 运行失败

摘要：https://stackoverflow.com/questions/47633870/rpm-lib64-liblzma-so-5-version-xz-5-1-2alpha-not-found-required-by-lib-li http://tldp.org/HOWTO/Program-L 阅读全文

posted @ 2018-09-05 10:08 KerryJava 阅读(376) 评论(0) 推荐(0)

linux 几种服务类型

摘要：采集来自于 https://blog.csdn.net/hguisu/article/details/7453390 https://blog.csdn.net/limo120621/article/details/52757390 https://blog.csdn.net/tennysonsky 阅读全文

posted @ 2018-08-05 00:15 KerryJava 阅读(782) 评论(0) 推荐(0)

Mysql 5.7优化

摘要：为了达到数据库胡最佳性能 1. 普通用户通过配置软件与硬件来实现 2. 高级用户会寻求机会改善MySQL本身，开发自己的数据存储引擎，硬件应用。在数据库层面的优化 1. 表设计，通常列有适合的数据类型，表有适合的列。例子，写操作多的应有通常有多点表，少点列。大量的数据分析的，会多点列，少些表。阅读全文

posted @ 2018-07-27 00:00 KerryJava 阅读(464) 评论(0) 推荐(0)

tensorflow training result

摘要：阅读全文

posted @ 2018-07-16 17:07 KerryJava 阅读(247) 评论(0) 推荐(0)

随笔分类 - backend

公告