Loading

摘要: q命令-用SQL分析文本文件 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 在Linux上分析文本文件时,一般会使用到grep、sed、awk、sort、uniq等命令,但这些命令都有一定的学习成本,而如果是用SQL来分析数据的话,这对广大后端程序员来说,就要简单很多了。 而q命令就是这样 阅读全文
posted @ 2022-03-26 20:54 扣钉日记 阅读(532) 评论(0) 推荐(0)
摘要: 神秘的backlog参数与TCP连接队列 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这要从一次压测项目说起,那是我们公司的系统与另几家同行公司的系统做性能比拼,性能数据会直接影响项目中标,因此压力非常大。 当时甲方给大家提供了17台服务器供系统部署,并使用LoadRunner对系统进行压测,乙方有 阅读全文
posted @ 2022-03-26 20:52 扣钉日记 阅读(564) 评论(0) 推荐(1)
摘要: 耗时几个月,终于找到了JVM停顿十几秒的原因 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 最近我们系统出现了一些奇怪的现象,系统每隔几个星期会在大半夜重启一次,分析过程花费了很长时间,令人印象深刻,故在此记录一下。 第一次排查 由于重启后,进程现场信息都丢失了,所以这个问题非常难以排查,像常规的jsta 阅读全文
posted @ 2022-03-26 20:46 扣钉日记 阅读(2670) 评论(0) 推荐(0)
摘要: Linux命令拾遗-使用blktrace分析io情况 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 一般来说,想检查磁盘I/O情况,可以使用iostat、iotop、sar等,但这些命令只能做一个整体的了解,没法具体到某一次io的详细情况,而今天介绍的blktrace就可以深入到Linux I/O栈的方方面面,把 阅读全文
posted @ 2022-03-26 20:41 扣钉日记 阅读(7986) 评论(1) 推荐(0)
摘要: Linux命令拾遗-%iowait指标代表了什么? 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 一直以来,我都知道top、vmstat、mpstat中有一个叫wa(%iowait)的cpu指标,但对它表示的具体含义又不是很清楚,故专门去网上学习了一下。 iowait在man中的介绍 man文档是学习命令的第一 阅读全文
posted @ 2022-03-26 20:37 扣钉日记 阅读(1537) 评论(0) 推荐(0)
摘要: Linux命令拾遗-常用的辅助开发类命令 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 之前介绍了大量的命令,有基础操作相关的,也有问题诊断相关的,但Linux中还有一类命令,被时常使用在工作当中,如curl、mysql、ssh、vim等,本篇对它们做一个整体介绍。 使用curl调试接口 curl是一 阅读全文
posted @ 2022-03-26 20:35 扣钉日记 阅读(484) 评论(0) 推荐(0)
摘要: Linux命令拾遗-查看系统信息 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 作为一名程序员,有时需要关注自己的进程运行在什么样的软硬件环境里,比如几核cpu、固态硬盘还是机械硬盘、内核版本多少、Centos还是Ubuntu? 查看硬件信息 Linux里面提供了一系列命令用来查看系统硬件信息 阅读全文
posted @ 2022-03-26 20:32 扣钉日记 阅读(1523) 评论(0) 推荐(0)
摘要: Linux命令拾遗-我的进程消失了 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 程序员但凡工作时间久一点,总会遇到一些诡异的事情,比如每当你下班时,服务就挂,然后业务同学就各种找过来了,似乎业务与服务程序就离不开你一样。 而当你登录机器去排查问题时,又发现机器上连进程都没了,心里咯噔一下慌了神 阅读全文
posted @ 2022-03-26 20:30 扣钉日记 阅读(1165) 评论(0) 推荐(0)
摘要: Linux命令拾遗-网络抓包工具 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 Linux中有很多抓包工具,如ngrep、tcpdump与tshark等,它们有很多用法与使用场景,下面我将结合例子讲解各工具的用法以及它们的使用场景。 本系列文章索引 Linux命令拾遗-入门篇 Linux命令拾 阅读全文
posted @ 2022-03-26 20:27 扣钉日记 阅读(1050) 评论(1) 推荐(1)
摘要: Linux命令拾遗-top中的%nice是啥 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这是Linux命令拾遗系列的第八篇,本篇主要介绍top命令中nice%这个指标的含义以及进程优先级相关内容。 本系列文章索引 Linux命令拾遗-入门篇 Linux命令拾遗-文本处理篇 Linux命令拾遗-软件资源 阅读全文
posted @ 2022-03-26 20:22 扣钉日记 阅读(1923) 评论(0) 推荐(1)
摘要: Linux命令拾遗-理解系统负载 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这是Linux命令拾遗系列的第七篇,本篇主要介绍Linux中负载的概念与问题诊断方法。 本系列文章索引 Linux命令拾遗-入门篇 Linux命令拾遗-文本处理篇 Linux命令拾遗-软件资源观测 Linux命令拾 阅读全文
posted @ 2022-03-26 19:34 扣钉日记 阅读(301) 评论(0) 推荐(0)
摘要: Linux命令拾遗-动态追踪工具 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这是Linux命令拾遗系列的第六篇,本篇主要介绍工作中常用的动态追踪工具strace、arthas、bpftrace等。 本系列文章索引 Linux命令拾遗-入门篇 Linux命令拾遗-文本处理篇 Linux命令拾 阅读全文
posted @ 2022-03-26 19:31 扣钉日记 阅读(960) 评论(0) 推荐(0)
摘要: Linux命令拾遗-剖析工具 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这是Linux命令拾遗系列的第五篇,本篇主要介绍Linux中常用的线程与内存剖析工具,以及更高级的perf性能分析工具等。 本系列文章索引 Linux命令拾遗-入门篇 Linux命令拾遗-文本处理篇 Linux命令 阅读全文
posted @ 2022-03-26 19:28 扣钉日记 阅读(886) 评论(0) 推荐(0)
摘要: Linux命令拾遗-硬件资源观测 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这是Linux命令拾遗系列的第四篇,本篇主要介绍Linux中观测硬件资源的命令,如top、vmstat、pidstat、iostat、sar等。 本系列文章索引 Linux命令拾遗-入门篇 Linux命令拾遗-文本 阅读全文
posted @ 2022-03-26 19:22 扣钉日记 阅读(501) 评论(0) 推荐(0)
摘要: Linux命令拾遗-软件资源观测 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这是Linux命令拾遗系列的第三篇,本篇主要介绍Linux中观测软件资源的命令,如ps、netstat、lsof,以及查看进程信息的宝库/proc目录。 本系列文章索引 Linux命令拾遗-入门篇 Linux命令拾 阅读全文
posted @ 2022-03-26 19:19 扣钉日记 阅读(113) 评论(0) 推荐(0)
摘要: Linux命令拾遗-文本处理篇 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 这是Linux命令拾遗系列的第二篇,本篇主要介绍Linux中与文本处理相关的命令,如xargs、grep、sed、awk等。 本系列文章索引 Linux命令拾遗-入门篇 常用文本相关命令 cat、tac、less 阅读全文
posted @ 2022-03-26 19:08 扣钉日记 阅读(301) 评论(0) 推荐(0)
摘要: Linux命令拾遗-入门篇 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 之前出过很多和Linux命令有关的文章,但都比较零散,故打算出一个Linux系列文章,一步一步带出Linux中纷繁复杂的命令知识。 本篇是第一章,主要讲解Linux命令基本使用,并带认识一些最基础的Linux命令使 阅读全文
posted @ 2022-03-26 19:05 扣钉日记 阅读(246) 评论(0) 推荐(0)
摘要: shell管道咋堵住了 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 背景 起因是这样的,我们想开发一个小脚本,当cpu使用率过高时,使用jstack将java的线程栈保存下来,以便后面分析。 获取cpu使用率 获取cpu使用率是比较容易的,使用vmstat就可以了,第15列id就是cpu 阅读全文
posted @ 2022-03-26 18:58 扣钉日记 阅读(176) 评论(0) 推荐(0)
摘要: 这grep咋还不支持\d呢(BRE,ERE,PCRE) 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 对于刚使用Linux不久的同学,肯定会遇到这个问题,就是用grep匹配数字时,发现\d匹配不了数字。 主要原因是grep支持三种正则表达式BRE,ERE,PCRE,而其默认使用的是BRE,但\d是定义在PCRE中的 阅读全文
posted @ 2022-03-26 18:57 扣钉日记 阅读(1228) 评论(0) 推荐(1)
摘要: 使用Linux命令快速查看某一行 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 当年,我还是Linux菜鸟的时候,就在简历上写着精通Linux命令了,而当面试官问我“如何快速查看某个文件的第200行,仅这一行”时,我的心里是懵逼的。 当时面试官心里估计在窃喜,从我敷衍的回答中,他应该已经完全了 阅读全文
posted @ 2022-03-26 18:55 扣钉日记 阅读(1376) 评论(0) 推荐(0)
摘要: 使用uniq命令求并集交集差集 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 uniq uniq是linux上非常有用的一个命令,从字面意思上就能看出来,它可以用来去重。 但使用uniq的前提是文件是排好序的,所以我们经常会搭配sort排序命令来一起使用uniq,如下: $ cat test.tx 阅读全文
posted @ 2022-03-26 18:53 扣钉日记 阅读(281) 评论(0) 推荐(0)
摘要: mysql的timestamp会存在时区问题? 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 众所周知,mysql中有两个时间类型,timestamp与datetime,但当在网上搜索timestamp与datetime区别时,会发现网上有不少与时区有关的完全相反的结论,主要两种: timestamp没有时 阅读全文
posted @ 2022-03-26 18:27 扣钉日记 阅读(994) 评论(0) 推荐(1)
摘要: hex,base64,urlencode编码方案对比 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 在工作过程中,我们慢慢会了解到hex、base64、urlencode这3种常见的字节编码方案,它们是如此的熟悉,可是经常我们自己也说不清为啥要使用它们,下面我会详细解释下。 hex编码 hex编码,又称十六进制编 阅读全文
posted @ 2022-03-26 18:11 扣钉日记 阅读(749) 评论(0) 推荐(1)
摘要: 字符编码解惑 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 现代编程语言都抽象出了String字符串这个概念,注意它是一个高级抽象,但是计算机中实际表示信息时,都是用的字节,所以就需要一种机制,让字符串与字节之间可以相互转换,这种转换机制就是字符编码,如GBK,UTF-8 阅读全文
posted @ 2022-03-26 18:08 扣钉日记 阅读(166) 评论(0) 推荐(2)
摘要: 自底向上代码调试技巧 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 我们常使用IDE的调试功能解决程序问题,但很多同学用的是自上而下调试法,即找到一个代码入口,打上断点然后单步调试。 但一些特殊的调试场景,比如调试框架代码,在不太熟悉框架代码的情况,会因为不知道从哪个入口开始调试而 阅读全文
posted @ 2022-03-26 18:05 扣钉日记 阅读(170) 评论(0) 推荐(0)
摘要: 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 事务简介 SQL 标准定义了四种隔离级别,这四种隔离级别分别是: 读未提交(READ UNCOMMITTED):在这种隔离级别下,可能会出现脏读、不可重复读、幻读问题。 读提交 (READ COMMITTED):解决脏读 阅读全文
posted @ 2022-03-26 17:48 扣钉日记 阅读(305) 评论(0) 推荐(0)
摘要: jq实现json文本对比 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 近期,为了给一个核心系统减负,组内决定将一些调用量大的查询接口迁移到另一个系统,由于接口逻辑比较复杂,为了保证接口逻辑一致,我们决定将一周内的请求参数在两个接口重放,并用脚本校验两边接口的响应结果。 接口返回数据是 阅读全文
posted @ 2022-03-26 17:47 扣钉日记 阅读(458) 评论(0) 推荐(0)
摘要: 20个常用的Linux工具命令 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 网上有很多辅助开发的小工具,如base64,md5之类的,但这些小工具其实基本都可以用Linux命令实现,即方便又高效。 查看特殊字符 把这个放在首位,是因为这个实在太重要了,程序经常会因为特殊的看不见的字符而出现 阅读全文
posted @ 2022-03-26 17:41 扣钉日记 阅读(278) 评论(0) 推荐(0)
摘要: Linux文本命令技巧(下) 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 前一篇介绍了Linux中一些基本的文本命令与使用技巧,但是结合场景过少,本篇结合工作中一些常见的场景介绍一些技巧。 数据提取 数据提取在文本处理中是常见,提取单个值可以使用grep -o功能,如下: # 如下ifc 阅读全文
posted @ 2022-03-26 17:40 扣钉日记 阅读(232) 评论(0) 推荐(1)
摘要: Linux文本命令技巧(上) 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 前一篇我介绍了awk,这是一个全能的文本处理神器,因为它本身就是一门编程语言了,但对于很多场景,使用Linux预设的一些文本处理命令,会更方便快捷,如grep、sed等。 本篇就来介绍一下Linux上常用的文本处理 阅读全文
posted @ 2022-03-26 17:38 扣钉日记 阅读(172) 评论(0) 推荐(0)
摘要: 原来awk真是神器啊 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 刚开始入门awk时,觉得awk很简单,像是一个玩具,根本无法应用到工作之中,但随着对awk的了解不断加深,就会越发觉得这玩意的强大,大佬们称其为上古神器,绝不是空穴来风。 这也可以说明,一些热门的技术知识点,如果你 阅读全文
posted @ 2022-03-26 17:36 扣钉日记 阅读(380) 评论(0) 推荐(0)
摘要: 正则表达式技巧与注意事项 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 现如今,正则表达式几乎是程序员的必备技能了,它入手确实很容易,但如果你不仔细琢磨学习,会长期停留在正则最基本的用法层面上。 因此,本篇文章,我会介绍一些能用正则解决的场景,但这些场景如果全自己琢磨实现的话,需要花一 阅读全文
posted @ 2022-03-26 17:31 扣钉日记 阅读(398) 评论(0) 推荐(0)
摘要: 好用的parallel命令 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介 有时,我们需要处理一批数据,使用while循环是个不错的想法,但while循环中的命令是一个一个执行的,如果要批量处理的数据很多,执行时间就会很长,而parallel可以让命令并行执行,从而缩短命令执行时间。 下面 阅读全文
posted @ 2022-03-26 17:29 扣钉日记 阅读(726) 评论(0) 推荐(0)
摘要: 常用网络命令总结 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 网络连通性检测 当应用出现网络异常时,首先需要确认的就是网络的连通性是否正常,下面一组命令可快速检测网络的连通性,如下: 检测DNS dig www.baidu.combash nslookup www.baidu.co 阅读全文
posted @ 2022-03-26 17:27 扣钉日记 阅读(282) 评论(0) 推荐(0)
摘要: 自己能调通接口,别人调不通? 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 场景 有时我们开发了一个api接口,自己调得好好的,接口文档也写好了,但别人调用时就是有问题,而当我们调试时,发现请求根本没进来或进来了却取不到调用参数,该怎么告知对方调用姿势哪不对呢? 解决方法 对于编码新手,一般会和 阅读全文
posted @ 2022-03-26 17:20 扣钉日记 阅读(222) 评论(0) 推荐(0)
摘要: 还在胡乱设置连接保活时间? 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 场景 写过一段时间代码后,对连接池应该不会陌生,MySQL、HttpClient、MQ等这些都需要连接池,而一般来说,服务端程序会自动断开长时间不交互的连接,但TCP连接本身是无法感知到对端关闭的,因此连接池组件一般都需 阅读全文
posted @ 2022-03-26 14:49 扣钉日记 阅读(191) 评论(0) 推荐(0)