kubernetes集群管理之通过jq来截取属性
首先要声明,这里的jq并不是批前端框架里的jquery,而是一个处理json的命令行工具.
jq工具相比yq,它更加成熟,功能也更加强大,主要表现在以下几个方面
-
支持递归查找(我点对我们平时查看文件很方便)
-
支持条件过滤
-
支持控制语句
-
支持数组范围索引
这个工具在macos和windows都提供在线包安装服务,linux并没有官方包服务,需要下载后放到usr/bin目录下
centos下也可以通过以下方式安装
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm
yum repolist
基本语法
基本语法格式如下
jq [options] <jq filter> [file...]
需要把文件放在最后面,但是也无所谓,很多时候我们并不处理本地的json,而是通过标准输入来处理其它来源类型的json
我本地存有一个叫作test.json的json文件,我们可以通过jq . test.json查看文件里的所有内容
{
"json": [
"rigid",
"better for data interchange"
],
"yaml": [
"slim and flexible",
"better for configuration"
],
"object": {
"key": "value",
"array": [
{
"name": null
},
{
"name": true
},
{
"name": 24
}
]
},
"paragraph": "Blank lines denote\nparagraph breaks\n",
"content": "Or we\ncan auto\nconvert line breaks\nto save space"
}
jq输出的json文件默认都是格式化过的,方便我们查看
我们仿照上一节,来获取json数组里的所有值.
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq .json test.json
[
"rigid",
"better for data interchange"
]
通过以下命令获取array数组
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq .object.array test.json
[
{
"name": null
},
{
"name": true
},
{
"name": 24
}
]
通过与上节jq类似的命令获取array里面的值
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq .object.array[].name test.json
null
true
24
数组也可以在中括号里面指定索引(跟绝大多数编程语言一样,从0开始)也与前面的yq类似,不同的是这里可以使用[start:end]的方式来索引范围
上面的例子我们这次不取全部,只取第0个和第一个
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq .object.array[0:2] test.json
[
{
"name": null
},
{
"name": true
}
]
除了索引范围以后,还可以索引不连续的对象,语法为[index1,index2,...]形式
例如,以下操作获取第零个和第二个对象
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq .object.array[0,2] test.json
{
"name": null
}
{
"name": 24
}
以上操作并索引并不一定按照从小到大的顺序,比如以下也是可以的
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq .object.array[1,0,2] test.json
{
"name": true
}
{
"name": null
}
{
"name": 24
}
可空对象
有时候我们不确定一个对象是否存在,这时候我们可以在对象后面跟个问号?来表明不确定这个对象是否存在
比如jq .yml? test.json表明你不确定yml这个属性在要查询的对象中是否存在,如果这个对象是不存在的,则返回的值为null
实际上你会发现,上面不写问号返回的值也是null,并不会报错.在这里体现的不明显,但是对数组类型的如果一个对象不存在写为数组形式就会报错
比如jq .yml[] test.json就会出现jq: error (at test.json:25): Cannot iterate over null (null)错误
而使用jq .yml[]? test.json即便yml对象不存在也不会报错
使用逗号,来取多个对象
假如我们想要同时取json和yaml这两个对象,可以使用,把两个命令分开,把它们的结果合在一块
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq .json,.yaml test.json
[
"rigid",
"better for data interchange"
]
[
"slim and flexible",
"better for configuration"
]
使用括号
上面的使用都逗号的命令里我们已经使用两条命令了,实际工作中可能有更加复杂的命令组合,这时候可以使用()来组织.在jq里使用()和在其它编程语言里使用相同.
使用管道符|
在jq里管道符概念和linux上概念基本相同.可以把上一个命令的结果作为下一个命令的输出.前面的.object.array也可以写作管道模式.object|.array先用.object取object的所有对象,然后结果作为下级管道的输入值,.array从管道结果里取array数组
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq '.object|.array' test.json
[
{
"name": null
},
{
"name": true
},
{
"name": 24
}
]
递归查找子对象
在kubernetes 的jsonpath里,可以使用..来查找子对象,非常方便,惟一不好的是如果子对象包含数组类型则显示为Map[xxx]类型,并且展示的结果不再是json格式,可读性不是特别好.比较遗憾的是,在jq里并不支持..这种语法,而是更为复杂一些,需要使用管道符.
命令的格式如下
..|.对象名?
首先这里使用了..表示从根对象开始取,然后使用管道符,后面之所以使用可空对象(对象后面带问号)是因为它会在每一层都查找,不使用可空对象的话找不到就会报错.
假如我们并不知道array对象的上一层是什么,但是知道这个对象存在.可以使用下面命令来获取.
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq '..|.array?' test.json
null
[
{
"name": null
},
{
"name": true
},
{
"name": 24
}
]
null
null
null
这里之所以会出现好多的null,因为jq会进入每一层对象里面查找,找不到就返回null.为了展示美观,我们也可以做一些简的处理
tylerzhou@DESKTOP-OE0CB8G:/mnt/d/test/jqjqtest$ jq '..|.array?' test.json|sed 's/null//g'
[
{
"name":
},
{
"name": true
},
{
"name": 24
}
]
以上命令使用sed把null替换为空,这里不够优雅的地方在于把第一个name的值null也替换为空了.
这里的命令外层加了引号,之所以要加引号是因为这个管道是jq管道,如果不加引号就会被shell识别为shell命令管道,从而导致错误.
过滤对象
我们使用示例来说明,使用以下命令获取kubernetes集群中的一个pod的conditions信息
[centos@k8s-master ~]$ kubectl get pod consul-0 -ojson|jq '.status.conditions[]'
[
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:19:28Z",
"status": "True",
"type": "Initialized"
},
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:25:06Z",
"status": "True",
"type": "Ready"
},
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:25:06Z",
"status": "True",
"type": "ContainersReady"
},
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:19:28Z",
"status": "True",
"type": "PodScheduled"
}
]
现在我想要过滤type为Ready的对象,可以使用以下命令
[centos@k8s-master ~]$ kubectl get pod consul-0 -ojson|jq '.status.conditions[]|select(.type=="Ready")'
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:25:06Z",
"status": "True",
"type": "Ready"
}
以上命令把status里的conditions数组对象做为输入传递给管道下一级,然后使用select函数里面传入条件.
以上是完全匹配type属性值为Ready,如果想要模糊匹配,则可以通过管道使用contains函数
[centos@k8s-master ~]$ kubectl get pod consul-0 -ojson|jq '.status.conditions[]|select(.type|contains("Ready"))'
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:25:06Z",
"status": "True",
"type": "Ready"
}
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:25:06Z",
"status": "True",
"type": "ContainersReady"
}
这样,两个type值包含Ready的全部被选择出来了.
正则匹配
上面的过滤条件中,由于Ready是大写的,因此不论是相等比较还是包含比较,都必须使用大写,如果是小写则无法匹配到.但是很多时候我们可能对大小写是不清楚的,我们希望匹配的时候区分大小写,这在jq里也是可以做到的,我们使用match函数,match函数为正则匹配函数.接收一个数组形式的参数,数组的第一项为要匹配的内容,第二项为开关(比如g代表全局开关,i则代表不区分大小写)
我们把上面的示例改造如下
[centos@k8s-master ~]$ kubectl get pod consul-0 -ojson|jq '.status.conditions[]|select(.type|match(["ready","i"]))'
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:25:06Z",
"status": "True",
"type": "Ready"
}
{
"lastProbeTime": null,
"lastTransitionTime": "2019-05-14T07:25:06Z",
"status": "True",
"type": "ContainersReady"
}
这样使用正则表达式我们就可以不区分大小写匹配了.
以上只列出了工作中可能常用的功能,详细功能可以查看官方文档
