潇湘神剑

摘要： map(function, iterable)和filter(function, iterable)共同点： 都接受2个参数，函数和可迭代对象。对可迭代对象中的每个元素都应用一个函数。不同点： map()函数返回一个新的列表，返回对可迭代对象所有元素操作后的新值。 filter()函数也返回一个新的 阅读全文

摘要： 我的jenkins版本是2.401.1。纯文本的描述太丑了，于是查了下发现jenkins竟然支持在描述中使用html代码，现将如何设置记录如下： 官网描述地址：https://plugins.jenkins.io/antisamy-markup-formatter/ 完成之后的效果图： 阅读全文

摘要： 问题描述：flume每到半夜总是一直报错，关闭某个文件失败，虽然不影响其他日志传输，但是一直有错误日志也很难受，有一种如芒在背的感觉。 部分报错日志： 09 六月 2023 02:55:55,730 INFO [SinkRunner-PollingRunner-DefaultSinkProcesso 阅读全文

摘要： 公司测试环境是k8s，研发发布项目都是通过jenkins发布的，由于打包机器常年不清理没用的镜像以及缓存，导致docker镜像文件以及缓存文件将磁盘打满了，/var/lib/docker/overlay2目录将100G的磁盘直接干满了。现将清理过程记录如下： 先将机器上所有镜像都干掉 for i i 阅读全文

摘要： 1、flume官网 https://flume.apache.org/ 2、安装kerberos客户端 由于我在hdfs开启了kerberos认证，所以要先装kerberos客户端： yum install krb5-devel krb5-workstation -y再将kerberos serve 阅读全文

摘要： 1、Hadoop单节点部署 部署过程看官方文档即可 https://hadoop.apache.org/ 为增加执行命令的便利性，添加hadoop的环境变量： vim /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/local/hadoop-3.3. 阅读全文

摘要： 一、部署Kerberos服务端 Kerberos（也称为“GSSAPI”）是一种身份验证协议，用于在分布式计算环境中提供安全的身份验证和授权服务。它是由MIT开发的，并于1987年首次发布。Kerberos是一种基于X.509的认证协议，它使用TGS（Ticket Granting Service） 阅读全文

摘要： 一、环境配置 1、主机配置 cdh-master 192.168.80.107 CPU4核 内存16G 磁盘200G cdh-node1 192.168.80.140 CPU4核 内存8G 磁盘200G cdh-node2 192.168.80.148 CPU4核 内存8G 磁盘200G数据库 19 阅读全文

摘要： 2023年3月6日，对于我注定是不平凡的一天，来到公司，悠闲的吃完早餐，打开电脑例行巡检，发现公司内网jenkins服务器、k8s集群、ES服务器CPU利用率直接拉满，top命令看不到任何异常，服务器重启也不起作用，甚至去了机房拆机检查，也不是没有收获，检查出一台服务器的内存条坏了一根。在没有排查除 阅读全文

摘要： 一、定义数组 数组名=(元素1 元素2 元素3)Bash Shell只支持一维数组，不支持多维数组。 二、打印数组 echo ${name[*]} # "显示所有数组的元素" echo ${name[@]} # "显示所有数组的元素" echo ${name[0]} # "显示下标为0的元素，默认从 阅读全文