lixinliang

摘要： 需求 满足产品数据团队计算相关需求，搭建spark集群，本集群为一主两从(两台设备) 部署环境 服务器资源 docker-compose 安装 curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-comp 阅读全文

摘要： 需求 DTS传输同步数据的需求，需要将mongodb里的数据更新、数据增加操作同步给FC函数 MongoDB中的Oplog（操作日志）是一个特殊的集合，用于记录数据库的所有操作。Oplog是MongoDB复制集中的一个重要组成部分，它允许从节点通过读取Oplog来实现与主节点的数据同步。所以要把单实 阅读全文

摘要： 背景 k8s 集群对应的公网 slb ip 经常被人绑定域名，监控侧经常会收集到 502 相关状态码的异常告警，着手处理这种bad case 策略 1. 所有没有在ingress 配置过的域名要进行处理，即不是公司的、非法绑定到slb 上的域名要加上一条策略 2. NGINX Ingress Con 阅读全文

摘要： 脚本内容 import torch import time import os import argparse import shutil import sys def parse_args(): parser = argparse.ArgumentParser(description='Matri 阅读全文

摘要： 需求 每天定时发送grafana dashboard截图至飞书群，每天获取前一天的算力服务器使用率趋势图 环境 docker 环境 # 搭建docker环境、配置grafana #cat docker-compose.yaml version: '3.5' services: grafana: im 阅读全文

摘要： 下载nodejs包并并运行报错 export PATH=/opt/node-v20.9.0-linux-x64/bin/:$PATH [12:01:51 root@dev-test-lingowhale-app opt]#node -v node: /lib64/libm.so.6: version 阅读全文

摘要： 需求 将尾号ip为 0或者 为具体ip 的真实用户转发至其他云服务上 架构 阿里云slb--> k8s nginx ingress --> nginx pod （以下nginx 配置为nginx pod里的转发配置） nginx ip分流 （以ip尾号为0或者1 的客户端ip进行分流） root / 阅读全文

摘要： 突破ulimit 限制 修改普通用户单个用户可同时运行的最大进程数 （默认为 4096 ） [root@xxx devops]# cat /etc/security/limits.d/20-nproc.conf # Default limit for number of user's process 阅读全文

摘要： 配置目录大小监控 #!/bin/bash #cd /nfs1/ExternalPersonnel cd /nfs1/ExternalPersonnel capacitydata=`du -sh data |awk '{print $1}'` capacityhome=`du -sh home |aw 阅读全文

摘要： k8s cronjob 任务模版 k8s cronjob 任务模版 cat > ${k8s_resource_list}-cronjob.yaml << EOF apiVersion: batch/v1beta1 kind: CronJob metadata: name: ${k8s_resourc 阅读全文