摘要： 1、hive sql调优 一、非数据倾斜优化 参数设置： set hive.execution.engine=tez; set hive.auto.convert.join=true; sql语句： insert overwrite directory '/user/bi/tmp_suyan/' r 阅读全文

摘要： #hdfs删除某个日期前的数据 old_version=$(hadoop fs -ls /tmp/spark/spark | awk 'BEGIN{ days_ago=strftime("%F" , systime()-30*24*3600) }{if($6< days_ago){printf "% 阅读全文

摘要： 控制job的Map个数 以下两个参数分别控制每个Map处理的最小/最大数据量，即splitsize大小设置为三四百M set mapreduce.input.fileinputformat.split.minsize=300000000; set mapreduce.input.fileinputf 阅读全文

摘要： 简介 客户的虚机遭到黑客攻击，被植入挖矿木马，下面来介绍下此类linux系统被攻击后的排查方式。 名称解释 Trojan：木马病毒，是指通过特定的程序（木马程序）来控制另一台计算机。木马通常有两个可执行程序：一个是控制端，另一个是被控制端。 详细介绍 1.查看top进程发现问题： 在cpu异常的服务 阅读全文

摘要： 1.flannel部署 apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: psp.flannel.unprivileged annotations: seccomp.security.alpha.kubernetes 阅读全文

摘要： 1.获取pvc from kubernetes import client, config import urllib3 import csv urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) #获取pod,pvc 阅读全文

摘要： 1. """ 修改zabbix导入主机模板 修改后，文档前后添加如下内容 然后导入zabbix web里 <?xml version="1.0" encoding="UTF-8"?> <zabbix_export> <version>4.0</version> <date>2022-02-10T09 阅读全文

摘要： 1.制作Dockerfile 注：elastalert 、pip3更新包 提前下载好，防止生成Dockerfile时，下载失败 优化后的： FROM python:3.6.12 ENV TZ=Asia/Shanghai ENV LANG C.UTF-8 COPY requirements.txt . 阅读全文

摘要： 1.Java 堆栈跟踪 Java 堆栈跟踪由多行组成，初始行后的每一行都以空格开头，如以下示例所示： Exception in thread "main" java.lang.NullPointerException at com.example.myproject.Book.getTitle(Bo 阅读全文

摘要： 1.解封脚本vault_unreal.sh #!/bin/sh vault operator unseal Naioja2XND6Okz9NmOdKlnC+ssDHvcHZeGote2Vve6Gh sleep 3 vault operator unseal d7Ma4Usc9jqMx03MMbuUj 阅读全文