摘要: https://jingyan.baidu.com/article/fcb5aff76486f2edaa4a712a.html 卸载win上的zabbix: cmd /c "C:\zabbix\bin\win64\zabbix_agentd.exe -c c:\zabbix\conf\zabbix_ 阅读全文
posted @ 2019-12-23 16:57 日拱一卒,聚沙成塔 阅读(314) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-12-23 15:19 日拱一卒,聚沙成塔 阅读(6) 评论(0) 推荐(0)
摘要: 现象:hdp的集群没有配置spak的临时本地目录,默认在跑程序的时候会将中间过程的文件存放在本地的/tmp目录下 如果跑的spark数据量过大,就会导致/tmp下文件过大,最终导致根分区被占满,系统崩溃 解决办吧:修改spark的环境变量配置文件,在ambari界面上找到spark-env.sh的配 阅读全文
posted @ 2019-12-20 11:09 日拱一卒,聚沙成塔 阅读(1916) 评论(0) 推荐(0)
摘要: 工作环境中常常会用要下载数据或者是让对端推送数据到本地服务器上,当传输的数据比较重要时,可以使用基于安全文件传输协议(sftp)来实现需求。 本人在工作环境中就遇到这样的情况,局方给我们推送数据,要求使用sftp协议,也就是我们作为服务端,他们推送数据给我们。更简单的讲就是我们这边需要搭建一个sft 阅读全文
posted @ 2019-12-18 14:52 日拱一卒,聚沙成塔 阅读(2354) 评论(0) 推荐(1)
摘要: 1. 数据库启动:gpstart 常用可选参数: -a : 直接启动,不提示终端用户输入确认 -m:只启动master 实例,主要在故障处理时使用 2. 数据库停止:gpstop: 常用可选参数:-a:直接停止,不提示终端用户输入确认 -m:只停止master 实例,与gpstart –m 对应使用 阅读全文
posted @ 2019-12-17 20:00 日拱一卒,聚沙成塔 阅读(682) 评论(0) 推荐(0)
摘要: 使用free -h 查看发现服务器在可用内存还有91G的情况下,使用Swap分区空间 查看具体是哪进程在占用Swap分区 ###for i in $( cd /proc;ls |grep "^[0-9]"|awk ' $0 >100') ;do awk '/Swap:/{a=a+$2}END{pri 阅读全文
posted @ 2019-12-17 17:12 日拱一卒,聚沙成塔 阅读(3188) 评论(0) 推荐(0)
摘要: 现象:作为hdfs集群的主节点,越来越卡 排查:CPU,mem CPU正常,检查内存情况,发现如下 如上截图:发现程序可用内存为91G,但是部分swap分区被占用。于是引出如下思考,free -h这条命令的输出到底代表什么? total:是代表系统总的物理内存 used: 代表使用的内存 free: 阅读全文
posted @ 2019-12-17 15:32 日拱一卒,聚沙成塔 阅读(526) 评论(0) 推荐(0)
摘要: 使用hashlib的md5方法对文件进行加密,目的是为了保证文件在传输的过程中是否发生变化。 #!/usr/bin/python3 # coding:utf-8 # Auther:AlphaPanda # Description:使用hashlib模块,对文件内容进行校验。以此来判断文件传输过程中是 阅读全文
posted @ 2019-12-12 16:08 日拱一卒,聚沙成塔 阅读(1466) 评论(0) 推荐(0)
摘要: #!/usr/bin/python3 # coding:utf-8 # Auther:AlphaPanda # Description: 使用hashlib模块的md5和sha系列加密算法对字符串进行加密;使用hmac模块的new方法对字符串进行加密;使用os模块的urandom方法生成指定长度的二 阅读全文
posted @ 2019-12-12 16:00 日拱一卒,聚沙成塔 阅读(629) 评论(0) 推荐(0)
摘要: 环境说明: 系统版本:CentOS release 6.8 (Final) MySQL版本:mysql-8.0.18 内存:63G 空间:8T 1 配置本地yum仓库 这个只需要拷贝一个镜像,然后挂载镜像到某个目录,最后将哪个目录配置为yum仓库的目录即可 2 下载安装包:wget https:// 阅读全文
posted @ 2019-12-11 15:46 日拱一卒,聚沙成塔 阅读(1418) 评论(0) 推荐(0)