—清风碎心—

摘要： NTP | NTP服务安装配置 一、安装 联网环境可选择yum 正式环境可能没有网络 需要RPM离线安装 因此有 联网环境 #联网环境 rpm -qa|grep ntp yum install ntp 离线安装（下载RPM包） #查看系统版本版本 cat /proc/version #该网址搜索并按 阅读全文

摘要： ###MySQL | MySQL 5.7.38 RPM包 简易安装 注意事项 注：安装任务尽量选择小版本最新版本安装，避免出现后期需要安全升级 本机环境： 虚拟机：CentOS 7.5 x64 一、安装 查询系统环境（一般centos存在原始依赖） rpm -qa |grep mariadb #或 阅读全文

摘要： Hadoop | 集群启动停止脚本 hdp.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop集群 " echo " 启动 hdfs " 阅读全文

摘要： Linux | 用户用户组 新建 新建用户 adduser 用户 passwd 密码 新建工作组 groupadd 用户组 新建用户同时增加工作组 useradd -g 用户组 用户 // -g 所属组 -d 家目录 -s 所有shell 修改 给已有的用户增加工作组 usermod -a 用户组 阅读全文

摘要： Linux | 常用脚本 一、集群执行命令脚本 #! /bin/bash #集群ip for i in 192.168.10.101 192.168.10.102 192.168.10.103 do echo $i ssh $i "$*" done 阅读全文

摘要： Linux Centos7.0 | 防火墙 CentOS 7.0默认使用的是firewall作为防火墙 查看防火墙状态 ： firewall-cmd --state 停止firewall: systemctl stop firewalld.service 禁止firewall开机启动: system 阅读全文

摘要： Spark SQL | 数据倾斜问题 问题： 数据倾斜，由于数据分区不均匀，某一task或一部分task承担数据量太大，导致整体任务卡死，或运行太长时间没有结果，一半在大表join中出现，具体可能有一下，group by维度过小 如几十亿数据分组维度只有几个值；空值过多某列数据不好，null或者空值 阅读全文

摘要： CDH | LinuxCentOS7挂载 CDH DataNode扩容 4T 问题: CDH集群因业务数据过多,HDFS使用率已经超过90%，需要给CDH的HDFS扩容 解决: 向运维部门给每台机器申请了4T硬盘，挂载小于2T硬盘空间使用fdisk即可，大于2T空间则使用parted，使用GPT分区 阅读全文

摘要： 开窗函数 简介 ： 开窗函数也叫分析函数，有两类：一类是聚合开窗函数，一类是排序开窗函数 解决问题： 解决聚合函数（如：sum(),avg(),max()....）统计完成后只剩单一值，且无法跟已有的多条表中数据进行合并 例：将表中各个年龄的分数求和，（原方法可使用group by分组求和，但每组数 阅读全文

摘要： Ubuntu | 使用root用户ssh Ubuntu 默认是不支持root用户ssh的所以一切链接其他机器的操作都不能用root用户操作 如 scp rsync等等 问题表现形式为，使用root访问另外机器会显示密码失败 解决 安装ssh （一般都有，没有可以安装） sudo apt update 阅读全文