会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
sunshineD
博客园
首页
新随笔
联系
订阅
管理
2022年4月20日
Sqoop导入hive时对换行等特殊字符处理
摘要: https://blog.csdn.net/zhangli_li520/article/details/112970079
阅读全文
posted @ 2022-04-20 15:51 sunshineD
阅读(140)
评论(0)
推荐(0)
2022年4月19日
linux下批量杀死进程
摘要: ps aux|grep python3|grep -v grep|cut -c 9-15|xargs kill -9 说明: grep firefox的输出结果是,所有含有关键字“firefox”的进程。grep -v grep是在列出的进程中去除含有关键字“grep”的进程。cut -c 9-15
阅读全文
posted @ 2022-04-19 13:31 sunshineD
阅读(160)
评论(0)
推荐(0)
2022年3月18日
Hive更新数据相关
摘要: https://www.freesion.com/article/77981205624/ https://www.freesion.com/article/77981205624/ https://www.freesion.com/article/42341119879/ Hive增量更新数据 h
阅读全文
posted @ 2022-03-18 12:20 sunshineD
阅读(154)
评论(0)
推荐(0)
2022年3月2日
更换Dolphinscheduler海豚调度器mysql地址
摘要: vim /usr/local/src/apache-dolphinscheduler/conf/config/install_config.conf修改以下网址 sh /usr/local/src/apache-dolphinscheduler/install.sh sh /usr/local/do
阅读全文
posted @ 2022-03-02 13:24 sunshineD
阅读(306)
评论(0)
推荐(0)
HDFS主从切换命令
摘要: #将active从nn1切换为nn22 sudo -u hdfs hdfs haadmin -ns 51fpzbHA -failover nn1 nn2 #查看哪个namenode是主 sudo -u hdfs hdfs haadmin -getServiceState nn1 输出:active
阅读全文
posted @ 2022-03-02 13:14 sunshineD
阅读(365)
评论(0)
推荐(0)
2022年2月22日
linux磁盘满处理方法
摘要: 1、查询当前服务器本地磁盘使用情况 df -Th 2、切换到即将装满的挂载点,查看该挂载点下各个文件占用内存的大小 du -sh * 3、处理过大的文件。
阅读全文
posted @ 2022-02-22 10:25 sunshineD
阅读(237)
评论(0)
推荐(0)
2022年2月21日
HDFS的高可用和高扩展
摘要: NameNode负责接收用户的操作请求,所有的读写请求都会经过它,如果它挂了怎么办? 这个时候集群是不是就无法正常提供服务了?是的,那现在我们这个集群就太不稳定了,因为NameNode只有一个,是存在单点故障的,咱们在现实生活中,例如,县长,是有正的和副的,这样就是为了解决当正县长遇到出差的时候,副
阅读全文
posted @ 2022-02-21 15:46 sunshineD
阅读(372)
评论(1)
推荐(0)
2022年2月14日
HDFS详解-NameNode、SecondaryNameNode、DataNode、HDFS回收站、HDFS安全模式介绍
摘要: 一、HDFS体系结构 HDFS支持主从结构,主节点称为 NameNode ,是因为主节点上运行的有NameNode进程,NameNode支持多个。从节点称为 DataNode ,是因为从节点上面运行的有DataNode进程,DataNode支持多个。HDFS中还包含一个 SecondaryNameN
阅读全文
posted @ 2022-02-14 15:40 sunshineD
阅读(1941)
评论(0)
推荐(0)
2022年1月6日
hive中array、map嵌套类型使用
摘要: 1、需求:业务中需要将发票开具明细作为发票开具表中一个字段,使用hive中array嵌套map解决该问题 2、创建hive表 1 CREATE TABLE `51fp_tmp`.`test`( 2 `fp_dm` string, 3 `mxList` array<map<string,string>
阅读全文
posted @ 2022-01-06 16:22 sunshineD
阅读(1155)
评论(0)
推荐(0)
linux-查询某个端口运行的是哪个服务
摘要: 1 netstat -antp | grep 10950 //查询10950端口运行的进程 2 ps -ef |grep 27981 //查询这个进程运行的服务
阅读全文
posted @ 2022-01-06 14:08 sunshineD
阅读(2353)
评论(0)
推荐(0)
下一页
公告