随笔分类 -  离线数仓开发经验

yarn 集群任务全部pending 事件记录
摘要：参考：https://blog.csdn.net/zhanyuanlin/article/details/78799341 现象： 公司集群使用的是容量调度器，其中有个任务队列在yarn上查看，只占用了20%的资源，在其中提交的任务有50多个，全部都是pending状态 原因： 初步分析，表的小文件 阅读全文
posted @ 2021-03-05 12:07 可以看看你胖次吗 阅读(1092) 评论(0) 推荐(0)
数仓建模理论（传送门）
摘要：https://www.cnblogs.com/muchen/p/5310732.html 阅读全文
posted @ 2020-07-26 20:29 可以看看你胖次吗 阅读(387) 评论(0) 推荐(0)
Kafka 一些优化措施
摘要：线程数 在kafka/config/server.properties中配置 #计算密集任务所需线程 # The number of threads that the server uses for receiving requests from the network and sending re 阅读全文
posted @ 2020-04-16 16:34 可以看看你胖次吗 阅读(1477) 评论(0) 推荐(1)
IDEA MAVEN项目打包时出现的问题
摘要：pentaho-aggdesigner-algorithm.jar包下载失败，Exception in thread "main" java.lang.StackOverflowError的解决办法 阅读全文
posted @ 2020-04-02 17:49 可以看看你胖次吗 阅读(681) 评论(0) 推荐(0)
Linux 利用黑洞实现“取消在控制台输出日志”
摘要：知识点 在linux中，有三个常用的IO设备 0：代表stdin标准输入。类似Java中的System.in.scan().接收用户在键盘的信息，传递给标注输入设备 1：代表stdout标准输出。类似Java中的System.out.print()，将信息输出到标准输出设备！ 2：代表stderr标 阅读全文
posted @ 2020-03-27 21:40 可以看看你胖次吗 阅读(1210) 评论(0) 推荐(0)
Hadoop DataNode 多目录磁盘扩展配置
摘要：org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes 阅读全文
posted @ 2020-03-27 20:01 可以看看你胖次吗 阅读(1306) 评论(0) 推荐(0)
Hadoop常用参数调优
摘要：一、HDFS hdfs-site.xml <!-- NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数--> <property> <name>dfs.namenode.handler.count 阅读全文
posted @ 2020-03-26 21:25 可以看看你胖次吗 阅读(283) 评论(0) 推荐(0)
logback的配置
摘要：log back 是log4j的豪华升级版，项目中一般使用Log Back 作日志打印 一、组件介绍 Logger: 日志记录器，在Logger上可以定义日志记录的级别，类型等！ Appender: 日志追加器，只要定义日志输出的目的地，输出到控制台还是到文件还是到其他的进程等！ 通常必须传入nam 阅读全文
posted @ 2020-03-26 11:04 可以看看你胖次吗 阅读(197) 评论(0) 推荐(0)
ssh 主机地址 命令 显示 command not found 的解决方案
摘要：群起脚本需要加上source /etc/profile 阅读全文
posted @ 2020-03-03 21:54 可以看看你胖次吗 阅读(2093) 评论(0) 推荐(0)

Live2D