姜小嫌

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2020年9月9日

摘要: spark shell 提交任务报错 Caused by: java.lang.NoSuchMethodError: org.apache.spark.network.util.AbstractFileRegion.transferred()J at org.apache.spark.network 阅读全文
posted @ 2020-09-09 14:25 姜小嫌 阅读(861) 评论(0) 推荐(0) 编辑

2019年8月30日

摘要: 说明:用户 xxx.jar 中的resources/log4j.properties 会覆盖集群配置,如果用户无resources/log4j.properties 那么加载 files 中的classpath的 log4j.properties. 阅读全文
posted @ 2019-08-30 22:23 姜小嫌 阅读(3957) 评论(0) 推荐(0) 编辑

2019年8月26日

摘要: linux中shell变量$ ,$@,$0,$1,$2的含义解释: 阅读全文
posted @ 2019-08-26 23:01 姜小嫌 阅读(727) 评论(0) 推荐(0) 编辑

2019年8月21日

摘要: 问题背景: 使用云上的虚拟环境搭建测试集群,导入一些数据,在本地idea做些debug调试,但是发现本地idea连接不上测试环境 集群内部配置hosts映射是内网映射(内网ip与主机名映射),本地只能通过公网ip访问集群 本地ide连不上内网ip,报的也是这个错误6000ms超时,连接不到内网ip( 阅读全文
posted @ 2019-08-21 12:18 姜小嫌 阅读(1665) 评论(0) 推荐(0) 编辑

2019年6月10日

摘要: CountDownLatch 跟join的区别 CountDownLatch用处跟join很像,但是CountDownLatch更加灵活,如果子线程有多个阶段a、b、c; 那么我们可以实现在a阶段完成后(在a阶段后 ,b、c阶段之前, latch.countDown();),就可以往下运行,主线程并 阅读全文
posted @ 2019-06-10 21:42 姜小嫌 阅读(376) 评论(0) 推荐(0) 编辑

2019年6月2日

摘要: 1.目前etl的fetch task策略是基于任务子孙任务数和任务优先级获得task list 2.然后遍历task list 查看任务是否具备执行条件 集群资源校验(yarn/hdfs) 数据是否准备好(仅mysql task具备),解决主从延迟问题 任务开始时间 任务的父任务是否都执行成功 3. 阅读全文
posted @ 2019-06-02 16:03 姜小嫌 阅读(957) 评论(0) 推荐(0) 编辑

2019年3月27日

摘要: 问题:You don't have the C version of NameMapper installed sudo vi /usr/lib/python2.7/site packages/Cheetah/Compiler.py 将第1506行起以下代码注释掉: 阅读全文
posted @ 2019-03-27 17:25 姜小嫌 阅读(1808) 评论(0) 推荐(0) 编辑

2019年3月23日

摘要: python 多线程传参有点奇怪记录一下 阅读全文
posted @ 2019-03-23 11:59 姜小嫌 阅读(1027) 评论(0) 推荐(0) 编辑

摘要: 主要说下组合过滤器 CompositeFilter ,比较常用 日志等级过滤器 正则表达式过滤器 时间过滤器`。 需要说明的是onMatch和onMismatch可以选择的值及其含义。可选的值分别是,ACCEPT, DENY, NEUTRAL,ACCEP和DENY比较好理解就是接受和拒绝的意思,在使 阅读全文
posted @ 2019-03-23 00:50 姜小嫌 阅读(1264) 评论(0) 推荐(0) 编辑

2019年3月18日

摘要: ThreadLocal = TL 网上讲TL原理很多,我大概说下自己的理解 TL其实是不是有点像全局的配置中心,static ConcurrentHashMap chm; 如果我们这么容易实现个TL java也不会提供这个工具类了。 主要TL 不用手动释放资源,ThreadLocal 内部维护当前线 阅读全文
posted @ 2019-03-18 23:15 姜小嫌 阅读(368) 评论(0) 推荐(0) 编辑