摘要：
ThreadLocal = TL 网上讲TL原理很多，我大概说下自己的理解 TL其实是不是有点像全局的配置中心，static ConcurrentHashMap chm; 如果我们这么容易实现个TL java也不会提供这个工具类了。 主要TL 不用手动释放资源，ThreadLocal 内部维护当前线 阅读全文
|
摘要：
ThreadLocal = TL 网上讲TL原理很多，我大概说下自己的理解 TL其实是不是有点像全局的配置中心，static ConcurrentHashMap chm; 如果我们这么容易实现个TL java也不会提供这个工具类了。 主要TL 不用手动释放资源，ThreadLocal 内部维护当前线 阅读全文
摘要：
full join 横向join ，不能map join 走shuffle row_number() over ( partition by 主键 order by $flag desc) rank ... where rank =1 ，走shufle 差集 + 并集方式 效率最高 前提是增量数据较 阅读全文
摘要：
```
# _*_ coding=utf-8 _*_ import sys
import os hosts = {}
cmd1 = '''
curl -i -X PUT "http://%s:50070/webhdfs/v1%s?op=CREATE&user.name=op&overwrite=true&replication=3" | grep Location | awk -F ' ' '... 阅读全文
摘要：
1. select * from a left join b on a.id = b.id and a.dt=20181115; 2. select * from a left join b on a.id = b.id and b.dt=20181115; 3. select * from a j 阅读全文
摘要：
shell command 需求： 由于hive表中有大量的临时表，所以决定要想删除它们，这些表全是以test_开头。 因为hive的shell客户端不支持以某个字符开头或以正则表达式删除表，一般写个python 脚本连接hs2，做规则匹配删除也挺好。 今天思路做,操作过程： 阅读全文
摘要：
先说一下mr的二次排序需求： 假如文件有两列分别为name、score，需求是先按照name排序，name相同按照score排序 数据如下： 输出结果要求： 我们常见的实现思路是： 然后是不是就ok了呢，如果就结果来说是ok的。但是内部隐藏种种问题。 现在需求换了，我要输出： 那么按照之前的逻辑，立 阅读全文
摘要：
reAir 有批量复制与增量复制功能 今天我们先来看看批量复制功能 批量复制使用方式： 1.table_list 内容,用户要复制的 2. my_config_file.xml 配置 reAir批量复制步骤,共三个Stage Stage 1 Stage 2 Stage 3 官方图参考： 阅读全文
摘要：
``` ps -A -ostat,ppid,pid,cmd |grep -e '^[Zz]' # 结果 Z 169925 49893 [sw] Z 169925 120690 [sw] Z 169925 143463 [sw] ``` 阅读全文
|