Fork me on GitHub

10 2015 档案

摘要:美团数据仓库的演进shdiao · 2013-12-05 20:44美团数据仓库,在过去的两年中,与我们的业务一起高速发展。在这一演进过程中,有很多值得总结和沉淀的内容。这篇文档回顾下美团数据仓库这两年发展过程中遇到的各种问题,为什么选择了现在的技术方案,每一个功能和... 阅读全文
posted @ 2015-10-30 17:15 程序优化 阅读(378) 评论(0) 推荐(0)
摘要:[root@hadoop058 ~]# mii-tooleth0: negotiated 100baseTx-FD, link ok 100Mlinux 下查看网卡工作速率Ethtool是用于查询及设置网卡参数的命令。概要:ethtool ethX //查询ethX网... 阅读全文
posted @ 2015-10-27 16:30 程序优化 阅读(1840) 评论(1) 推荐(0)
摘要:1.使用lsmod查看ipv6的模块是否被加载。lsmod | grep ipv6[root@dmhadoop011 ~]# lsmod | grep ipv6ipv6 317340 127 bonding如果加载了,则进行如下操作... 阅读全文
posted @ 2015-10-15 16:43 程序优化 阅读(679) 评论(0) 推荐(0)
摘要:问题症状修改 linux 内核文件 #vi /etc/sysctl.conf后执行sysctl -P 报错error: "net.bridge.bridge-nf-call-ip6tables" is an unknown keyerror: "net.bridge... 阅读全文
posted @ 2015-10-15 16:09 程序优化 阅读(1456) 评论(1) 推荐(0)
摘要:对有特殊值的数据倾斜处理SET mapred.reduce.tasks=20;SET hive.map.aggr=TRUE;SET hive.groupby.skewindata=TRUE;SET hive.optimize.skewjoin=TRUE; set ... 阅读全文
posted @ 2015-10-09 14:24 程序优化 阅读(938) 评论(0) 推荐(0)