摘要：
zookeeper的maxSessionTimeout默认值导致hbase regionserver超时在hbase中经常会遇到regionserver挂掉的情况，查看日志会看到这样的错误信息2016-02-16 11:51:24,882 WARN [master/... 阅读全文
posted @ 2016-02-17 11:42
程序优化
阅读(2179)
评论(0)
推荐(0)
摘要：
❶写下第二天要做的全部事情❷按重要顺序，从“1”到“6”标出六件最重要的事情❸每天一开始，全力做标号为“1”的事情，直到完成或完全准备好，然后再全力以赴做标号为“2”的事情，以此类推。该方法被誉为“价值2.5万美金的时间管理方法”，值得学习！ 阅读全文
posted @ 2016-02-15 18:59
程序优化
阅读(140)
评论(0)
推荐(0)
摘要：
Spark Streaming 实现思路与模块概述[酷玩 Spark] Spark Streaming 源码解析系列 ，返回目录请 猛戳这里「腾讯·广点通」技术团队荣誉出品本文内容适用范围：2016.01.04 update, Spark 1.6 全系列 √ (1.6... 阅读全文
posted @ 2016-02-05 16:19
程序优化
阅读(298)
评论(0)
推荐(0)
摘要：
关于reduce边join,其最重要的是使用MultipleInputs.addInputPath这个api对不同的表使用不同的Map，然后在每个Map里做一下该表的标识，最后到了Reduce端再根据标识区分对应的表！Reduce Side Join ExampleU... 阅读全文
posted @ 2016-01-29 17:47
程序优化
阅读(166)
评论(0)
推荐(0)
摘要：
AM Container for appattempt_1453292851883_0381_000002 exited with exitCode: -1000For more detailed output, check application tracking ... 阅读全文
posted @ 2016-01-24 16:22
程序优化
阅读(1659)
评论(0)
推荐(0)
摘要：
org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wi... 阅读全文
posted @ 2016-01-24 16:17
程序优化
阅读(2528)
评论(0)
推荐(0)
摘要：
nproc是操作系统级别对每个用户创建的进程数的限制,在Linux下运行多线程时,每个线程的实现其实是一个轻量级的进程,对应的术语是:light weight process(LWP)。怎么知道一个用户创建了多少个进程呢，默认的ps是不显示全部进程的，需要‘-L' 才... 阅读全文
posted @ 2016-01-22 14:20
程序优化
阅读(809)
评论(0)
推荐(0)
摘要：
Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。checkpointcheckpoint 是个很好的恢复机制。但是方案比较粗暴，直接通过序列化的机制写入到文件系统，导致代码变更和配置变更无法生效。实际场景是升级往往比系统崩溃的频... 阅读全文
posted @ 2016-01-18 01:19
程序优化
阅读(583)
评论(0)
推荐(0)
摘要：
如何建立一个“铁打的营盘”？中国有句古话，叫做铁打的营盘流水的兵。 我相信，创业初期，当团队里有人离开的时候，肯定有不少创业者拿这句话来安慰自己。但我觉得这句话有误导，因为他把营盘（公司）和兵（员工）的关系完全视为单纯的雇佣关系。对于创业团队来讲，如果每个员工都把自己... 阅读全文
posted @ 2016-01-17 20:41
程序优化
阅读(132)
评论(0)
推荐(0)
摘要：
This article explains how to configure the following settings in Hive:hive.server2.session.check.intervalhive.server2.idle.operation.t... 阅读全文
posted @ 2016-01-12 23:28
程序优化
阅读(845)
评论(0)
推荐(0)
浙公网安备 33010602011771号