2016 年 1月随笔档案 - 程序优化

Reduce Side Join实现

摘要：关于reduce边join,其最重要的是使用MultipleInputs.addInputPath这个api对不同的表使用不同的Map，然后在每个Map里做一下该表的标识，最后到了Reduce端再根据标识区分对应的表！Reduce Side Join ExampleU... 阅读全文

posted @ 2016-01-29 17:47 程序优化阅读(168) 评论(0) 推荐(0)

摘要：AM Container for appattempt_1453292851883_0381_000002 exited with exitCode: -1000For more detailed output, check application tracking ... 阅读全文

posted @ 2016-01-24 16:22 程序优化阅读(1672) 评论(0) 推荐(0)

摘要：org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wi... 阅读全文

posted @ 2016-01-24 16:17 程序优化阅读(2543) 评论(0) 推荐(0)

linux下nproc的作用

摘要：nproc是操作系统级别对每个用户创建的进程数的限制,在Linux下运行多线程时,每个线程的实现其实是一个轻量级的进程,对应的术语是:light weight process(LWP)。怎么知道一个用户创建了多少个进程呢，默认的ps是不显示全部进程的，需要‘-L' 才... 阅读全文

posted @ 2016-01-22 14:20 程序优化阅读(820) 评论(0) 推荐(0)

摘要：Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。checkpointcheckpoint 是个很好的恢复机制。但是方案比较粗暴，直接通过序列化的机制写入到文件系统，导致代码变更和配置变更无法生效。实际场景是升级往往比系统崩溃的频... 阅读全文

posted @ 2016-01-18 01:19 程序优化阅读(586) 评论(0) 推荐(0)

摘要：如何建立一个“铁打的营盘”？中国有句古话，叫做铁打的营盘流水的兵。我相信，创业初期，当团队里有人离开的时候，肯定有不少创业者拿这句话来安慰自己。但我觉得这句话有误导，因为他把营盘（公司）和兵（员工）的关系完全视为单纯的雇佣关系。对于创业团队来讲，如果每个员工都把自己... 阅读全文

posted @ 2016-01-17 20:41 程序优化阅读(136) 评论(0) 推荐(0)

摘要：This article explains how to configure the following settings in Hive:hive.server2.session.check.intervalhive.server2.idle.operation.t... 阅读全文

posted @ 2016-01-12 23:28 程序优化阅读(847) 评论(0) 推荐(0)

毕业十年纪念

摘要：亲爱的同学：弹指一挥间，一晃毕业十年。曾记否，毕业前，泪眼挥手相送；现如今，毕业后，记忆俨然朦胧。感慨万千，物是人非。环肥燕瘦者，如今为人妻为人母；英俊倜傥者，如今为人夫为人父。想目睹一下当初她（她）么？想必，风采不现，神韵依旧。轻候一声：你好么？不恨郎娶妾嫁，不怨... 阅读全文

posted @ 2016-01-10 22:29 程序优化阅读(172) 评论(0) 推荐(0)

常用排序算法

摘要：（1）直接插入排序[java] view plaincopy/** 直接插入排序 **/ /** 数组是引用类型，元素值将被改变 **/ public static void insertSort(int[] table) { /** n-1趟扫描 **... 阅读全文

posted @ 2016-01-08 00:34 程序优化阅读(197) 评论(0) 推荐(0)

摘要：在kafka.out日志里出现大量ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOr... 阅读全文

posted @ 2016-01-06 16:25 程序优化阅读(3354) 评论(0) 推荐(0)

线程的几个状态

摘要：Runnable：一般指该线程正在执行状态中，该线程占用了资源，正在处理某个请求，例如有可能在对某个文件操作，有可能进行数据类型等转换。Waiting on condition：等待资源，或等待某个条件的发生。具体原因需结合stacktrace来分析。如果堆栈信息明确... 阅读全文

posted @ 2016-01-04 00:27 程序优化阅读(310) 评论(0) 推荐(0)

星型模式

摘要：一个典型的星型模式包括一个大型的事实表和一组逻辑上围绕这个事实表的维度表。 事实表是星型模型的核心，事实表由主键和度量数据两部分组成。星型模型中各维度表主键的组合构成事实表的主键。事实表中存放的大量数据，是同主题密切相关的、用户最关心的度量数据。星级酒店最需要关注... 阅读全文

posted @ 2016-01-04 00:00 程序优化阅读(360) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)