摘要：
一、环境1、hadoop 0.20.22、操作系统Linux二、背景1、最近写MR的代码，总在想统计一些错误的数据出现的次数，发现如果都写在reduce的输出里太难看了，所以想找办法专门输出一些统计数字。2、翻看《hadoop权威指南》第8章第1节的时候发现能够自定义计数器，但都是基于0.19版本写的，好多函数都不对，改动相对较大。3、基于上面2个理由，写个文档，记录一下。三、实现1、前提：写入一个文件，规范的是3个字段，“/t”划分，有2条异常，一条是2个字段，一条是4个字段，内容如下：jim 1 28 kate 0 26 tom 1 kaka ... 阅读全文
阅读排行榜
微软邹欣分析Scrum开发流程的问题和经验
2012-10-09 10:56 by java20130722, 249 阅读, 收藏,
摘要：
邹欣是工作于微软亚洲研究院的研发经理，同时也是《编程之美》和《移山之道》的作者。前不久，他在博客上总结了自己使用scrum开发流程的经验。在对Scrum的基本概念和流程做了简单介绍之后，邹欣提出几个在实践中会遇到的问题：各个需求和任务之间是有种种复杂的依赖关系的，除了优先级之外， 我们还要考虑相互的依赖关系。怎样在计划中表现依赖关系呢?如果团队成员对某个任务不感兴趣， 都不认领这个任务怎么办?有些成员的认领的任务很多， 有些成员认领的任务很少， 忙闲不均， 怎么办?每日立会流于形式怎么办？针对这些问题，邹欣提出几个改进方法：定义好任务究竟是什么? 任务的完成 (done) 到底意味着什么? 每 阅读全文
计算方法之用雅克比法求线性方程组
2013-06-11 12:59 by java20130722, 248 阅读, 收藏,
摘要：
/*************************************
* 用雅克比法求线性方程组
* * 5*x1 + 2*x2 + 1*x3 = -12
*{-1*x1 + 4*x2 + 2*x3 = 20
* 2*x1 - 3*x2 +10*x3 = 3
*
**************************************/
#include
#include
#include #define N 3
#define kmax 100
#define eps 1e-5 static double aa[N][N] = { { 5, 2, 1 }, { -1, ... 阅读全文
hive一些参数
2013-04-27 15:37 by java20130722, 246 阅读, 收藏,
摘要：
Group ByMap 端部分聚合：并不是所有的聚合操作都需要在 Reduce 端完成，很多聚合操作都可以先在 Map 端进行部分聚合，最后在 Reduce 端得出最终结果。基于 Hash参数包括：hive.map.aggr = true是否在 Map 端进行聚合，默认为 Truehive.groupby.mapaggr.checkinterval = 100000在 Map 端进行聚合操作的条目数目有数据倾斜的时候进行负载均衡hive.groupby.skewindata = false当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果 阅读全文
VS和VC++6.0 编程时相对路径问题
2012-04-19 10:15 by java20130722, 246 阅读, 收藏,
摘要：
刚才在测试的时候发现这个问题，特记于此。 在cpp中用函数访问文件时，其相对路径不是相对于cpp所在的目录，而是相对于的工程性文件(如：, dsp, .dsw)所在的目录. 不过一般cpp和工程文件都放在一个目录下，所有一般都没有察觉，但是如果是向工程添加其他目录下的cpp文件时，可能就会出现问题了。 阅读全文
浙公网安备 33010602011771号