2015年4月21日

Hadoop could not find or load main class

摘要： Error: Could not find or load main class 我在尝试使用hadoop definitive guide的代码做练习时，遇到一个问题， hadoop URLCat hdfs://namenode/data/input/test.txt 报找不到URLCat的错误 这种类型的错误造成的原因是要找到的类不在hadoop的 classpath中。 你可以使... 阅读全文

posted @ 2015-04-21 22:05 tneduts 阅读(962) 评论(0) 推荐(0) 编辑

Hive get table rows count batch

摘要： 项目中需要比对两种方法计算生成的数据情况，需要做两件事情，比对生成的中间表的行数是否相同，比对最后一张表的数据是否一致。在获取表的数据量是一条一条地使用select count(*) from table来获取等待结果比较烦人，所以就写了一个bash shell来做这件事。但一开始是这样的：for ... 阅读全文

posted @ 2015-04-21 07:18 tneduts 阅读(668) 评论(0) 推荐(0) 编辑

Hadoop blocks

摘要： 一In cases where the last record in a block is incomplete, the input split includes location information for the next block and the byte offset of the data needed to complete the record. 假如我们有一个12... 阅读全文

posted @ 2015-04-21 06:46 tneduts 阅读(159) 评论(2) 推荐(0) 编辑

导航