摘要： 转自:http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用), mapred.map.task 阅读全文

摘要： 首先什么是UDF，UDF的全称为user-defined function，用户定义函数，为什么有它的存在呢？有的时候 你要写的查询无法轻松地使用Hive提供的内置函数来表示，通过写UDF，Hive就可以方便地插入用户写的处理代码并在查询中使用它们，相当于在HQL（Hive SQL）中自定义一些函数 阅读全文

摘要： 1、之所以选择 HDFS 存储数据，是因为 HDFS 具有以下优点： (1) 高容错性 1) 数据自动保存多个副本。它通过增加副本的形式，提高容错性。 2) 某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。 (2) 适合批处理 1) 它是通过移动计算而不是移动数据 阅读全文