摘要：
1、列出所有Hadoop Shell支持的命令$ bin/hadoop fs -help2、显示关于某个命令的详细信息$ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总$ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看$ bin/hadoop job -history all output-dir5、 格式化一个新的分布式文件系统：$ bin/hadoop nam 阅读全文
阅读排行榜
ruby中的Enumerable的使用
2012-11-15 10:10 by java20130722, 163 阅读, 收藏,
摘要：
昨天，跟朋友review code，发现了一个hash_obj.collect写成了hash_obj.each.collect。就想对Hash有个简单的总结。首先查看Hash的祖先。Hash.ancestors #> [Hash, Enumerable, Object, Kernel, BasicObject]找到Hash使用Mixin的方式include了Enumerable。Enumerable提供了一系列的方法，如each，collect，map，sort之类的。include了Enumerable的类只需要实现each就可以获得所有如collect, map, sort这样的方法 阅读全文
hive大数据倾斜总结
2013-03-31 19:39 by java20130722, 161 阅读, 收藏,
摘要：
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资料后，总结如下。1数据倾斜的原因1.1操作：关键词情形后果Join其中一个表较小，但是key集 阅读全文
android asset studio
2013-01-21 14:33 by java20130722, 161 阅读, 收藏,
摘要：
Android Asset Studio：ICON GENERATORS 阅读全文
ASP.NET中个文件夹功能
2012-08-23 16:29 by java20130722, 161 阅读, 收藏,
摘要：
文件夹名称文件类型注 释Bin.dll包含应用程序所需的任何预生成的程序集App_Browsers.browser包含应用程序特有的浏览器定义文件，ASP.NET用它来识别各浏览器及确定它们的功能App_Code.cs、.vb、.xsd、自定义的文件类型包含作为应用程序的一部分编译的类的源文件。当页面被请求时，ASP.NET编译该文件夹中的代码。该文件夹中的代码在应用程序中自动地被引用App_Data.mdb、.mdf、.xml包含Microsoft Office Access和SQL Express文件以及XML文件或其他数据存储App_GlobalResources.resx包含在本地化应 阅读全文
浙公网安备 33010602011771号