摘要：
Hadoop默认为每个task（map task 或者 reduce task） 启动一个jvm。鉴于目前小文件过多的问题，设置了jvm复用，即一个job内，多个task共享jvm，避免多次启动jvm，浪费资源和时间。测试Job信息：map：4715个reduce：20个input： 34Goutput: 25G优化前：1464 s优化后：1375 sJob运行时间减少 6%CPU使用率情况：*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数，修改不需要重启tasktracker，可以在提交job的shell或者代码中设置。 阅读全文
阅读排行榜
利用cURL来获取网页信息-Using cURL to get webpage content
2013-03-17 20:29 by java20130722, 273 阅读, 收藏,
摘要：
#include #include #include #include #include extern "C" {
#include //#include #include } using namespace std; int writer(char* data, size_t size, size_t nmemb, string *buffer) { fprintf(stderr, "Hello, I am a function pointer\n"); int result = 0; if (buffer != NUL... 阅读全文
硬盘 : 接口类型
2012-04-30 19:56 by java20130722, 273 阅读, 收藏,
摘要：
硬盘接口是硬盘与主机系统间的连接部件，作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与计算机之间的连接速度，在整个系统中，硬盘接口的优劣直接影响着程序运行快慢和系统性能好坏。从整体的角度上，硬盘接口分为IDE、SATA、SCSI和光纤通道四种，IDE接口硬盘多用于家用产品中，也部分应用于服务器，SCSI接口的硬盘则主要应用于服务器市场，而光纤通道只在高端服务器上，价格昂贵。SATA是种新生的硬盘接口类型，还正出于市场普及阶段，在家用市场中有着广泛的前景。在IDE和SCSI的大类别下，又可以分出多种具体的接口类型，又各自拥有不同的技术规范，具备不同的传输速度，比如ATA1... 阅读全文
实现浏览文件夹功能
2012-04-13 10:48 by java20130722, 273 阅读, 收藏,
摘要：
BROWSEINFO bi; char name[MAX_PATH]; ZeroMemory(&bi,sizeof (BROWSEINFO)); bi.hwndOwner = GetSafeHwnd(); bi.pszDisplayName = name; bi.lpszTitle = " 选择文件夹 " ; //bi.ulFlags = BIF_USENEWUI; bi.ulFlags = BIF_RETURNFSANCESTORS; LPITEMIDLIST idl = SHBrowseForFolder(... 阅读全文
JSP response request 中文乱码
2013-07-11 14:36 by java20130722, 272 阅读, 收藏,
摘要：
初学JSP，发现response，request都是乱码，弄得我都抓狂了。各种纠结之后，发现几点Eclipse文件编辑器的默认编码不一定是utf-8，所以开发之前最好把默认编码修改下。Eclipse-->windows->preference->General->Content Types-->右侧的Content Type中选中 Text->JSP 将默认编码改为“ISO-8859-1”修改Eclipse中workspace中的编码Eclipse-->windows->preference->General->Workspace-& 阅读全文
浙公网安备 33010602011771号