摘要:
一、 控制hive任务中的map数:1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例:a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(10m,20 阅读全文
阅读排行榜
分享一个libevent server——cliserver
2013-03-17 12:05 by java20130722, 363 阅读, 收藏,
摘要:
/* * An event-driven server that handles simple commands from multiple clients. * If no command is received for 60 seconds, the client will be disconnected. * * Note that evbuffer_readline() is a potential source of denial of service, as * it does an O(n) scan for a newline character each time ... 阅读全文
WebSphere DataPower SOA Appliance性能调优
2012-08-02 23:30 by java20130722, 363 阅读, 收藏,
摘要:
IBM WebSphere DataPower SOA Appliance是根据特定目的构建的设备,通常充当网关和/或Enterprise Service Bus (ESB)来帮助保护、加快、转换、扩展和路由消息。本文介绍了如何调 WebSphere DataPower以实现理想的性能结果。 本文将遍历完整的性能调优过程,即首先进行概要分析,然后进行实际调优,最后进行性能测试,并提供了先决条件、方法和技巧。 本文的所有信息、步骤和图表都基于WebSphere DataPower Integration Appliance XI50设备,固件3.8.0.1。 概要分析 在开始调优WebS... 阅读全文
设计模式-builder(构造器模式)
2013-04-16 21:54 by java20130722, 359 阅读, 收藏,
摘要:
设计模式-builder(构造器模式)Bilder模式定义: 将一个复杂对象的构建和表示分离,是同样的创建构建过程可以创造不同的表示。 Builder模式是一步一步创建一个复杂的对象,它允许用户可以只通过指定复杂对象的类型和内容就可以构建它们。用用不知道内部的具体构建细节。Builder模式是非常类似抽象工厂模式,细微的区别大概只是在反复使用中才能体会到。为何使用建造者模式 是为了将复杂对象的构建过程与它的部件分离。注意: 是解耦过程和部件。 因为一个复杂的对象,不但有很多大量组成部分。例如汽车,有很多部件:车轮、方向盘、发动机,还有各种小零件等等,部件很多,但远不止这些,如何将这些部... 阅读全文
ASP.NET之绘制带背景图的图形验证码方法
2012-08-24 16:04 by java20130722, 358 阅读, 收藏,
摘要:
本文转载(我增加了“每个字符不同字体”的功能),首先向原作者致敬:http://www.cnblogs.com/ziyiFly/archive/2008/09/04/1283815.html新建WebSite后,在default.aspx.cs文件中写入如下代码:protected void Page_Load(object sender, EventArgs e)
{ string checkCode = CreateRandomCode(4); DrawImage(checkCode); } //产生随机代码
private string CreateRandomCode(in... 阅读全文
浙公网安备 33010602011771号