2015年12月10日

[置顶] 几个博主文章

摘要:http://lxw1234.com/ http://www.weixuehao.com/archives/474 http://m.blog.csdn.net/blog/cool_rain_man http://blog.sina.com.cn/s/articlelist_1036150590_0 阅读全文

posted @ 2015-12-10 12:02 1130136248 阅读 (110) 评论 (0) 编辑

2016年3月19日

hadoop 2.2.0 关于map和reduce的个数的设置

摘要:关于hadoop中的map过程,我的理解是每一个map系统会开启一个JVM进程来处理,map之间相互并行,map函数内串行。这样的想法是否正确? 由于想在hadoop集群上算一个初始输入数据不多,但是计算很复杂的程序,希望通过mapreduce来达到并行计算的目的。可以通过job.setNumRed 阅读全文

posted @ 2016-03-19 11:55 1130136248 阅读 (474) 评论 (0) 编辑

2016年2月23日

SNS

摘要:SNS,专指社交网络服务。也指社交现有已成熟普及的信息载体,如短信SMS服务。SNS的另一种常用解释:全称Social Network Site,即“社交网站”或“社交网”。SNS也指Social Network Software,社交网络软件,是一个采用分布式技术,通俗地说是采用P2P(Peer 阅读全文

posted @ 2016-02-23 13:46 1130136248 阅读 (72) 评论 (0) 编辑

2016年2月22日

hadoop MapReduce - 从作业、任务(task)、管理员角度调优

摘要:Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。 一 应用程序编写规范 1.设置Combiner 对于一大批MapReduce程序,如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中 阅读全文

posted @ 2016-02-22 19:17 1130136248 阅读 (439) 评论 (0) 编辑

hadoop 常用配置项【转】

摘要:hadoop 常用配置项【转】 core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/data/hadoop 阅读全文

posted @ 2016-02-22 19:12 1130136248 阅读 (114) 评论 (0) 编辑

深度分析如何在Hadoop中控制Map的数量

摘要:深度分析如何在Hadoop中控制Map的数量 guibin.beijing@gmail.com 很多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input 占据了多少block,就应该启动多少个Mapper。如果输入的文 阅读全文

posted @ 2016-02-22 19:11 1130136248 阅读 (142) 评论 (0) 编辑

在hadoop 的任务中设置 map数量

摘要:试验了一下: 调整mapred-site.xml中mapred.min.split.size的值可以改变map的数量 首先设置了hdfs-site.xml中的dfs.block.size为20M,测试文件为72M 然后调整mapred-site.xml中mapred.min.split.size的值 阅读全文

posted @ 2016-02-22 18:59 1130136248 阅读 (564) 评论 (0) 编辑

如何在hadoop中控制map的个数

摘要:hadooop提供了一个设置map个数的参数mapred.map.tasks,我们可以通过这个参数来控制map的个数。但是通过这种方式设置map 的个数,并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值,最终map的个数,还取决于其他的因素。 为了方便介绍,先 阅读全文

posted @ 2016-02-22 17:33 1130136248 阅读 (463) 评论 (0) 编辑

hbase自带mapreduce计数表行数功能

摘要:$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’ mapreduce来计数,很快的!!! 阅读全文

posted @ 2016-02-22 16:41 1130136248 阅读 (658) 评论 (0) 编辑

2016年2月20日

Agent admitted failure to sign using the key

摘要:SSH生成id_rsa, id_rsa.pub后,连接服务器却报: Agent admitted failure to sign using the key 错误。 解决方法: 在当前用户下执行命令: ssh-add 即可解决。 参考: [1] http://blog.sina.com.cn/s/b 阅读全文

posted @ 2016-02-20 22:32 1130136248 阅读 (73) 评论 (0) 编辑

ssh无密码登录设置方法以及出现问题 ECDSA host key 和IP地址对应的key不同的解决

摘要:最近在做hadoop,因为要求各主机之间的用户必须相同,且为方便远程登录,需配置无密码登录 先附上ssh无密码登录设置方法: 先生成密钥并配置无ssh无密码登录本机,输入命令: ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pu 阅读全文

posted @ 2016-02-20 21:52 1130136248 阅读 (126) 评论 (0) 编辑

导航

统计