随笔列表第2页 - 1130136248

hadoop MapReduce - 从作业、任务（task）、管理员角度调优

摘要： Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一应用程序编写规范 1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中阅读全文

posted @ 2016-02-22 19:17 1130136248 阅读(812) 评论(0) 推荐(1) 编辑

hadoop 常用配置项【转】

摘要： hadoop 常用配置项【转】 core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/data/hadoop 阅读全文

posted @ 2016-02-22 19:12 1130136248 阅读(339) 评论(0) 推荐(0) 编辑

深度分析如何在Hadoop中控制Map的数量

摘要：深度分析如何在Hadoop中控制Map的数量 guibin.beijing@gmail.com 很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input 占据了多少block，就应该启动多少个Mapper。如果输入的文阅读全文

posted @ 2016-02-22 19:11 1130136248 阅读(413) 评论(0) 推荐(0) 编辑

在hadoop 的任务中设置 map数量

摘要：试验了一下：调整mapred-site.xml中mapred.min.split.size的值可以改变map的数量首先设置了hdfs-site.xml中的dfs.block.size为20M，测试文件为72M 然后调整mapred-site.xml中mapred.min.split.size的值阅读全文

posted @ 2016-02-22 18:59 1130136248 阅读(1256) 评论(0) 推荐(0) 编辑

如何在hadoop中控制map的个数

摘要： hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map 的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先阅读全文

posted @ 2016-02-22 17:33 1130136248 阅读(866) 评论(0) 推荐(0) 编辑

hbase自带mapreduce计数表行数功能

摘要： $HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’ mapreduce来计数，很快的！！！阅读全文

posted @ 2016-02-22 16:41 1130136248 阅读(1849) 评论(0) 推荐(0) 编辑

Agent admitted failure to sign using the key

摘要： SSH生成id_rsa, id_rsa.pub后，连接服务器却报： Agent admitted failure to sign using the key 错误。解决方法：在当前用户下执行命令： ssh-add 即可解决。参考： [1] http://blog.sina.com.cn/s/b 阅读全文

posted @ 2016-02-20 22:32 1130136248 阅读(202) 评论(0) 推荐(0) 编辑

ssh无密码登录设置方法以及出现问题 ECDSA host key 和IP地址对应的key不同的解决

摘要：最近在做hadoop，因为要求各主机之间的用户必须相同，且为方便远程登录，需配置无密码登录先附上ssh无密码登录设置方法：先生成密钥并配置无ssh无密码登录本机，输入命令： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pu 阅读全文

posted @ 2016-02-20 21:52 1130136248 阅读(1293) 评论(0) 推荐(0) 编辑

C/S架构和B/S架构的概念和区别

摘要：我公司推出的机房监控系统有两种架构：一种是C/S架构的；一种是B/S架构的。这两种架构的概念区别是什么呢、各有哪些优缺点呢？ C/S 架构 C/S 架构是一种典型的两层架构，其全称是Client/Server，即客户端服务器端架构，其客户端包含一个或多个在用户的电脑上运行的程序，而服务器端有两种，一阅读全文

posted @ 2016-02-16 10:48 1130136248 阅读(4499) 评论(0) 推荐(0) 编辑

hadoop 及hbase zookeeper 经常出现问题

摘要：往往是以下几个1/ 各节点时间不统一（写shell文件统一时间）2/配置文件 /etc/hosts文件中ip地址配置错误（更新ip）3/断网后重启机器 ip地址被修改（更新配置文件中的ip）阅读全文

posted @ 2016-01-26 17:55 1130136248 阅读(254) 评论(0) 推荐(0) 编辑