摘要： 1 把 Ganglia 安装至 namenode 1.1 sudo apt-get install ganglia-monitor ganglia-webfrontend gmetad 1.2 sudo gedit /etc/ganglia/gmond.conf 1.2.1 setuid = yes --》 setuid =no 1.2.2 cluster块中的name，改成name =”hadoop-test” 1.3 重启gmond 1.4 sudo apt-get install rrdtool 1.5 sudo gedit /etc/ganglia/gmeta... 阅读全文

摘要： 1 setting ip and gatewaysudo gedit /etc/network/interfaces# The primary network interfaceauto eth0iface eth0 inet staticaddress 192.168.0.172gateway 192.168.0.1netmask 255.255.255.02 setting dnssudo gedit /etc/resolv.confadd:nameserver 192.168.0.13 restart netsudo /etc/init.d/networking restart 阅读全文

摘要： 转自 http://hi.baidu.com/myitil/blog/item/b67504af448fc2ecfaed506b.html来自似乎亚裔博主Ricky ho的一篇文章：What Hadoop is Good At，大意翻译转贴如下：多线程编程模型允许多个带有不同执行逻辑的处理单元访问共享的数据，为了维护数据的完整性，处理单元需要通过锁或Semaphores机制来协调对共享数据的访问，但是会带来"race condition竞争条件", "deadlocks死锁" 等问题，非常难于调试(banq注：这也是JavaEE的JSP/Servlet封 阅读全文

摘要： namenode 独立虚拟机：1G内存datanode1、datanode2 虚拟于同一塔式服务器，内存各1G----- TestDFSIO ----- : writeDate & time: Tue Jul 24 17:15:06 CST 2012Number of files: 10Total MBytes processed: 10000Throughput mb/sec: 16.458439970308973Average IO rate mb/sec: 17.915302276611328IO rate std deviation: 5.502547439324805Test 阅读全文

摘要： 1 /lib/hadoop/bin/hadoop jar hadoop-test-1.0.3.jar TestDFSIO -write -nrFiles 10 -fileSize 10002 cat TestDFSIO_results.log3 hadoop jar hadoop-0.20.2-test.jar TestDFSIO -clean 阅读全文

摘要： 转自：http://blog.sciencenet.cn/home.php?mod=space&uid=405788&do=blog&id=332109 随着世界各主要国家在努力推动智能电网的发展，越来越多风电、太阳能等可再生能源接入电网，智能电表经历了试验阶段，已经在部分地区大规模装设，同 时各电网公司都不同程度地增加PMU等监测设备以实现对电网更好的监控。在此背景下，大规模数据的实时分析和处理在电力系统运行中将成为新的趋势及一个需 要解决的问题。但由于国内在智能电表、PMU装设规模还有限，对实时数据的重视程度及利用还十分不足（未实行（近）实时电价及新能源接入量较小也 阅读全文

摘要： bin/hadoop dfsadmin -safemode leave用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的信息wait - 等待，一直到安全模式结束。 阅读全文

摘要： 1 为datanode安装jdk和hadoop，注意hadoop的安装路径应该与其他datanode相同文件位置；2 编辑namenode 的host文件（添加新增的datanode的信息），并分发给其他机器；3 编辑namenode的slaves文件，并分发给其他机器；4 编辑namenode 的masters文件，并转发给新增的datanode节点。[root@slave-004hadoop]#./bin/hadoop-daemon.shstartdatanode[root@slave-004hadoop]#./bin/hadoop-daemon.shstarttasktracker [r 阅读全文

摘要： 1 add group and usersudo addgroup hadoopgroupsudo adduser -ingroup hadoopgroup hadoop2 sudo addover:all commandbochao@ubuntu:~$ sudo addgroup hadoopgroup[sudo] password for bochao: Adding group `hadoopgroup' (GID 1001) ...Done.bochao@ubuntu:~$ sudo adduser -ingroup hadoopgroup hadoopAdding user 阅读全文

摘要： 其实我觉得每次使用SSH时输入用户名和密码也没什么不好，但是却被同事各种无情的鄙视。 T T 1、创建公钥、公钥ssh-keygen -t rsa无视它出来的任何提示，欢快的一路回车到底吧。2、把公钥 id_rsa.pub 复制到远程机器的 /home/username/.ssh目录 并命名为 authorized_keys方法1: 一步到位：scp ~/.ssh/id_rsa.pub username@hostname:~/.ssh/authorized_keys 方法2: 复制 scp ~/.ssh/id_rsa.pub username@hostname:~ 登陆 ssh usernam 阅读全文