Hadoop学习 - 随笔分类 - happinessqi

该文被密码保护。

posted @ 2013-11-19 20:47 happinessqi 阅读(1) 评论(0) 推荐(0)

摘要：setup 命令：virtualenv vesource ve/bin/activatepip install -r requirements.txtpython ganglia/ganglia_api.py 阅读全文

posted @ 2013-11-19 15:56 happinessqi 阅读(206) 评论(0) 推荐(0)

摘要：ldconfig deferred processing now taking place正在处理用于 libapache2-mod-php5 的触发器...* Reloading web server config apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 for ServerName [ OK ]ERROR 1045 (28000): Access denied for user 'root'@'localho 阅读全文

posted @ 2013-11-16 18:44 happinessqi 阅读(315) 评论(0) 推荐(0)

hadoop Sort排序

摘要：1 public int getPartition(IntWritable key,IntWritable value,int numPartitions){ 2 int Maxnumber = 12345; 3 int bound = Maxnumber/numPartitions +1; 4 int keynumber = key.get(); 5 6 System.out.println("numPartition:"+numPartitions); 7 ... 阅读全文

posted @ 2013-11-03 10:49 happinessqi 阅读(698) 评论(0) 推荐(0)

Bloom Filter算法

摘要：Bloom Filter就是这么一个空间利用率非常高的算法。我们先来看看这个算法的原理：1 首先我们有一个长度为n的比特数组，开始的时候将这个比特数组里所有的元素都初始化为000000000000000000000上面的比特数组n为202 然后选取k个哈希函数，这k个哈希函数产生的结果的值的范围在0到n-1之间（对于上面的比特数组，即0到19）。对每个要添加进集合的对象进行哈希运算，然后将哈希计算结果作为数组的索引，将索引位置的比特位设置为1（不管该比特位原先为0还是为1）。比如我们选取三个哈希函数，对于对象A哈希值为0，5，7。那么比特数组就为：10000101000000000000对象阅读全文

posted @ 2013-11-02 10:06 happinessqi 阅读(253) 评论(0) 推荐(0)

命令行方式运行hadoop程序

摘要：1,写一个java代码。*.java.(这里从example 拷贝一个过来作为测试）cp src/examples/org/apache/hadoop/examples/WordCount.java . 2,编译文件javac -classpath hadoop-core-1.2.1.jar -d FirstJar WordCount.java （这里出错。换用下面的命令：）javac -classpath hadoop-core-1.2.1.jar:lib/commons-cli-1.2.jar -d FirstJar WordCount.java 3,编译完成后，对编译好的class打包j 阅读全文

posted @ 2013-11-01 10:59 happinessqi 阅读(601) 评论(0) 推荐(0)

hadoop accesscontrolException

摘要：DFS loaction:/tmp 文件下的 hadoop-haoop/mapred/system报AccessControlException。解决： bin/hadoop fs -chmod -R 777 /tmp 放开权限。阅读全文

posted @ 2013-10-31 14:40 happinessqi 阅读(190) 评论(0) 推荐(0)

hadoop基本命令（转）

摘要：在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP进入HADOOP_HOME目录。执行sh bin/start-all.sh进入HADOOP_HOME目录。执行sh bin/stop-all.sh关闭HADOOP文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdfs中/user/admin/aaron目录下的文件。进入HADOOP_HOME目录。执行sh bin/hadoop fs -l 阅读全文

posted @ 2013-10-30 14:36 happinessqi 阅读(169) 评论(0) 推荐(0)

error信息

摘要：/opt/hadoop/src/contrib/eclipse-plugin/build.xml:61: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds [javac] Compiling 45 source files to /opt/hadoop/build/contrib/eclipse-plugin/classes [javac] /opt/hadoop/src/contrib/eclip 阅读全文

posted @ 2013-10-29 23:22 happinessqi 阅读(809) 评论(0) 推荐(0)

hadoop基本操作

摘要：列出HDFS下的文件：hadoop@dingqi-ubuntu:/opt/hadoop$ bin/hadoop fs -ls /Found 1 itemsdrwxr-xr-x - hadoop supergroup 0 2013-10-28 19:53 /tmp列出/tmp文档中的文件：hadoop@dingqi-ubuntu:/opt/hadoop$ bin/hadoop fs -ls /tmpFound 1 itemsdrwxr-xr-x - hadoop supergroup 0 2013-10-28 19:53 /tmp/hadoop-hadoop创建文件夹:hadoop@dingqi 阅读全文

posted @ 2013-10-28 21:35 happinessqi 阅读(227) 评论(0) 推荐(0)

随笔分类 - Hadoop学习