摘要： 转自：http://xinhstechblog.blogspot.com/2012/10/giraph-for-large-multigraphs.htmlGiraph OverviewGiraph is a distributed graph processing framework that runs on Hadoop and is designed to run algorithms on really large graphs. But not too large -- Giraph assumes that your entire graph can fit within the 阅读全文

摘要： 转自：https://marsty5.wordpress.com/2013/04/29/run-example-in-giraph-shortest-paths/Run Example in Giraph: Shortest PathsWhen planning to run a code in Giraph, I ask myself some questions. When I answer to all my questions, I move to actually implement and run the code. (so I kinda discuss a lot with m 阅读全文

摘要： Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable1> Writable：Java代码 void write(DataOutput out) throws IOException; void readFields(DataInput in) throws IOException; 也就是读数据和写数据的方式2> WritableComparable：Java代码WritableComparable<T> extends Writable, Comparable<T> Java代码 publ 阅读全文

摘要： package org.apache.hadoop.mapred;import java.io.*;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.io.compress.*;/** An {@link InputFormat} for plain text files. Files are broken into lines. * Either linefeed or carriag. 阅读全文

摘要： Step 1：将xml格式文件emotional.xml转化为Json格式文件emotionalJSON.txt经过专家人工标注后的微博情绪分析emotional.xml格式文件如下：<SampleData> <weibo id="1" emotion-type="none"> <sentence id="1" emotion_tag="N">三八节下午路过中牟县~见到很多美女~手执鲜花[鲜花]~一打听~这里不仅美女如云~而且是千古笫一帅哥潘安的故里。。。</sentenc 阅读全文

摘要： 背景1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。3、Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量数据时可以节省大量的时间。Solution 1 : 将json格式数据导入到MongoDB中，然后MongoDB可以将数据转换为CSV格式数据，然后导入到mysql中；CSSer.com采用的是word 阅读全文

摘要： 1. integration中的org.apache.mahout.Clustering.conversion.InputMapperpackage org.apache.mahout.clustering.conversion;import java.io.IOException;import java.lang.reflect.Constructor;import java.lang.reflect.InvocationTargetException;import java.util.Collection;import java.util.regex.Pattern;import com. 阅读全文

摘要： 1. http://www.mongodb.org/dr/fastdl.mongodb.org/linux/mongodb-linux-i686-2.4.3.tgz/download2. http://www.nlpir.org/?action-viewnews-itemid-2633. https://github.com/cloudera/cdh-twitter-example/blob/master/hive-serdes/src/main/java/com/cloudera/hive/serde/JSONSerDe.java（JSON导入到Hive）4. http://www.mong 阅读全文

摘要： Ubuntu下创建、重命名、删除文件及文件夹，强制清空回收站方法 mkdir 目录名 ——创建一个目录rmdir 空目录名 ——删除一个空目录rm 文件名 文件名 ——删除一个文件或多个文件rm -rf 非空目录名 ——删除一个非空目录下的一切touch 文件名 ——创建一个空文件重命名文件（夹） / 移动文件（夹）到指定文件夹echWeb-技术社区5].O"?8H.I执行格式： mv source destination举例:mv file1 file2 表示将文件 file1，更改文件名为 file2。 mv file1 dir1 将文件 file1，移到目录 dir1下，文件名 阅读全文

摘要： MySQL备份和还原,都是利用mysqldump、mysql和source命令来完成的1. 备份[root@localhost ~]# cd /var/lib/mysql (进入到MySQL库目录，根据自己的MySQL的安装情况调整目录)[root@localhost mysql]# mysqldump -u root -p Movie>Movie.sql，输入密码即可。2. 还原法一：[root@localhost ~]# mysql -u root -p 回车，输入密码，进入MySQL的控制台"mysql>"，同1上还原。法二：[root@localhost 阅读全文