2014 年 1月 3 日随笔档案 - lam99v

hive0.11的编译/安装/配置

摘要：一、获取hive 0.11文件 1、直接在apache网站下载release版 2、自己下载源码编译。方法： git clone https://github.com/amplab/hive.git -b shark-0.11 git_hive-0.11_shark cd git_hive-0.11_shark ant package 因为我是为了后面和shark一起用,apac... 阅读全文

posted @ 2014-01-03 17:28 lam99v 阅读(1030) 评论(0) 推荐(0)

问题记录：spark读取hdfs文件出错

摘要：错误信息： scala> val file = sc.textFile("hdfs://kit-b5:9000/input/README.txt") 13/10/29 16:59:45 DEBUG MutableMetricsFactory: field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.... 阅读全文

posted @ 2014-01-03 14:40 lam99v 阅读(1337) 评论(0) 推荐(0)

Spark0.8.0的安装配置

摘要： 1、profile export SCALA_HOME=/home/hadoop/scala-2.9.3SPARK_080=/home/hadoop/spark-0.8.0export SPARK_HOME=$SPARK_080export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/target/spark-examples_2.9.3-0.8.0-inc... 阅读全文

posted @ 2014-01-03 13:02 lam99v 阅读(461) 评论(0) 推荐(0)

代码-Weka的LinearRegression类

摘要： package kit.weka; import weka.classifiers.Evaluation; import weka.classifiers.functions.LinearRegression; import weka.core.Instance; import weka.core.Instances; import w... 阅读全文

posted @ 2014-01-03 10:51 lam99v 阅读(823) 评论(0) 推荐(0)

代码-Weka的决策树类J48

摘要： package kit.weka; /** * desc:试试Weka的决策树类 * J48Test * */ import java.io.File; import java.io.IOException; import weka.classifiers.Classifier; import weka.classifiers.trees.J... 阅读全文

posted @ 2014-01-03 10:25 lam99v 阅读(1327) 评论(1) 推荐(0)

Hadoop-chd4.4.0安装

摘要： Hadoop-cdh4下载地址： http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH4-Downloadable-Tarballs/CDH4-Downloadable-Tarballs.html 一、建立linux用户添加组：groupadd hadoopgr... 阅读全文

posted @ 2014-01-03 10:10 lam99v 阅读(592) 评论(0) 推荐(0)

代码-Weka的NaiveBayes类

摘要： package kit.weka; import java.io.File;import weka.classifiers.CheckClassifier;import weka.classifiers.Classifier;import weka.classifiers.Evaluation;import weka.classifiers.evaluation.*;import weka.cor... 阅读全文

posted @ 2014-01-03 09:58 lam99v 阅读(645) 评论(0) 推荐(0)

hadoop-1.2.0安装记录

摘要：一、添加用户（各机器均一致）添加组： sudo addgroup hadoop 添加用户并到组：sudo adduser -ingroup hadoop hadoop 二、ssh无验证登陆 1、用hadoop登陆，执行： ssh-keygen -t rsa -P "" cat .ssh/id_rsa.pub >> .ssh/aut... 阅读全文

posted @ 2014-01-03 09:54 lam99v 阅读(216) 评论(0) 推荐(0)

liboss