摘要： 遇到比较奇怪的问题，mvn项目中的main函数可以正常运行，但是test阶段出错，报错信息如下： test代码如下： 解决方法： 将 scala-library.jar 的路径加入到 CLASSPATH 中（参考：https://stackoverflow.com/questions/7781547 阅读全文

摘要： nohup Python test.py > nohup.out 2>&1 & 发现nohup.out中显示不出来python程序中print的东西。 这是因为python的输出有缓冲，导致nohup.out并不能够马上看到输出。 python 有个-u参数，使得python不启用缓冲。 nohup 阅读全文

摘要： centos 系统安装官方文档：http://thrift.apache.org/docs/install/centos 一、按该文档安装出现了一系列的问题，记录如下： 1.安装thrift时./bootstrap.sh出错，然后安装libevent问题解决 （首先：git gc，清除./confi 阅读全文

摘要： 1.分类回归树CART 随机森林是由多颗CART树组成的 1、下面简单叙述下CART树及生成树的原理。 CART（Classification and regression tree）是决策树的一种，主要由特征选择，树的生成和剪枝三部分组成。它主要用来处理分类和回归问题。 （1）、回归树：使用平方误 阅读全文

摘要： 1. UDTF介绍 UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。 2. 编写自己需要的UDTF 继承org.apache.hadoop.hive.ql.udf.generic.G 阅读全文

摘要： 这里所用到的MAVEN-PLUGIN是MAVNE-ASSEMBLY-PLUGIN 官方网站是:http://maven.apache.org/plugins/maven-assembly-plugin/usage.html 1. 添加此PLUGIN到项目的POM.XML中 如果出现CLASS重名的情 阅读全文

摘要： 再xgboost的源码中有xgboost的SparkWithDataFrame的实现，如下：https://github.com/dmlc/xgboost/tree/master/jvm-packages。但是由于各种各样的原因吧，这些代码在我的IDE里面编译不过，因此又写了如下代码以供以后查阅使用 阅读全文

摘要： #!/bin/shsshpass -p "your password" ssh user@ip 注意： 需要先安装sshpass： 源码下载地址：http://sourceforge.net/projects/sshpass/ tar -zxvf sshpass-1.05.tar.gz cd ssh 阅读全文

摘要： 待解析文件的路径中有空格，把空格去掉就好了 阅读全文

摘要： 一、TF-IDF、余弦相似度、向量空间模型（1）使用TF-IDF算法，找出两篇文章的关键词；（2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异，可以使用相对词频）；（3）生成两篇文章各自的词频向量；（4）计算两个向量的余弦相似... 阅读全文