R星月

摘要： 在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分 类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。 为了方便下面的解释和举例，先 阅读全文

摘要： 原文档地址：http://kafka.apache.org/documentation.html 阅读全文

摘要： 配置文件在config/server.properties 下面的一些配置可能是你需要进行修改的。 broker.id 整数，建议根据ip区分 log.dirs kafka存放消息文件的路径， 默认/tmp/kafka-logs port broker用于接收producer消息的端口 zookee 阅读全文

摘要： 1，下载kafka 并进行解压 http://mirrors.cnnic.cn/apache/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz 2，启动Zookeeper bin/zookeeper-server-start.sh config/zookeeper.prop 阅读全文

摘要： Boosting算法是一种把若干个分类器整合为一个分类器的方法，在boosting算法产生之前，还出现过两种比较重要的将多个分类器整合 为一个分类器的方法，即boostrapping方法和bagging方法。我们先简要介绍一下bootstrapping方法和bagging方法。 1）bootstr... 阅读全文

摘要： solr 字段配置，和数据库数据索引配置 配置solr字段、 schema.xml 文件里配置 先讲解一下，里面的一些字段 1、 ... 表示类型，数据类型 不难理解上面就是配置定义solr 数据类型、上面都是solr里面的类型，那么我们也可以配置自已的数据类型， 比如：我们... 阅读全文

摘要： #!/bin/bashsource /etc/profileAPPLICATIONS_HOME="/cpic/cpicapp/cpic_analy/jars"APPLICATION_NAME="CountFoodScore.jar"SNAME=`basename $APPLICATION_NAME ... 阅读全文

摘要： #!/bin/bashsource /etc/profileAPPLICATIONS_HOME="/opt/cpic_analy"APPLICATION_NAME="MerchantClient.jar"SNAME=`basename $APPLICATION_NAME .jar`LOG_DIR="... 阅读全文

摘要： 今天先把spark的各种基本转换和动作总结下，以后有时间把各种用法放上去。1 RDD基本转换操作 map、flagMap、distinct coalesce、repartition coalesce、repartition randomSplit、... 阅读全文

摘要： 以往都是用java运行spark的没问题，今天用scala在eclipse上运行spark的代码倒是出现了错误 ，记录首先是当我把相关的包导入好后，Run，报错：Exception in thread "main" org.apache.spark.SparkException: A master ... 阅读全文