01 2018 档案

空指针异常（从辅助类获取对象之后需要实例化才能保存信息）
摘要：ApplicationInfo applicationInfo1 = applicationVo1.getApplicationInfo(); if(applicationInfo1==null){ applic... 阅读全文
posted @ 2018-01-31 11:05 crr121 阅读(225) 评论(0) 推荐(0)
后端测试的时候报404
摘要：错误报号为404，并且进不去后台代码，一般都是url地址错了，或者参数的个数没有对应上，或者参数名写错，参数类型错误 阅读全文
posted @ 2018-01-31 10:57 crr121 阅读(263) 评论(0) 推荐(0)
redis失效
摘要：redis中的token失效失效可能出现的问题：1、在postman测试时报 5002、控制台：### Error updating database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionE... 阅读全文
posted @ 2018-01-31 10:54 crr121 阅读(424) 评论(0) 推荐(0)
IDEA导出可执行jar包
摘要：1. IDEA 导出可执行的Jar换了Idea后今天需要把项目打成 jar放到服务器上运行，稍微整理一下。在IDEA的菜单中选择File–>Project Structure,如下图所示：选择“Artifacts“在出现的图中点击加号在如下的... 阅读全文
posted @ 2018-01-25 18:18 crr121 阅读(332) 评论(0) 推荐(0)
IDEA导出可执行jar包
摘要：1. IDEA 导出可执行的Jar换了Idea后今天需要把项目打成 jar放到服务器上运行，稍微整理一下。在IDEA的菜单中选择File–>Project Structure,如下图所示：选择“Artifacts“在出现的图中点击加号在如下的... 阅读全文
posted @ 2018-01-25 18:18 crr121 阅读(241) 评论(0) 推荐(0)
python3 .6 下 报错 RuntimeError: dictionary changed size during iteration
摘要：循环字典键值，删除不符合要求的键值对def createTree(dataSet, minSup=1): #create FP-tree from dataset but don't mine heade... 阅读全文
posted @ 2018-01-25 11:44 crr121 阅读(232) 评论(0) 推荐(0)
python3 .6 下 报错 RuntimeError: dictionary changed size during iteration
摘要：循环字典键值，删除不符合要求的键值对def createTree(dataSet, minSup=1): #create FP-tree from dataset but don't mine heade... 阅读全文
posted @ 2018-01-25 11:44 crr121 阅读(331) 评论(0) 推荐(0)
自定义分区随机分配解决数据倾斜的问题
摘要：1、第一阶段有三个文本待统计（设置分区的个数为3）package com.cr.skew;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import o... 阅读全文
posted @ 2018-01-19 16:33 crr121 阅读(206) 评论(0) 推荐(0)
自定义分区随机分配解决数据倾斜的问题
摘要：1、第一阶段有三个文本待统计（设置分区的个数为3）package com.cr.skew;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import o... 阅读全文
posted @ 2018-01-19 16:33 crr121 阅读(287) 评论(0) 推荐(0)
python-类
摘要：1、类#新式类(后面会跟一个参数，用于单继承或者多继承的父类)class MyNewObject(object): pass#pass表示不执行任何操作但是在语法上需要一行语句#经典类（没有继承任何其他父类）class MyNewObject: pass2... 阅读全文
posted @ 2018-01-19 11:06 crr121 阅读(111) 评论(0) 推荐(0)
python-类
摘要：1、类#新式类(后面会跟一个参数，用于单继承或者多继承的父类)class MyNewObject(object): pass#pass表示不执行任何操作但是在语法上需要一行语句#经典类（没有继承任何其他父类）class MyNewObject: pass2... 阅读全文
posted @ 2018-01-19 11:06 crr121 阅读(83) 评论(0) 推荐(0)
Apriori进行关联分析
摘要：一、术语解释关联分析：从大规模数据集中挖掘物品之间的隐含关系频繁项集：经常出现在一块的物品集合关联规则：暗示两种物品之间可能存在很强的关联关系项集支持度：数据集中包含该项集的记录比例（这里可以定义一个最小项集的支持度，筛选出那些项集出现次数不是那么多，项集支持度不是那... 阅读全文
posted @ 2018-01-18 14:49 crr121 阅读(134) 评论(0) 推荐(0)
Apriori进行关联分析
摘要：一、术语解释关联分析：从大规模数据集中挖掘物品之间的隐含关系频繁项集：经常出现在一块的物品集合关联规则：暗示两种物品之间可能存在很强的关联关系项集支持度：数据集中包含该项集的记录比例（这里可以定义一个最小项集的支持度，筛选出那些项集出现次数不是那么多，项集支持度不是那... 阅读全文
posted @ 2018-01-18 14:49 crr121 阅读(190) 评论(0) 推荐(0)
redis缓存清除
摘要：有的时候会由于redis的缓存导致项目运行返回空值清除一下缓存就可以了 阅读全文
posted @ 2018-01-17 16:11 crr121 阅读(124) 评论(0) 推荐(0)
redis缓存清除
摘要：有的时候会由于redis的缓存导致项目运行返回空值清除一下缓存就可以了 阅读全文
posted @ 2018-01-17 16:11 crr121 阅读(222) 评论(0) 推荐(0)
返回三级联动的JSON数据
摘要：如下，我们要返回下面的数据格式 { "value": "3", "label": "安徽省", "children": [ { "value": "安庆市", "label": "36"... 阅读全文
posted @ 2018-01-16 18:17 crr121 阅读(360) 评论(0) 推荐(0)
返回三级联动的JSON数据
摘要：如下，我们要返回下面的数据格式 { "value": "3", "label": "安徽省", "children": [ { "value": "安庆市", "label": "36"... 阅读全文
posted @ 2018-01-16 18:17 crr121 阅读(935) 评论(0) 推荐(0)
python3访问map
摘要：python2打印map对象可以直接print map但是python3需要将之转为list对象，print(list(map)) 阅读全文
posted @ 2018-01-15 17:01 crr121 阅读(120) 评论(0) 推荐(0)
python3访问map
摘要：python2打印map对象可以直接print map但是python3需要将之转为list对象，print(list(map)) 阅读全文
posted @ 2018-01-15 17:01 crr121 阅读(186) 评论(0) 推荐(0)
二次排序解析
摘要：1、定义组合keypackage com.cr.com.cr.test;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;... 阅读全文
posted @ 2018-01-14 17:03 crr121 阅读(138) 评论(0) 推荐(0)
二次排序解析
摘要：1、定义组合keypackage com.cr.com.cr.test;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;... 阅读全文
posted @ 2018-01-14 17:03 crr121 阅读(248) 评论(0) 推荐(0)
org.springframework.jdbc.BadSqlGrammarException:
摘要：遇到的问题org.springframework.jdbc.BadSqlGrammarException: ### Error updating database. Cause: java.sql.SQLSyntaxErrorException: You have ... 阅读全文
posted @ 2018-01-12 19:30 crr121 阅读(235) 评论(0) 推荐(0)
org.springframework.jdbc.BadSqlGrammarException:
摘要：遇到的问题org.springframework.jdbc.BadSqlGrammarException: ### Error updating database. Cause: java.sql.SQLSyntaxErrorException: You have ... 阅读全文
posted @ 2018-01-12 19:30 crr121 阅读(1262) 评论(0) 推荐(0)
Hadoop二次排序
摘要：1、实现要求：对年份按照升序排列，对气温进行降序排列2、实现步骤1、定义组合keypackage com.cr.secondarySort;import org.apache.hadoop.io.WritableComparable;import java.io.Da... 阅读全文
posted @ 2018-01-09 23:50 crr121 阅读(101) 评论(0) 推荐(0)
Hadoop二次排序
摘要：1、实现要求：对年份按照升序排列，对气温进行降序排列2、实现步骤1、定义组合keypackage com.cr.secondarySort;import org.apache.hadoop.io.WritableComparable;import java.io.Da... 阅读全文
posted @ 2018-01-09 23:50 crr121 阅读(176) 评论(0) 推荐(0)
k-均值聚类
摘要：1、k-均值聚类1.1、伪代码创建k个点作为起始质心（经常是随机选择）当任意一个点的簇分配结果发生改变时对数据集中的每个数据点. 对每个质心计算质心与数据点之间的距离将数据点分配到距其最近的簇对每一个簇，计算簇中所有点的均值并将均值作为质心1.2、核心代码from n... 阅读全文
posted @ 2018-01-09 18:12 crr121 阅读(215) 评论(0) 推荐(0)
k-均值聚类
摘要：1、k-均值聚类1.1、伪代码创建k个点作为起始质心（经常是随机选择）当任意一个点的簇分配结果发生改变时对数据集中的每个数据点. 对每个质心计算质心与数据点之间的距离将数据点分配到距其最近的簇对每一个簇，计算簇中所有点的均值并将均值作为质心1.2、核心代码from n... 阅读全文
posted @ 2018-01-09 18:12 crr121 阅读(302) 评论(0) 推荐(0)
Hadoop采样器实现全排序（报错java.io.EOFException）
摘要：利用采样器，mapreducer自动将数据按照从大到小的顺序，根据数据分布的概率，自动分区到不同的区域，之前我们是手动设置分区的范围，将数据分区到不同的分区点击打开链接下面我们采用Hadoop内置类-全排序分区类进行自动分区1、mapper类package com.c... 阅读全文
posted @ 2018-01-08 12:43 crr121 阅读(243) 评论(0) 推荐(0)
Hadoop采样器实现全排序（报错java.io.EOFException）
摘要：利用采样器，mapreducer自动将数据按照从大到小的顺序，根据数据分布的概率，自动分区到不同的区域，之前我们是手动设置分区的范围，将数据分区到不同的分区点击打开链接下面我们采用Hadoop内置类-全排序分区类进行自动分区1、mapper类package com.c... 阅读全文
posted @ 2018-01-08 12:43 crr121 阅读(453) 评论(0) 推荐(0)
Hadoop全排序
摘要：1、未分区，按照key排序1、mapper，输出都为intwritablepackage com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Long... 阅读全文
posted @ 2018-01-07 18:23 crr121 阅读(157) 评论(0) 推荐(0)
Hadoop全排序
摘要：1、未分区，按照key排序1、mapper，输出都为intwritablepackage com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Long... 阅读全文
posted @ 2018-01-07 18:23 crr121 阅读(137) 评论(0) 推荐(0)
跟踪wordcount计数器的运行信息
摘要：1、mapper类package com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.h... 阅读全文
posted @ 2018-01-05 17:27 crr121 阅读(119) 评论(0) 推荐(0)
跟踪wordcount计数器的运行信息
摘要：1、mapper类package com.cr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.h... 阅读全文
posted @ 2018-01-05 17:27 crr121 阅读(106) 评论(0) 推荐(0)
运行wordcount的时候显示INFO mapreduce.Job: map 0% reduce 0%
摘要：错误提示：[xiaoqiu@s150 /home/xiaoqiu]$ hadoop jar wordcounter.jar com.cr.wordcount.WordcountApp hdfs://s150/user/xiaoqiu/data/wc.txt hdfs:... 阅读全文
posted @ 2018-01-05 16:03 crr121 阅读(1101) 评论(0) 推荐(0)
运行wordcount的时候显示INFO mapreduce.Job: map 0% reduce 0%
摘要：错误提示：[xiaoqiu@s150 /home/xiaoqiu]$ hadoop jar wordcounter.jar com.cr.wordcount.WordcountApp hdfs://s150/user/xiaoqiu/data/wc.txt hdfs:... 阅读全文
posted @ 2018-01-05 16:03 crr121 阅读(358) 评论(0) 推荐(0)
java.io.IOException: Incompatible clusterIDs
摘要：启动Hadoop集群的时候，所有的datanode启动不了，报错如下java.io.IOException: Incompatible clusterIDs in /home/xiaoqiu/hadoop_tmp/dfs/data:namenode clusterID... 阅读全文
posted @ 2018-01-04 23:24 crr121 阅读(192) 评论(0) 推荐(0)
java.io.IOException: Incompatible clusterIDs
摘要：启动Hadoop集群的时候，所有的datanode启动不了，报错如下java.io.IOException: Incompatible clusterIDs in /home/xiaoqiu/hadoop_tmp/dfs/data:namenode clusterID... 阅读全文
posted @ 2018-01-04 23:24 crr121 阅读(341) 评论(0) 推荐(0)
多输入的wordcount
摘要：1、处理序列的mapperpackage com.cr.hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.ha... 阅读全文
posted @ 2018-01-04 21:17 crr121 阅读(118) 评论(0) 推荐(0)
多输入的wordcount
摘要：1、处理序列的mapperpackage com.cr.hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.ha... 阅读全文
posted @ 2018-01-04 21:17 crr121 阅读(105) 评论(0) 推荐(0)
MapFile检索序列文件
摘要：1、MapFile写入文件 /** * mapfile写入文件 * @throws IOException */ @Test public void save() throws IOException { Confi... 阅读全文
posted @ 2018-01-04 21:02 crr121 阅读(117) 评论(0) 推荐(0)
MapFile检索序列文件
摘要：1、MapFile写入文件 /** * mapfile写入文件 * @throws IOException */ @Test public void save() throws IOException { Confi... 阅读全文
posted @ 2018-01-04 21:02 crr121 阅读(166) 评论(0) 推荐(0)
单词统计以序列格式输出
摘要：wordcount1类/** * wordcount单词统计 */public class wordcount1 { public static void main(String[] args) throws IOException, ClassNotFound... 阅读全文
posted @ 2018-01-04 17:01 crr121 阅读(134) 评论(0) 推荐(0)
单词统计以序列格式输出
摘要：wordcount1类/** * wordcount单词统计 */public class wordcount1 { public static void main(String[] args) throws IOException, ClassNotFound... 阅读全文
posted @ 2018-01-04 17:01 crr121 阅读(141) 评论(0) 推荐(0)
序列文件的读取和写入
摘要：1、序列文件（二进制）的写入 /** * 写入文件 * @throws IOException */ @Test public void save() throws IOException { Configura... 阅读全文
posted @ 2018-01-04 14:14 crr121 阅读(251) 评论(0) 推荐(0)
序列文件的读取和写入
摘要：1、序列文件（二进制）的写入 /** * 写入文件 * @throws IOException */ @Test public void save() throws IOException { Configura... 阅读全文
posted @ 2018-01-04 14:14 crr121 阅读(186) 评论(0) 推荐(0)
TypeError: list indices must be integers or slices, not tuple
摘要：由于dataset是一个列表>>> dataset[[1.658985, 4.285136], [-3.453687, 3.424321], [4.838138, -1.151539], [-5.379713, -3.362104], [0.972564, 2.924... 阅读全文
posted @ 2018-01-03 16:33 crr121 阅读(2595) 评论(0) 推荐(0)
TypeError: list indices must be integers or slices, not tuple
摘要：由于dataset是一个列表>>> dataset[[1.658985, 4.285136], [-3.453687, 3.424321], [4.838138, -1.151539], [-5.379713, -3.362104], [0.972564, 2.924... 阅读全文
posted @ 2018-01-03 16:33 crr121 阅读(7924) 评论(1) 推荐(0)
IndexError: tuple index out of range
摘要：错误代码：def loadDataSet(fileName): #general function to parse tab -delimited floats dataMat = [] #assume last colu... 阅读全文
posted @ 2018-01-03 16:12 crr121 阅读(426) 评论(0) 推荐(0)
IndexError: tuple index out of range
摘要：错误代码：def loadDataSet(fileName): #general function to parse tab -delimited floats dataMat = [] #assume last colu... 阅读全文
posted @ 2018-01-03 16:12 crr121 阅读(7084) 评论(0) 推荐(0)
树回归-CART
摘要：1、树回归的提出背景线性回归需要拟合所有的样本（除了局部加权性回归），实际生活中大部分的问题是非线性的。所以需要将数据集进行切分成很多份容易建模的数据，然后利用线性回归的方法进行建模。但是一般一两次的切分仍然不能满足要求，所以就提出了树回归的方法2、CART(clas... 阅读全文
posted @ 2018-01-03 14:33 crr121 阅读(335) 评论(0) 推荐(0)
支持向量机SVM
摘要：参考博客：点击打开链接SVM的优缺点优点：泛化错误率低，计算开销不大，结果容易解释缺点：对参数的调节和核函数的选择敏感，原始分类器不佳修改仅适用于处理二分类问题SVM的目的：找到一个超平面，也就是分类的决策边界，使得离超平面最近的点尽可能的远，而那些最近的点就是支持向... 阅读全文
posted @ 2018-01-03 14:33 crr121 阅读(198) 评论(0) 推荐(0)
树回归-CART
摘要：1、树回归的提出背景线性回归需要拟合所有的样本（除了局部加权性回归），实际生活中大部分的问题是非线性的。所以需要将数据集进行切分成很多份容易建模的数据，然后利用线性回归的方法进行建模。但是一般一两次的切分仍然不能满足要求，所以就提出了树回归的方法2、CART(clas... 阅读全文
posted @ 2018-01-03 14:33 crr121 阅读(202) 评论(0) 推荐(0)
支持向量机SVM
摘要：参考博客：点击打开链接SVM的优缺点优点：泛化错误率低，计算开销不大，结果容易解释缺点：对参数的调节和核函数的选择敏感，原始分类器不佳修改仅适用于处理二分类问题SVM的目的：找到一个超平面，也就是分类的决策边界，使得离超平面最近的点尽可能的远，而那些最近的点就是支持向... 阅读全文
posted @ 2018-01-03 14:33 crr121 阅读(111) 评论(0) 推荐(0)
Hadoop文件压缩放到远程centos调试
摘要：文件压缩1、准备代码package com.cr.compress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.ha... 阅读全文
posted @ 2018-01-02 15:38 crr121 阅读(206) 评论(0) 推荐(0)
Hadoop文件压缩放到远程centos调试
摘要：文件压缩1、准备代码package com.cr.compress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.ha... 阅读全文
posted @ 2018-01-02 15:38 crr121 阅读(164) 评论(0) 推荐(0)
Hadoop 文件压缩
摘要：1、指定编解码器类 public void deflateCompress() throws IOException { //获取deflate编解码器类 Class codecClass = DeflateCodec.class; ... 阅读全文
posted @ 2018-01-02 15:06 crr121 阅读(175) 评论(0) 推荐(0)
Hadoop 文件压缩
摘要：1、指定编解码器类 public void deflateCompress() throws IOException { //获取deflate编解码器类 Class codecClass = DeflateCodec.class; ... 阅读全文
posted @ 2018-01-02 15:06 crr121 阅读(116) 评论(0) 推荐(0)
yarn作业提交过程
摘要：模拟word count yarn提交过程 阅读全文
posted @ 2018-01-02 13:09 crr121 阅读(169) 评论(0) 推荐(0)
yarn作业提交过程
摘要：模拟word count yarn提交过程 阅读全文
posted @ 2018-01-02 13:09 crr121 阅读(145) 评论(0) 推荐(0)
Hadoop集群运行wordcount jar包出错
摘要：出错提示[xiaoqiu@s151 /home/xiaoqiu]$ hadoop jar HDFSTest.jar com.cr.hdfs.wordcount1.wordcountAPP hdfs: //s150/usr/xiaoqiu... 阅读全文
posted @ 2018-01-02 11:31 crr121 阅读(134) 评论(0) 推荐(0)
Hadoop集群运行wordcount jar包出错
摘要：出错提示[xiaoqiu@s151 /home/xiaoqiu]$ hadoop jar HDFSTest.jar com.cr.hdfs.wordcount1.wordcountAPP hdfs: //s150/usr/xiaoqiu... 阅读全文
posted @ 2018-01-02 11:31 crr121 阅读(854) 评论(0) 推荐(0)