02 2018 档案

Hadoop高可用high availability 集群配置
摘要：1、为什么配置高可用HA单点故障：在Hadoop2.0.0之前，每个Hadoop集群只有一个namenode节点，一旦该节点发生了故障，那么整个集群将瘫痪掉，只有重新启动该节点，或者重新移动到另外的节点，才能够重新运行该节点，这也就是所谓的单点故障2、HA的原理在同一... 阅读全文
posted @ 2018-02-09 17:11 crr121 阅读(213) 评论(0) 推荐(0)
Could not determine own NN ID in namespace 'mycluster'.
摘要：执行hdfs namenode -bootstrapStandby的时候报错如下java.io.IOException: java.lang.IllegalStateException: Could not determine own NN ID in namespa... 阅读全文
posted @ 2018-02-09 16:08 crr121 阅读(386) 评论(0) 推荐(0)
添加了其他主机的公钥之后还是不能无密登陆到其他主机
摘要：修改authorized_keys的权限为644 阅读全文
posted @ 2018-02-08 17:51 crr121 阅读(186) 评论(0) 推荐(0)
克隆虚拟机之后修改mac地址
摘要：修改配置文件中的mac地址为刚才生成的mac地址 阅读全文
posted @ 2018-02-08 16:30 crr121 阅读(378) 评论(0) 推荐(0)
hadoop-daemon.sh 和Hadoop-daemons.sh 的区别
摘要：Hadoop-daemon.sh:用于启动当前节点的进程例如Hadoop-daemon.sh start namenode 用于启动当前的名称节点Hadoop-daemons.sh：用于启动所有节点的进程例如：Hadoop-daemons.sh start datan... 阅读全文
posted @ 2018-02-08 11:18 crr121 阅读(879) 评论(0) 推荐(0)
将SVD应用于推荐系统
摘要：1、什么是SVDsingular value decomposition 奇异值分解，通过SVD实现从噪声数据中抽取相关特征2、SVD的应用2.1信息检索隐形语义索引LSI：latent semantic indexing隐形语义分析LSA：latent semant... 阅读全文
posted @ 2018-02-07 16:39 crr121 阅读(168) 评论(0) 推荐(0)
matrix.A
摘要：if __name__ == '__main__': from numpy import * a = mat([[0, 0, 0, 2, 2], [0, 0, 0, 3, 3], [0, 0, 0, 1, 1... 阅读全文
posted @ 2018-02-07 14:41 crr121 阅读(177) 评论(0) 推荐(0)
机架感知配置
摘要：0、hdfs存放副本的策略：先存放一个副本在本地机架的一个节点上，然后将第二个副本存放在本地机架的另外一个节点上，最后将第三个副本存放在不同机架的不同节点上1、配置机架感知Java类package com.cr.rackAware;import org.apache.... 阅读全文
posted @ 2018-02-06 17:52 crr121 阅读(311) 评论(0) 推荐(0)
PCA主成分分析进行数据降维
摘要：1、PCA的原理PCA:principal component analysis 主成分分析，PCA通过更换数据的坐标系来达到降维的目的。第一个坐标轴是原始数据的方差最大的方向，第二个坐标轴是与第一个坐标轴正交并且方差次大的方向2、PCA的优缺点优点：降低数据的复杂性... 阅读全文
posted @ 2018-02-06 16:19 crr121 阅读(258) 评论(0) 推荐(0)
flatten的用法
摘要：from numpy import *if __name__ == '__main__': ''' flatten 用于数组 ''' a = array([[1,2,3,4,5],[3,4,5,6,7],[1,4,5,6,74],[23,4,5... 阅读全文
posted @ 2018-02-06 16:06 crr121 阅读(514) 评论(0) 推荐(0)
数组与列表访问某一列的方法不同
摘要：from numpy import *if __name__ == '__main__': a = [[1,2,3,4,5],[3,4,5,6,7],[1,4,5,6,74],[23,4,5,6,7]] for x in a: print(x... 阅读全文
posted @ 2018-02-06 15:04 crr121 阅读(188) 评论(0) 推荐(0)
python 切片
摘要：from numpy import *if __name__ == '__main__': a = [[1,2,3,4,5],[3,4,5,6,7],[1,4,5,6,74],[23,4,5,6,7]] print(a[::1]) #正向开始，不取最... 阅读全文
posted @ 2018-02-06 14:53 crr121 阅读(149) 评论(0) 推荐(0)
mapreduce统计数据库中的单词个数
摘要：1、建立数据库表2、导入jar包mysql-connector-java-5.1.38.jar3、创建实体类package com.cr.jdbc;import org.apache.hadoop.io.Writable;import org.apache.hadoo... 阅读全文
posted @ 2018-02-05 19:07 crr121 阅读(488) 评论(0) 推荐(0)
Call From s150/192.168.109.150 to 0.0.0.0:10020 failed on connection exception:
摘要：参考博客：点击打开链接Hadoop连接本地数据库的时候报错Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From s150/192.168.109.150... 阅读全文
posted @ 2018-02-05 19:05 crr121 阅读(629) 评论(0) 推荐(0)
message from server: "Host 'XXXX' is not allowed to connect to this MySQL server"
摘要：环境：mysql5.7.11 + windows10 64位问题现象：使用mysql远程登录命令mysql –uroot –h192.168.1.102 –p时，报错MySQL ERROR 1130 (HY000): Host ‘XXXX’ is not a... 阅读全文
posted @ 2018-02-05 18:47 crr121 阅读(264) 评论(0) 推荐(0)
Hadoop格式化namenode
摘要：格式化的时候需要先删除所有节点的Hadoop的临时缓存目录也就是我们在core-site.xml里面配置的hadoop.tmp.dir 阅读全文
posted @ 2018-02-05 17:53 crr121 阅读(1401) 评论(1) 推荐(0)
构建FP-growth算法高效发现频繁项集
摘要：1、构建FP树1.1创建FP树的结构#创建FP树的数据结构#FP树的类定义class treeNode: def __init__(self, nameValue, numOccur, parentNode): self.name = nameVa... 阅读全文
posted @ 2018-02-05 17:29 crr121 阅读(162) 评论(0) 推荐(0)
TypeError: '
摘要：bigL = [v[0] for v in sorted(headerTable.items(), key=lambda p: p[1])]#(sort header table)TypeError: '<' not supported between ins... 阅读全文
posted @ 2018-02-05 16:34 crr121 阅读(104) 评论(0) 推荐(0)
矩阵与列表取出行（左开右闭）
摘要：对于矩阵：import numpysimpDat = [['r', 'z', 'h', 'j', 'p'], ['z', 'y', 'x', 'w', 'v', 'u', 't', 's'], ['z'], ... 阅读全文
posted @ 2018-02-05 11:17 crr121 阅读(367) 评论(0) 推荐(0)
解决CentOS7关闭/开启防火墙出现Unit iptables.service failed to load: No such file or directory.
摘要：CentOS7中执行[plain] view plain copy print?service iptables start/stop service iptables start/stop会报错Failed to start iptables.servi... 阅读全文
posted @ 2018-02-02 15:24 crr121 阅读(261) 评论(0) 推荐(0)
【Mybatis架构】Mapper映射文件中的#{}与${}
摘要：前言 还记得当初从北京回来的时候，跟着倪文杰师姐做Java ITOO的一卡通模块，我亲姐贾梦洁带着我一块做，期间，我遇到了一个特别奇葩的问题，就死我要实现Mybatis的模糊查询，根据当时亲姐教给我方法 select * ... 阅读全文
posted @ 2018-02-01 11:48 crr121 阅读(389) 评论(0) 推荐(0)