2017年11月28日
hbase的hbase-site.xml配置文件
摘要： hbase.rootdir hdfs://server110/hbase hbase.cluster.distributed true hbase.zookeeper.quorum spark01:2181 拷贝hdfs下的core-site.xml和hdfs-site.xml到h... 阅读全文
posted @ 2017-11-28 10:30 ぶ会编程 阅读(6299) 评论(0) 推荐(0)
2017年11月25日
hive初体验
摘要： Hive搭建学习笔记 一、学习Hive之前,先了解一下什么是Hive; Hive是Hadoop一个程序接口，Hive让数据分析人员快速上手，Hive使用了类SQL的语法，Hive让JAVA的世界变得简单而轻巧，Hive让Hadoop普及到了程序员以外的人。 二、安装Hive 1.安装前需要保证有my 阅读全文
posted @ 2017-11-25 20:20 ぶ会编程 阅读(409) 评论(0) 推荐(0)
centos7中安装mysql以及卸载
摘要： 1.安装MySQL server 首先下载好mysql的rpm安装包 使用rpm命令安装： rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm #rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm --force 阅读全文
posted @ 2017-11-25 19:59 ぶ会编程 阅读(799) 评论(0) 推荐(0)
hive的mysql作元数据的hive-site.xml配置
摘要： javax.jdo.option.ConnectionURL jdbc:mysql://server110:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root... 阅读全文
posted @ 2017-11-25 16:46 ぶ会编程 阅读(4063) 评论(0) 推荐(0)
hive用mysql作元数据代替默认derby的hive-site.xml配置
摘要： javax.jdo.option.ConnectionURL jdbc:mysql://server110:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root... 阅读全文
posted @ 2017-11-25 16:46 ぶ会编程 阅读(1013) 评论(0) 推荐(0)
2017年11月24日
HDFS冗余数据块的自动删除
摘要： 在日常维护hadoop集群的过程中发现这样一种情况： 某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡， HDFS马上自动开始数据块的容错拷贝； 当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏， 所以造成了HDFS上某些block的备份数超过了设定的备份数。 通过观察发现，这些多余的数据块经过很长的一段时间才会被... 阅读全文
posted @ 2017-11-24 20:07 ぶ会编程 阅读(595) 评论(0) 推荐(0)
Hadoop的datanode超时时间设置
摘要： datanode进程死亡或者网络故障造成datanode无法与namenode通信， namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heart... 阅读全文
posted @ 2017-11-24 20:04 ぶ会编程 阅读(1071) 评论(0) 推荐(0)
hdfs的HA集群搭建的相关配置
摘要： 脑裂：本来一个大脑的两半球互相配合，变成了分裂成两个独立的大脑，都认为对方已死。在集群环境中，有这么几种可能造成"Split-Brain"现象： 1、在集群环境中的节点间的心跳线同时断掉后，集群系统所处于的一种特殊状态。例如节点1和2组成一个集群，突然1和2间的心跳同时都断了，如果此前节点1正在运行 阅读全文
posted @ 2017-11-24 19:40 ぶ会编程 阅读(849) 评论(0) 推荐(0)
2017年2月20日
ocrsearch的横屏转竖屏的解决方案
摘要： 转自：http://stackoverflow.com/questions/15131663/how-to-change-orientation-of-captured-byte-frames-through-onpreviewframe-callb 阅读全文
posted @ 2017-02-20 17:58 ぶ会编程 阅读(478) 评论(0) 推荐(0)
2017年2月10日
安卓友盟微信分享
摘要： （网摘）当你使用微信登陆或分享的时候，微信的客户端会存储你的app在微信开放平台上配置的包名跟应用签名，如果你在自己的应用里面第一次使用微信登陆或分享后，你的应用相关的信息就会被微信客户端记录了，这时候你再换一个签名文件更改你的应用签名，点微信登陆就会出现没反应，并且友盟的那些回调都没有调用的情况， 阅读全文
posted @ 2017-02-10 13:03 ぶ会编程 阅读(394) 评论(0) 推荐(0)