摘要： 1 连接数容易占满 2 watches数 （应用上的比较多建议做个自动监控，告警） 阅读全文

摘要： HIVE-HBASE表CDH4的时候不成熟select*的时候会查询不出（必须通过字段名称）,CDH5已经修复这点需要注意 接口表hive部分一般不做join select会占性能,因为hbase接口必须走rowkey才走索引。所以一般hive-hbase表只用于加载数据，hbase查询,如果需要对 阅读全文

摘要： hive join 后面必须=（0.13版本后支持，不支持like,<>）,on后面如需加条件语句必须放到where中不然会产生错误结果 （可以一对多,一对一,不可以多对多‘会出现数据翻倍’） 阅读全文

摘要： 1. 创建软连接 ln -s /home/hadoop/bigdater/hbase-0.98.6-cdh5.3.6/conf/hbase-site.xml ./hbase-site.xml（记得这里是把hbase-site的软连接创建到hadoop etc配置文件下以便jar跑 run的时候引用） 阅读全文

摘要： 1 可以使用maven把插件带入 2 把jar放到集群的jar文件目录下，然后重启集群 阅读全文

摘要： 今天跑MR跑到百分27就卡住不懂,查看JOB history也没看到MR，日志也没看到异常。50030端口页面不知道为什么打不开。由于MR里面设计Hbase就去查了下hbase的表。发现hbase list table打不开。ERROR: Can't get master address from 阅读全文

摘要： linux shell 可以启动 mapred historyserver 然后根据显示的端口hostname+port进行访问（一般默认端口是19888） 阅读全文

摘要： flume-ng agent --conf ./conf/ --conf-file ./conf/test1.conf --name a1 -Dflume.root.logger=INFO,console 可以加上logger输出 看看会不会打印出错误 阅读全文

摘要： 填入项目名字 源码管理从git自动拉取代码到工作目录 jenkins拉取代码会到工作空间linux下安装完目录是/var/lib/jenkins/workspace/jeekins-test（可以根据安装方式不同网上查查） 构建触发器，我选择“Build whenever a SNAPSHOT de 阅读全文

摘要： mysql 安装mysql 1. 使用root用户: su root 2. 安装 yum install mysql yum install mysql-server yum install mysql-devel（可选） 3. 修改配置信息，添加: vim /etc/my.cnf [mysql] 阅读全文