2017年10月27日
spark报错处理
摘要： Spark报错处理 分析：出现这个情况的原因是spark启动的时候设置的是hostname启动的，导致访问的时候DNS不能解析主机名导致。 问题解决： 第一种方法：确保URL是spark://服务器ip:7077，而不是spark://hostname:7077；启动的时候指定-h ip地址 第二种 阅读全文
posted @ 2017-10-27 17:01 诗码者 阅读(9418) 评论(0) 推荐(0)
kafka报错处理
摘要： Kafka报错处理 1、 记一次kafka报错处理 Kafka停止后，再启动的时候发生了报错： [2017-10-27 09:43:18,313] INFO Recovering unflushed segment 15000679 in log mytest-0. (kafka.log.Log) 阅读全文
posted @ 2017-10-27 16:29 诗码者 阅读(8972) 评论(0) 推荐(0)
2017年10月26日
KafkaOffsetMonitor监控kafka
摘要： KafkaOffsetMonitor监控kafka 1、　KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffset 阅读全文
posted @ 2017-10-26 10:07 诗码者 阅读(904) 评论(0) 推荐(0)
2017年10月19日
sparkthriftserver启动及调优
摘要： Sparkthriftserver启用及优化 1、 概述 sparkthriftserver用于提供远程odbc调用，在远端执行hive sql查询。默认监听10000端口，Hiveserver2默认也是监听10000端口，为了避免冲突，需要修改sparkthriftserver的端口。启用spar 阅读全文
posted @ 2017-10-19 16:45 诗码者 阅读(20158) 评论(0) 推荐(0)
2017年9月30日
Hive use mapreduce引擎 bsonFile splits报错处理
摘要： Hive use mapreduce引擎 1、 出现报错。关于bsonFile的。禁止hdfs里面存储的bson文件自动splits。 可以在hive-site.xml文件里面添加如下内容： <property> <name>bson.output.build_splits</name> <valu 阅读全文
posted @ 2017-09-30 09:14 诗码者 阅读(503) 评论(0) 推荐(0)
2017年9月21日
Mycat常见错误
摘要： Mycat常见错误 1、 问题： schema myinvoice didn't config tables,so you must set dataNode property! 解决：在schema.xml少加了一个参数 <schema name="myinvoice" checkSQLschem 阅读全文
posted @ 2017-09-21 19:34 诗码者 阅读(2481) 评论(0) 推荐(0)
Linux下MyCat和MyCat_web的安装和配置
摘要： Linux下MyCat和MyCat_web的安装和配置 Mycat 是一个数据库分库分表中间件 Mycat web 可以对 Mycat进行监控，这里分享一下 Mycat web 的搭建过程 详细内容可以参考 官方文档 Tip: 当前的最新版本为 Mycat-web-1.0 启动顺序必须为：zookp 阅读全文
posted @ 2017-09-21 19:30 诗码者 阅读(7584) 评论(0) 推荐(0)
SFTP服务器搭建
摘要： Sftp搭建文档 1、 查看openssh的版本 # ssh -V Openssh版本必须大于4.8p1。 2、 创建用户并设置登录密码 #groupadd sftp #useradd –d /data/sftp/mysftp -g sftp -s /sbin/false mysftp #echo 阅读全文
posted @ 2017-09-21 19:16 诗码者 阅读(678) 评论(0) 推荐(0)
Mongodb同步数据到hive（二）
摘要： Mongodb同步数据到hive（二） 1、 概述 上一篇文章主要介绍了mongodb-based，通过直连mongodb的方式进行数据映射来进行数据查询，但是那种方式会对线上的数据库产生影响，所以今天介绍第二种方式—BSON-based，即使用mongoexport将所需要的表导出到本地文件，文件 阅读全文
posted @ 2017-09-21 18:55 诗码者 阅读(7154) 评论(0) 推荐(0)
2017年9月19日
Hadoop+Hive 操作mongodb数据
摘要： Hadoop+Hive 操作mongodb数据 1、版本概述 hadoop-2.7.3、hive-2.2 下载响应的jar包：http://mvnrepository.com/，直接搜索想要的jar包，例如本次安装需要的： mongo-hadoop-core-2.0.2.jar、mongo-hado 阅读全文
posted @ 2017-09-19 20:43 诗码者 阅读(2959) 评论(1) 推荐(0)