代号菜鸟

2017年8月4日

摘要： 1 #!bin/bash 2 3 DEPLOY_PATH=$(cd "$(dirname "$0")"; pwd) 4 INI_FILE=$DEPLOY_PATH'/cnedmp_etl.ini' 5 . $INI_FILE 6 BASE_PATH=$(cd "$(dirname "$DEPLOY_PATH")"; pwd) 7 MAIN_PATH=$(cd "$(... 阅读全文

posted @ 2017-08-04 21:10 代号菜鸟阅读(196) 评论(0) 推荐(0)

2017年7月31日

Hadoop常用操作笔记

摘要： 1 hadoop-daemon.sh start namenode 2 hadoop-daemon.sh start datanode 3 yarn-daemon.sh start resourcemanager 4 yarn-daemon.sh start nodemanager 5 ./hiveserver2 或者 nohup hive --service metastore &nohup ... 阅读全文

posted @ 2017-07-31 23:30 代号菜鸟阅读(136) 评论(0) 推荐(0)

2017年7月30日

启动hiveserve2

摘要：启动hivemetastore hive --service metastore 启动hiveserver2 hive --service hiveserver2 beeline ！connect jdbc:hive2://172.16.145.124:10000 hive hive 后台运行 hi 阅读全文

posted @ 2017-07-30 08:43 代号菜鸟阅读(13123) 评论(0) 推荐(0)

Hive JDBC 操作例子

摘要： pom.xml配置测试例程阅读全文

posted @ 2017-07-30 08:03 代号菜鸟阅读(1890) 评论(0) 推荐(0)

2017年7月28日

贴一段Shell脚本，以便日后参考。

摘要： 1 #! /bin/bash 2 3 ICMS_PATH=$(cd $(dirname $0); pwd) 4 DEPLOY_PATH=$(cd $(dirname $ICMS_PATH); pwd) 5 JAR_FILE=$DEPLOY_PATH'/dailydata-1.0-SNAPSHOT.jar' 6 INI_FILE=$DEPLOY_PATH'/cnedmp_etl.in... 阅读全文

posted @ 2017-07-28 21:35 代号菜鸟阅读(324) 评论(0) 推荐(0)

2017年7月25日

MapReduce单元测试

摘要： MapReduce进行单元测试的步骤： 1. 在POM中添加MRUnit 2. Mapper测试用例 3. Reducer测试用例阅读全文

posted @ 2017-07-25 18:06 代号菜鸟阅读(851) 评论(0) 推荐(0)

Maven管理不同环境的配置文件

摘要：我们在Project中会针对开发、测试、生产环境配置不同的配置文件。管理这些配置文件会很繁琐，我们需要在不同环境运行时，修改替换不同的配置文件。 Maven提供了一种针对不同的环境管理配置文件的方式。具体步骤： 1. 配置POM文件 2. 在Resource下面创建几个针对不同环境的文件夹。将针阅读全文

posted @ 2017-07-25 15:48 代号菜鸟阅读(1828) 评论(0) 推荐(0)

2017年7月24日

Hadoop配置本地调试

摘要： http://blog.csdn.net/chenzhongwei99/article/details/72518303 阅读全文

posted @ 2017-07-24 07:53 代号菜鸟阅读(334) 评论(0) 推荐(0)

2017年7月23日

Hadoop Mapreduce模板

摘要： Mapper Reducer Driver 阅读全文

posted @ 2017-07-23 18:32 代号菜鸟阅读(505) 评论(0) 推荐(0)

2017年6月13日

GitHub开通啦

摘要：个人GitHub开通了欢迎指正 https://github.com/xdlaoliu 阅读全文

posted @ 2017-06-13 13:40 代号菜鸟阅读(93) 评论(0) 推荐(0)

公告