摘要：
需求：redis缓存的数据隔段时间往MySQL中写入一次。如果按照job的增量导入，比如上次redis向mysql导入数据时间为8:00,下一次导入时间为9:00,8:20sqoop进行增量导入，导入的时*~8:20的数据，sqoop把job中的最后导入时间设置为8:20。当9:00... 阅读全文
posted @ 2015-12-05 14:06 ggzone 阅读(768) 评论(0) 推荐(0)
摘要：
ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2.重启rsyslog su... 阅读全文
posted @ 2015-12-05 13:42 ggzone 阅读(185) 评论(0) 推荐(0)
摘要：
ubuntu默认没有开启cron日志记录 1. 修改rsyslog sudo vim /etc/rsyslog.d/50-default.conf cron.* /var/log/cron.log #将cron前面的注释符去掉 2... 阅读全文
posted @ 2015-12-05 13:42 ggzone 阅读(252) 评论(0) 推荐(0)
摘要：
MR代码：package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop... 阅读全文
posted @ 2015-12-05 13:39 ggzone 阅读(283) 评论(0) 推荐(0)
摘要：
MR代码：package merge;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritab... 阅读全文
posted @ 2015-12-05 13:38 ggzone 阅读(697) 评论(0) 推荐(0)
摘要：
sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password root -m 1 --hi... 阅读全文
posted @ 2015-12-05 13:26 ggzone 阅读(361) 评论(0) 推荐(0)
摘要：
sqoop job --create incretest -- import --connect jdbc:mysql://10.8.2.19:3306/db --table table1 --username op_root --password ro... 阅读全文
posted @ 2015-12-05 13:26 ggzone 阅读(136) 评论(0) 推荐(0)
摘要：
hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文
posted @ 2015-12-05 13:16 ggzone 阅读(283) 评论(0) 推荐(0)
摘要：
hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文
posted @ 2015-12-05 13:15 ggzone 阅读(1706) 评论(0) 推荐(0)
摘要：
1.下载scala-2.10.6包解压到指定目录#SCALA VARIABLES STARTexport SCALA_HOME=/usr/local/scala-2.10.6export PATH=$PATH:$SCALA_HOME/bin#SCALA VARIABLES END2.... 阅读全文
posted @ 2015-12-05 13:03 ggzone 阅读(558) 评论(0) 推荐(0)
浙公网安备 33010602011771号