2017年3月
logger日志配置
摘要： ### set log levels ### log4j.rootLogger = debug,stdout,D ### output to console ### log4j.appender.stdout = org.apache.log4j.ConsoleAppender log4j.appender.stdout.Target = System.out log4j.appender.... 阅读全文
posted @ 2017-03-31 17:31 zqzdong 阅读(376) 评论(0) 推荐(0)
2017年2月
hadoop安装
摘要： 1：安装好虚拟机，安装系统 2：更改Master和Slave的时间，使其时间相同：具体执行(root 用户下) 1）： yum install -y ntpdate 2)：cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp ... 阅读全文
posted @ 2017-02-24 16:09 zqzdong 阅读(175) 评论(0) 推荐(0)
java批量导入数据
摘要： StringBuffer sb = new StringBuffe(); sb.append(str[1] + "#XT#"); sb.append(str[2]+"#XT#"); sb.append("\n"); byte date[] = sb.toString().getBytes(); InputStream in = new ByteArrayInputStream(date); in... 阅读全文
posted @ 2017-02-24 16:08 zqzdong 阅读(938) 评论(0) 推荐(0)
flume配置及其执行命令
摘要： flume-ng agent -c conf conf/-f flume-http-logger.properties -Dflume.root.logger=DEBUG,console -n agent1 ll, now that we've defined all of our components, tell # agent1 which ones we want to activat... 阅读全文
posted @ 2017-02-24 16:08 zqzdong 阅读(1961) 评论(0) 推荐(0)
kafka配置及其使用
摘要： 1：解压 2：在config中配置server.properties broker.id=1 port=9092 host.name=Master socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.r... 阅读全文
posted @ 2017-02-24 16:07 zqzdong 阅读(297) 评论(0) 推荐(0)
kafkaConsumer(从topic 拿数据存入hdfs)
摘要： import kafka.consumer.ConsumerConfig; import kafka.consumer.KafkaStream; import kafka.javaapi.consumer.ConsumerConnector; import kafka.serializer.StringDecoder; import kafka.utils.VerifiableP... 阅读全文
posted @ 2017-02-24 16:06 zqzdong 阅读(7222) 评论(2) 推荐(1)
自定义flume的sink
摘要： import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.serializer.StringEncoder; import org.apache... 阅读全文
posted @ 2017-02-24 16:05 zqzdong 阅读(415) 评论(0) 推荐(0)
mongodb3.2链接设置
摘要： try { ServerAddress serverAddress = new ServerAddress("localhost", 27017); List addrs = new ArrayList(); addrs.add(serverAddress); MongoCredential credential = MongoCredential.cre... 阅读全文
posted @ 2017-02-24 16:04 zqzdong 阅读(413) 评论(0) 推荐(0)
在mongodb中存值，如果存在则修改，不存在插入
摘要： import com.mongodb.hadoop.MongoOutputFormat import org.apache.hadoop.conf.Configuration import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.bson.BasicBSONObje... 阅读全文
posted @ 2017-02-24 16:02 zqzdong 阅读(5852) 评论(0) 推荐(0)
linux命令
摘要： netstat -tnlp jps -lm 查看所有进程及其对应的进程号 hdfs dfs -cat /test/2016041211 |wc -l 查看hadoop中的文件的条数 查看端口占用：netstat -apn | grep 9527 查看磁盘使用情况 : df -h 查看内存使用情况 : free -m 查看单个文件夹大小： du -bs dir_na... 阅读全文
posted @ 2017-02-24 16:01 zqzdong 阅读(131) 评论(0) 推荐(0)