2017年7月
AES 加密解密
摘要： package com.bmcc.open.portal.auth.demo.test; import javax.crypto.Cipher; import javax.crypto.spec.IvParameterSpec; import javax.crypto.spec.SecretKeySpec; import com.bmcc.open.portal.auth.demo.util.... 阅读全文
posted @ 2017-07-24 18:28 zqzdong 阅读(705) 评论(0) 推荐(0)
2017年3月
logger日志配置
摘要： ### set log levels ### log4j.rootLogger = debug,stdout,D ### output to console ### log4j.appender.stdout = org.apache.log4j.ConsoleAppender log4j.appender.stdout.Target = System.out log4j.appender.... 阅读全文
posted @ 2017-03-31 17:31 zqzdong 阅读(378) 评论(0) 推荐(0)
2017年2月
hadoop安装
摘要： 1：安装好虚拟机，安装系统 2：更改Master和Slave的时间，使其时间相同：具体执行(root 用户下) 1）： yum install -y ntpdate 2)：cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp ... 阅读全文
posted @ 2017-02-24 16:09 zqzdong 阅读(179) 评论(0) 推荐(0)
java批量导入数据
摘要： StringBuffer sb = new StringBuffe(); sb.append(str[1] + "#XT#"); sb.append(str[2]+"#XT#"); sb.append("\n"); byte date[] = sb.toString().getBytes(); InputStream in = new ByteArrayInputStream(date); in... 阅读全文
posted @ 2017-02-24 16:08 zqzdong 阅读(941) 评论(0) 推荐(0)
flume配置及其执行命令
摘要： flume-ng agent -c conf conf/-f flume-http-logger.properties -Dflume.root.logger=DEBUG,console -n agent1 ll, now that we've defined all of our components, tell # agent1 which ones we want to activat... 阅读全文
posted @ 2017-02-24 16:08 zqzdong 阅读(1964) 评论(0) 推荐(0)
kafka配置及其使用
摘要： 1：解压 2：在config中配置server.properties broker.id=1 port=9092 host.name=Master socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.r... 阅读全文
posted @ 2017-02-24 16:07 zqzdong 阅读(301) 评论(0) 推荐(0)
kafkaConsumer(从topic 拿数据存入hdfs)
摘要： import kafka.consumer.ConsumerConfig; import kafka.consumer.KafkaStream; import kafka.javaapi.consumer.ConsumerConnector; import kafka.serializer.StringDecoder; import kafka.utils.VerifiableP... 阅读全文
posted @ 2017-02-24 16:06 zqzdong 阅读(7228) 评论(2) 推荐(1)
自定义flume的sink
摘要： import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.serializer.StringEncoder; import org.apache... 阅读全文
posted @ 2017-02-24 16:05 zqzdong 阅读(416) 评论(0) 推荐(0)
mongodb3.2链接设置
摘要： try { ServerAddress serverAddress = new ServerAddress("localhost", 27017); List addrs = new ArrayList(); addrs.add(serverAddress); MongoCredential credential = MongoCredential.cre... 阅读全文
posted @ 2017-02-24 16:04 zqzdong 阅读(417) 评论(0) 推荐(0)
在mongodb中存值，如果存在则修改，不存在插入
摘要： import com.mongodb.hadoop.MongoOutputFormat import org.apache.hadoop.conf.Configuration import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import org.bson.BasicBSONObje... 阅读全文
posted @ 2017-02-24 16:02 zqzdong 阅读(5857) 评论(0) 推荐(0)