摘要: org.slf4j slf4j-log4j12 1.7.25 public class A { private static Logger logger = LoggerFactory.getLogger(A.class); public static void main(String[] args) { logger.d... 阅读全文
posted @ 2019-07-23 16:42 春江师兄 阅读(1112) 评论(0) 推荐(0) 编辑
摘要: 本功能使用shell脚本实现,代码分为三个部分1)java代码2)redis连接池3)shell脚本1)删除代码----------------------------------------------------------------------------------------import com.xes.bdc.galaxy.util.jedis.RedisPoolFactory;im... 阅读全文
posted @ 2019-07-19 18:47 春江师兄 阅读(936) 评论(0) 推荐(0) 编辑
摘要: 2012年以前,大多数企业的数据仓库主要还是构建在关系型数据库上,例如Oracle、Mysql等数据库之上。但是随着企业数据量的增长,关系型数据库已经无法支撑大规模数据集的存储和分析,这种情况在一线互联网公司尤为明显,也是当时急需要解决的问题。随着2012年Hadoop技术框架的成熟和稳定,一线互联网公司纷纷使用Hadoop技术栈来构建企业大数据分析平台,随后两年基于大数据的应用如雨后春笋一样涌现... 阅读全文
posted @ 2019-07-16 09:59 春江师兄 阅读(841) 评论(0) 推荐(0) 编辑
摘要: public class RedisRichSinkFunction extends RichSinkFunction { private JedisPool pool = null; @Override public void open(Configuration parameters) throws Exception { ParameterTool parameterT... 阅读全文
posted @ 2019-06-25 19:06 春江师兄 阅读(1466) 评论(0) 推荐(0) 编辑
摘要: object FlinkEnvBuilder { def initEnv(args: Array[String], parameterSize: Int) = { val parameterTool: ParameterTool = ParameterTool.fromArgs(args) if (parameterTool.toMap.size() != parameterSize) { ... 阅读全文
posted @ 2019-06-25 19:06 春江师兄 阅读(310) 评论(0) 推荐(0) 编辑
摘要: src/main/scala src/main/java src/main/resources maven-assembly-plugin ... 阅读全文
posted @ 2019-06-21 17:33 春江师兄 阅读(675) 评论(0) 推荐(0) 编辑
摘要: 自定义RedisRichSinkFunction,支持Redis数据库连接池。定义public class RedisRichSinkFunction extends RichSinkFunction { private JedisPool pool = null; @Override public void open(Configuration parameters) throws ... 阅读全文
posted @ 2019-06-21 17:30 春江师兄 阅读(1438) 评论(0) 推荐(0) 编辑
摘要: public class Consumer2Local { private final static Logger log = LoggerFactory.getLogger(Consumer2Local.class); public static void main(String[] args) throws IOException { if (args.length != 6... 阅读全文
posted @ 2019-06-15 14:46 春江师兄 阅读(296) 评论(0) 推荐(0) 编辑
摘要: public class ReadFile2Kafka { public static void main(String[] args) throws Exception { if (args.length != 4) { throw new RuntimeException("参数列表: bootstrap.servers、topic、sleep、input"); ... 阅读全文
posted @ 2019-06-15 14:43 春江师兄 阅读(258) 评论(0) 推荐(0) 编辑
摘要: # resourcejar_path=clazz=# jobName=bootstrap_server=topic=groupId=isSecurity=trueconsumerStrategy=redis_hostname=redis_port=if [ "$isSecurity" == true ]; then/software/servers/flink/bin/flink run \... 阅读全文
posted @ 2019-06-11 14:06 春江师兄 阅读(944) 评论(0) 推荐(0) 编辑