摘要: Flink实时项目例程一、项目模块完整例程g... 阅读全文
posted @ 2019-11-29 11:00 HeCCXX 阅读(659) 评论(2) 推荐(0) 编辑
摘要: 在本次实验中,利用spark、elasticsearch、kafka等相关框架搭建一个实时计算系统。 具体流程如下图所示, 用户访问对应服务,由nginx服务器进行负载均衡访问具体的主机上的服务,访问过程中将产生用户具体的操作日志,该操作日志将由具体服务发送保存到Kafka集群(或者可以写到具体文件 阅读全文
posted @ 2019-11-25 18:18 HeCCXX 阅读(1778) 评论(8) 推荐(0) 编辑
摘要: 在写Flink实例时,遇到将case cla... 阅读全文
posted @ 2019-11-21 18:49 HeCCXX 阅读(883) 评论(0) 推荐(0) 编辑
摘要: flinkflink(基于数据流上的有状态计... 阅读全文
posted @ 2019-11-19 19:21 HeCCXX 阅读(1071) 评论(0) 推荐(0) 编辑
摘要: 解决Error while instanti... 阅读全文
posted @ 2019-11-02 17:36 HeCCXX 阅读(1867) 评论(0) 推荐(0) 编辑
摘要: Sparkspark和hadoop的区别:h... 阅读全文
posted @ 2019-11-02 17:18 HeCCXX 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 基础语法区分大小写 - Scala是区分大小... 阅读全文
posted @ 2019-09-26 10:42 HeCCXX 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 注: 本文主要针对ES 2.x。 “该给ES分配多少内存?” “JVM参数如何优化?““为何我的Heap占用这么高?”“为何经常有某个field的数据量超出内存限制的异常?““为何感觉上没多少数据,也会经常Out... 阅读全文
posted @ 2018-12-28 15:36 HeCCXX 阅读(729) 评论(0) 推荐(0) 编辑
摘要: 关于es的现实生成环境可以相应修改配置内容。cluster.name: elasticsearchnode.name: bigdata01network.host: 172.16.58.21http.port:... 阅读全文
posted @ 2018-12-28 15:24 HeCCXX 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 组件:flume-1.8、hadoop-2.6.0、kafka-2.10-0.10.2.1目的:flume消费kafka数据,以时间戳的形式创建文件,保存到hdfsSINKS.HDFS配置说明: channel ... 阅读全文
posted @ 2018-12-28 15:07 HeCCXX 阅读(606) 评论(0) 推荐(0) 编辑