PEAR2020

2020年12月14日

摘要： PASS Pycharm setting -> interpretor -> pyspark 3.0.1 --trusted-host pypi.douban.com 阅读全文

posted @ 2020-12-14 23:18 PEAR2020 阅读(90) 评论(0) 推荐(0)

Kafka之 kafka消费->SparkStreaming|写入->Kafka|kafka消费->hbase

摘要：一、关于读取/写入kfk https://www.cnblogs.com/importbigdata/p/10765558.html 1.kfkstreaming只能接kfk，而sparkstreaming比较通用 2.两种读取方法：1.director 效率高 2.receiver 3.写入方法：阅读全文

posted @ 2020-12-14 22:45 PEAR2020 阅读(256) 评论(0) 推荐(0)

SparkStreaming之任务失败后,自动重启

摘要：一、通用脚本当运行streaming任务时,可能会因为某些原因比如代码的bug,以及其他的因素导致streaming程序停止(FINISHED,KILLED,FAILED),虽然我们可以再手动重启一次程序, 但是这样还是比较麻烦的,接下来要做的就是让linux自动监控streaming程序是否停止阅读全文

posted @ 2020-12-14 15:39 PEAR2020 阅读(891) 评论(0) 推荐(0)

2020年12月11日

SparkStreaming 之（一）worldCount demo

摘要：一、pom <dependencies>  <dependency> <groupId>org.apache.kafka</groupId> <artifactId>k 阅读全文

posted @ 2020-12-11 16:22 PEAR2020 阅读(176) 评论(0) 推荐(1)

离线数据分析之人物兴趣取向分析（五）SparkStreaming介绍

摘要：相关链接：https://www.cnblogs.com/fishperson/p/10447033.html / + Dstream.foreachRDD ：每个interval时间段中的RDD Dstream和RDD的关系？ 1对1 补充：只有序列化才能远程传输！！！Connection是昂贵资阅读全文

posted @ 2020-12-11 14:29 PEAR2020 阅读(149) 评论(0) 推荐(0)

Linux 之计算字数命令wc

摘要： wc -l 文件 => 文件总行数 wc -L 文件 => 文件行的最大length（包含空格，也算作length）阅读全文

posted @ 2020-12-11 12:17 PEAR2020 阅读(100) 评论(0) 推荐(0)

2020年12月10日

Flume 之安装|简单使用|问题汇总

摘要：一、安装进入目录 cd conf/ cp flume-env.sh.template flume-env.sh vi flume-env.sh 添加 >>> JAVA_HOME=/opt/bigdata/java/jdk180 然后配置环境变量 vi /etc/profile #flume exp 阅读全文

posted @ 2020-12-10 15:52 PEAR2020 阅读(347) 评论(0) 推荐(0)

离线数据分析之人物兴趣取向分析（四）Flume介绍

摘要：阅读全文

posted @ 2020-12-10 15:27 PEAR2020 阅读(87) 评论(0) 推荐(0)

2020年12月9日

Kafka 之如何保证数据不丢失？不重复？

摘要：见：https://www.cnblogs.com/sabertobih/p/14092290.html 数据不丢失 1）从生产端：acks = -1，（ack应答机制）从生产端到节点端，当所有isr集合里的节点备份完毕后返回成功； 2）从节点端：每个partition至少需要一个isr节点（同步）阅读全文

posted @ 2020-12-09 09:18 PEAR2020 阅读(943) 评论(0) 推荐(0)

2020年12月8日

SpringBoot 之接口暴露(Redis)

摘要：一、生成 dependencies选择 spring web redis reactive 二、目录三、代码 application.yml service/SalesOrderService @Service public class SalesOrderService { @Autowired 阅读全文

posted @ 2020-12-08 23:10 PEAR2020 阅读(1147) 评论(0) 推荐(0)

公告