04 2020 档案

Spark架构与作业的提交流程简介
摘要：Spark架构与作业执行流程简介 Local模式 运行Spark最简单的方法是通过Local模式（即伪分布式模式）。 运行命令为：./bin/run-example org.apache.spark.examples.SparkPi local 基于standalone的Spark架构与作业执行流程 阅读全文
posted @ 2020-04-25 10:07 岚樱 阅读(1662) 评论(0) 推荐(0)
hive优化
摘要：1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件； Hive除了支持MapRe 阅读全文
posted @ 2020-04-19 19:20 岚樱 阅读(231) 评论(0) 推荐(0)
maven依赖无法自动下载的问题
摘要：1. 先是对图上的两个位置一番狂点进行刷新,然并卵... 于是又按照博客上的指示去寻找 Settings -> Build,Execution,Deployment -> Build Tools -> Maven -> Ignored Files 如下图: 然而这个对我依然没有什么帮助,但还是要记录 阅读全文
posted @ 2020-04-14 09:41 岚樱 阅读(3439) 评论(0) 推荐(0)
kafka的ACK参数详解
摘要：（0）写在前面 面试大厂时，一旦简历上写了Kafka，几乎必然会被问到一个问题：说说acks参数对消息持久化的影响？ 这个acks参数在kafka的使用中，是非常核心以及关键的一个参数，决定了很多东西。 所以无论是为了面试还是实际项目使用，大家都值得看一下这篇文章对Kafka的acks参数的分析，以 阅读全文
posted @ 2020-04-11 21:43 岚樱 阅读(13831) 评论(0) 推荐(6)
canal报错：c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just show master status
摘要：c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just show master status 2018-12-27 08:39:49.808 [destination = 阅读全文
posted @ 2020-04-08 09:35 岚樱 阅读(2892) 评论(0) 推荐(0)
理解zookeeper选举机制
摘要：理解zookeeper选举机制 原文转自：https://www.cnblogs.com/ASPNET2008/p/6421571.html https://blog.csdn.net/cnh294141800/article/details/52959028/ http://blog.itpub. 阅读全文
posted @ 2020-04-06 20:19 岚樱 阅读(427) 评论(0) 推荐(0)