摘要：
如果防火墙等一切原因都考虑完了还不行，看看网关是否配正确。 阅读全文
posted @ 2020-10-20 10:32
gyhuminyan
阅读(100)
评论(0)
推荐(0)
摘要：
新的chrome ui真的是 不能接受（巨丑），以前不喜欢火狐就是这个原因。 废话少说，解决方法： 1.浏览器输入 chrome://flags/#top-chrome-md 2.将default改为normal 3.重启 这下，舒服多了 阅读全文
posted @ 2018-09-06 10:42
gyhuminyan
阅读(659)
评论(0)
推荐(0)
摘要：
如果一个类始终只能创建一个实例， 使用单例类模式 阅读全文
posted @ 2018-08-03 11:57
gyhuminyan
阅读(154)
评论(0)
推荐(0)
摘要：
让PIP源使用国内镜像，提升下载速度和安装成功率。 对于Python开发用户来讲，PIP安装软件包是家常便饭。但国外的源下载速度实在太慢，浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像，可以大幅提升下载速度，还可以提高安装成功率。 国内源： 新版ubuntu要求使用htt 阅读全文
posted @ 2018-07-26 11:39
gyhuminyan
阅读(248)
评论(0)
推荐(0)
摘要：
spark做表连接的时候出现这个错误， Exception in thread "main" org.apache.spark.sql.AnalysisException: Detected cartesian product for LEFT OUTER join between logical 阅读全文
posted @ 2018-06-13 18:30
gyhuminyan
阅读(6594)
评论(0)
推荐(0)
摘要：
本文将介绍如何在 Kafka 中使用 Avro 来序列化消息，并提供完整的 Producter 代码共大家使用。 Avro Avro 是一个数据序列化的系统，它可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用，适合于远程或本地大规模数据的存储和交换。因为本文并 阅读全文
posted @ 2018-05-09 11:16
gyhuminyan
阅读(4429)
评论(0)
推荐(0)
摘要：
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入 阅读全文
posted @ 2018-05-09 10:48
gyhuminyan
阅读(1099)
评论(0)
推荐(0)
摘要：
Offset管理概述 Spark Streaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafka topic包含多个存储消息的分区（partition）。每个分区中的消息是顺序存储，并且用offset（可以认为是位置）来标记消息。开发者可以在他的Spark 阅读全文
posted @ 2018-05-09 10:37
gyhuminyan
阅读(1139)
评论(0)
推荐(0)
摘要：
引言 Apache Kafka 发源于 LinkedIn，于 2011 年成为 Apache 的孵化项目，随后于 2012 年成为 Apache 的顶级项目之一。按照官方定义，Kafka 是一个分布式流平台，具备流数据的发布及订阅（与消息队列或企业级消息系统类似）能力、容错方式的流数据存储能力以及流 阅读全文
posted @ 2018-05-09 10:23
gyhuminyan
阅读(1308)
评论(0)
推荐(0)
摘要：
在正常情况下，Kafka中的每个Topic都会有很多个分区，每个分区又会存在多个副本。在这些副本中，存在一个leader分区，而剩下的分区叫做 follower，所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候，必须先找到对应分区的Lead 阅读全文
posted @ 2018-05-09 09:57
gyhuminyan
阅读(1389)
评论(0)
推荐(0)
浙公网安备 33010602011771号