博客园 - gyhuminyan
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=82924
2020-10-20T02:32:06Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
feed.cnblogs.com
https://www.cnblogs.com/hmy-blog/p/13845060.html
主机与虚拟机ping不通 - gyhuminyan
如果防火墙等一切原因都考虑完了还不行,看看网关是否配正确。
2020-10-20T02:32:00Z
2020-10-20T02:32:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】如果防火墙等一切原因都考虑完了还不行,看看网关是否配正确。 <a href="https://www.cnblogs.com/hmy-blog/p/13845060.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9596947.html
chrome 69 ui 回退到以前 - gyhuminyan
新的chrome ui真的是 不能接受(巨丑),以前不喜欢火狐就是这个原因。 废话少说,解决方法: 1.浏览器输入 chrome://flags/#top-chrome-md 2.将default改为normal 3.重启 这下,舒服多了
2018-09-06T02:42:00Z
2018-09-06T02:42:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】新的chrome ui真的是 不能接受(巨丑),以前不喜欢火狐就是这个原因。 废话少说,解决方法: 1.浏览器输入 chrome://flags/#top-chrome-md 2.将default改为normal 3.重启 这下,舒服多了 <a href="https://www.cnblogs.com/hmy-blog/p/9596947.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9413341.html
单例类 - gyhuminyan
如果一个类始终只能创建一个实例, 使用单例类模式
2018-08-03T03:57:00Z
2018-08-03T03:57:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】如果一个类始终只能创建一个实例, 使用单例类模式 <a href="https://www.cnblogs.com/hmy-blog/p/9413341.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9370852.html
转:Python- 解决PIP下载安装速度慢 - gyhuminyan
让PIP源使用国内镜像,提升下载速度和安装成功率。 对于Python开发用户来讲,PIP安装软件包是家常便饭。但国外的源下载速度实在太慢,浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像,可以大幅提升下载速度,还可以提高安装成功率。 国内源: 新版ubuntu要求使用htt
2018-07-26T03:39:00Z
2018-07-26T03:39:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】让PIP源使用国内镜像,提升下载速度和安装成功率。 对于Python开发用户来讲,PIP安装软件包是家常便饭。但国外的源下载速度实在太慢,浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像,可以大幅提升下载速度,还可以提高安装成功率。 国内源: 新版ubuntu要求使用htt <a href="https://www.cnblogs.com/hmy-blog/p/9370852.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9179261.html
Detected cartesian product for LEFT OUTER join - gyhuminyan
spark做表连接的时候出现这个错误, Exception in thread "main" org.apache.spark.sql.AnalysisException: Detected cartesian product for LEFT OUTER join between logical
2018-06-13T10:30:00Z
2018-06-13T10:30:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】spark做表连接的时候出现这个错误, Exception in thread "main" org.apache.spark.sql.AnalysisException: Detected cartesian product for LEFT OUTER join between logical <a href="https://www.cnblogs.com/hmy-blog/p/9179261.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9013123.html
在Kafka中使用Avro编码消息:Producter篇 - gyhuminyan
本文将介绍如何在 Kafka 中使用 Avro 来序列化消息,并提供完整的 Producter 代码共大家使用。 Avro Avro 是一个数据序列化的系统,它可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用,适合于远程或本地大规模数据的存储和交换。因为本文并
2018-05-09T03:16:00Z
2018-05-09T03:16:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】本文将介绍如何在 Kafka 中使用 Avro 来序列化消息,并提供完整的 Producter 代码共大家使用。 Avro Avro 是一个数据序列化的系统,它可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用,适合于远程或本地大规模数据的存储和交换。因为本文并 <a href="https://www.cnblogs.com/hmy-blog/p/9013123.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9012928.html
如何为Kafka集群选择合适的Topics/Partitions数量 - gyhuminyan
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。在producer和broker端,向每一个分区写入
2018-05-09T02:48:00Z
2018-05-09T02:48:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。在producer和broker端,向每一个分区写入 <a href="https://www.cnblogs.com/hmy-blog/p/9012928.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9012854.html
Spark Streaming 中管理 Kafka Offsets 的几种方式 - gyhuminyan
Offset管理概述 Spark Streaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafka topic包含多个存储消息的分区(partition)。每个分区中的消息是顺序存储,并且用offset(可以认为是位置)来标记消息。开发者可以在他的Spark
2018-05-09T02:37:00Z
2018-05-09T02:37:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】Offset管理概述 Spark Streaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafka topic包含多个存储消息的分区(partition)。每个分区中的消息是顺序存储,并且用offset(可以认为是位置)来标记消息。开发者可以在他的Spark <a href="https://www.cnblogs.com/hmy-blog/p/9012854.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9012752.html
Kafka 在华泰证券的探索与实践 - gyhuminyan
引言 Apache Kafka 发源于 LinkedIn,于 2011 年成为 Apache 的孵化项目,随后于 2012 年成为 Apache 的顶级项目之一。按照官方定义,Kafka 是一个分布式流平台,具备流数据的发布及订阅(与消息队列或企业级消息系统类似)能力、容错方式的流数据存储能力以及流
2018-05-09T02:23:00Z
2018-05-09T02:23:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】引言 Apache Kafka 发源于 LinkedIn,于 2011 年成为 Apache 的孵化项目,随后于 2012 年成为 Apache 的顶级项目之一。按照官方定义,Kafka 是一个分布式流平台,具备流数据的发布及订阅(与消息队列或企业级消息系统类似)能力、容错方式的流数据存储能力以及流 <a href="https://www.cnblogs.com/hmy-blog/p/9012752.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9012609.html
Kafka 客户端是如何找到 leader 分区的 - gyhuminyan
在正常情况下,Kafka中的每个Topic都会有很多个分区,每个分区又会存在多个副本。在这些副本中,存在一个leader分区,而剩下的分区叫做 follower,所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候,必须先找到对应分区的Lead
2018-05-09T01:57:00Z
2018-05-09T01:57:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】在正常情况下,Kafka中的每个Topic都会有很多个分区,每个分区又会存在多个副本。在这些副本中,存在一个leader分区,而剩下的分区叫做 follower,所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候,必须先找到对应分区的Lead <a href="https://www.cnblogs.com/hmy-blog/p/9012609.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/9012507.html
Kafka分区分配策略(Partition Assignment Strategy) - gyhuminyan
问题 用过 Kafka 的同学都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道,Kafka 存在 Co
2018-05-09T01:39:00Z
2018-05-09T01:39:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】问题 用过 Kafka 的同学都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道,Kafka 存在 Co <a href="https://www.cnblogs.com/hmy-blog/p/9012507.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/8949522.html
scala中final和val - gyhuminyan
在scala中,经常会出现final val 这种用法,val 代表的是常量,不能被修改。那为什么还要加final呢?原因是final代表的是子类不能重载这个值。
2018-04-26T01:29:00Z
2018-04-26T01:29:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】在scala中,经常会出现final val 这种用法,val 代表的是常量,不能被修改。那为什么还要加final呢?原因是final代表的是子类不能重载这个值。 <a href="https://www.cnblogs.com/hmy-blog/p/8949522.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/8623831.html
Java编写程序将数据存入Kafka中 - gyhuminyan
Kafka是一个类似于RabbitMQ的消息系统,它的主要功能是消息的发布和订阅、处理和存储。 1.它类似于一个消息系统,读写流式的数据。 2.编写可扩展的流应用处理程序,用于实时事件响应的场景。 3.安全的将流式的数据存储在一个分布式,有副本备份,容错的集群。 本篇博文主要介绍如何使用Java编写
2018-03-22T06:52:00Z
2018-03-22T06:52:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】Kafka是一个类似于RabbitMQ的消息系统,它的主要功能是消息的发布和订阅、处理和存储。 1.它类似于一个消息系统,读写流式的数据。 2.编写可扩展的流应用处理程序,用于实时事件响应的场景。 3.安全的将流式的数据存储在一个分布式,有副本备份,容错的集群。 本篇博文主要介绍如何使用Java编写 <a href="https://www.cnblogs.com/hmy-blog/p/8623831.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/8266880.html
MySQL常用操作 - gyhuminyan
使用Linux首次登录需要把mysql加入环境变量$PATH 登录mysql 说明: -u 指定的是用户,-p指定的是密码。首次登录密码默认为空,直接回车即可。 设置密码并登录 说明:登录时,也可以使用 #mysql -uroot -p 此时不输入密码直接回车,在下一行中也会提示输入密码。这两种方式
2018-01-11T01:38:00Z
2018-01-11T01:38:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】使用Linux首次登录需要把mysql加入环境变量$PATH 登录mysql 说明: -u 指定的是用户,-p指定的是密码。首次登录密码默认为空,直接回车即可。 设置密码并登录 说明:登录时,也可以使用 #mysql -uroot -p 此时不输入密码直接回车,在下一行中也会提示输入密码。这两种方式 <a href="https://www.cnblogs.com/hmy-blog/p/8266880.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/8266772.html
Ubuntu修改源地址 - gyhuminyan
随着这几天Ubuntu 14.04 LTS的发布,Ubuntu的中国服务器简直弱爆了,软件的更新下载速度已经到了几十K每秒的地步,不过这也可以说是一件好事——用Ubuntu Linux的人多了呀! 如果发现从Ubuntu中国官方的服务器下载过慢,我们还是可以尝试修改软件更新源,这样更新速度快了同时也
2018-01-11T01:09:00Z
2018-01-11T01:09:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】随着这几天Ubuntu 14.04 LTS的发布,Ubuntu的中国服务器简直弱爆了,软件的更新下载速度已经到了几十K每秒的地步,不过这也可以说是一件好事——用Ubuntu Linux的人多了呀! 如果发现从Ubuntu中国官方的服务器下载过慢,我们还是可以尝试修改软件更新源,这样更新速度快了同时也 <a href="https://www.cnblogs.com/hmy-blog/p/8266772.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/8253589.html
scala快速排序 - gyhuminyan
一趟快速排序的算法是: 1)设置两个变量i、j,排序开始的时候:i=0,j=N-1; 2)以第一个数组元素作为关键数据,赋值给key,即key=A[0]; 3)从j开始向前搜索,即由后开始向前搜索(j--),找到第一个小于key的值A[j],将A[j]和A[i]互换; 4)从i开始向后搜索,即由前开
2018-01-09T12:44:00Z
2018-01-09T12:44:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】一趟快速排序的算法是: 1)设置两个变量i、j,排序开始的时候:i=0,j=N-1; 2)以第一个数组元素作为关键数据,赋值给key,即key=A[0]; 3)从j开始向前搜索,即由后开始向前搜索(j--),找到第一个小于key的值A[j],将A[j]和A[i]互换; 4)从i开始向后搜索,即由前开 <a href="https://www.cnblogs.com/hmy-blog/p/8253589.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/8253455.html
scala冒泡排序 - gyhuminyan
冒泡排序算法的原理如下: 比较相邻的元素。如果第一个比第二个大,就交换他们两个。 对每一对相邻元素作同样的工作,从开始第一对到结尾的最后一对。在这一点,最后的元素应该会是最大的数。 针对所有的元素重复以上的步骤,除了最后一个。 持续每次对越来越少的元素重复上面的步骤,直到没有任何一对数字需要比较。
2018-01-09T12:11:00Z
2018-01-09T12:11:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】冒泡排序算法的原理如下: 比较相邻的元素。如果第一个比第二个大,就交换他们两个。 对每一对相邻元素作同样的工作,从开始第一对到结尾的最后一对。在这一点,最后的元素应该会是最大的数。 针对所有的元素重复以上的步骤,除了最后一个。 持续每次对越来越少的元素重复上面的步骤,直到没有任何一对数字需要比较。 <a href="https://www.cnblogs.com/hmy-blog/p/8253455.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/7889676.html
log4j - gyhuminyan
Log4J的三个组件: Logger:日志记录器,负责收集处理日志记录 (如何处理日志) Appender:日志输出目的地,负责日志的输出 (输出到什么 地方) Layout:日志格式化,负责对输出的日志格式化(以什么形式展现) 类结构图(来自http://www.blogjava.net/DLev
2017-11-24T03:16:00Z
2017-11-24T03:16:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】Log4J的三个组件: Logger:日志记录器,负责收集处理日志记录 (如何处理日志) Appender:日志输出目的地,负责日志的输出 (输出到什么 地方) Layout:日志格式化,负责对输出的日志格式化(以什么形式展现) 类结构图(来自http://www.blogjava.net/DLev <a href="https://www.cnblogs.com/hmy-blog/p/7889676.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/7837275.html
用 spark-submit 启动应用 - gyhuminyan
用 spark-submit 启动应用 如果用户的应用程序被打包好了,它可以使用 bin/spark-submit 脚本来启动。这个脚本负责设置 Spark 和它的依赖的 classpath,并且可以支持 Spark 所支持的不同的 Cluster Manager 以及 deploy mode(部署
2017-11-15T01:14:00Z
2017-11-15T01:14:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】用 spark-submit 启动应用 如果用户的应用程序被打包好了,它可以使用 bin/spark-submit 脚本来启动。这个脚本负责设置 Spark 和它的依赖的 classpath,并且可以支持 Spark 所支持的不同的 Cluster Manager 以及 deploy mode(部署 <a href="https://www.cnblogs.com/hmy-blog/p/7837275.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hmy-blog/p/7837257.html
Using Spark's "Hadoop Free" Build - gyhuminyan
Spark uses Hadoop client libraries for HDFS and YARN. Starting in version Spark 1.4, the project packages “Hadoop free” builds that lets you more easi
2017-11-15T01:06:00Z
2017-11-15T01:06:00Z
gyhuminyan
https://www.cnblogs.com/hmy-blog/
【摘要】Spark uses Hadoop client libraries for HDFS and YARN. Starting in version Spark 1.4, the project packages “Hadoop free” builds that lets you more easi <a href="https://www.cnblogs.com/hmy-blog/p/7837257.html" target="_blank">阅读全文</a>