Ruthless - 博客园

2020年7月3日

[置顶] Flume整合Kafka(基于kerberos认证)——完成实时数据采集

摘要：如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就阅读全文

posted @ 2020-07-03 00:13 Ruthless 阅读(4) 评论(0) 推荐(0) 编辑

2020年7月2日

[置顶] Flume整合log4j

摘要：Java+Flume实现日志数据传输如果要在Java之中进行日志的采集处理，很明显应该使用的是log4j组件，现在准备将log4j采集到的数据通过flume进行处理。 1、如果要想将数据发送给flume，必须改如下配置： a1.sources.r1.type = avro 2、修改log4j.pr 阅读全文

posted @ 2020-07-02 00:13 Ruthless 阅读(7) 评论(0) 推荐(0) 编辑

2020年7月1日

[置顶] Flume基本配置

摘要：Flume的使用只需要做一些简短的配置即可，而且在apache官方网站上也都给出了基本使用。 1、Flume下载apache-flume-1.7.0-bin.tar.gz 2、Flume安装 cd /root/soft tar -zxvf apache-flume-1.7.0-bin.tar.gz 阅读全文

posted @ 2020-07-01 17:03 Ruthless 阅读(5) 评论(0) 推荐(0) 编辑

2020年6月28日

[置顶] Kafka ACL访问控制

该文被密码保护。阅读全文

posted @ 2020-06-28 13:23 Ruthless 阅读(0) 评论(0) 推荐(0) 编辑

2020年6月27日

[置顶] Kafka Kerberos多端口访问

摘要：使用了kerberos认证之后，整个kafka系统安全了，而且性能也保持着不错的状态，但是在实际中工作中kerberos未必都能够正常使用，也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中，作为消息生产者的数据来源可能非常的多，所以在这样的状态下，kerberos认证必须保留，阅读全文

posted @ 2020-06-27 23:46 Ruthless 阅读(12) 评论(0) 推荐(0) 编辑

[置顶] Kafka Kerberos客户端访问

摘要：如果要想在java客户端进行Kerberos认证，则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件：kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach 阅读全文

posted @ 2020-06-27 22:49 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑

[置顶] Kafka Kerberos服务端配置

摘要：正是因为Kafka推出了Kerberos认证，才表示Kafka真正的由实验阶段变为了实际的生产环境(速度很慢)，但是对于SSL的认证处理是非常复杂的，所以在实际的开发中，更多的开发者会选择利用Kerberos这种认证机制，同时结合jaas配置文件进行更加有效的安全认证处理。 Kerberos认证需要阅读全文

posted @ 2020-06-27 22:13 Ruthless 阅读(22) 评论(0) 推荐(0) 编辑

2020年6月26日

[置顶] Centos安装Kafka

摘要：点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到阅读全文

posted @ 2020-06-26 20:56 Ruthless 阅读(11) 评论(0) 推荐(0) 编辑

2020年6月21日

[置顶] Kafka队列消息和发布订阅消息

摘要：1、kafka自动创建主题在配置文件里指定好kafka的topic之后，调用send方法会自动帮我们创建好topic，只是创建的topic默认是1个副本和1个分区的，这一般不能满足我们的要求，所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以阅读全文

posted @ 2020-06-21 11:20 Ruthless 阅读(64) 评论(0) 推荐(0) 编辑

2020年5月13日

[置顶] Mysql st_distance_sphere 计算两坐标点距离

摘要：-- 计算两个地点的球面距离，单位千米 select city_name, round(st_distance_sphere(point(118.35, 24.49),point(lng, lat))/1000,2), update_time as distance from tb_vip_geo 阅读全文

posted @ 2020-05-13 14:20 Ruthless 阅读(277) 评论(0) 推荐(0) 编辑

2020年5月12日

[置顶] SpringBoot 使用 Redis Geo

摘要：SpringBoot 使用 Redis Geo 阅读全文

posted @ 2020-05-12 18:13 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑

2020年5月9日

[置顶] Redis GEO地理位置学习

摘要：从Redis3.2开始，Redis基于geohash和有序集合(zset)提供了地理位置相关功能，用来实现类似微信中附近的人的功能，使用起来十分方便。 Redis Geo模块大概提供了6个命令，分别为：1）geoadd：将给定的位置对象（纬度、经度、名字）添加到指定的key；2）geopos：从ke 阅读全文

posted @ 2020-05-09 15:46 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑

2020年5月7日

[置顶] CentOS8安装Docker

摘要：1、安装yum-utils sudo yum install -y yum-utils 2、添加源 sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo 3、Ena 阅读全文

posted @ 2020-05-07 11:38 Ruthless 阅读(142) 评论(0) 推荐(0) 编辑

2020年5月4日

[置顶] MySQL关于用户关注粉丝表的设计方案

摘要：一、数据结构分析用户关注粉丝是一个多对多的数据模型，分析对象的数据特征，我们给每个用户设计一个关注者属性和粉丝属性，用于存储用户的关注者id和粉丝id，如用户1： $arr1 = [ 'follow' => '[2,3,4], 'fans' => [4,5,6], ] 二、用户逻辑关系梳理在用户关注阅读全文

posted @ 2020-05-04 21:30 Ruthless 阅读(414) 评论(0) 推荐(0) 编辑

2020年4月11日

[置顶] RabbitMQ如何保证消息的可靠性

摘要：1、保证消息不丢失(三步)1.1、开启事务(不推荐)1.2、开启confirm(推荐)1.3、开启RabbitMQ持久化(交换机、队列、消息)1.4、关闭RabbitMQ自动ack(改成手动) 2、保证消息不重复消费2.1、幂等性(每个消息用一个唯一标识来区分，消费前先判断标识有没有被消费过，若已消阅读全文

posted @ 2020-04-11 23:29 Ruthless 阅读(642) 评论(0) 推荐(0) 编辑

2020年4月9日

[置顶] mysql备份脚本

该文被密码保护。阅读全文

posted @ 2020-04-09 21:03 Ruthless 阅读(1) 评论(0) 推荐(0) 编辑

2020年4月5日

[置顶] Flink 触发器

摘要：1、什么是触发器触发器决定了一个窗口何时可以被窗口函数处理(条件满足时触发并发出信号) 每一个WindowAssigner都有一个默认的触发器，如果默认的触发器不能满足你的需要，你可以通过调用trigger(...)来指定一个自定义的触发器触发器有5个方法来允许触发器处理不同的事件(Trigger 阅读全文

posted @ 2020-04-05 18:04 Ruthless 阅读(165) 评论(0) 推荐(1) 编辑

2020年3月29日

[置顶] Flink Window那些事——ProcessWindowFunction/ProcessAllWindowFunction

摘要：全量聚合: 窗口需要维护全部原始数据，窗口触发进行全量聚合。 ProcessWindowFunction获得一个包含窗口所有元素的可迭代器，以及一个具有时间和状态信息访问权的上下文对象，这使得它比其他窗口函数提供更大的灵活性。这是以性能和资源消耗为代价的，因为元素不能增量地聚合，而是需要在内部缓冲，阅读全文

posted @ 2020-03-29 12:47 Ruthless 阅读(773) 评论(0) 推荐(0) 编辑

[置顶] Flink Window那些事——AggregateFunction窗口函数

摘要：AggregateFunction 比 ReduceFunction 更加的通用，它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。输入类型是输入流中的元素类型，AggregateFunction有一个add方法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累阅读全文

posted @ 2020-03-29 12:44 Ruthless 阅读(481) 评论(0) 推荐(0) 编辑

[置顶] Flink Window那些事——ReduceFunction窗口函数

摘要：ReduceFunction含义ReduceFunction定义了如何把两个输入的元素进行合并来生成相同类型的输出元素的过程，Flink使用ReduceFunction来对窗口中的元素进行增量聚合 package com.lynch.stream.window; import org.apache. 阅读全文

posted @ 2020-03-29 11:13 Ruthless 阅读(404) 评论(0) 推荐(0) 编辑

2020年7月3日

Flume整合Kafka(基于kerberos认证)——完成实时数据采集

摘要：如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就阅读全文

posted @ 2020-07-03 00:13 Ruthless 阅读(4) 评论(0) 推荐(0) 编辑

2020年7月2日

Flume整合log4j

摘要：Java+Flume实现日志数据传输如果要在Java之中进行日志的采集处理，很明显应该使用的是log4j组件，现在准备将log4j采集到的数据通过flume进行处理。 1、如果要想将数据发送给flume，必须改如下配置： a1.sources.r1.type = avro 2、修改log4j.pr 阅读全文

posted @ 2020-07-02 00:13 Ruthless 阅读(7) 评论(0) 推荐(0) 编辑

2020年7月1日

Flume基本配置

摘要：Flume的使用只需要做一些简短的配置即可，而且在apache官方网站上也都给出了基本使用。 1、Flume下载apache-flume-1.7.0-bin.tar.gz 2、Flume安装 cd /root/soft tar -zxvf apache-flume-1.7.0-bin.tar.gz 阅读全文

posted @ 2020-07-01 17:03 Ruthless 阅读(5) 评论(0) 推荐(0) 编辑

Flume简介

正文内容加载中...

posted @ 2020-07-01 11:38 Ruthless 阅读(5) 评论(0) 推荐(0) 编辑

2020年6月28日

Kafka ACL访问控制

该文被密码保护。阅读全文

posted @ 2020-06-28 13:23 Ruthless 阅读(0) 评论(0) 推荐(0) 编辑

2020年6月27日

Kafka Kerberos多端口访问

摘要：使用了kerberos认证之后，整个kafka系统安全了，而且性能也保持着不错的状态，但是在实际中工作中kerberos未必都能够正常使用，也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中，作为消息生产者的数据来源可能非常的多，所以在这样的状态下，kerberos认证必须保留，阅读全文

posted @ 2020-06-27 23:46 Ruthless 阅读(12) 评论(0) 推荐(0) 编辑

Kafka Kerberos客户端访问

摘要：如果要想在java客户端进行Kerberos认证，则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件：kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach 阅读全文

posted @ 2020-06-27 22:49 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑

Kafka Kerberos服务端配置

摘要：正是因为Kafka推出了Kerberos认证，才表示Kafka真正的由实验阶段变为了实际的生产环境(速度很慢)，但是对于SSL的认证处理是非常复杂的，所以在实际的开发中，更多的开发者会选择利用Kerberos这种认证机制，同时结合jaas配置文件进行更加有效的安全认证处理。 Kerberos认证需要阅读全文

posted @ 2020-06-27 22:13 Ruthless 阅读(22) 评论(0) 推荐(0) 编辑

2020年6月26日

Centos安装Kafka

摘要：点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到阅读全文

posted @ 2020-06-26 20:56 Ruthless 阅读(11) 评论(0) 推荐(0) 编辑

2020年6月21日

Kafka配置Kerberos认证

摘要：aaaaaaaaaaaa 阅读全文

posted @ 2020-06-21 23:31 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑

Kafka创建SSL证书

摘要：对于消息组件，如果按照最初的设计来讲，性能最高得就是RabbitMQ，因为RabbitMQ设计比较完整，而Kafka不同，Kafka最初的设计最大的坑：没有安全认证，所以最初的一些系统设计的时候为了考虑到安全性，所以采用了性能较差的ssl认证方式来进行出来，也就是说使用证书的方式来处理认证操作。如阅读全文

posted @ 2020-06-21 22:19 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑

Kafka队列消息和发布订阅消息

摘要：1、kafka自动创建主题在配置文件里指定好kafka的topic之后，调用send方法会自动帮我们创建好topic，只是创建的topic默认是1个副本和1个分区的，这一般不能满足我们的要求，所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以阅读全文

posted @ 2020-06-21 11:20 Ruthless 阅读(64) 评论(0) 推荐(0) 编辑

2020年6月10日

波段经典战法：如何利用5、10、20日均线精准抓住主升浪

该文被密码保护。阅读全文

posted @ 2020-06-10 00:45 Ruthless 阅读(0) 评论(0) 推荐(0) 编辑

2020年5月31日

涨停回踩选股公式

摘要：{最近15天内有过涨停} 今涨停:=C/REF(C,1)>=1.095 AND H=C; {上一次涨停到现在的天数} N:=BARSLAST(今涨停); CD1:=N<=15 AND N>1; {股价站稳20日均线并且20日均线拐头向上} M20:=MA(C,20); CD2:=CROSS(C,M2 阅读全文

posted @ 2020-05-31 11:08 Ruthless 阅读(82) 评论(0) 推荐(0) 编辑

2020年5月13日

Mysql st_distance_sphere 计算两坐标点距离

摘要：-- 计算两个地点的球面距离，单位千米 select city_name, round(st_distance_sphere(point(118.35, 24.49),point(lng, lat))/1000,2), update_time as distance from tb_vip_geo 阅读全文

posted @ 2020-05-13 14:20 Ruthless 阅读(277) 评论(0) 推荐(0) 编辑

2020年5月12日

SpringBoot 使用 Redis Geo

摘要：SpringBoot 使用 Redis Geo 阅读全文

posted @ 2020-05-12 18:13 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑

Linux(centos7)安装禅道

摘要：1、环境Centos7.3禅道9.7开源集成版(集成了mysql、apache、php)不需要自己配置 2、下载禅道下载地址：http://dl.cnezsoft.com/zentao/9.7/ZenTaoPMS.9.7.stable.zbox_64.tar.gz wget http://dl.cn 阅读全文

posted @ 2020-05-12 15:54 Ruthless 阅读(61) 评论(0) 推荐(0) 编辑

2020年5月9日

Redis GEO地理位置学习

摘要：从Redis3.2开始，Redis基于geohash和有序集合(zset)提供了地理位置相关功能，用来实现类似微信中附近的人的功能，使用起来十分方便。 Redis Geo模块大概提供了6个命令，分别为：1）geoadd：将给定的位置对象（纬度、经度、名字）添加到指定的key；2）geopos：从ke 阅读全文

posted @ 2020-05-09 15:46 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑

Redis的GEO地理位置指令实现IM里“附近的人”

摘要：Redis的GEO地理位置指令实现IM里“附近的人” 阅读全文

posted @ 2020-05-09 10:05 Ruthless 阅读(41) 评论(0) 推荐(0) 编辑

2020年5月7日

CentOS8安装Docker

摘要：1、安装yum-utils sudo yum install -y yum-utils 2、添加源 sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo 3、Ena 阅读全文

posted @ 2020-05-07 11:38 Ruthless 阅读(142) 评论(0) 推荐(0) 编辑