随笔- 1181  评论- 973  文章- 0 
  2020年7月3日
摘要:如果现在要想将flume中的sink设置为kafka,因为在实际的开发中,可能会有若干个子系统或者若干个客户端进行flume日志采集,那么能够承受这种采集任务量的只有kafka来完成,可是需要注意一个问题,现在的kafka是采用了Kerberos认证,所以要想在flume之中去使用kafka操作,就 阅读全文
posted @ 2020-07-03 00:13 Ruthless 阅读(4) 评论(0) 推荐(0) 编辑
  2020年7月2日
摘要:Java+Flume实现日志数据传输 如果要在Java之中进行日志的采集处理,很明显应该使用的是log4j组件,现在准备将log4j采集到的数据通过flume进行处理。 1、如果要想将数据发送给flume,必须改如下配置: a1.sources.r1.type = avro 2、修改log4j.pr 阅读全文
posted @ 2020-07-02 00:13 Ruthless 阅读(7) 评论(0) 推荐(0) 编辑
  2020年7月1日
摘要:Flume的使用只需要做一些简短的配置即可,而且在apache官方网站上也都给出了基本使用。 1、Flume下载apache-flume-1.7.0-bin.tar.gz 2、Flume安装 cd /root/soft tar -zxvf apache-flume-1.7.0-bin.tar.gz 阅读全文
posted @ 2020-07-01 17:03 Ruthless 阅读(5) 评论(0) 推荐(0) 编辑
  2020年6月28日
该文被密码保护。 阅读全文
posted @ 2020-06-28 13:23 Ruthless 阅读(0) 评论(0) 推荐(0) 编辑
  2020年6月27日
摘要:使用了kerberos认证之后,整个kafka系统安全了,而且性能也保持着不错的状态,但是在实际中工作中kerberos未必都能够正常使用,也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中,作为消息生产者的数据来源可能非常的多,所以在这样的状态下,kerberos认证必须保留, 阅读全文
posted @ 2020-06-27 23:46 Ruthless 阅读(12) 评论(0) 推荐(0) 编辑
摘要:如果要想在java客户端进行Kerberos认证,则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件:kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach 阅读全文
posted @ 2020-06-27 22:49 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑
摘要:正是因为Kafka推出了Kerberos认证,才表示Kafka真正的由实验阶段变为了实际的生产环境(速度很慢),但是对于SSL的认证处理是非常复杂的,所以在实际的开发中,更多的开发者会选择利用Kerberos这种认证机制,同时结合jaas配置文件进行更加有效的安全认证处理。 Kerberos认证需要 阅读全文
posted @ 2020-06-27 22:13 Ruthless 阅读(22) 评论(0) 推荐(0) 编辑
  2020年6月26日
摘要:点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接收,当没有消费者可用时,这个消息会被保存直到有一个可用的消费者,所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统:发布者发送到topic的消息,只有订阅了topic的订阅者才会收到 阅读全文
posted @ 2020-06-26 20:56 Ruthless 阅读(11) 评论(0) 推荐(0) 编辑
  2020年6月21日
摘要:1、kafka自动创建主题在配置文件里指定好kafka的topic之后,调用send方法会自动帮我们创建好topic,只是创建的topic默认是1个副本和1个分区的,这一般不能满足我们的要求,所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以 阅读全文
posted @ 2020-06-21 11:20 Ruthless 阅读(64) 评论(0) 推荐(0) 编辑
  2020年5月13日
摘要:-- 计算两个地点的球面距离,单位千米 select city_name, round(st_distance_sphere(point(118.35, 24.49),point(lng, lat))/1000,2), update_time as distance from tb_vip_geo 阅读全文
posted @ 2020-05-13 14:20 Ruthless 阅读(277) 评论(0) 推荐(0) 编辑
  2020年5月12日
摘要:SpringBoot 使用 Redis Geo 阅读全文
posted @ 2020-05-12 18:13 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑
  2020年5月9日
摘要:从Redis3.2开始,Redis基于geohash和有序集合(zset)提供了地理位置相关功能,用来实现类似微信中附近的人的功能,使用起来十分方便。 Redis Geo模块大概提供了6个命令,分别为:1)geoadd:将给定的位置对象(纬度、经度、名字)添加到指定的key;2)geopos:从ke 阅读全文
posted @ 2020-05-09 15:46 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑
  2020年5月7日
摘要:1、安装yum-utils sudo yum install -y yum-utils 2、添加源 sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo 3、Ena 阅读全文
posted @ 2020-05-07 11:38 Ruthless 阅读(142) 评论(0) 推荐(0) 编辑
  2020年5月4日
摘要:一、数据结构分析用户关注粉丝是一个多对多的数据模型,分析对象的数据特征,我们给每个用户设计一个关注者属性和粉丝属性,用于存储用户的关注者id和粉丝id,如用户1: $arr1 = [ 'follow' => '[2,3,4], 'fans' => [4,5,6], ] 二、用户逻辑关系梳理在用户关注 阅读全文
posted @ 2020-05-04 21:30 Ruthless 阅读(414) 评论(0) 推荐(0) 编辑
  2020年4月11日
摘要:1、保证消息不丢失(三步)1.1、开启事务(不推荐)1.2、开启confirm(推荐)1.3、开启RabbitMQ持久化(交换机、队列、消息)1.4、关闭RabbitMQ自动ack(改成手动) 2、保证消息不重复消费2.1、幂等性(每个消息用一个唯一标识来区分,消费前先判断标识有没有被消费过,若已消 阅读全文
posted @ 2020-04-11 23:29 Ruthless 阅读(642) 评论(0) 推荐(0) 编辑
  2020年4月9日
该文被密码保护。 阅读全文
posted @ 2020-04-09 21:03 Ruthless 阅读(1) 评论(0) 推荐(0) 编辑
  2020年4月5日
摘要:1、什么是触发器触发器决定了一个窗口何时可以被窗口函数处理(条件满足时触发并发出信号) 每一个WindowAssigner都有一个默认的触发器,如果默认的触发器不能满足你的需要,你可以通过调用trigger(...)来指定一个自定义的触发器 触发器有5个方法来允许触发器处理不同的事件(Trigger 阅读全文
posted @ 2020-04-05 18:04 Ruthless 阅读(165) 评论(0) 推荐(1) 编辑
  2020年3月29日
摘要:全量聚合: 窗口需要维护全部原始数据,窗口触发进行全量聚合。 ProcessWindowFunction获得一个包含窗口所有元素的可迭代器,以及一个具有时间和状态信息访问权的上下文对象,这使得它比其他窗口函数提供更大的灵活性。这是以性能和资源消耗为代价的,因为元素不能增量地聚合,而是需要在内部缓冲, 阅读全文
posted @ 2020-03-29 12:47 Ruthless 阅读(773) 评论(0) 推荐(0) 编辑
摘要:AggregateFunction 比 ReduceFunction 更加的通用,它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。 输入类型是输入流中的元素类型,AggregateFunction有一个add方 法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累 阅读全文
posted @ 2020-03-29 12:44 Ruthless 阅读(481) 评论(0) 推荐(0) 编辑
摘要:ReduceFunction含义ReduceFunction定义了如何把两个输入的元素进行合并来生成相同类型的输出元素的过程,Flink使用ReduceFunction来对窗口中的元素进行增量聚合 package com.lynch.stream.window; import org.apache. 阅读全文
posted @ 2020-03-29 11:13 Ruthless 阅读(404) 评论(0) 推荐(0) 编辑
  2020年7月3日
摘要:如果现在要想将flume中的sink设置为kafka,因为在实际的开发中,可能会有若干个子系统或者若干个客户端进行flume日志采集,那么能够承受这种采集任务量的只有kafka来完成,可是需要注意一个问题,现在的kafka是采用了Kerberos认证,所以要想在flume之中去使用kafka操作,就 阅读全文
posted @ 2020-07-03 00:13 Ruthless 阅读(4) 评论(0) 推荐(0) 编辑
  2020年7月2日
摘要:Java+Flume实现日志数据传输 如果要在Java之中进行日志的采集处理,很明显应该使用的是log4j组件,现在准备将log4j采集到的数据通过flume进行处理。 1、如果要想将数据发送给flume,必须改如下配置: a1.sources.r1.type = avro 2、修改log4j.pr 阅读全文
posted @ 2020-07-02 00:13 Ruthless 阅读(7) 评论(0) 推荐(0) 编辑
  2020年7月1日
摘要:Flume的使用只需要做一些简短的配置即可,而且在apache官方网站上也都给出了基本使用。 1、Flume下载apache-flume-1.7.0-bin.tar.gz 2、Flume安装 cd /root/soft tar -zxvf apache-flume-1.7.0-bin.tar.gz 阅读全文
posted @ 2020-07-01 17:03 Ruthless 阅读(5) 评论(0) 推荐(0) 编辑
正文内容加载中...
posted @ 2020-07-01 11:38 Ruthless 阅读(5) 评论(0) 推荐(0) 编辑
  2020年6月28日
该文被密码保护。 阅读全文
posted @ 2020-06-28 13:23 Ruthless 阅读(0) 评论(0) 推荐(0) 编辑
  2020年6月27日
摘要:使用了kerberos认证之后,整个kafka系统安全了,而且性能也保持着不错的状态,但是在实际中工作中kerberos未必都能够正常使用,也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中,作为消息生产者的数据来源可能非常的多,所以在这样的状态下,kerberos认证必须保留, 阅读全文
posted @ 2020-06-27 23:46 Ruthless 阅读(12) 评论(0) 推荐(0) 编辑
摘要:如果要想在java客户端进行Kerberos认证,则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件:kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach 阅读全文
posted @ 2020-06-27 22:49 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑
摘要:正是因为Kafka推出了Kerberos认证,才表示Kafka真正的由实验阶段变为了实际的生产环境(速度很慢),但是对于SSL的认证处理是非常复杂的,所以在实际的开发中,更多的开发者会选择利用Kerberos这种认证机制,同时结合jaas配置文件进行更加有效的安全认证处理。 Kerberos认证需要 阅读全文
posted @ 2020-06-27 22:13 Ruthless 阅读(22) 评论(0) 推荐(0) 编辑
  2020年6月26日
摘要:点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接收,当没有消费者可用时,这个消息会被保存直到有一个可用的消费者,所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统:发布者发送到topic的消息,只有订阅了topic的订阅者才会收到 阅读全文
posted @ 2020-06-26 20:56 Ruthless 阅读(11) 评论(0) 推荐(0) 编辑
  2020年6月21日
摘要:aaaaaaaaaaaa 阅读全文
posted @ 2020-06-21 23:31 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑
摘要:对于消息组件,如果按照最初的设计来讲,性能最高得就是RabbitMQ,因为RabbitMQ设计比较完整,而Kafka不同,Kafka最初的设计最大的坑:没有安全认证,所以最初的一些系统设计的时候为了考虑到安全性,所以采用了性能较差的ssl认证方式来进行出来,也就是说使用证书的方式来处理认证操作。 如 阅读全文
posted @ 2020-06-21 22:19 Ruthless 阅读(26) 评论(0) 推荐(0) 编辑
摘要:1、kafka自动创建主题在配置文件里指定好kafka的topic之后,调用send方法会自动帮我们创建好topic,只是创建的topic默认是1个副本和1个分区的,这一般不能满足我们的要求,所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以 阅读全文
posted @ 2020-06-21 11:20 Ruthless 阅读(64) 评论(0) 推荐(0) 编辑
  2020年6月10日
该文被密码保护。 阅读全文
posted @ 2020-06-10 00:45 Ruthless 阅读(0) 评论(0) 推荐(0) 编辑
  2020年5月31日
摘要:{最近15天内有过涨停} 今涨停:=C/REF(C,1)>=1.095 AND H=C; {上一次涨停到现在的天数} N:=BARSLAST(今涨停); CD1:=N<=15 AND N>1; {股价站稳20日均线并且20日均线拐头向上} M20:=MA(C,20); CD2:=CROSS(C,M2 阅读全文
posted @ 2020-05-31 11:08 Ruthless 阅读(82) 评论(0) 推荐(0) 编辑
  2020年5月13日
摘要:-- 计算两个地点的球面距离,单位千米 select city_name, round(st_distance_sphere(point(118.35, 24.49),point(lng, lat))/1000,2), update_time as distance from tb_vip_geo 阅读全文
posted @ 2020-05-13 14:20 Ruthless 阅读(277) 评论(0) 推荐(0) 编辑
  2020年5月12日
摘要:SpringBoot 使用 Redis Geo 阅读全文
posted @ 2020-05-12 18:13 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑
摘要:1、环境Centos7.3禅道9.7开源集成版(集成了mysql、apache、php)不需要自己配置 2、下载禅道下载地址:http://dl.cnezsoft.com/zentao/9.7/ZenTaoPMS.9.7.stable.zbox_64.tar.gz wget http://dl.cn 阅读全文
posted @ 2020-05-12 15:54 Ruthless 阅读(61) 评论(0) 推荐(0) 编辑
  2020年5月9日
摘要:从Redis3.2开始,Redis基于geohash和有序集合(zset)提供了地理位置相关功能,用来实现类似微信中附近的人的功能,使用起来十分方便。 Redis Geo模块大概提供了6个命令,分别为:1)geoadd:将给定的位置对象(纬度、经度、名字)添加到指定的key;2)geopos:从ke 阅读全文
posted @ 2020-05-09 15:46 Ruthless 阅读(74) 评论(0) 推荐(0) 编辑
摘要:Redis的GEO地理位置指令实现IM里“附近的人” 阅读全文
posted @ 2020-05-09 10:05 Ruthless 阅读(41) 评论(0) 推荐(0) 编辑
  2020年5月7日
摘要:1、安装yum-utils sudo yum install -y yum-utils 2、添加源 sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo 3、Ena 阅读全文
posted @ 2020-05-07 11:38 Ruthless 阅读(142) 评论(0) 推荐(0) 编辑