2020年7月27日
摘要:
理解注册中心:服务管理,核心是有个服务注册表,心跳机制动态维护。 服务提供者provider: 启动的时候向注册中心上报自己的网络信息。 服务消费者consumer: 启动的时候向注册中心上报自己的网络信息,拉取provider的相关网络信息。 Euraka心跳机制: 服务提供者在启动后,周期性(默
阅读全文
posted @ 2020-07-27 23:59
Ruthless
阅读(2776)
推荐(0)
2020年7月8日
posted @ 2020-07-08 00:57
Ruthless
阅读(0)
推荐(0)
2020年7月7日
摘要:
在之前所讲解的RabbitMQ操作里面实际上都有如下的几个局限:1、在整个的处理之中并没有考虑到rabbitmq中的exchange、routing key概念2、在整个处理里面实际上只是编写了一个简单的队列名称3、在消息系统之中除了有队列消息之外一定会存在有主题消息,同一条消息可以被所有的消费者同
阅读全文
posted @ 2020-07-07 23:04
Ruthless
阅读(378)
推荐(0)
2020年7月5日
摘要:
1、工作队列现在的程序只定义有一个生产者和一个消费者,如果说现在有一个生产者对应多个消费者呢?那就表示一个工作队列,而工作队列的最大特征在于:若干个消费者一起完成工作。 当启动了多个消费者之后,这些消费者会一起共同完成所发出的消息消费处理,这样的处理可以保证消息处理的速度更加的快速。但是千万要记住,
阅读全文
posted @ 2020-07-05 16:32
Ruthless
阅读(374)
推荐(0)
2020年7月4日
摘要:
windows下安装Erlang
阅读全文
posted @ 2020-07-04 16:45
Ruthless
阅读(1352)
推荐(0)
摘要:
如果从消息组件来讲主要划分为两类: JMS组件:ActiveMQ(慢) AMQP组件(协议):性能是最高的,而AMQP有两个主要的开源项目: |-RabbitMQ:使用最为广泛,速度也很快 |-Kafka:是在大数据时代产生的,未来明日之星。 RabbitMQ系统架构在所有的消息系统之中,其基本由生
阅读全文
posted @ 2020-07-04 16:32
Ruthless
阅读(441)
推荐(0)
2020年7月3日
摘要:
如果现在要想将flume中的sink设置为kafka,因为在实际的开发中,可能会有若干个子系统或者若干个客户端进行flume日志采集,那么能够承受这种采集任务量的只有kafka来完成,可是需要注意一个问题,现在的kafka是采用了Kerberos认证,所以要想在flume之中去使用kafka操作,就
阅读全文
posted @ 2020-07-03 00:13
Ruthless
阅读(2154)
推荐(0)
2020年7月2日
摘要:
Java+Flume实现日志数据传输 如果要在Java之中进行日志的采集处理,很明显应该使用的是log4j组件,现在准备将log4j采集到的数据通过flume进行处理。 1、如果要想将日志数据发送给flume,flume.conf必须改如下配置: a1.sources.r1.type = avro
阅读全文
posted @ 2020-07-02 00:13
Ruthless
阅读(1276)
推荐(0)
2020年7月1日
摘要:
Flume的使用只需要做一些简短的配置即可,而且在apache官方网站上也都给出了基本使用。 1、Flume下载apache-flume-1.7.0-bin.tar.gz 注意:Windown安装也是用这个包。 2、Flume安装 cd /root/soft tar -zxvf apache-flu
阅读全文
posted @ 2020-07-01 17:03
Ruthless
阅读(983)
推荐(0)
摘要:
Kafka在实际的开发之中的确可以处理千万级别的数据,但是现在有一个问题,这些数据从哪里来呢?Kafka产生的初衷是进行数据的收集以及合理的消费,但是这些实际之中的数据我们应该如何获取,我们该用什么样的方式来获取,而且最关键的是,如果现在是一个已经成型的系统(SSH、SSM、Spring),那么这个
阅读全文
posted @ 2020-07-01 11:38
Ruthless
阅读(440)
推荐(0)
2020年6月28日
posted @ 2020-06-28 13:23
Ruthless
阅读(1)
推荐(0)
2020年6月27日
摘要:
使用了kerberos认证之后,整个kafka系统安全了,而且性能也保持着不错的状态,但是在实际中工作中kerberos未必都能够正常使用,也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中,作为消息生产者的数据来源可能非常的多,所以在这样的状态下,kerberos认证必须保留,
阅读全文
posted @ 2020-06-27 23:46
Ruthless
阅读(1171)
推荐(0)
摘要:
如果要想在java客户端进行Kerberos认证,则一定需要有一个与之匹配的Kerberos配置文件存在。现在在D盘上建立一个客户端的访问程序文件:kafka_client_jaas.conf vim d:/kafka_client_jaas.conf KafkaClient { org.apach
阅读全文
posted @ 2020-06-27 22:49
Ruthless
阅读(2278)
推荐(0)
摘要:
正是因为Kafka推出了Kerberos认证,才表示Kafka真正的由实验阶段变为了实际的生产环境(速度很慢),但是对于SSL的认证处理是非常复杂的,所以在实际的开发中,更多的开发者会选择利用Kerberos这种认证机制,同时结合jaas配置文件进行更加有效的安全认证处理。 Kerberos认证需要
阅读全文
posted @ 2020-06-27 22:13
Ruthless
阅读(5197)
推荐(0)
2020年6月26日
摘要:
点对点消息系统:生产者发送一条消息到queue,一个queue可以有很多消费者,但是一个消息只能被一个消费者接收,当没有消费者可用时,这个消息会被保存直到有一个可用的消费者,所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统:发布者发送到topic的消息,只有订阅了topic的订阅者才会收到
阅读全文
posted @ 2020-06-26 20:56
Ruthless
阅读(3964)
推荐(0)
2020年6月21日
posted @ 2020-06-21 23:31
Ruthless
阅读(733)
推荐(0)
摘要:
对于消息组件,如果按照最初的设计来讲,性能最高得就是RabbitMQ,因为RabbitMQ设计比较完整,而Kafka不同,Kafka最初的设计最大的坑:没有安全认证,所以最初的一些系统设计的时候为了考虑到安全性,所以采用了性能较差的ssl认证方式来进行出来,也就是说使用证书的方式来处理认证操作。 如
阅读全文
posted @ 2020-06-21 22:19
Ruthless
阅读(2703)
推荐(0)
摘要:
1、kafka自动创建主题在配置文件里指定好kafka的topic之后,调用send方法会自动帮我们创建好topic,只是创建的topic默认是1个副本和1个分区的,这一般不能满足我们的要求,所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以
阅读全文
posted @ 2020-06-21 11:20
Ruthless
阅读(2815)
推荐(0)
2020年6月10日
posted @ 2020-06-10 00:45
Ruthless
阅读(1)
推荐(0)
2020年5月31日
摘要:
{最近15天内有过涨停} 今涨停:=C/REF(C,1)>=1.095 AND H=C; {上一次涨停到现在的天数} N:=BARSLAST(今涨停); CD1:=N<=15 AND N>1; {股价站稳20日均线并且20日均线拐头向上} M20:=MA(C,20); CD2:=CROSS(C,M2
阅读全文
posted @ 2020-05-31 11:08
Ruthless
阅读(8913)
推荐(0)