RabbitMQ,Elasticsearch学习,批量读取消息队列上的数据上传到Elasticsearch

 

 

 

先上DEMO:

链接:https://pan.baidu.com/s/1owlkBJlIMDWZS9YdSTA7xw 

提取码:7p0b 

电脑配置如图:

测试结果:

1、2百万条数据发送到MQ上需要2分45

2、单个消费者被动接收数据

3、主动拉取队列里的消息

4、测试MQ主动拉取2百万条信息还是544116毫秒,发送到ES,本来是2百万条,但是存到1百万条的时候就结束了,耗时611790,不知道是不是有上限

5、设置50W为一组插入到ES里,需要758秒

 

posted @ 2019-05-13 15:08  jiangcm  阅读(2111)  评论(1编辑  收藏  举报