2018年11月28日
Kinesis基础知识及优化指导
摘要： 1、数据存放1）每个PutRecords请求最多可支持500条记录。2）请求中的每条记录可以大到1 MiB，整个请求的最大限制为5 MiB，包括分区键。3）每个分片可以支持每秒最多1,000条记录的写入，最大数据写入总量为每秒1 MiB。 2、数据处理1）每个分片均提供 2 MiB/秒的读取吞吐量。 阅读全文
posted @ 2018-11-28 18:51 老农夫 阅读(1037) 评论(0) 推荐(0)
python bulk批量保存elasticsearch数据
摘要： 之前用kclpy读取kinesis流数据，处理并保存到elasticsearch中，现在发现elk中的数据展示与当前时间差越来越大（源数据增加了三倍）。阅读kinesis文档进行相应分片、实例数扩展，均没有明显效果。 重新优化了下代码，使用了bulk批量保存数据到elasticsearch，存放速率 阅读全文
posted @ 2018-11-28 18:15 老农夫 阅读(5068) 评论(0) 推荐(0)