python kafka, json 高性能相关的记录

  1. kafka的高性能
    1. consume
    2. msg.value()
    3. msg.timestamp()
    4. produce
    5. ? batch get/send vs single get/send
    6. pypy vs normal python2.7
  2. json的高性能
    1. ujson
    2. pypy
    3. dict.str
  3. 主要函数的高性能
 
 
 
 
 
http://activisiongamescience.github.io/2016/06/15/Kafka-Client-Benchmarking/  详细的kafka-python-client bench，很有参考价值
 
 
 
 
 
https://www.cnblogs.com/ryu-manager/p/9443722.html 较为详细的示例代码，演示了如何做分区消费
 
介绍了kafka使用中的一系列概念名词  broker, topic, partition, producer, consumer, consumer group, leader/replication, segment, offset
以及参数   enable.aoto.commit, auto.offset.reset
准备工作： 安装gcc系列
使用了笨办法安装上了g++/c++，就是一个一个的找依赖，找对应的正确版本，一个个的下载安装，看出错信息查找对应的依赖.deb包，使用dpkg -i 的方式安装。
 
 
 
 
编译安装顺利，安装confluent-kafka-python顺利，但运行 import fluent-kafka时报错  no module named .cimpl,  即使运行  ldconfig
ldd 发现cimpl.so 使用了librdkfka.so,  
再ldd librdkafka.so 发现其使用的libssl的版本很奇怪 ，并没有正确的显示，看来libssl.so的版本不符合librdkafka的要求。
简单办法： disable ssl
 
librdkfakfka的安装是有一些问题的， 在不同linux发行版上的现象不同
librdkafka-devel安装时遇到了点问题。在centos7.3上，我直接用yum install librdkafka-devel.x86_64可以成功，可是在centos6.9(64位)上却找不到这个包。必须源码编译。
 
https://blog.csdn.net/marywang56/article/details/81744722  参考这版centos离线安装librdkafka，很有帮助。
 
编译librdkafka （基于110的现状，no ssl）
./configure --prefix=/usr --disable-ssl
make -j4
make install 
 
 
 
 
kafka performance tuning,可以参考着读一下，并不是很符合confluent-kafka-python的现状
 
kafka的一个大型性能测试，但是对于我们的场景来说过于遥远  (kafka向，not python)
https://data-flair.training/blogs/kafka-performance-tuning/  另一篇kafka performance tuning (kafka向，not python)
 
 

posted on 2019-12-02 14:05  js.yeyong  阅读(574)  评论(0)  编辑  收藏  举报

导航