匡子语

摘要： 有一个字典变量，需要在多个进程间共享 使用Manager, 下面是一个小例子。 注意使用json前需要将类型转换。 阅读全文

摘要： 网上用python写spark+kafka的资料好少啊 自己记录一点踩到的坑~ spark+kafka介绍的官方网址：http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html python的pyspark库函数文 阅读全文

摘要： 前提：kafka有同步，多线程，gevent异步和rdkafka异步四种模式。但是在与celery和gevent连用的时候，有的模式会出错。 下面是我代码运行的结果。 结论：使用多线程方式！ 使用同步方式可以成功发送数据 使用rdkafka异步，只打印了一条send data之后卡住 使用多线程，可 阅读全文

摘要： 非常有用的参考博客：http://blog.csdn.net/qq_33160722/article/details/52903380 pykafka文档：http://pykafka.readthedocs.io/en/latest/api/producer.html 起因：项目代码极慢，远远低于 阅读全文

摘要： 写了一个kafka传输消息，celery发布任务的脚本。 有四个线程，分别读取不同的kafka队列信息 问题是，只有第一个线程会启动，剩下的三个线程连start都运行不了。 而且这个问题不是一开始就发生的，最开始跑代码的时候很正常。连续运行了半个月都没问题。就是后来重启后就有问题了。 后来发现，在每 阅读全文

摘要： 一个相对完整的http请求，输入ip和端口，输出响应码，响应头，响应体，是否超时，以及出错时的错误信息 处理包括： 1.协议处理，如果是443用https，其他用http 2.HTTPError处理，HTTPError一般是401,403,404之类的错误，虽然报错，但是也有响应头。注意获取错误信息 阅读全文

摘要： 参考：http://www.linuxidc.com/Linux/2015-08/121352.htm wget https://www.python.org/ftp/python/3.5.4/Python-3.5.4.tgztar zxvf Python-3.5.4.tgz cd Python-3 阅读全文

摘要： 该博文方法有问题，正确方案在http://www.cnblogs.com/dplearning/p/7992994.html 背景： 搭建了一个kafka集群，建立了topic test，用group_id ttt 消耗topic. 但问题是，我消费的处理太慢了，导致了上百万数据的挤压，即offse 阅读全文

摘要： 安装： 1. 在http://www.rabbitmq.com/install-rpm.html下载对应系统的rpm包 我下载的是rabbitmq-server-3.6.6-1.el6.noarch.rpm 2. rpm -ivh rabbitmq-server-3.6.6-1.el6.noarch 阅读全文

摘要： 背景：一个小应用，用celery下发任务，任务内容为kafka生产一些数据。 问题：使用confluent_kafka模块时，单独启用kafka可以正常生产消息，但是套上celery后，kafka就无法将新消息生产到topic队列中了。 解决：换了个pykafka模块，结果问题就没有了。 我很疑惑啊 阅读全文