08 2018 档案

摘要:方法: 即将 C:\Python27\Lib\site-packages\thriftpy\parser\parser.py , line 488 改为: 阅读全文
posted @ 2018-08-23 10:24 下划线是我 阅读(1451) 评论(0) 推荐(0)
摘要:nginx 报异常"/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)处理方法 需要停止或者重启nginx的命令如下 发现报以下错误: nginx: [error] open() "/usr/local/ngi 阅读全文
posted @ 2018-08-18 11:35 下划线是我 阅读(203) 评论(0) 推荐(0)
摘要:安装gcc g++的依赖库 sudo apt-get install build-essential sudo apt-get install libtool 安装 pcre依赖库 sudo apt-get install libpcre3 libpcre3-dev 安装 zlib依赖库 apt-g 阅读全文
posted @ 2018-08-18 09:28 下划线是我 阅读(132) 评论(0) 推荐(0)
摘要:注意点: 1。 https://blog.csdn.net/liumiaocn/article/details/60468257 阅读全文
posted @ 2018-08-16 16:20 下划线是我 阅读(228) 评论(0) 推荐(0)
摘要:记录一个坑 官网给了两个community:https://www.confluent.io/product/connectors/ 第一个只支持单机 https://github.com/evokly/kafka-connect-mqtt/issues 第二个可支持集群,然而UI更新不及时,配置上 阅读全文
posted @ 2018-08-16 13:26 下划线是我 阅读(1364) 评论(0) 推荐(0)
摘要:mosquitto安装:https://blog.csdn.net/xukai871105/article/details/39255089 uuid报错:https://blog.csdn.net/liu1164316159/article/details/9935579 kafka-mqtt-c 阅读全文
posted @ 2018-08-15 21:29 下划线是我 阅读(281) 评论(0) 推荐(0)
摘要:参考:https://www.zhihu.com/question/30343125 两者虽然都是从传统的Pub/Sub消息系统演化出来的,但是进化的方向不一样,以下是几个比较突出的点: Kafka是为了数据集成的场景,与以往Pub/Sub消息总线不一样,通过分布式架构提供了海量消息处理、高容错的方 阅读全文
posted @ 2018-08-15 14:27 下划线是我 阅读(4826) 评论(0) 推荐(0)
摘要:参考:https://www.jianshu.com/p/8ccd712e2599 搭建过程 1. 下载zookeeper镜像 2. 下载kafka镜像 3. 创建一个docker-compose.yml文件 4. 启动docker-compose 5. 运行kafka集群模式 6. 查看conta 阅读全文
posted @ 2018-08-14 14:47 下划线是我 阅读(271) 评论(0) 推荐(0)
摘要:清理命令 杀死所有正在运行的容器 杀死所有正在运行的容器 删除所有已经停止的容器 删除所有已经停止的容器 删除所有镜像 删除所有镜像 查看docker IP 地址 docker 导出到本地 阅读全文
posted @ 2018-08-14 14:36 下划线是我 阅读(172) 评论(0) 推荐(0)
摘要:由于底层的CNC机床必须使用MQTT通信,所以采用MQTT作为底层的通讯协议,再上传到kafka集群。 现在有两种实现方案:一种是使用mqtt-kafka connector,相当于直接使用两者之间的接口通信;另一种是设置一个gateway。 由于暂未找到合适的python接口,所以自己简单实现了一 阅读全文
posted @ 2018-08-14 10:05 下划线是我 阅读(9896) 评论(5) 推荐(2)
摘要:在搭建Kafka集群后,用CLI创建生产者和消费者并传输中文时,出现丢字/乱码的现象,但是基于Python/Java的传输没有类似情形。应该是CLI的编码和解码问题。 阅读全文
posted @ 2018-08-13 14:07 下划线是我 阅读(489) 评论(0) 推荐(0)
摘要:基础通讯 Producer.py Producer.py Consumer.py Consumer.py 分区实现 pro_partition.py pro_partition.py con_partition.py con_partition.py 阅读全文
posted @ 2018-08-08 16:34 下划线是我 阅读(4097) 评论(1) 推荐(0)
摘要:参考文献:https://docs.confluent.io/current/clients/confluent-kafka-python/index.html#consumer Producer.poll(timeout) timeout (float) – Maximum time to blo 阅读全文
posted @ 2018-08-08 15:55 下划线是我 阅读(5216) 评论(1) 推荐(0)
摘要:参考:https://www.jianshu.com/p/9e72b3942c59 原因是在kafka集群kafka/config/server.properties文件中num.patitions = 1. 需要修改分区默认值。 partitions在是在创建topic的时候默认创建的partit 阅读全文
posted @ 2018-08-07 19:01 下划线是我 阅读(1580) 评论(0) 推荐(0)
摘要:依赖: kafka_2.12-2.0.0.jar、kafka-clients-2.0.0.jar、log4j-1.2.17.jar、slf4j-api-1.7.25.jar、slf4j-log4j12-1.7.25.jar lkafkaConstants.java package kafka_pro 阅读全文
posted @ 2018-08-07 14:12 下划线是我 阅读(747) 评论(0) 推荐(0)
摘要:参考文献: https://blog.csdn.net/zxy987872674/article/details/72466504/ 如果是用虚拟机,需要在kafka_logs里同时修改meta.properties里的broker.id 阅读全文
posted @ 2018-08-06 15:49 下划线是我 阅读(141) 评论(0) 推荐(0)
摘要:把所有需要修改的ip修改一致,如果用localhost都用localhost,如果用本地IP都用本地IP。 关键修改的配置文件 kafka/config/server.properties producer.properties consumer.properties zk/config/zoo.c 阅读全文
posted @ 2018-08-06 09:49 下划线是我 阅读(2932) 评论(0) 推荐(0)
摘要:参考资料: https://blog.csdn.net/xiewendong93/article/details/50500471 https://my.oschina.net/phoebus789/blog/730787 https://blog.csdn.net/qinglu000/articl 阅读全文
posted @ 2018-08-03 08:21 下划线是我 阅读(349) 评论(0) 推荐(0)
摘要:参考资料: https://www.youtube.com/watch?v=GRPLRONVDWY https://stackoverflow.com/questions/37391827/what-is-the-difference-between-mqtt-broker-and-apache-k 阅读全文
posted @ 2018-08-02 14:49 下划线是我 阅读(189) 评论(0) 推荐(0)
摘要:尝试用百度云做broker进行连接,但是一直连接不上 打印错误代码是"1", 即“ incorrect protocol version”错误。 错误代码打印: 后来查明,是因为百度云提供了三个连接,分别是: TCP, SSL, WSS, 三者对应不同的端口号。只有使用TCP对应的端口号不会报错。 阅读全文
posted @ 2018-08-01 16:25 下划线是我 阅读(707) 评论(0) 推荐(0)
摘要:参考: eval/exec/compile的区别:https://stackoverflow.com/questions/2220699/whats-the-difference-between-eval-exec-and-compile-in-python pickle的使用: https://p 阅读全文
posted @ 2018-08-01 09:35 下划线是我 阅读(150) 评论(0) 推荐(0)