ExplorerMan

摘要： python 使用多进程无法正常退出 阅读全文

摘要： 结论：python多进程间用Queue通信时，如果子进程操作Queue满了或者内容比较大的情况下，该子进程会阻塞等待取走Queue内容(如果Queue数据量比较少，不会等待)，如果调用join，主进程将处于等待，等待子进程结束，造成死锁 解决方式：在调用join前，及时把Queue的数据取出，而且Q 阅读全文

摘要： Spark缺点无论是 Spark Streaming还是 Structured Streaming,Spark流处理的实时性还不够,所以无法用在一些对实时性要求很高的流处理场景中。这是因为 Spark的流处理是基于所谓微批处理( Micro- batch processing)的思想,即它把流处理看 阅读全文

摘要： 应用程序升级面临最大挑战是新旧业务切换，将软件从测试的最后阶段带到生产环境，同时要保证系统不间断提供服务。 长期以来，业务升级渐渐形成了几个发布策略：蓝绿发布、灰度发布和滚动发布，目的是尽可能避免因发布导致的流量丢失或服务不可用问题。 一、 蓝绿发布项目逻辑上分为AB组，在项目系统时，首先把A组从负 阅读全文

摘要： Ubuntu18注册gitlab-runner并激活CI/CD gitlab-runner安装 下载 # Linux x86-64 sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazona 阅读全文

摘要： 配置GitlabRunner环境 GitLab Runner 是一个开源项目， 它用来运行你定制的任务（jobs）并把结果返回给 GitLab。 GitLab Runner 配合GitLab CI（GitLab 内置的持续集成服务） 协调完成任务。 本文将记录将一台闲置的iMac mini配置一个S 阅读全文

摘要： gitlab + gitlab-runner 集成 CICD 1 gitlab-runner 安装 1.1 下载执行文件 # Linux x86-64 sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads. 阅读全文

摘要： 真的是内牛满面啊，虽然4个月前就开始用gevent，但是直到今天才知道到底怎么才能设置gevent(含monkey打patch后)的超时！！ 官方文档太坑爹了，在很隐藏的一个角落里才发现这么一个类gevent.Timeout。 事情是这样的：我们常用的socket都是阻塞的，那么超时是很好设置的。但 阅读全文

摘要： Nginx安装 注意：这里以CentOS 6.8服务器为例，以root用户身份来安装Nginx。 1.安装依赖环境 yum -y install wget gcc-c++ ncurses ncurses-devel cmake make perl bison openssl openssl-deve 阅读全文

摘要： 基于golang的爬虫实战 前言 爬虫本来是python的强项，前期研究过scrapy，也写过一些简单的爬虫小程序，但是后来突然对golang产生兴趣，决定写写爬虫练练手。由于本人golang萌新，有错误之处，欢迎指正。 大致思路 由于现在动态页面比较多，因此考虑通过WebDriver驱动Chrom 阅读全文