摘要：
import timeimport randomfrom multiprocessing import Process, Queue# 生产者def producer(q, i): food = 'Spam-%d' % i time.sleep(random.uniform(2, 5)) timeV
阅读全文
posted @ 2019-11-01 14:21
WebLinuxStudy
阅读(475)
推荐(0)
摘要：
import timeimport randomfrom multiprocessing import Queue# 生产者def producer(q, num): for i in range(1, num + 1): food = 'Spam-%d' % i # time.sleep(rand
阅读全文
posted @ 2019-11-01 14:15
WebLinuxStudy
阅读(583)
推荐(0)
摘要：
爬取的数据结果是没有错的，但是在保存数据的时候出错了，出现重复数据或者数据少问题。那为什么会造成这种结果呢？ 其原因是由于Spider的速率比较快，而scapy操作数据库操作比较慢，导致pipeline中的方法调用较慢，这样当一个变量正在处理的时候，一个新的变量过来，之前的变量的值就会被覆盖。 就比
阅读全文
posted @ 2019-10-23 14:32
WebLinuxStudy
阅读(933)
推荐(0)
摘要：
描述 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。 Python 2.3. 以上版本可用，2.6 添加 start 参数。 语法 以下是 enumerate() 方法的语法: 参数 sequen
阅读全文
posted @ 2019-10-18 11:56
WebLinuxStudy
阅读(431)
推荐(0)
摘要：
cd /tmp/abc/ab mv a.txt a.txt.bak mv a.txt.new a.txt chmod 777 a.txt 等价于 cd /tmp/abc/ab && mv a.txt a.txt.bak && mv a.txt.new a.txt && chmod 777 a.txt
阅读全文
posted @ 2019-10-17 16:17
WebLinuxStudy
阅读(418)
推荐(0)
摘要：
crawlscrapy简单使用方法 1.创建项目：scrapy startproject 项目名例如：scrapy startproject wxapp windows下，cmd进入项目路径例如d:\pythonCode\spiderProject>scrapy startproject wxapp
阅读全文
posted @ 2019-09-30 18:08
WebLinuxStudy
阅读(608)
推荐(0)
摘要：
scrapy简单使用方法 1.创建项目：scrapy startproject 项目名例如：scrapy startproject baike windows下，cmd进入项目路径例如d:\pythonCode\spiderProject>scrapy startproject baidubaike
阅读全文
posted @ 2019-09-27 18:00
WebLinuxStudy
阅读(1561)
推荐(0)
摘要：
本系列文章将向大家讲解pcntl_*系列函数，从而更深入的理解进程相关知识。 如果自带的PHP没有安装pcntl扩展，可以下载相同版本的源码，进入ext/pcntl使用phpize编译安装。 pcntl_fork 用于创建子进程。成功时，在父进程执行线程内返回产生的子进程的PID，在子进程执行线程内
阅读全文
posted @ 2019-09-20 10:42
WebLinuxStudy
阅读(418)
推荐(0)
摘要：
函数string rd_kafka_err2str ( integer $err ) 将rdkafka错误代码转换为字符串 integer rd_kafka_errno2err ( integer $errnox ) 将系统errno转换为Kafka错误代码 integer rd_kafka_err
阅读全文
posted @ 2019-09-19 10:40
WebLinuxStudy
阅读(2916)
推荐(0)
摘要：
python判断字符串中是否包含子字符串 s = '1234问沃尔沃434' if s.find('沃尔沃') != -1: print('存在') else: print('不存在')
阅读全文
posted @ 2019-08-29 16:25
WebLinuxStudy
阅读(7203)
推荐(0)
浙公网安备 33010602011771号