摘要：
I.进程: II.多线程threading总结 threading用于提供线程相关的操作,线程是应用系统中工作的最小单位(cpu调用的最小单位). Python当前版本的多线程没有实现优先级,线程组,线程也不能被停止,暂停,恢复,中断. threading模块提供的类: Thread,Lock,Rl 阅读全文
posted @ 2018-07-27 16:49
pupilheart
阅读(274)
评论(0)
推荐(0)
摘要：
1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案： 1.将每一个页码对应的url存放到爬虫 阅读全文
posted @ 2018-07-27 16:48
pupilheart
阅读(276)
评论(0)
推荐(0)
摘要：
1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl 爬虫名称 -o xxx.jso 阅读全文
posted @ 2018-07-27 16:44
pupilheart
阅读(275)
评论(0)
推荐(0)
浙公网安备 33010602011771号