07 2019 档案

爬虫学习项目
摘要：项目1： 基于搜狗微信公众号的关键字搜索 from selenium import webdriver import os from bs4 import BeautifulSoup from selenium.webdriver.support.ui import WebDriverWait fr 阅读全文
posted @ 2019-07-17 20:08 爱学习的红领巾 阅读(224) 评论(0) 推荐(0)
scrapy从入门到放弃 学习项目4
摘要：scrapy框架基于selenium，多页面爬取简书文章内容、作者，ajax技术传递的数据等 保存到MongoDB中 class JieshuxSpider(CrawlSpider): name = 'jieshux' allowed_domains = ['jianshu.com'] start_ 阅读全文
posted @ 2019-07-12 17:24 爱学习的红领巾 阅读(151) 评论(0) 推荐(0)
scrapy从入门到放弃 学习项目3
摘要：以宝马5系列为例CrawlSpider爬取汽车之家汽车各方面高清图片 扩展ImagesPipeline，实现文件格式的自定义保存 from baomax5.items import Baomax5Item from scrapy.spiders import CrawlSpider, Rule fr 阅读全文
posted @ 2019-07-11 18:40 爱学习的红领巾 阅读(152) 评论(0) 推荐(0)
scrapy从入门到放弃 学习项目2
摘要：CrawlSpider微信小程序社区教程贴爬取 from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from wxapp.items import WxappItem 阅读全文
posted @ 2019-07-09 21:06 爱学习的红领巾 阅读(200) 评论(0) 推荐(0)
爬虫从入门到放弃 学习项目目录
摘要：目录 1.项目1 2.项目2 3.项目3 4.项目4 阅读全文
posted @ 2019-07-09 19:56 爱学习的红领巾 阅读(132) 评论(0) 推荐(0)
scrapy从入门到放弃 学习项目1
摘要：scrapy 爬取糗事百科段子 保存为json类型文件 import scrapy from qiushibaike.items import QiushibaikeItem class QiushibaikespiderSpider(scrapy.Spider): name = 'qiushiba 阅读全文
posted @ 2019-07-09 19:52 爱学习的红领巾 阅读(219) 评论(0) 推荐(0)
多线程、多进程、多协程
摘要：1.多线程、多进程、多协程 进程：一个运行的程序，进程是系统调度和分配的最小单位，拥有自己独立的空间内存，进程之间不共享资源。 线程：调度执行的最小单位，依赖于进程，一个进程至少有一个线程，并且同一个进程内的线程之间共享资源，大大提升了程序运行速度，切换由系统调度。 协程：一种用户态的轻量级线程，切 阅读全文
posted @ 2019-07-07 18:00 爱学习的红领巾 阅读(2919) 评论(0) 推荐(1)