摘要：
1、I Tell you 相伴14载，良心资源站，提供ED2K下载方式 https://msdn.itellyou.cn/ 2、NEXT,I TELL YOU I tell you，升级网站，新版开放测试，新增扩展内容、BT资源 https://next.itellyou.cn/Original/I 阅读全文
posted @ 2025-03-29 08:55
donghongchao
阅读(160)
评论(0)
推荐(0)
摘要：
Items 程序 import scrapy class DangdangItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() src = scrapy.Field() name 阅读全文
posted @ 2024-07-16 19:17
donghongchao
阅读(20)
评论(0)
推荐(0)
摘要：
IPython 是一个基于 Python 的交互式计算环境，它为用户提供了一个更为强大和丰富的界面来使用Python语言。相较于标准的Python解释器，IPython提供了更多的增强功能，例如提供智能的自动补全，高亮输出，及其他特性。 如果我们安装了IPython，scrapy终端将使用IPyth 阅读全文
posted @ 2024-07-16 12:51
donghongchao
阅读(56)
评论(0)
推荐(0)
摘要：
1、Scrapy Engine（引擎组件）： 负责Spider、ItemPipeline、Downloader、Scheduler的工作调度、信息通讯、数据传递等工作 2、Scheduler（调度组件）： 负责接收引擎传递过来的请求，按照具体规则添加队列处理，最终返回给引擎 3、Downloader 阅读全文
posted @ 2024-07-16 12:13
donghongchao
阅读(18)
评论(0)
推荐(0)
摘要：
安装： install scrapy # -i https://pipy.douban.com/simple 不一定好用改其他源码 创建scrapy项目的命令： scrapy startproject <项目名字> 创建爬虫命令：在项目路径下执行: `scrapy genspider <爬虫名字> 阅读全文
posted @ 2024-07-16 08:53
donghongchao
阅读(19)
评论(0)
推荐(0)
摘要：
古诗文 验证码登录 方法1：采用bs4可以 import requests # 古诗文网登录页面的URL地址 url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx' hea 阅读全文
posted @ 2024-07-15 15:39
donghongchao
阅读(57)
评论(0)
推荐(0)
摘要：
requests 官方文档： https://requests.readthedocs.io/projects/cn/zh-cn/latest/ 快速上手 https://requests.readthedocs.io/projects/cn/zh-cn/latest/user/quickstart 阅读全文
posted @ 2024-07-14 18:59
donghongchao
阅读(57)
评论(0)
推荐(0)
摘要：
Chrome handless Chrome handless 模式，Google 针对 Chrome 浏览器 59版 新增的一种模式，可以让你不打开 UI 界面的情况下使用 Chrome 浏览器，所以运行效果与 Chrome 保持完美一致 Chrome handless的系统要求 1、Chrome 阅读全文
posted @ 2024-07-14 16:33
donghongchao
阅读(28)
评论(0)
推荐(0)
摘要：
Selenium: 1、selenuim是一个用于web应用程序的工具。 2、selenuim测试直接运行在浏览器中，就像真正的用户在操作一样。 3、支持通过各种driveer(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)驱 阅读全文
posted @ 2024-07-13 19:59
donghongchao
阅读(93)
评论(0)
推荐(0)
摘要：
基本简介： 安装以及创建： 节点定位： 节点信息： 星巴克爬取： from bs4 import BeautifulSoup import urllib.request url = 'https://www.starbucks.com.cn/menu/' resp = urllib.request. 阅读全文
posted @ 2024-07-13 11:38
donghongchao
阅读(18)
评论(0)
推荐(0)
浙公网安备 33010602011771号