摘要: https://docs.scrapy.org/en/latest/topics/commands.html (官方文档) 1.scrapy startproject hello 此时会生成一个hello工程,同时生成一个srapy.cfg配置文件和一个同名文件夹 2.srapy genspider 阅读全文
posted @ 2020-11-15 17:30 tingshu 阅读(72) 评论(0) 推荐(0)
摘要: 1.工具安装 window环境安装 (twisted地址)https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted anaconda环境安装scrapy:(首推该方法) 命令行输入conda install scrapy即可 linux环境安装 输入以下 阅读全文
posted @ 2020-11-15 11:45 tingshu 阅读(71) 评论(0) 推荐(0)
摘要: 强大灵活的网页解析库,如熟悉JQuery语法,PyQuery就是最佳选择 安装 pip install pyquery 初始化 基本CSS选择器 查找元素 遍历 获取信息 DOM操作 阅读全文
posted @ 2020-11-08 21:37 tingshu 阅读(99) 评论(0) 推荐(0)
摘要: 灵活,方便的网页解析库,处理高效 安装: pip install beautifulsoup4 用法: 所谓python标准库,即不需要安装额外插件即可使用 基本使用 标签选择器 这种选择方式,它只返回第一个匹配到的内容 children方法返回一个迭代器,需用for循环来来获取元素,内容同cont 阅读全文
posted @ 2020-11-08 20:50 tingshu 阅读(202) 评论(0) 推荐(0)
摘要: 正则表达式,即对字符串进行操作的一种逻辑公式 阅读全文
posted @ 2020-11-08 16:57 tingshu 阅读(109) 评论(0) 推荐(0)
摘要: 什么是Requests? Requests是基于urllib,python实现的简单易用的HTTP库。建议用该方法而不是urllib 安装requests pip install requests 基本用法 各种请求方式 GET请求 带参数GET请求 1. 2. 解析json response.js 阅读全文
posted @ 2020-11-08 16:53 tingshu 阅读(104) 评论(0) 推荐(0)