随笔分类 -  爬虫

摘要:scrapy框架 安装 使用 xpath 参考https://www.jianshu.com/p/85a3004b5c06 注意 1.win10 python 【scrapy crawl chouti --nolog 】 cmd 命令不执行parse函数(没有内容输出) 原因 设置settings. 阅读全文
posted @ 2019-10-07 14:22 jiuchen 阅读(125) 评论(0) 推荐(0)
摘要:内置http请求库 模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 阅读全文
posted @ 2019-08-09 10:36 jiuchen 阅读(112) 评论(0) 推荐(0)
摘要:1.发请求 2.获取内容 3.解析 4.结构化存储 阅读全文
posted @ 2019-08-08 17:13 jiuchen 阅读(131) 评论(0) 推荐(0)
摘要:请求库 urllib requests 安装 get请求 数据 selenium 1.驱动浏览器的 2.自动化测试 chromedriver https://chromedriver.chromium.org/ http://chromedriver.storage.googleapis.com/i 阅读全文
posted @ 2019-08-08 14:33 jiuchen 阅读(266) 评论(0) 推荐(0)