随笔分类 -  爬虫

摘要:一 安装 1.windows: 1.先安装wheel 让pip支持本地安装 .whl 文件 2. https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 选择符合电脑上已安装python版本的电脑字长一致的twisted版本下载 命令 pip inst 阅读全文
posted @ 2019-04-21 17:34 甜麦地 阅读(157) 评论(0) 推荐(0)
摘要:不登录下获取数据 1 # coding=utf-8 2 """ 3 用类封装爬虫任务, 4 目的,获取豆瓣某地区安热度排列的全部电影 5 思路: 6 chorme分析目标url, 7 构建url 8 发请求获取数据 9 保存数据 10 循环上三步直到最后一页 11 注意:目前代码中的url地址已经失 阅读全文
posted @ 2019-04-05 09:33 甜麦地 阅读(637) 评论(0) 推荐(0)
摘要:Requests Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库,其在Python内置模块的基础上进行了高度的封装,从而使得Pythoner进行网络请求时,变得美好了许多,使用Requests可以轻而易举的完成浏览器可有的任何操作。 功能特性 阅读全文
posted @ 2019-03-30 09:05 甜麦地 阅读(206) 评论(0) 推荐(0)