随笔分类 -  python爬虫

爬虫----爬取答案
摘要：import requests url = "https://www.baidu.com/s" headers = { "User-Agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36" } data = { ... 阅读全文
posted @ 2019-04-12 19:49 小名的同学 阅读(978) 评论(0) 推荐(0)
爬虫----模拟用户登录gitHub
摘要：利用 requests.session，自动保存cookie 阅读全文
posted @ 2019-03-31 22:38 小名的同学 阅读(526) 评论(2) 推荐(0)
爬虫----beautifulsoup的简单使用
摘要：beautifulSoup使用： 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器 阅读全文
posted @ 2019-03-31 16:58 小名的同学 阅读(472) 评论(0) 推荐(0)
爬虫----基础
摘要：request模块： 更多文档：http://cn.python-requests.org/zh_CN/latest/ 安装 使用 GET请求： 如果想请求JSON文件，可以利用 json() 方法解析 原始响应内容 如果想获取来自服务器的原始套接字响应，可以取得 r.raw 。 不过需要在初始请求 阅读全文
posted @ 2019-03-31 14:32 小名的同学 阅读(167) 评论(0) 推荐(0)