随笔分类 -  爬虫

摘要:import requests import pickle from bs4 import BeautifulSoup # 提交表单登录并获取cookie def get_cookie_from_net(): url = "https://accounts.douban.com/j/mobile/l 阅读全文
posted @ 2020-10-24 22:09 不懂就问薛定谔的猫 阅读(1478) 评论(0) 推荐(0)
摘要:爬虫添加了异常处理、编码检测、服务器错误重新连接、动态UA和使用代理IP的功能,已经具备了很强的鲁班性 这些功能满足大多数要求,一般情况下,不会用到所有的功能,具体还要看自己的需求和网站特性 并不是每次写代码都需要写这么多代码,异常处理、编码检测、服务器错误重新连接、动态UA和使用代理IP的功能你可 阅读全文
posted @ 2020-10-24 12:14 不懂就问薛定谔的猫 阅读(741) 评论(0) 推荐(0)
摘要:《python数据分析入门》书籍上的例子 import requests from bs4 import BeautifulSoup import pandas as pd # 请求数据 def get_data(): url = 'https://book.douban.com/latest' h 阅读全文
posted @ 2020-10-23 22:50 不懂就问薛定谔的猫 阅读(377) 评论(0) 推荐(0)