摘要： python爬虫主要思路： 1.选取目标网页：获得链接，观察源代码构成。 2.用request库的get方法取得源代码。其中header参数用于伪装正常浏览器发送请求，proxies用于设置访问代理，url为目标网站 3.获取text后用BS对象查找相应内容标签，要注意利用id，class名的特殊性 阅读全文