随笔分类 -  爬虫

摘要:方法1 安装PySocks sudo pip3 install PySocks -i https://pypi.tuna.tsinghua.edu.cn/simple 使用代理 import socket import socks import requests socks.set_default_ 阅读全文
posted @ 2020-03-05 18:08 KainHuck 阅读(10978) 评论(0) 推荐(0)
摘要:常用的类库为 lxml , BeautifulSoup , re (正则) 以获取豆瓣电影正在热映的电影名为例,url='https://movie.douban.com/cinema/nowplaying/beijing/' 网页分析 部分网页源码 分析可知我们要的电影名称信息在li标签的data 阅读全文
posted @ 2018-12-09 11:02 KainHuck 阅读(8268) 评论(0) 推荐(0)
摘要:Python爬虫的简单入门(一) 简介 这一系列教学是基于Python的爬虫教学在此之前请确保你的电脑已经成功安装了Python(本教程使用的是Python3).爬虫想要学的精通是有点难度的,尤其是遇到反爬,多线程,分布式.我的博客适用于对Python爬虫的入门.会讲一些静态动态网页的爬取,及一些简 阅读全文
posted @ 2018-12-02 16:40 KainHuck 阅读(460) 评论(0) 推荐(0)