王琳杰 - 博客园

2018年7月1日

摘要： l 取出用户名阅读全文

posted @ 2018-07-01 02:54 王琳杰阅读(267) 评论(0) 推荐(0)

使用Beautiful Soup爬取知乎发现【方法选择器find_all】【CSS选择器，select】

摘要：使用Beautiful Soup Beautiful Soup在解析时实际上依赖解析器，它除了支持Python标准库中的HTML解析器外，还支持一些第三方解析器（比如lxml）。解析器使用方法优势劣势 Python标准库 BeautifulSoup(markup, "html.parser" 阅读全文

posted @ 2018-07-01 02:00 王琳杰阅读(1273) 评论(0) 推荐(0)

2018年6月30日

MySQL存储

摘要：安装好了MySQL数据库并保证它能正常运行，而且需要安装好PyMySQL库。连接数据库这里，首先尝试连接一下数据库。假设当前的MySQL运行在本地，用户名为root，密码为123456，运行端口为3306。这里利用PyMySQL先连接MySQL，然后创建一个新的数据库，名字叫作spiders，代阅读全文

posted @ 2018-06-30 22:56 王琳杰阅读(954) 评论(0) 推荐(0)

XPath的使用[爬取知乎发现]文件存储[txt，json，csv，mongodb]

摘要：使用XPath 保存为TXT 保存为csv 读取csv Excel打开乱码参考：excel打开csv文件显示乱码的处理方法_百度经验保存到MongoDB 稍微改动抛出异常 raise DuplicateKeyError(error.get("errmsg"), 11000, error) pym 阅读全文

posted @ 2018-06-30 20:35 王琳杰阅读(1346) 评论(0) 推荐(0)

scrapy发送POST请求

摘要：发送post请求可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里的阅读全文

posted @ 2018-06-30 11:49 王琳杰阅读(323) 评论(0) 推荐(0)

爬取IT之家业界新闻

摘要：爬取站点 https://it.ithome.com/ityejie/ ，进入详情页提取内容。阅读全文

posted @ 2018-06-30 10:41 王琳杰阅读(327) 评论(0) 推荐(0)

爬取IT之家新闻

摘要：爬取站点 https://it.ithome.com/ityejie/ ，进入详情页提取内容。阅读全文

posted @ 2018-06-30 02:19 王琳杰阅读(401) 评论(0) 推荐(0)

2018年6月29日

Redis-Scrapy的example

摘要：源码自带项目说明：使用scrapy-redis的example来修改先从github上拿到scrapy-redis的示例，然后将里面的example-project目录移到指定的地址：我们clone到的 scrapy-redis 源码中有自带一个example-project项目，这个项目包含阅读全文

posted @ 2018-06-29 00:58 王琳杰阅读(292) 评论(0) 推荐(0)

2018年6月28日

爬取中华网科技新闻

摘要：爬取 http://tech.china.com/articles/ 抓取新闻列表中所有分页的新闻详情，包括标题、正文、时间、来源等信息。创建项目scrapy startproject China scrapy genspider -t crawl chinatech items.py china 阅读全文

posted @ 2018-06-28 21:35 王琳杰阅读(378) 评论(0) 推荐(0)

爬取斗鱼图片

摘要：创建项目scrapy startproject douyu 编写items.py 创建基础类的爬虫 scrapy genspider douyutupian capi.douyucdn.cn 手机抓包得到API接口，返回JSON格式数据 douyutupian.py 管道文件pipelines.py 阅读全文

posted @ 2018-06-28 19:42 王琳杰阅读(537) 评论(0) 推荐(0)

一蓑烟雨

公告