摘要：
重难点：使用scrapy获取的数值是unicode类型，保存到json文件时需要特别注意处理一下，具体请参考链接：https://www.cnblogs.com/sanduzxcvbnm/p/10309401.html 稍加改造也能保存到csv文件中 网址：https://sobooks.net/ 阅读全文
posted @ 2019-01-23 16:38
哈喽哈喽111111
阅读(1112)
评论(0)
推荐(0)
摘要：
注意：此方法跟之前保存成json文件的写法有少许不同之处，注意区分 情境再现： 使用scrapy抓取中文网页，得到的数据类型是unicode，在控制台输出的话也是显示unicode,如下所示 {'author': u'\u51af\u53cb\u5170\u7b49', 'classificatio 阅读全文
posted @ 2019-01-23 15:47
哈喽哈喽111111
阅读(1118)
评论(0)
推荐(0)
摘要：
一般我们运行爬虫程序都是使用命令行，比如：scrapy crwal sobook。不过这多少有些不方便，可以使用下面的方法使用IDE的方式运行爬虫 我这边使用的是pycharm软件，在pycharm里运行这个文件就相当于使用命令行运行爬虫了。 阅读全文
posted @ 2019-01-23 10:06
哈喽哈喽111111
阅读(1214)
评论(0)
推荐(0)
浙公网安备 33010602011771号