MYPYNOTE - 博客园

摘要：今天看《python爬虫开发与项目实践》的17章写代码的时候发现，一个方法的结尾带了红色波浪线：阅读全文

posted @ 2018-08-03 18:17 MYPYNOTE 阅读(145) 评论(0) 推荐(0)

摘要：前面写了学习CrawlSpider遇到的问题后，今天学XMLFeedSpider又出现了启动后没爬取到数据，但又不报错的情况经过排查，发现又是一个粗心大意的错误： <entry> <id>http://www.cnblogs.com/qiyeboy/p/9296038.html</id> <tit 阅读全文

posted @ 2018-07-28 18:13 MYPYNOTE 阅读(268) 评论(0) 推荐(0)

【Spider】使用CrawlSpider进行爬虫时，无法爬取数据，运行后很快结束，但没有报错

摘要：在学习《python爬虫开发与项目实践》的时候有一个关于CrawlSpider的例子，当我在运行时发现，没有爬取到任何数据，以下是我敲的源代码：import scrapyfrom UseScrapyProject.items import UsescrapyprojectItemfrom scrap 阅读全文

posted @ 2018-07-25 17:10 MYPYNOTE 阅读(1103) 评论(0) 推荐(0)

【Spider】使用命令行启动时，能正常抓取，但是在pycharm直接运行不能保存数据

摘要：通过cmd 运行命令scrapy crawl 【爬虫名称】可以正常运行，并把数据保存到json文件和下载爬取的图片但是在项目的spiders目录下的 firstTestSpider.py文件里添加：阅读全文

posted @ 2018-07-25 13:42 MYPYNOTE 阅读(623) 评论(0) 推荐(0)

【Scrapy】关于使用Scrapy框架爬虫遇到的问题1

摘要：问题：KeyError: 'Spider not found: testSpider.py' 原因：找不到爬虫解决：scrapy crawl testLogs（这里使用的不是项目名称，而且爬虫代码中设置的name属性）成功爬取的内容显示为Unicode编码问题：在pycharm导入items模块阅读全文

posted @ 2018-07-23 16:59 MYPYNOTE 阅读(423) 评论(0) 推荐(0)

【未分类】其他问题

摘要：有些问题由于不知道怎么分类，所以都记录在这里：问题：ImportError: No module named win32api 原因：没有这个模块解决：安装对应版本的pywin32 其实基本上凡是遇到ImportError: No module XXX的问题一般都是模块没有安装，可以直接pip 阅读全文

posted @ 2018-07-23 16:55 MYPYNOTE 阅读(85) 评论(0) 推荐(0)

【pycharm】使用过程的相关问题

摘要：背景：安装scrapy后在cmd里可以正常import scrapy模块，但是在pycharm里不可以（python2.7）问题：cmd中能正常导入模块，在pycharm报错原因：pycharm里面的python环境没有找到scrapy模块，在电脑中搜索过，scrapy模块确实安装到python 阅读全文

posted @ 2018-07-23 16:50 MYPYNOTE 阅读(158) 评论(0) 推荐(0)

【存储】关于文件存储/操作中遇到的问题1

摘要：问题：IOError: [Errno 22] invalid mode ('ab') or filename: u'\u897f\u5b892018-07-12 12:44:46.html' 原因：文件名有空格，有冒号解决：把空格和冒号去掉（可以替换成-或者其他合法的文件命名）问题：ValueE 阅读全文

posted @ 2018-07-23 16:39 MYPYNOTE 阅读(186) 评论(0) 推荐(0)

【selenium+python】关于使用selenium时的几个问题1

摘要：问题：selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromi 阅读全文

posted @ 2018-07-23 16:35 MYPYNOTE 阅读(268) 评论(0) 推荐(0)

【关于编码】关于遇到的编码类问题记录1

摘要：小白初学python，想借着博客记录所遇到过的问题，希望大神多多指教！问题：SyntaxError: Non-ASCII character '\xe7' in file 原因：编码问题，代码中带有中文解决：使用python2时在开头添加#coding=utf-8 爬虫过程中，把爬回来的数据存成阅读全文

posted @ 2018-07-23 16:31 MYPYNOTE 阅读(215) 评论(0) 推荐(0)

导航

2018年8月3日

2018年7月28日

2018年7月25日

2018年7月23日