摘要: 1.创建一个爬虫项目:scrapy startproject mySpider 2.创建一个爬虫脚本:scrapy genspider itcast itcast.cn 3.如图:在spiders文件夹中刚刚创建好的有itcast.py文件 其中: extracr()方法提取响应中的文字,extra 阅读全文
posted @ 2020-02-10 20:05 BGM带闪电 阅读(175) 评论(0) 推荐(0)
摘要: 下午想要安装 scrapy框架时报错,如图: 网上查了一下:因为网络差导致安装超时,所以用安装时指定源的方法可以解决: pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple 红色的字体表示要安装的模块 阅读全文
posted @ 2020-02-10 16:42 BGM带闪电 阅读(1994) 评论(0) 推荐(0)
摘要: 早上写爬虫脚本的时候,到保存html格式的时候,报OSError: [Errno 22] Invalid argument错误,后来百度上查了,发现原来是打开的文件名中含有一些系统的敏感字符,结果就报错了。 然后在把代码改成 translate方法: 这里用到了两个字符串的方法,第一个是maketr 阅读全文
posted @ 2020-01-20 10:00 BGM带闪电 阅读(640) 评论(0) 推荐(0)