2019年12月18日
scrapy的使用-Request
摘要： Request对象在我们写爬虫，爬取一页的数据需要重新发送一个请求的时候调用。这个类需要传递一些参数。其中比较常用的参数有： 1.url 请求的url对象 2.callback 在下载器下载完相应的数据后执行的回调函数 3.method 请求的方式，默认为GET方法，可以设置为其他方法 4.meta 阅读全文
posted @ 2019-12-18 22:00 King~~~ 阅读(871) 评论(0) 推荐(1)
scrapy的使用-scrapy shell
摘要： 进入 该目录下执行scrapy shell 文件， 在命令行可执行该文件中链接的xpath语法，和BeautifulSoup语法。 阅读全文
posted @ 2019-12-18 20:29 King~~~ 阅读(350) 评论(0) 推荐(0)