2018 年 11月 29 日随笔档案 - yorkmass

摘要：依靠scrapy提供的相关参数进行优化 setting.py文件选项说明 CONCURRENT_REQUESTS Downl... 阅读全文

posted @ 2018-11-29 02:40 yorkmass 阅读(303) 评论(0) 推荐(0)

摘要：功能描述*技术路线：scrapy*目标：获取上交所和深交所所有的股票的名称和交易信息*输出：保存到文件中数据网站的确定，和之前博客相同：https://blog.csdn.net/qq_36949176/article/details/84487150... 阅读全文

posted @ 2018-11-29 02:33 yorkmass 阅读(632) 评论(1) 推荐(0)

摘要：步骤1：创建一个工程和Spider模板步骤2：编写Spider步骤3：编写Item Pipeline步骤4：优化配置策略Scrapy爬虫的数据类型Request类class scrapy.http.Request()*Request对象表示一个HTTP... 阅读全文

posted @ 2018-11-29 01:12 yorkmass 阅读(219) 评论(0) 推荐(0)

摘要：演示HTML地址演示HTML页面地址：https://python123.io/ws/demo.html文件名称：demo.html产生步骤步骤1：建立一个Scrapy爬虫工程生成工程目录代码（CMD）： scrapy startproject pyt... 阅读全文

posted @ 2018-11-29 00:50 yorkmass 阅读(812) 评论(0) 推荐(0)

yorkmass