摘要: 利用国庆8天假期,从头开始学爬虫,现在分享一下自己项目过程。 技术思路: 1,使用scrapy爬去证监会反馈意见 分析网址特点,并利用scrapy shell测试选择器 加载代理服务器:IP池 模拟浏览器:user-agent 编写pipeitem,将数据写入数据库中 2,安装并配置mysql 安装 阅读全文
posted @ 2017-10-09 15:59 tc2016 阅读(352) 评论(0) 推荐(0)