2020年2月4日
爬虫笔记2-社会问题思考以及简单的网站和图片爬取
摘要： 一.准守网络爬虫的限制，合理爬取 无robots.TXT允许所有爬虫无限制爬取 二.京东页面爬取实例 爬取一个京东商品，常规的最简单的操作即可实现。 三.亚马逊实例 直接爬取是不可以的，因为有保护，把User_Agent字段换成一个基本上通用的，mozilla/5.0可以认为是火狐，谷歌和ie10。 阅读全文
posted @ 2020-02-04 17:57 malcolm_X 阅读(162) 评论(0) 推荐(0)