摘要: 今天通过Python网络爬虫视频复习了一下以前初学的网络爬虫,了解了网络爬虫的相关规范。 案例:京东的Robots协议 https://www.jd.com/robots.txt 说明可以爬虫的范围 #注释. *代表所有 /代表根目录 robots协议 http://www.baidu.com/ro 阅读全文
posted @ 2020-02-04 22:07 雾霾王者 阅读(352) 评论(0) 推荐(0)