摘要:
阅读全文
posted @ 2019-05-23 23:25
殇之弑梦
阅读(122)
评论(0)
推荐(0)
摘要:
不能犯法: 一定要遵循Robots协议: Robots协议(爬虫协议)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。该协议是国际互联网界通行的道德规范,虽然没有写入法律,但是每一个爬虫都应该 阅读全文
posted @ 2019-05-23 17:59
殇之弑梦
阅读(1189)
评论(0)
推荐(0)

浙公网安备 33010602011771号