摘要: 首先来看题目 先不鸟提示,进去页面逛逛,F12一下,看到如下内容 回头来看提示,robots.txt是网页用来告知爬虫允许和禁止访问文件的君子协议,由题我们决定先打开/robots.txt查看一下爬虫被禁止访问哪些文件,其中说不定会有线索 如果对robots.txt还不了解的可以看看这里 在网站地址 阅读全文
posted @ 2024-10-19 12:19 饺子龙 阅读(104) 评论(0) 推荐(0)