2022年4月27日
利用nginx来屏蔽网页爬虫
摘要： 对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。 方法一：修改nginx.conf，禁止网络爬虫的user 阅读全文
posted @ 2022-04-27 12:08 xiaobingch 阅读(4120) 评论(0) 推荐(0)