winserver中通过IIS配置筛选规则屏蔽蜘蛛、爬虫非法抓取

一、IIS7版本以上，部署筛选规则：

  1、 此功能可以拦截IIS日志对应字段中符合内容的访问请求，或只允许符合内容的来源请求访问站点。

  2、 示例如下：（标头参考二）

      

 

 

       此例中的有来源中带有“Bing Spider”内容的访问请求都将被IIS所拒绝。

 

 

二、IIS日志相应字段解释：

  1、 IIS日志字段示例：

#Software: Microsoft Internet Information Services 10.0

#Version: 1.0

#Date: 2021-10-14 00:00:00

#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status time-taken

2021-10-14 00:00:00 192.168.10.23 GET /Orders/NewsList/13087 - 80 - 122.112.219.229 Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10.6;+rv:2.0.1)+Gecko/20100101+Firefox/4.0.1 - 403 503 5 30

  其中前缀定义：

  s- 服务器操作

  c- 客户端操作

  cs- 客户端到服务器的操作

  sc- 服务器到客户端的操作

 

  2、 日志各字段含义：

序号	字段	字段含义	格式及示例	备注
1	date	日期	2021-10-14	请求发生的日期。
2	time	时间	11:33:25	请求发生的时间
3	s-sitename	服务名	W3SVC2	客户端所访问的站点的Internet服务和实例的号码。
4	s-computername	服务器名	baiinfo-web001	部署站点的服务器名称。
5	s-ip	服务器IP	192.168.10.23	生成日志的服务器IP地址。
6	cs-method	方法	GET/POST	客户端试图执行的操作。
7	cs-uri-stem	URL	/Orders/NewsList/13087	请求访问的页面
8	cs-uri-query	字符串	categoryID=187&ProductID=775	客户端正在尝试执行的查询语句。（查询请求中？后的字符串）
9	s-port	端口	8080	客户端连接的服务器端口。
10	cs-username		-	通过身份验证的用户格式“域\用户名”； 匿名用户，是一个连接字符“-”
11	c-ip	客户端IP	122.112.219.229	真实的客户端IP（中间IP已过滤）
12	cs-version	协议	HTTP/1.1	客户端使用的协议。
13	cs(User-Agent)	用户代理	Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10.6;+rv:2.0.1)+Gecko/20100101+Firefox/4.0.1	在客户端使用的浏览器。
14	cs(Cookie)	Cookie	Session=…….	发送或接收的Cookie内容（如果有）
15	cs(Referer)	引用站点	http://www.baiinfo.cn/	用户访问的前一个站点。
16	cs-host	主机	http://www.baiinfo.cn/	显示主机头的内容，域名或IP都可。
17	sc-status	返回状态	200、404	IIS的访问操作反馈状态，详情百度。
18	sc-substatus	子协议	0	HTTP的子协议状态。
19	sc-win32-status	系统状态	0	Windows系统服务状态反馈。
20	sc-bytes	发送字节	503	服务器发送到客户端的字节数。
21	cs-bytes	接受字节	5	服务器接收到的字节数。
22	time-taken	用时总长	30	发送和接收操作总用时长（毫秒）。