查看nginx日志百度爬虫信息

个人博客,欢迎来撩 fangzengye.com

百度蜘蛛BaiduSpider抓取记录

1. 百度蜘蛛爬行的次数
cat access.log | grep Baiduspider | wc
最左面的数值显示的就是爬行次数。
2. 百度蜘蛛的详细记录(Ctrl C可以终止)
cat access.log | grep Baiduspider
1. 谷歌蜘蛛爬行的次数

cat access.log | grep Googlebot| wc

最左面的数值显示的就是爬行次数。

2. 谷歌蜘蛛的详细记录(Ctrl C可以终止)

cat access.log | grep Googlebot

refers