2022年7月30日
如何在 MAC 电脑上查找 IP 地址
摘要： 如何在 MAC 电脑上查找 IP 地址 我们如何在 MAC 电脑上查询自己的 IP 地址，以及查找 IP 地址的归属地呢？ 下面是一些详细的步骤。 Mac 查找自己的 IP 地址 我们在 Mac 系统桌面上，点击系统偏好设置 进入系统偏好之后，我们选择网络 在网络界面我们选择以太网，您的 IP 地址会显示在右侧，如下图所示： 通过终端查找 阅读全文
posted @ 2022-07-30 17:47 爬虫程序大魔王 阅读(1076) 评论(0) 推荐(0)
如何识别假爬虫？
摘要： 如何识别假爬虫？ 我们在检查网站日志的时候，经常会遇到各种各样的爬虫。有的是正常的爬虫，例如：搜索引擎爬虫（百度搜索引擎爬虫、Google 搜索引擎爬虫，Bing 搜索引擎爬虫、YandexBot 等），还有一些各种功能的爬虫，可以在这里查看：list crawlers。 但是，互联网上并不是所有的爬虫都是有益的，有 阅读全文
posted @ 2022-07-30 17:19 爬虫程序大魔王 阅读(169) 评论(0) 推荐(0)
2022年7月27日
爬虫数据是如何收集和整理的？
摘要： 爬虫数据是如何收集和整理的？ 有用户一直好奇爬虫识别网站上的爬虫数据是如何整理的，今天就更大家来揭秘爬虫数据是如何收集整理的。 通过查询 IP 地址来获得 rDNS 方式 我们可以通过爬虫的 IP 地址来反向查询 rDNS，例如：我们通过反向 DNS 查找工具查找此 IP: 116.179.32.160 ,rDNS 为：baid 阅读全文
posted @ 2022-07-27 16:26 爬虫程序大魔王 阅读(342) 评论(0) 推荐(0)
2022年7月14日
水墨云怎么样？
摘要： 水墨云怎么样？ 今天看到水墨云这个云服务厂商，才开始是做 CDN 的，之后开始做 vps 业务。 我登陆官方网站，查看了它家的产品大部分是年付，且不支持退款，于是我打消了每一台服务器测试的念头，这篇文章只能从它公开的测试 IP 入手看看水墨云这家的 vps 怎么样。 但是我发工单希望给几个测试 IP 地址，工单回复 阅读全文
posted @ 2022-07-14 16:32 爬虫程序大魔王 阅读(61) 评论(0) 推荐(0)
如何屏蔽 YandexBot
摘要： 如何屏蔽 YandexBot 我们经常会受到大量的 YandexBot 访问，我们知道 YandexBot 是 Yandex 的搜索引擎的爬虫。 大量的 YandexBot 访问，不仅给服务器造成了非常大的压力，同时也会使正常访客访问网站变慢，影响体验。 基于以上原因，我们不得不限制 YandexBot 的访问，但是需要注意的一 阅读全文
posted @ 2022-07-14 16:30 爬虫程序大魔王 阅读(405) 评论(0) 推荐(0)
yandex robots txt
摘要： yandex robots txt robots.txt 是一个包含网站索引参数的文本文件，供搜索引擎的机器人使用。 Yandex 支持具有高级功能的 Robots Exclusion 协议。 当抓取一个网站时，Yandex 机器人会加载 robots.txt 文件。如果对该文件的最新请求显示某个网站页面或部分被禁止，机器人就不会索引 阅读全文
posted @ 2022-07-14 16:27 爬虫程序大魔王 阅读(690) 评论(0) 推荐(0)
block yandex bot
摘要： block yandex bot yandex bot 是 Yandex 搜索引擎的爬虫。在 yandex bot user agent 这篇文章中，我总结了所有 yandexbot 的 User-agent，通过那篇文章，我们可以看出有些 Yandexbot 遵守 robots.txt 协议 ，有些不遵守 robots.txt 协 阅读全文
posted @ 2022-07-14 16:22 爬虫程序大魔王 阅读(160) 评论(0) 推荐(0)
yandex bot user agent
摘要： yandex bot user agent 爬虫识别网站收集和整理了 yandexbot 所有的 user-agent，方便大家识别 yandexbot。 yandexbot user-agent 列表 Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.co 阅读全文
posted @ 2022-07-14 16:21 爬虫程序大魔王 阅读(598) 评论(0) 推荐(0)
yandexbot ip 地址段
摘要： yandexbot ip 地址段 YandexBot 是 Yandex 的搜索引擎的爬虫。Yandex 是一家俄罗斯互联网公司，在俄罗斯经营最大的搜索引擎，在该国拥有约 60% 的市场份额。截至 2012 年 4 月，Yandex 排名全球第五大搜索引擎，每天有超过1.5 亿次搜索，访客超过 2550 万。 经常有网友问我如何屏蔽 阅读全文
posted @ 2022-07-14 16:19 爬虫程序大魔王 阅读(384) 评论(0) 推荐(0)
rogerbot 爬虫介绍
摘要： rogerbot 爬虫介绍 Rogerbot 是 Moz Pro Campaign 网站审核的 Moz 爬虫。它与 Dotbot 不同，Dotbot 是为链接索引提供支持的网络爬虫。Rogerbot 访问您网站的代码以将报告发送回您的 Moz Pro Campaign。这可以帮助您了解您的网站并教您如何解决可能影响您的排名的问 阅读全文
posted @ 2022-07-14 16:08 爬虫程序大魔王 阅读(31) 评论(0) 推荐(0)