PetalBot是什么

　　PetalBot是Petal搜索引擎的自动程序。PetalBot的功能是访问PC网站和移动网站，并建立索引数据库，使用户可以在Petal搜索引擎中搜索您网站的内容。您可以通过分析“用户代理”字段来识别Petal中的爬网。

　　PetalBot的用户代理是什么

 

产品名称	用户代理	完整的用户代理
PetalBot（PC）	PetalBot	Mozilla / 5.0 （兼容； PetalBot； + https：//aspiegel.com/petalbot）
PetalBot（移动）	PetalBot	Mozilla / 5.0（Linux； Android 7.0；） AppleWebKit / 537.36（KHTML，例如 Gecko）移动Safari / 537.36 （兼容； PetalBot； + https：//aspiegel.com/petalbot）

　　如何阻止PetalBot访问您的站点

PetalBot符合Internet机器人协议。您可以使用robots.txt文件完全阻止PetalBot访问您的网站，或阻止PetalBot访问您网站上的某些文件。

注意：禁止PetalBot访问您的站点将使您站点上的页面以及Petal提供的所有搜索引擎服务在Petal搜索引擎中无法搜索。

机器人设置建议

您可以根据每种产品的不同用户代理设置不同的爬网规则，并且可以直接阻止PetalBot的爬网。以下机器人可以防止花瓣爬行或有条件允许：

User-agent: PetalBot
Disallow: /

　　或

User-agent: PetalBot
Allow: /w/api/
Disallow: /trap/

　　参考文章https://aspiegel.com/en/petalbot/

 

参考IP段 114.119.128.0 ～ 114.119.167.255