AI|影刀RPA爬取某东电商平台竞品数据

一、前言

在没有影刀RPA自动化应用开发平台之前，要抓取电商平台竞品数据对非开发人员来说是比较困难的。本文将借助影刀RPA自动化应用平台，介绍如何开发一套自动爬取竞品数据的应用，该应用无需编程基础，大大降低了应用搭建的成本。

二、搭建方案

在搭建该应用之前，可以将抓取竞品数据分为三个步骤：1）登录帐号；2）在搜索框输入“竞品关键字”并进行搜索，利用元素抓取的功能爬取想要的竞品商品的价格、店名等关键字；3）将抓取的数据导出成excel。

以下是搭建方案的流程步骤图。

三、应用搭建

前置条件：如果您是第一次使用影刀RPA软件，那么你需要做好以下准备①安装好影刀RPA软件；②下载好谷歌浏览器，并安装好“影刀RPA插件”，如何安装插件见下图

 

第一步，登录帐号，该部分又分为3小步：打开页面、判断是否已登录、若未登录则登录。以下是指令图。

①打开页面：首先在“应用”栏点击“+新建”创建一个应用，然后选择“网页自动化/打开页面”，输入某东的地址。

②判断是否已登录，选择“网页自动化/数据提取/获取元素信息（web）”

③若未登录则登录，通过“IF网页包含”是否有“你好，请登录”来判断是事有帐号登录，若没有则通过“京东登录”通过帐号进行登录。说明：“京东登录”可以自动输入帐号、密码和自动解决滑动验证的问题，如果要是自动处理登录则会十分麻烦，该组件可以很好解决登录的问题。但是偶尔会有检测是否真人操作的提示（概念很小）。

第二步，爬取数据，又分为3小步：在输入框输入搜索的关键字，通过变量来设置、点击搜索框搜索数据、批量爬取数据赋到price_datas变量里。

①在输入框输入关键字，该步通过设置变量值query_item来赋值搜索的关键字段，并在输入框输入关键字

②循环爬取数据，由于本案例用于测试，真实搜索出来的商品很多，所以只循环遍历3页的数据就停止。

以下是for循环的设置，主要用于循环查询不同页面的数据时使用。

以下是批量抓取的设置

其中"数据列表"在点击“去元素库选择”弹框中选择“价格”（ctrl+鼠标左键）后，再点击“+新增一列”选择“店名”。

以下是执行“下一页面逻辑”，其中在选择元素时选择“下一页”的图标。

第三步，将数据进行导出。该步骤，通过“获取当前日期时间”、“日期时间转换文本”获取时间字符串，再通过“数据表格导出”将数据导出到excel中。以下是步骤流程

以下是“获取当前日期时间”配置

以下是“日期时间转换为文本”配置

以下是导出数据的配置

四、验证导出结果

最终会在桌面导出“蓝牙耳机_2025年05月22日20时43分.xlsx”的文件，以下是表格的内容截图。

五、总结

上述提供了某东抓取数据的思路，可以利用上述思路应用到某宝、某多的竞品数据的抓取，同时还可以利用“触发器”定时执行获取竞品数据。该步较为简单，自己可以摸索下如何实现。