使用小龙虾来操作猿编程的遥控车

使用小龙虾来操作猿编程的遥控车

摘要

给孩子报的猿编程Python C1的课程，最近学到了用Python来控制组装的遥控车。
正赶上最近OpenClaw很火，很多人都用它来做很多你想不到的事情，所以我就想，是否可以用小龙虾来操作这个遥控车呢？

龙虾就位

我自己已经有一个部署好了的OpenClaw，为了省钱，购买的火山引擎Coding Plan。比较幸运的是，正赶上最近腾讯的小龙虾QClaw也上线了，我发现其不只部署很容易，而且安装技能也很简单，甚至每天腾讯都会给几百万的token让你去用。
于是给孩子部署了QClaw，决定围绕这个平台来做相关的操作。

方案研究

首先大致研究了下猿编程的遥控车，发现其目前尚未暴露出可操作的编程接口，所有的包都只能在猿编程的app里面用，拿不出来，在网上也找不到任何可用的包，能在其它IDE里用。
这个就很犯难，因为OpenClaw必须通过命令CLI的方式来操作，所以只能尝试其它简介的方法。

方案一：最直接的方案

以前部分手机都有红外模块，可以捕获比如电视和空调的红外信号，来充当万能遥控器的功能。那么最直接的方法就是让Python来模拟遥控车的遥控器操作，让其python捕获遥控器对应按钮的信号，然后再发给遥控车。然而目前的电脑不像2000年那阵的电脑，基本都没有现成的红外硬件。查了下可以在网上买那种外接的红外模块，虽然不是很贵，但实在是懒得折腾了，更主要的是买来的硬件，是否是python能调用的那种，还需要不断的去尝试。

方案二：小龙虾直接操作屏幕

于是开始尝试第二种方法，通过Python来操作GUI，让Python有能力去点击我指定屏幕上的某个按钮的能力，然后再将这个封装成SKILL，让小龙虾来依次点击相应的按钮来模拟孩子在猿编程app里写代码并且运行。
于是打开AI IDE，让AI来帮我生成能操作GUI的方法，这个过程中我了解到可以用pyautogui以及openCV。于是测试了一下，比如让其点击猿编程界面的一个按钮，发现识别误差太大，比如我测试让它去点击猿编程app左面的赛考按钮，结果它总是错误的点击到学习或者创作的按钮上。
后续也尝试了其它开源方案，比如easyocr，他可以识别屏幕上所有文字的位置，然后通过这个位置来计算出鼠标应该具体去点击屏幕的哪个位置，测试了下精准度没问题，但容易产生的问题是，按钮上的文字，可能在其它位置也出现了，这样就容易导致按钮位置识别的失败。
最主要的是通过OCR的方式，代码会异常的复杂，孩子目前还无法参与并且理解这个过程。
所以我开始尝试其它的方法，毕竟这个过程想让孩子参与进来，所以绝对不能过于复杂。

方案三：越简单越好

最终我想到了一个方案，具体是这么拆解的。

• 让孩子在猿编程里，提前写好控制遥控车的代码，在界面里输入1，车就前进，输入2，车就后退。
• 这样后续，我们只要有另外一个独立的Python代码，来往这个界面里输入1或者2就可以间接的实现了。
• 这段代码测试好之后，直接封装成龙虾的SKILL。

其实这个python控制键盘的代码，我也不会写，不过我们有AI IDE，在AI IDE里，我和孩子们可以把需求告诉AI，然后让AI来帮我们生成。
这次的方案拆解，使得这部分的控制代码异常的简单和简洁。
跟孩子一起快速的测试成功后，接下来的就是需要让小龙虾也可以这么操作，而方法就是把Python写成小龙虾的SKILL。这是一个繁琐的过程，好在，我们有AI，我和孩子们直接给AI下指令，让它把这段Python代码直接转换成小龙虾的SKILL，然后回到小龙虾那里，直接命令小龙虾安装这个技能。
到这里整体编程的工作就完成了。

最后，激活猿编程的app, 运行孩子写的代码，然后用手机打开我的飞书，它已经连接好了小龙虾，在飞书里下达指令：遥控车前进。终于，我们的遥控车得到指令开始前进了。

总结

条条大道通罗马，当一条路发现不适合我们，或者压根走不通的时候，我们就要努力的去寻找另外一条适合我们的路。
这条路上不可能由我去实现所有的一切，所以找到一条路，能让孩子们也能参与进来，用他们学到的东西参与进来，这个是最重要的。
更重要的是，在这个过程中，让他们巩固了学到的知识，并且真正了解了AI，而且认识到，AI原来可以帮我们做这么多事情。

相应的演示视频，可以在B站的这里查看：https://www.bilibili.com/video/BV1zQQUBYEyC/?spm_id_from=333.337.search-card.all.click

相关代码分享

以下是小朋友写的代码，结合目前C1的课程里他们学到的。

# 猿编程 app部分的代码
import ybc_robot
import time

m=ybc_robot.Motor("S1")

while True:
    i = input()
    if i=="1":
        m.run(10)
        time.sleep(1)
        m.run(0)
        print("Forward")
    else:
        m.run(-10)
        time.sleep(1)
        m.run(0)
        print("Backard")

以下是给小龙虾安装的SKILL。现在AI里生成Python代码，测试成功后，再让AI封装成如下的SKILL。

---
name: "remote-car-control"
description: "Controls a remote car using keyboard inputs. Invoke when user wants to control a remote car with前进 (forward) and 后退 (backward) commands."
---

# 遥控车控制技能

## 功能描述

此技能用于控制遥控车，通过模拟键盘输入来实现前进和后退操作。

## 实现原理

- **前进**：模拟键盘输入 `1` 然后按回车键
- **后退**：模拟键盘输入 `2` 然后按回车键

## 使用方法

当用户需要控制遥控车时，可以使用以下命令：

- `控制遥控车前进`：调用 `press_1_and_enter()` 方法
- `控制遥控车后退`：调用 `press_2_and_enter()` 方法

## 代码实现

```python
import pyautogui
import time

def press_1_and_enter():
    """
    模拟键盘输入 1 然后回车（用于控制遥控车前进）
    """
    print("🔍 正在模拟输入 1 并回车...")
    # 小延迟确保操作可靠
    time.sleep(0.5)
    # 输入数字 1
    pyautogui.press('1')
    print("✅ 已输入: 1")
    # 小延迟
    time.sleep(0.2)
    # 按回车键
    pyautogui.press('enter')
    print("✅ 已按回车键")
    # 小延迟
    time.sleep(0.5)
    print("✅ 操作完成: 输入 1 并回车")

def press_2_and_enter():
    """
    模拟键盘输入 2 然后回车（用于控制遥控车后退）
    """
    print("🔍 正在模拟输入 2 并回车...")
    # 小延迟确保操作可靠
    time.sleep(0.5)
    # 输入数字 2
    pyautogui.press('2')
    print("✅ 已输入: 2")
    # 小延迟
    time.sleep(0.2)
    # 按回车键
    pyautogui.press('enter')
    print("✅ 已按回车键")
    # 小延迟
    time.sleep(0.5)
    print("✅ 操作完成: 输入 2 并回车")
```

## 依赖项

- `pyautogui`：用于模拟键盘输入
- `time`：用于添加适当的延迟

## 安装依赖

```bash
pip install pyautogui
```

## 注意事项

1. 确保在运行此技能时，焦点在正确的应用程序窗口上
2. 操作之间添加了适当的延迟，以确保命令能够正确执行
3. 此技能通过模拟键盘输入来控制遥控车，具体效果取决于遥控车的控制软件如何响应这些输入