乐云具身活动体验
Day -1
很早就看到这个活动的宣传了,“具身智能”、“上手实操”、“无需经验,只需热情”的宣传其实挺心动的,但考虑到之后国庆回来可能会很忙,而且最近事情已经够多了,于是忍痛放弃。但在报名截止前一天,林学长突然又把那条宣传的推送发给了我,学长的推荐加之先前的心动,咬了咬牙还是报了名。
过了几天微信服务上突然有企业微信来加我,惊喜地发现审核通过了(活动容量50人,大概有100多人报了名吧)。zxw 也过了,于是立马和他与 ljx 组成了三人小队。
殊不知,这是噩梦的开始
Day 0
突然得知只能用 Ubuntu、Mac、Linux 中的一个系统,还不能是虚拟机(因为 usb 设备用虚拟机十分不方便),于是 zxw 连夜紧急加装了个 Ubuntu 双系统。
Day 1
国庆回来周六调休,而开幕式恰好在周天,于是收割一个早十 combo。
提早半小时到场,签到收获一件纪念服。
本来不打算装双系统(怕麻烦+怕出事),但在 zxw 的强烈建议下还是装了。一边听介绍讲座一边在 zxw 的帮助下装双系统,总算一路下来十分顺利。本以为平安地进化成双系统玩家,突然发现分别从 D、E 盘分出来的 64G 至剩下了其中一个分区(索性不影响使用,晚上找 jth 给弄回来了(原因是未挂载))。
下午,本当以为会开始上干货满满的课时,主讲概括性地飞快水了几嘴就让我们跟着乐云具身官网里的教程学了。这才知道所谓的全程技术支持是自学情境下的帮助。
只能硬着头皮开干。
刚从 Windows 切到 Ubuntu,再加上好久没用了,一切都好不习惯。
然后就对着教程配环境,一行一行复制粘贴命令,感觉自己离开了 Windows 像原始人一样,还有动不动的报错。除了干瞪眼,问老师,问 deepseek 老师,我能做的只有复制粘贴,感觉好蠢。到了连接相机这一步,所有人都连不上,最后在老师的指导下我才意识到,从 Windows 切过来以后还没配过 pytorch 环境。
那天下午最激动的就是连上相机的那一刻,我们终于可以开始标定机械臂了。
这时候我们才意识到,只有我们这一组全是巴院大一,别的组几乎都是电院 or 机动的研究生,而他们早就标定完开始采集数据了。
标定一直失败,报错看得头昏脑胀,指导老师也走了,心情非常糟糕,未果,收工。
Day 2
原定晚上 go on,但大家都很忙,遂未果
Day 3
上午上完法语飞奔学院楼,我们马上意识到昨天输的指令里面相机与机械臂的编号我们压根没改,迅速调整后竟然主从臂可以协同了!!!谁懂,那时候真的要感动死了,初步探索,差不多弄明白了采集数据的操作流程。
上午的脑子就是好使
下午上完法语课飞奔学院楼,开始了漫长的采数据工作。我们选了貌似最简单的垒方块任务(就怕后面又出 bug 整个重来),一条夹取大概 50s,至少要 1h 多。ljx 负责操作机械臂,我负责控制电脑,中间吃完饭 zxw 换了我的班。
一切顺利,势如破竹,数据成功采完,总计 120 条,成功压缩上传,成功模型微调,现在已经在训了。
正反馈满满的一天,期待明天的结果。

Day 4
花了 25h 终于训完了模型,已是晚上 8 点左右,于是打算第二天再继续。
Day 5
真的是 happy 一天,emo 一天,不出意外总是要出意外的。
晚上速通了部分乒乓新生杯(0:2惨败加2:1险胜),飞奔去学院楼(感觉这几天每天都在比铁人三项)。按照学习手册很快的部署好了模型,然后貌似顺利地调好了测试配置(甚至在终端看到了两排小烟花),正当我们非常激动地准备测试技能时,出现了 ERROR。一条访问不到的路径,三颗破碎的心。我们一顿排查确认了是对应的 cpp 文件压根没编译。于是尝试手动编译,又发现很多依赖的库不存在,钉钉里一顿求助说是之前的部署操作理论上会把这个编译好,于是又牵扯到最开始的环境配置问题,疑似 python 版本过高导致的不兼容?
上完三节法语课的脑子就是不好使。
10:30 左右遗憾离场。
回寝摘掉发带脑袋舒服多了,也许是发带限制了我的想象。
Day 6
预言家了属于是。
上来先把 python3.10 装了,发现还是不行。再次运行了一键部署文件,发现有一个叫 python_all_dev 的东西找不到安装包。于是去查了部署程序的源码,发现因为这个问题后面一串都没执行,猛然意识到我用的是 python3,手动改成 python3_all_dev 后,果然可以了。看着终端弹出一串串的部署命令,一整开心,原来之前这么多东西没部署。
然而中间某个进度条推到 70% 左右时,又报错了。喂给 DeepSeek 一看,是返回值类型不匹配,看了源码,也一头雾水。只好问指导老师。但老师问了几个诸如 gcc 版本的问题,就再无消息。
中间甚至一度想用场地里配好环境的电脑里的环境,但拷到电脑上后任然报错。
一度绝望之际,老师回消息了,说是在相同的环境里复刻了相同的错误。并且就是 gcc 版本过高的问题!
一顿操作,终于连上机械臂了!!!
激动地按下下发技能按钮,机械臂迅速地抬升,迅速瞄向了小方块,然后……卡住了。。。
就那么卡着。。。
看了群,发现也有的组有这样的情况。
至少,我们已经做完了整个流程,已经喜出望外了。也到饭点了,先撤了,明天看看老师怎么说吧。
ps:今天 Ubuntu 开始发力了,突然显示 Windows 的 D 盘未挂载,手动挂载还报错,问了 jth,说是两个系统 ntfs 实现不同导致的,u 盘插过 Windows就可能会出现。算了,也不怎么影响使用,就这样吧。
Day 7
zxw 和 ljx 似乎都有事,于是抱着把能做的事都做了的心态,吃完早饭后独自前往学院楼,不想留遗憾。
灯是黑的,学院一楼空荡得可怕。犹豫了一会,还是联系了思政,但并没有回消息。徘徊许久,看见了科创中心门口魏老师的电话,她说保安会帮我开,但保安也不在……就这样折腾了近大半个小时,终于进去了。(可恶,进去没多久科创常驻同学就来了)
先是整理好桌面环境(尽量还原数据采集时的样子),再测了一遍我们的模型,依然如同昨天。
然后就尝试了一下官方的模型,却惊讶的发现 RynnBot VLA v3.1 似乎跟我们的表现差不多,也是寻到目标后就一卡一卡的。再试了 Pi0 v2.0,发现效果挺好的,换从臂和摄像头位置,也并不影响效果。可见似乎就是模型本身的问题。再采一次数据再训一个不现实,那么,这,也许就是最后我们离成功的距离了吧。
我又尝试了几次,发现当我手动把小方块放到大方块上时,机械臂能识别到,然后迅速复位,也就是说其实只有夹取这一步没有实现。我还用官方别的任务的模型 cosplay 了我们的模型,效果良好()
陆陆续续有别的组来,他们有的还刚开始采集数据,有的连不上机械臂,而我们,已经做了能做的一切。
这,也算是最好的结局了吧。
ps:神秘未挂载的两个盘又神秘地挂载回来了。

浙公网安备 33010602011771号