图像识别:微信跳一跳机器人

更新

  GitHub 仓库已删除。

准备

  IDE:VisualStudio

  Language:C# / VB.NET

  GitHub:AutoJump.NET

  本文将向你介绍一种通过图像识别实现“跳一跳”机器人的方法。 

第一节 图像识别

  文中提到的方法和步骤只涉及简单的向量计算。

  需要用到哪些计算?

  比较像素点的颜色

  求向量集合的中心

  计算颜色的相似度

  一个 RGB 颜色可以看作一个三维向量

  比较两个颜色的相似度可以计算它们的欧几里得距离

  也可以直接比较它们的夹角:夹角越小,两个颜色越相似,反之亦然

  求平面向量集合的中心位置

  首先,将集合中所有的向量相加得到向量 S

  再将向量 除以集合元素的个数,结果即为它们的中心

图1-1 识别效果预览

第二节 识别落点

  找出盒子落点的前提是发掘每个盒子都具有的共同特征。

  盒子特征

  目标落点有两种类型,菱形或圆形的盒子

  只有部分盒子的顶面颜色是大面积的纯色

  盒子下方的地面背景是纯色,但随着游戏进行颜色会发生变化

  顶点特征

  顶点的上侧为背景色

  顶点的左侧(可能不适用于圆形)、右侧(可能不适用于圆形)均为背景色

  识别方法

  从上向下逐行扫描像素找出盒子的顶点 A

  继续向下找出与 颜色相似的所有像素点集合 C

  求出 像素集合的中心点,即为落点

图2-1 盒子落点识别

第三节 识别角色

  角色的颜色相对特殊,很容易从游戏图像中区分出来。

  人物特征

  角色呈国际象棋棋子状

  角色整体颜色较为一致,部分区域有高光

  顶点特征

  角色的顶点颜色较深,易于区分

  识别方法

  从上向下逐行扫描像素找出角色的顶点 A

  继续向下找出与 颜色相似的所有像素点集合 C

  求出 像素集合的中心点,并向下偏移固定数值

  中心点偏移后的像素 的位置即为角色的底部

图3-1 角色底部识别

第四节 识别干扰

  通常,简单的方法只适应于绝大部分情况,特定情形时仍会出错。

  哪些情况会导致识别错误

  盒子顶部的颜色不一致时

  角色顶部的位置高于目标盒子时

  角色站立的盒子和目标盒子的顶部颜色一致时

  其他干扰因素的解决方案

  加分提示的动画:延时解决

  击中中心的动画:延时解决

  音乐盒的乐符动画:不要在音乐盒上停留:)

图4-1 魔方(正确)

图4-2 商店(偏离中心)

图4-3 音乐盒 (偏离中心)

第五节 实测数值

  程序的部分参数需要通过实际测试得出。

  识别区域

  仅屏幕中间的三分之一区域需要进行图像识别

  触压时间

  触压屏幕的毫秒数正好是角色与落点距离数值的两倍

  距离为 500 个像素点,那么就需要持续按下 1000 毫秒

  该比例适用于 1280*720 分辨率的设备,不同设备可能需要适当调节

  如何计算其他设备分辨率的比例

  计算公式:比例 = 2560 / 设备屏幕高度

  例如 1980*1080 分辨率的设备,比例为 2560 / 1980 = 1.29

  

 

图5-1 识别区域(阴影部分)

附录

  GitHub:AutoJump.NET 

  参考文章:.NET开发一个微信跳一跳辅助程序

  参考书籍:《数学之美》[美] 吴军 著 人民邮电出版社

posted @ 2018-01-01 22:40  ExperDot  阅读(10558)  评论(35编辑  收藏  举报