【2021】在 Sipeed 做开源事业の工作总结

有些时间没有写博客了,这个优良传统不小心就忘记了,真是惭愧。

总结下来 2021 年总共涉及的技术栈主要有如下内容:

  • 收尾 maixpy k210 开源项目

  • 接手 全志 V83X / R329 和 瑞芯微 RV11XX 芯片的 Linux BSP 开发。

  • 基于 Linux 设计了 MaixPy3 Python 开源项目。

  • 接触并深入学习了 ISP 调试方法和理念。

  • 移植了各种各样摄像头、快门、深度、宽动态等

帮助 sipeed 解决的问题如下:

  • 将 MaixPy 超越并取代,效果更好,落地更实际。

  • BSP 开发部分将硬件所有硬解性能发挥出来。

  • 具备 ISP 调试经验有利于提升企业对摄像头视觉理解的专业性。

  • 适配 Linux Python 过程中,对很多场景的优化有深刻的理解,以确保 MaixPy3 的产品落地。

  • 改变了 Sipeed 对单一 K210 的路径依赖,国内开源硬件名声日渐提升,隐约有成为领头的潜质。

2022 年必定是关键的一年,以企业的开源愿景来看,能提供给用户一套成熟可用完整的视觉 AI 开发验证原型工具,这在未来是十分有想象力的,想象一下 arduino 和 树莓派的愿景,一个是电路板的原型设计,另一个单板计算机的原型设计,它们在开源硬件中的地位等同于工程师的认知入口,如果在国内能有一家全国产的开源硬件公司,提供从硬件、软件、模型一套体系完整的产品,那确实是相当有吸引力。

在赚钱之前先做人,我认为开源是非常好证明这一点的,真正的开源应该是胸怀天下,希望有更多人能够参与的,能够改变国内软件商业闭源风气的,能够将知识体系公开的,能够让整个工程师队伍壮大的这些人,他们都是中国软件历史上发展的重要角色。

我认为,星星之火可以燎原,如果我能影响更多人加入到这个开源软件事业,我想我的一生一定很有意思,所以要在有限的生命力钻研技术、分享技术,直到国家重视承认软件事业的发展重要性,这个未来的一笔,希望能有我的一份力量,望与君共勉。

现在国内 Steam 教育成功出现了雏形,补全了素质教育中缺失的科技教育环节,我认为这是极好的,如果我小时候可以很早的接触计算机,那我的成就就可以提前好些年完成,后悔没有条件更早的接触计算机背后的世界。

如今条件成熟,我们这些在一线的开发者,抽空也应该多看看我们的后继力量,要知道我们干 5 年 干 10 年都是没什么区别的,一个人的力量是有限的,如果我们能拿出一半的时间帮助另外一个人,那就会变成两份力,一个人可以产生两个人的效果,如果两个人都可以拿出一半的时间,帮助其他人,想象一下,中国技术人才怎么会稀缺呢?

事实就是如此讽刺,为了做好这件事,我想我也只是其中的一员,我能做的就是把我所学会的所掌握的公开开源分享给后来人了。

如何做?

吸取 K210 maixpy 的经验,我意识到我们国内的学生基础意外的差劲,如果没有学校的实验室加成,在我们的 maixpy ai 群有太多没有经验的人进来学习了,我认为这里还是需要 Python 这样的编程语言过度的,有意思的是 Python 成功登顶 2021 的年度最佳语言,主要受疫情的影响,对口罩、人脸识别的需求导致了开发者对 AI 的需求激增,比如 tensorflow 和 pytorch 两大必备仓库。

考虑到国内对视觉、听觉 AI 的领域还处于传统的模糊概念,所以配合 AI 训练模型的理念,我们提供的原型验证工具可以铺垫许多学生在未来从事这一行时有一个感性的认识。

等到真正接触的时候,基于这个事实也不会感到恐慌,未来会有很多芯片和工具供选择的,不一定非得是 sipeed 家 的产品。

但最初使用的硬件带来的用户体验,会让入行的同学印象深刻,培养专业的认知,知道怎样才算是做好的,这或许比填鸭式的教学文档更好。

所以在写文档的时候,我们要时刻注意,不是写给自己看的,而是写给未来许多和自己一样,第一次接触这个行业、环境、工具的专业后辈们看的,如果是这样,我想我会更用心的对待自己的知识传承。

注:要在文档开头留下作者、时间、结果、问题、报告 等信息给后来的人

要从这里学会技术、学会分享、学会合作,这就是文档要做到的效果,以此为基准。

外部如此,内部则要更加严格的测试和调优,要有适当的指标去约束自己的成果,但也要脚踏实地,不能有还没实现就开始讲怎么做更好的行为,一切从实际出发,基于失败案例做出改进,而不是上来就大谈谁谁谁怎么做怎么成功,如果有这么好的事情,那成功的为什么不是你,所以要契合实际情况。

内部需要改善的就是流程,比如交付流程、产测流程、出厂流程这些基本问题要杜绝,减少不必要的售前售后很重要的,如果我们一开始提供给客户的产品就是包含所有报告的产品,相信任何一位同学在看到这个事实的时候,都会广而告之,这才是专业。

后续我会提供哪些资料和讯息记录

2022 年 maixpy3 的典型硬件 V831 将会惊艳在座所有同行,超越 K210 时期的 MaixPy 产品,我会把它变成一个最佳视觉 AI 应用验证硬件,至少让你产生购买欲望的优秀开源产品。

K210 maixpy 的缺陷有哪些?

  • 硬件潜力有限,摄像头分辨率和输入帧率低,原始画质基本没有调优的空间。

  • 软件支持单一,能用但不完整,micropython 生态太弱了,加上我已经修不动了。

  • IDE 软件魔改 openmv ide ,缺少很多定制化功能,没有 U 盘也没有文件管理功能,能用但是残废的。

  • maixpy 内存和容量太小,一般人做不了很复杂的应用。

v831 maixpy3 解决的问题

  • 设计的 jupyter 的远端核心制作了 IDE ,解决了开箱示例和安装部署困难的问题,配合 USB 的 U 盘模式,帮助没有环境的同学或教师完成代码和资源的管理。

  • 软件选用标准 Python3.8 ,生态上直接带入标准库 和 pillow 、numpy 等常用库,并且提供了使用 OpenCV 实现的 image 库,解决性能问题。

  • 内存还有富裕的 30M ,跑个人脸识别和检测完全不是问题,最重要的是这些模型全部都开源了,和以往不同的是,也不需要机器码绑定,随便使用,只有精度不足需要定做的时候才有必要找 sipeed 或自己重新训练,但作为证明足够了。

  • 我会把 isp 的在线实时调试方法和配套工具公开,让所有人都知道怎么调优图像。

你觉得还缺少什么呢?

2021年12月19日 下次再补后续的。

近期推出了 D1 开发板,V831 也加入了 ADC 的支持。

2022年02月08日 MaixPy3 整体更新完毕,请查收 https://wiki.sipeed.com/maixpy3

posted @ 2021-12-19 22:42  Juwan  阅读(1163)  评论(17编辑  收藏  举报