学习28

今天去了趟医院 所以没有学什么
所以我就总结一下假期里参加的那个比赛的目前进度吧
因为是老师给我们拟题的车载助手
所以我们就按着老师给的题目闷头去做了 老师建议我们用大模型去开发 所以我们小组这个暑假认识了很多工具和各类常用工具吧
比如qoder trae claude Kimi deepseek git github python loongach基本使用方法 及一些前端语言
目前项目
前端界面 有主界面显示仪表盘 天气 表情识别 疲劳检测 语音助手 系统总览
系统总览是主界面 里面可以通向其他功能界面
当然主界面可以基本完成所有分界面的基本功能 但一些细碎功能比如调音色得去语音助手界面 天气定位如果错误需要自己手动调整

后端 DeepSeek AI 对话、天气代理、IP 定位、车辆数据 WebSocket 推送、疲劳/表情事件记录
关于只能语音对话这方面我选择直接接如deepseek的api 然后自己再加东西去修装饰 给他一个默认车载助手的身份 同时规定回答长度 个性化和人性化回答等
天气代理 直接接入的一个open-mentor的api 但是似乎得和定位功能协调 所以目前有一定的问题
ip定位 最开始 我采取的是让ai直接根据经纬度判断定位 然后分层如果无法定位逐级到本地硬编码的城市再到省会 最后到北京 但是有问题
后来我就直接调用了一个高德地图的api 可以定位了 但是因为没有直接连接服务器 导致只能定位部分城市而且只能定位到市级单位 导致和天气联动显示会出问题
而且因为我一直再一个地方去做这个功能 所以我也无法确认这个定位功能和天气功能是否需要修改
车辆数据推送这块就是存入车辆和车主的一些信息到后端的一些表里
表情识别这块采用里onnx依赖 然后自行采用ai辅助的情况下通过调参数 基本可以实现九种表情的实时准确识别
也有分层onnx mediapipe opencv
疲劳评分这里也沿用了onnx 但是疲劳算法过于灵敏 导致经常提示疲劳而且恢复正常状态也下不去
后来我抛弃评分触发疲劳及语音提醒疲劳的方式 采取事件触发 哈欠和闭眼及视线偏移

语音识别和回复这里

每句车载助手给的回复都会有语音播报 车载助手可以通过文字 麦克风 唤醒词去沟通
也设计了分层 先调用deepseek api然后是本地硬编码的一些固定的回答模板
识别这里因为经常会将车载助手的回复误识别为车主的指令
所以我这里做了一个语音回复的时序 在助手回复时 无法识别车主指令 只有当有语音标识时才能说命令

回复这里 我将疲劳触发的语音播报和助手回复这里用了一个统一的语音回复管道 避免多重识别和多个多重回复

然后因为我们是小组合作 也在使用一些不常用的语言和大模型 导致团队协作有困难 经常造成拆东墙补西墙的问题 有时候版本合并还会把以前的问题再带回来
导致我用的特别麻烦
然后我们大量使用ai所以技术细节和代码并没有很关注 只知道大概逻辑
还是学习了很多使用ai的方法和提示词的 及一些工程化的思维

反正目前是有一个可以稳定用的版本了 但后续得往硬件上移植或者添加其他功能 估计还会出很多问题 但大体框架和逻辑基本上没问题了

总之因为这个项目我们驾驭不了 所以大多时候我们只是一个测试的作用 测得没问题了 再让ai解释逻辑 我们再去看代码
因为这个和java学习没什么关系 所以原来一直没记录 主要也是没时间 团队协作还有个人开发到处都是烂事 而且你还没办法 我感觉我要学的东西有点多了 有点忙不过来 所以一般都先写个大体框架 ai润色一下 我再补充知识点
主要就写了java部分

明天继续学习java集合进阶 做暑假作业