Convai插件使用解析 - 教程

Convai

介绍

• 能够定制AI NPC

• 集成了中英文的STT和TTS，并且能识别中文文本输入

• 可以对语音或文字命令，做出相应的动作

• 可以实现NPC和NPC之间的对话

控制台AI部署

1. 角色安装入口：Create Character

   1. 

2. 角色描述

   1. 

   2. CharacterName：角色名

3. 知识库

   1. 

4. 个性配置

   1. 

5. 核心AI模型配备

   1. 

组件

官方核心组件（不建议修改）

1. ConvaiNPC：赋予游戏对象与 Convai API 进行交互的能力。

   1. ConvaiNPCAudioManager：语音管理器：控制NPC说话

   2. ConvaiPlayerInteractionManager：玩家交互管理器，管理玩家说话和文本输入

2. ConvaiGroupNPCController：这个类负责处理与团队中NPC之间的对话任务

3. ConvaiLipSync：语音嘴唇、牙齿、舌头（前两个是表情动画，后一个即能够是表情动画也可能是骨骼动画）钳口（只能是骨骼动画）

   1. ConvaiVisemesLipSync：音素嘴唇同步组件：解析音素匹配嘴唇动画

4. ConvaiHeadTracking：这个类为一个对象（如角色）供应了头部追踪功能，并且需要Animator组件附加到同一个游戏对象上。

5. ConvaiGRPCAPI：单例组件，管理Convai服务器和插件之间的所有通信

   1. ProcessUserQuery：玩家查询进程，处理玩家的对话信息，返回玩家语音的文本信息，也就是STT，从服务器返回

   2. ProcessCharacterEmotion：NPC的表情返回进程(只存储了表情信息，没有做表现)

   3. ProcessBtResponse：处理NPC的叙事进程

   4. ProcessActionResponse：处理NPC的行为进程

   5. ProcessAudioResponse：返回NPC的语音进程，处理NPC的语音数据、音素数据、blendShape数据

6. UISaveLoadSystem：UI设置存储系统

7. IChatUI：聊天UI接口

   1. ActivateUI：激活UI

   2. DeactivateUI：取消激活UI

   3. SendCharacterText：展示NPC对话信息

   4. SendPlayerText：展示玩家对话信息

8. ConvaiInteractablesData：管理AI NPC和可交互的物品对象

9. ActionConfig：命令动作系统配置

   1. Objects：管理动作命令的物品

   2. Characters：管理动作命令的NPC角色

可自定义修改的组件

1. ConvaiInputManager：输入管理器，统一管理玩家的硬件输入

   1. 一般只需管理语音和文本输入监听即可

2. ConvaiChatUIHandler：管理加载聊天对话UI，分三类：聊天、问答、字幕（行在设置面板中修改），该是内置到ConvaiGRPCAPI里的，

   1. SendCharacterText：展示NPC的对话文本

   2. SendPlayerText：展示玩家的文本

   3. SetUIType：这是UI类型

   4. GetCurrentUI：获取当前UI

3. IChatUI的实现类：ChatBoxUI、QuestionAnswerUI、SubtitleChatUI

4. ConvaiActionsHandler：语音命令行为处理，

   1. actionResponseList：存储ConvaiGRPCAPI返回的回复指令信息

   2. actionMethods：指令对应动作名配置

   3. ParseActions：解析整个回复指令

   4. ParseSingleAction：解析单个回复指令

   5. LevenshteinDistance：利用字符串匹配最合适的结果，字符串差异对比（在actionMethods中）

   6. RegisterForActionEvents：注册动作开始和结束

5. ConvaiCrosshairHandler：控制玩家相机准星看向的NPC

6. ConvaiInteractablesData：管理AI NPC和可交互的物品对象，用于给ConvaiCrosshairHandler匹配识别的对象

7. ConvaiNPCManager：Npc管理，负责检测视线附近的玩家

8. UIAppearanceSettings：控制设置面板显隐、和对话面板显隐

9. UISaveLoadSystem：UI相关配置存储加载系统