Decision Model for a Virtual Agent that can Touch and be Touched

摘要

该文提出了一个触摸ECA（embodied conversational agents）的框架，该框架能够感知用户何时以及如何触摸它，并决定何时以及如何做出相应的响应。该文的重点是通过一个决策模型超越简单的双向触摸交互

沉浸式环境

整体框架

框架组件介绍

• 开始之前：给参与者一份有效的触摸回避问卷，以确定他们通常的触摸回避水平。然后，在交互开始之前，这个值被设置在代理的信念中，以便改进代理的决策。

• gaze and proxemics sensing：凝视和邻近感应

• gaze and proxemics Understanding：凝视和邻近理解

• appraisal: 1.感知到融洽程度,2. 感知到人的情绪状态 （通过评估规则（评估规则考虑了代理的目标及其信念的当前状态））

  • 用到的模型：
    • cirumplex情绪模型，该模型根据情绪效价和情绪 唤醒的等级来确定情绪
    • 选择使用一个维度模型，基于空间信息和注视方向值来估计人的注意力（对估计的人的情绪状态和估计的人的注意力的更新进行处理，以评估融洽的水平，因为它们分别对应于构成融洽的三个主要组成部分中的两个的积极性和注意力51]，也是第一次互动中最重要的。在我们的模型中，融洽程度、交互的当前状态、人类感知的情绪状态和代理自身的情绪状态是决定是否触摸的最重要的内部状态。）

• Internal State of the Agent:将信念（代理的情绪和心情，代理的情绪状态，感知的融洽程度和感知的人的情绪状态）传递到决策模型（信念是什么：存储在知识库中的信念构成了ECA所知道(或相信)的关于环境、人和情况状态的所有信息。这些信念在交互过程中动态调整）

• Decision Rules: 这允许它选择适当的决策规则。这个过程产生一个交流意图，然后用于确定一个适当的方式，如讲话，非语言行为和/或触摸。最后，所选择的行为由相应的设备呈现。

  • 首先触摸分为： ‘comforting’ touch [8, 45], ‘encouraging’ touch [18], ‘calming’ touch and a general notion of touching for ‘ maintaining rapport.分别对应安慰性”触摸的概念[8,45]，‘鼓励’触摸[18]、“平静”触摸和“保持融洽”的触摸的一般概念。
  • 决策过程：决策本身分两步进行：
    • 1.决策过程首先将场景的当前步骤作为输入，以确定代理在这一点上客观可用的所有动作。基于代理人对与其对话者的融洽程度及其自身情绪状态的信念，它选择特定的通信意图。例如，如果融洽程度被估计为低，并且代理的内部信念指示明显缺乏来自人的注意力，则代理将决定试图获得人的注意。如果人的情绪状态被评估为激动(高度兴奋)，代理可以改为采取平静的行为。
    • 2.在决策的第二步中，沟通意图将被实例化为实际的多模态行为。代理可以使用语音、非语言行为，例如凝视方向、手势、面部表情和/或触摸。我们的规则规定了每个沟通意图可用的模态以及在什么样的特定条件下应该具体使用这些模态态。在这些条件中，首先使用融洽程度和人类避免触摸的价值来确定触摸是否应该发生，然后检查使触摸成为可能的物理条件(代理是否在执行触摸的范围内？).因此，决策模型输出通信意图及其实例化行为，指定要使用的模态和要执行的话语或内容。这被传输到相关的渲染器(文本到语音、动画模块和触觉套筒)。

• 实例化决策模型：

  • FAtiMA model：which relies on the Ortony, Clore and Collins (OCC) model of emotions [39],
    • 1.选择该模型的原因：模块化架构，使其易于根据我们的需求进行修改，开放访问，易于插入Unity3D环境
    • 2.使用的注意事项：该模型的输入可以来自各种来源，只要模块将它们翻译成FAtiMA可理解的格式。类似地，对于现成的触摸设备，只需要将模型的决策转换为特定设备的有效信号。这保证了我们的工作对不同技术设置的适应性。
    • 3.该模型的作用：法蒂玛模式[11]具有并行评估和代理内部信念更新的功能
    • 4.触摸代理的五个信念：人类的估计注意力和情绪状态、估计的融洽程度、场景的当前状态以及人类的静态触摸回避。
    • 5.融洽度的计算公式：人类的注意力目前被实现为从1到7的离散标度，其中1代表低，7代表高:𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑣𝑒𝑛𝑒𝑠𝑠 𝐻𝑢𝑚𝑎𝑛 = [1，7],人类估计的情绪状态被分为两种信念，作为效价和唤醒的离散尺度来实现:𝑀𝑜𝑜𝑑𝑉 𝑎𝑙𝑒𝑛𝑐𝑒 (𝐻𝑢𝑚𝑎𝑛) = [1, 5], 𝑀𝑜𝑜𝑑𝐴𝑟𝑜𝑢𝑠𝑎𝑙(𝐻𝑢𝑚𝑎𝑛) = [1, 5]. :在注意力、唤醒或效价之间，我们更看重什么，来调整融洽度的测量。某些情景可能需要强调人的注意力，而另一些情景则需要强调人的经验水平。因此，它是作为人的估计注意力和情绪状态随时间变化的值的函数来计算的:
      在这个等式中，𝑥、𝑦和𝑧是权重，分别代表影响融洽关系的注意力或情绪状态(唤醒和效价)的数量。
      在我们的例子中，我们希望注意力具有与唤醒和效价相同的整体重要性，并且唤醒和效价具有同等的重要性。
      融洽度的值介于1(最低)和100(最高)之间。

• 在FAtiMA中，定义了两组不同的规则:评估规则，确定代理如何评估事件(即如何计算代理的情绪状态)和决策规则。
  评估规则：评估规则确定每种类型的发生事件如何根据评估变量进行评分。FAtiMA考虑了五个评价变量:合意性、对他人的合意性、称赞价值、目标成功概率和喜欢。
  触摸事件元组(位置、强度、运动、运动速度),其中𝐿𝑜𝑐𝑎𝑡𝑖𝑜位置：表示被触摸的身体部位，𝐼𝑛𝑡𝑒𝑛𝑠𝑖强度：表示触摸的初始运动速度，𝑀𝑜𝑣𝑒𝑚𝑒𝑛 运动：表示触摸是否是静态的。

• 对话动作。是在对话管理器中定义的，作为一种状态机工作，其中每个条目都有一个当前状态和下一个状态，这允许考虑交互场景的顺序性质。每个动作都有一个发起者(执行动作的那个)和一个目标。在我们的社交案例中，目标通常是人类参与者。我们将对话动作定义为一个4元组，包括:Speak(当前状态、下一状态、通信意图、模态)和一组条件，这些条件规定何时应该选择特定的对话动作。交际意图指明了该行为在场景中的作用(例如，在3.5节列举的作用中引起注意)，而模态决定了该行为应该伴随哪一组非语言行为。目前，只有两种可用的模式:手势(包括身体手势和面部表情)和触摸(包括手和手臂的运动加上触摸)。不同的交际意图和模态组合有不同的规则。我们观察到，第一个条件总是决定融洽程度是否高到足以进行接触，或者是否低到需要代理采取行动来改善它。在融洽程度低的情况下，接下来的条件确定是人的感知情绪水平有问题还是人的感知注意力水平有问题。最后，我们查看静态触摸回避的级别，以确定当前条件是否足以激活该规则。 一个情况可能适应多个决策规则，分配优先级，选择优先级搞得规则

• 一般操作，它可以是微笑(持续时间),无论代理是否有发言权，它都会发生，并促使代理在指示的持续时间内微笑。

• modality：模态 触摸的分类：‘comforting’ touch [8, 45],

• Non-verbal behaviour：非语言行为：凝视方向、手势、面部表情

• renderer：渲染器(触觉设备用于触摸，动画引擎用于其他模态)