情感计算的“情感计算”的基本内容

人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中，从人操作计算机，变为计算机辅助人；从人围着计算机转，变为计算机围着人转；计算机从认知型，变为直觉型。显然，为实现这些转变，人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。

情感被用来表示各种不同的内心体验（如情绪、心境和偏好），情绪被用来表示非常短暂但强烈的内心体验，而心境或状态则被用来描述强度低但持久的内心体验。情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。

情感具有三种成分：⑴主观体验，即个体对不同情感状态的自我感受；⑵外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式）、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化）；⑶生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模式。

概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。

情感测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测量其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。

确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：⑴愉悦度（也有人提出用趋近-逃避来代替愉悦度）；⑵激活度，即与情感状态相联系的机体能量的程度。研究发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤醒度的生理指标。

在人机交互研究中已使用过很多种生理指标，例如，皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电EEG等。生理指标的记录需要特定的设备和技术，在进行测量时，研究者有时很难分离各种混淆因素对所记录的生理指标的影响。情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模，基于多模态和动态时序特征的情感识别与理解，及其信息融合的理论与方法，情感的自动生成理论及面向多模态的情感表达，以及基于生理和行为特征的大规模动态情感数据资源库的建立等。

欧洲和美国的各大信息技术实验室正加紧进行情感计算系统的研究。剑桥大学、麻省理工学院、飞利浦公司等通过实施“环境智能”、“环境识别”、“智能家庭”等科研项目来开辟这一领域。例如，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统，通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来调节程序以识别人的情感。如果你对电视讲座的一段内容表现出困惑，情感助理会重放该片段或者给予解释。麻省理工学院“氧工程”的研究人员和比利时IMEC的一个工作小组认为，开发出一种整合各种应用技术的“瑞士军刀”可能是提供移动情感计算服务的关键。而目前国内的情感计算研究重点在于，通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建个人情感计算系统。研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。

情境化是人机交互研究中的新热点。自然和谐的智能化的人机界面的沟通能力特征包括：⑴自然沟通：能看，能听，能说，能触摸；⑵主动沟通：有预期，会提问，并及时调整；⑶有效沟通：对情境的变化敏感，理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同反馈和支持。而实现这些特征在很大程度上依赖于心理科学和认知科学对人的智能和情感研究所取得的新进展。我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何做出恰当的反应，从而帮助计算机正确感知环境，理解用户的情感和意图，并做出合适反应。因此，人机界面的“智能”不仅应有高的认知智力，也应有高的情绪智力，从而有效地解决人机交互中的情境感知问题、情感与意图的产生与理解问题，以及反应应对问题。

显然，情感交流是一个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。在人机交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，并做出反应。例如，通过对不同类型的用户建模（例如，操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如，呈现方式、操作方式、与知识背景有关的决策支持等）;在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。

情感计算是一个高度综合化的技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人机交互环境，将有可能实现人与计算机的情感交互。迄今为止，有关研究已在人脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。

目前情感计算研究面临的挑战仍是多方面的：⑴情感信息的获取与建模，例如，细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型；⑵情感识别与理解，例如，多模态的情感识别和理解；⑶情感表达，例如，多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响；⑷自然和谐的人性化和智能化的人机交互的实现，例如，情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。

情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。

展望现代科技的潜力，我们预期在未来的世界中将可能会充满运作良好、操作容易、甚至具有情感特点的计算机。

目前的语音技术能力主要包含了四个方面：语音唤醒、语音识别、语音理解和语音合成

语音唤醒

语音唤醒指在待机的状态下，用户说出特定指令（唤醒词）使设备进入工作状态或完成某一操作；当前更多应用于手机、可穿戴设备、车载设备、智能家居等。

1、常见两种唤醒方式：“一呼一答”和“唤醒词+命令词”；即多轮对话（一次唤醒、一个任务、多轮交互）和连续对话（一次唤醒、多个任务，无需唤醒）

2、唤醒词设计原则：易唤醒、低误唤醒 、品牌性、易记易读性

3、华为和苹果手机语言助手唤醒交互：

· 手机的语音助手都是基于特定的人识别，非用户本人无法用同样的唤醒词唤醒手机语音指令，

· 采取的唤醒方式均为“一呼一答”

· 唤醒词设计，华为的“我的荣耀”基于品牌调性，但易读性不强

· 在语音交互过程中，用问答的方式给到用户强反馈，单纯的铃声不足以引起用户触达，通常情况下用户使用语音是在不方便查看手机或者有其他干扰的情况下的。

语音识别

语音识别技术，也被称为 自动语音识别 Automatic Speech Recognition，(ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。

1、语音识别包括两个阶段 ：训练和识别。

训练阶段：收集大量的语音语料，经过预处理和特征提取后得到特征矢量参数，最后通过特征建模达到建立训练语音的参考模型库的目的。

识别阶段：将输入语音的特征矢量参数和参考模型库中的参考模型 进行相似性度量比较，把相似性最高的输入特征矢量作为识别结果输出。

2、语音识别对象：特定人识别（手机语音助手，设定只识别手机用户个人的声音）、非特定人识别（语音搜索，识别搜索词）。

特定人识别是指识别对象为专门的人，非特定人识别是指识别对象是针对大多数用户，一般需要采集多个人的语音进行录音和训练，经过学习，达到较高的识别率。

3、基于现有技术开发嵌入式语音交互系统，目前主要有两种方式：

一种是直接在嵌入式处理器中调用语音开发包；另一种是嵌入式处理器外围扩展语音芯片。第一种方法程序量大，计算复杂，需要占用大量的处理器资源，开发周期长；

第二种方法相对简单，只需要关注语音芯片的接口部分与微处理器相连，结构简单，搭建方便，微处理器的计算负担大大降低，增强了可靠性，缩短了开发周期。

语音理解

语义理解是指机器能够结合上下文，自然地理解用户的需求，并能给出正确以及人性化的反馈。

语音合成

语音合成是通过机械的，电子的方法产生人造语音技术。语音合成的关键点是真人音色模拟，一致性、流畅性、稳定和有情感。

语音合成，又称 文语转换（Text to Speech）技术 ，能将任意文字信息实时转化为标准流畅的语音朗读出来，相当于给机器装上了人工嘴巴。它涉及声学、语言学、 数字信号处理 、计算机科学等多个学科技术，是 中文信息处理 领域的一项前沿技术，解决的主要问题就是如何将文字信息转化为可听的声音信息，也即让机器像人一样开口说话。

TTS结构

语言处理

在文语转换系统中起着重要的作用，主要模拟人对自然语言的理解过程——文本规整、词的切分、 语法分析 和 语义分析 ，使计算机对输入的文本能完全理解，并给出后两部分所需要的各种发音提示。

韵律处理

为合成语音规划出音段特征，如音高、音长和音强等，使合成语音能正确表达语意，听起来更加自然。

声学处理

根据前两部分处理结果的要求输出语音，即合成语音。

微撰是一款基于自然语言处理技术的在线聊天软件,可以实现自动写作。通过微撰,用户可以通过文本聊天与微撰机器人进行互动,微撰机器人会根据用户输入的文本自动生成回复。微撰的在线对话功能如何实现呢微撰采用了深度学习算法,通过对海量自然语言数据的学习,可以识别用户输入的文本,并根据文本内容自动生成回复。ai口语对话如何实现ai口语对话的实现同样需要借助自然语言处理技术。微撰的机器人可以根据用户的语音输入,自动识别语音中的关键词和句子,并根据上下文生成相应的回复。同时,微撰还采用了深度学习算法,对用户的语音输入进行情感分析,从而判断用户的情绪,并根据用户情绪进行相应的回复。