从心理学解读人机交互|人机交互系统

　　不少人都翘首以盼，计算机会变得越来越聪明，在不久的将来，它就能像人一样具有情感，与人进行自然、亲切和生动的智能交互。　认知科学（Cognitive Science）是在心理学、计算机科学、人工智能、神经科学、科学语言学、科学哲学以及其他基础科学（如数学、理论物理学）共同感兴趣的界面上，即理解人类的、乃至机器的智能的共同兴趣上，涌现出来的高度跨学科的新兴科学。认知科学试图依靠众多学科的共同努力，理解心智的性质，可能的话，在此基础上制造出能思维的机器。而认知心理学由于关注和研究人的心智活动，在认知科学中发挥着重要的作用。

认知心理学: 人脑与计算机类比

认知心理学是20世纪60年代兴起的心理学研究取向，它不仅研究心智活动的“软件”（即心智活动的过程，如人对信息的编码、储存和提取），而且研究心智活动的“硬件”（即心智活动的结构，如认知功能的脑定位或脑机制），提出了极富特色的理论，促进了对人类心智活动的细微剖析和准确理解，成为现代心理学的主流方向。

信息加工系统（Information-Processing System）也被称为符号操作系统（Symbol Operation System）或物理符号系统（Physical Symbol System）。一个完整的物理符号系统具有信息的输入（Input）、输出（Output）、存储（Store）、复制（Copy）、建立符号结构（Build Symbol Structure）和条件性迁移（Conditional Transfer）六种功能。物理符号系统假设提出，任何一个系统，如果能够表现出智能的话，就必能执行上述六种功能; 反之，任何系统如果具有这六种功能，就能表现出智能。其推论自然是: 人具有智能，人一定是个物理符号系统; 计算机是个物理符号系统，计算机一定能表现出智能。既然人是一个物理符号系统，计算机也是一个物理符号系统，那么我们就可以用计算机来模拟人的智能活动。认知心理学所做的，就是试图用物理符号系统假设中的基本规律来解释人类复杂的心理现象。

心智的计算-表征理解（Computa-tional-Representational Understanding of Mind，简称CRUM）是一种对心智问题的理解方式，认为对思维最恰当的理解是将其视为心智中的表征结构以及在这些结构上进行操作的计算程序。 心智表征属于系统的内部状态，是相对于外部事件或事件的语义加以界定的，是一种形式化的符号表达式; 而所有与系统有关的语义内容，都依照深层的符号表达式及其变换的形式和符号关系结构加以规定，这是一种物理符号操作，是一种计算。表征与计算二者的关系密不可分，因为一定的计算总是建立在一定的表征之上，表现为对表征的某种操作和转换; 而一定的计算也总是会产生某种新的表征。

认知心理学研究心智结构和信息加工过程的方法主要由四个步骤构成，即理论、模型、程序和平台。一个认知理论首先要假定一套表征结构和一套在这些结构上进行操作的加工过程; 然后，通过与由数据结构和算法构成的计算机程序进行类比，设计一个计算模型使得这些表征结构和过程更为精确。有关表征的模糊概念可以用准确的关于数据结构的计算概念予以补充，而心理过程则可由算法来定义; 为了测试该模型，必须用一种编程语言将其在一个软件程序中实现; 最后，该程序应该可以在各种软硬件平台上运行。实际上，无论是信息加工取向对规则和搜索策略等进行的抽象的串行的分析，还是联结主义取向强调的分布式表征和平行加工，各种心智结构和信息加工过程均可采用上述方法进行研究。理论、模型、程序、平台一起构成了认知心理学的基本研究构架。大量研究都遵循着这个途径，并通过实验将各个步骤贯穿起来。

情感计算: 人与计算机交互

显然，情感交流是个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。情感计算研究试图通过不断加深对人的情感状态和机制的理解，创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。

作者简介:傅小兰

研究员，现任中国科学院心理研究所副所长，研究领域为认知心理学，主要关注人的基本认知过程、信息加工动态机制、知识表征、认知绩效以及人机交互中的心理与行为问题。担任脑与认知科学国家重点实验室副主任，中国心理学会常务理事、副秘书长、中国人类工效学会理事、认知工效学专业委员会副主任委员，全国人类工效学标准化技术委员会副主任委员等。

情感计算研究有助于提高计算机感知情境，理解人的情感和意图，做出适当反应的能力。情境化是人与计算机交互研究中的新热点。在人与计算机的交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，做出反应。例如，通过对不同类型的用户建模（例如: 操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如: 呈现方式、操作方式、与知识背景有关的决策支持等）; 在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。

情感计算是一个高度综合化的技术领域。目前情感计算研究面临的挑战仍是多方面的: （1）情感信息的获取与建模，例如细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型; （2）情感识别与理解，例如多模态的情感识别和理解; （3）情感表达，例如多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响; （4）自然和谐的人性化和智能化的人计交互的实现，例如情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。

情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。

在电子商务领域，在设计购物网站和股票交易网站等时充分利用人的情感因素的作用，以改变客流量。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景，而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。

能被计算，处于发展之中，情感计算是人工智能研究中最关键部分之一，事实上对于情感不要求精确统一的计算，而是要加入随机值。情感分原发性与继发性情感是对强AI最有用的分法，原发性情感是设计者所要完成设计的一部分，继发性情感则是AI教育训练人员要培养AI发展、变动的一部分。情感计算与欲望或者说动机明确相关，人或智能选择当前最重要任务序列时，判断的依据就是情感欲望计算的结果，驱动人或智能主动做事的动力也是它运算得到的结果，所以，要实现强人工智能，就必须有情感计算。但要注意，机器不必照搬人类所有情感，例如性欲不必有，能理解人或动物的就行，要让智能认识到智能不需要性，性的数据结构及运算只用于生物对象，非生物是不执行性的运算的。

情感情感的产生与运行是一个非常复杂的过程，情感机器人的研发必须建立在科学的情感理论的基础之上，才是现实的，没有一个全新的科学的情感理论作指导，要研发真正意义上的情感机器人是不可能的。这种全新的情感理论必须突破心理学的局限，也必须突破社会科学的局限，成为一门独立的、横跨自然科学与社会科学的交叉性科学理论，其根本目的在于：情感数字化。这种全新的情感理论就是“数理情感学”，它以“统一价值论”为理论前提，采用数理逻辑方法分析情感现象与情感规律的科学。

归纳起来，“统一价值论”与“数理情感学”主要通过如下步骤共同完成情感机器人和人工情感的理论框架。

实现所有不同价值的统一度量

①改造物理学的“耗散结构论”，从物理学角度定义“价值”概念（即广义有序化能量），使价值理论建立在自然科学的基础之上；

②实现生活资料使用价值的统一度量；然后，实现劳动价值的统一度量；

③实现生产资料使用价值的统一度量。这样一来，所有价值都有着统一、明确而稳定的度量标准或度量尺度：能量尺度（焦耳）。

推导出“广义价值规律”

①由“最大有序化法则”推导出“最大价值率法则”（价值率就是单位时间内产出价值与投入价值的比值，在经济领域，价值率就是利润率）；

②由“最大价值率法则”推导出“选择倾向性法则”或“中值价值率法则”；

③由“中值价值率法则”推导出“广义价值规律”。广义价值规律的基本内涵就是：事物的价值率不断趋近于主体的中值价值率。或者说，事物的价值率高差（即事物的价值率与主体的中值价值率之差）不断趋于零。

揭示认知、情感与意志的哲学本质及相互关系

①知（认知）、情（情感）、意（意志）是人类心理活动的三种基本形式，分别是对事实关系、价值关系和自身行为关系的一种主观反映；

②价值关系是一种特殊的事实关系，自身行为关系是一种特殊的价值关系，因此，情感是一种特殊的认知，意志又是一种特殊的情感；

③认知主要是关于“是如何”的认识，情感主要是关于“应如何”的认识，意志主要是关于“怎么办”的认识；

④情感以认知为基础，认知以情感为导向，意志以情感为基础，情感以意志为导向。

建立情感的数学模型

①情感与价值观的哲学本质都是“人脑对于事物价值特性的一种主观反映”，其中，情感是对事物价值特性的间接性和相对性反映，而价值观是对事物价值特性的直接性和绝对性反映；

②价值观的客观目的在于识别“事物的价值率”，可以采用所有不同事物的价值率所组成的数学矩阵来描述一个人的价值观系统（即W={ωi×j}m×n）；

③情感的客观目的在于识别“事物的价值率高差”，可以采用所有不同事物的价值率高差所组成的数学矩阵来描述一个人的情感系统（即M={μi×j}m×n）；

④情感矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；

⑤情感系统中的每个情感元素又可以由若干个情感子元素所组成的情感矩阵来构成，从而构成二维和多维的情感矩阵。

建立意志的数学模型

①意志的哲学本质都是“人脑对于自身行为价值特性的一种主观反映”；

②意志的客观目的在于识别和处理“自身行为的价值率”，可以采用所有不同行为方式的价值率高差所组成的数学矩阵来描述一个人的意志系统（即X={xi×j}m×n）；

③意志矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；

④意志系统中的每个意志元素又可以由若干个意志子元素所组成的意志矩阵来构成，从而构成二维和多维的意志矩阵，即超复杂行为的意志由若干复杂行为的意志矩阵所组成，复杂行为的意志又由若干简单行为的意志矩阵所组成，简单行为的意志由若干本能行为的意志矩阵所组成。

阐述情感运行的内在逻辑程序

①情感表达的逻辑程序大致是：接收事物的刺激信号，提取该事物的价值观，比较人自身的中值价值率，确定情感的强度与方向，选择情感表达模式，接收和处理情感表达所产生的反馈信号；

②情感识别的逻辑程序大致是：接收事物的刺激信号，检测和提取特征参数，比较情感模式，产生情感反映，存储情感信息到情感矩阵之中；

③情感计算的逻辑程序大致是：将事物的价值率高差“对数转换”为情感强度，对情感强度进行交集、并集运算，产生新的情感强度，将情感强度“指数还原”为新事物的价值率高差；

④情感修正的逻辑程序大致是：人通过感觉与思维，了解到某事物的实际价值率高差，与大脑中情感矩阵所记忆该事物的主观价值率高差，存在一定的差异，人就会修正对于该事物的情感强度。

阐述意志运行的内在逻辑程序

①意志表达（即行为实施）的逻辑程序大致是：接收某种价值目标事物的刺激信号，提取能够最有效实现该价值目标的多种相关行为的主观价值率（即行为价值观），比较自身的中值价值率，确定多种相关行为的意志强度与意志方向，选取具有最大意志强度的相关行为，并组织实施该相关行为。

②意志计算（即行为设计）的逻辑程序大致是：确立价值目标（根据自身生存与发展的需要），设计整体方案（按照最大价值率法则，把超复杂行为分解为若干个复杂行为，并通过意志的并集运算与交集运算，计算出该超复杂行为的意志强度），制定实施细则（按照最大价值率法则，把复杂行为分解为若干个简单行为，并通过意志的并集运算与交集运算，计算出该复杂行为的意志强度），落实具体行为（按照最大价值率法则，把简单行为分解为若干个本能行为，并通过意志的并集运算与交集运算，计算出该简单行为的意志强度），将上述各个层次的意志强度“指数还原”为相应的行为价值率高差。

③意志修正的逻辑程序大致是：人通过感觉与思维，了解到某行为的实际价值率高差，与大脑中意志矩阵所记忆该行为的主观价值率高差，存在一定的差异，人就会修正对于该事物的意志强度。

设立情感与意志的调控机制

①建立各种情感模式与价值变化的对应关系，并根据实际需要，设置与调控各种情感模式；

②推导出“情感强度第一定律”（即情感强度与事物的价值率高差的对数成正比，μ=Kmlog（1+ΔP）），并根据实际需要，设置与调控情感的强度系数；

③对情感“八大动力特性”（强度性、稳定性、细致性、层次性、效能性、周期性、时序性与差异性）进行精确定义，并根据实际需要，设置与调控情感的动力特性；

④对意志的“八大动力特性”进行精确定义，并根据实际需要，设置与调控意志的动力特性。情感调控的客观目的就是为了使情感的动力特性与主体所处的价值关系的变化特性相适应。意志调控的客观目的就是为了使意志的动力特性与主体各种行为价值关系的变化特性相适应。

一、情感建模

随着人工智能技术的发展，人机交互方式越来越向着人类自然交互方向发展，但传统的人机交互方式是机械化的，难以满足现在的需求。情感计算技术的引入，可以让机器像人一样的观察、理解和表达各种情感特征，就能在互动中与人发生情感上的交流，从而使得人与机器交流得更加自然、亲切和生动，让人产生依赖感，故情感计算及其在人机交互中的应用将是人工智能领域里一个重要的研究方向。

情感建模则是情感计算的重要过程，是情感识别、情感表达和人机情感交互的关键，其意义就在于通过建立情感状态的数学模型，能够更直观地描述和理解情感的内涵。

对于情感模型而言，由于其对情感描述方式的不同，可以分为维度情感模型、离散情感模型和其他的情感模型，但在目前的情感建模研究中，维度情感模型的应用更加广泛。

二、维度情感模型

维度空间论认为人类所有情感分布在由若干个维度组成的某一空间中，不同的情感根据不同维度的属性分布在空间中不同的位置，且不同情感状态彼此间的相似程度和差异可以根据它们在空间中的距离来显示。在维度情感中，不同情感之间不是独立的，而是连续的，可以实现逐渐、平稳的转变。

21、一维情感模型

该模型用一根实数轴来量化情感，认为人类情感除了其独特分类不同外，都可以沿情感的快乐维度排列，其正半轴表示快乐，负半轴表示不快乐，并且可以通过该轴的位置可以判断情感的快乐和不快乐程度。

当人受到消极情感的刺激时，情感会向负轴方向移动，当刺激终止时，消极情感减弱并向原点靠近。当受积极情感的刺激时，情感状态向正半轴移动，并随着刺激的减弱逐渐向原点靠近。

情感的快乐维度是个体情感的共有属性，许多不同的情感会借此相互制约，这还可以为个体情感的自我调节提供依据，但多数心理学家认为情感是由多个因素决定的，也因此产生后来的多维情感空间。

22、二维情感模型

该模型从极性和强度两个维度区分情感，极性是指情感具有正情感和负情感之分，强度是指情感具有强烈程度和微弱程度的区别。这种情感描述比较符合人们对客观世界的基本看法，目前使用最多的是VA二维情感模型，该模型将情感划分为两个维度，价效维度和唤醒维度，如下图所示：

价效维度的负半轴表示消极情感，正半轴表示积极情感。唤醒维度的负半轴表示平缓的情感，正半轴表示强烈的情感。例如，在这个二维情感模型中，高兴位于第一象限，惊恐位于第二象限，厌烦位于第三象限，轻松位于第四象限。每个人的情感状态就可以根据价效维度和唤醒维度上的取值组合得到表征

23、三维情感模型

在三维情感模型中，除了考虑情感的极性和强度外，还有其他因素考虑到情感描述中。PAD三维情感模型是当前认可度比较高的一种三维情感模型，该模型定义情感具有愉悦度、唤醒度、和优势度三个维度，其中P代表愉悦度，表示个体情感状态的正负特性；A代表唤醒度，表示个体的神经生理激活水平；D代表优势度，表示个体对情景和他人的控制状态。

另外，还有APA三维情感空间模型，该模型采用亲和力、愉悦度和活力度三种情感属性，能够描述绝大多是情感。

24、其他多维情感模型

除了以上三种情感模型外，还有更复杂的情感模型。心理学家Izard的思维理论认为情绪有愉悦度、紧张度、激动度和确实度4个维度。愉悦度代表情感体验的主观享乐程度，紧张度和激动度代表人体神经活动的生理水平，确信度代表个体感受情感的程度。

心理学家Krech认为情感的强度是指情感具有由弱到强的变化范围，同时还以紧张水平、复杂度、快乐度3个指标来进行量化。紧张水平是指对要发生的事情的事先冲动，复杂度是对复杂情感的量化，快乐度是表示情感所处的愉快和不愉快的程度，故可以从这四个维度来判断人的情感。

另外，心理学家Frijda提出了情感具有愉快、激活、兴趣、社会评价、惊奇和复杂共6个维度的观点，但高维情感空间的应用存在较大难度，因此在实际中很少使用。

维度情感模型是用人类情感体验的欧氏距离空间描述，其主要思想是人类的所有情感都涵盖于情感模型中，且情感模型不同维度上的不同取值组合可以表示一种特定的情感状态。虽然维度情感模型是连续体，基本情感可以通过一定方法映射到情感模型上，但对于基本情感并没有严格的边界，即基本情感之间可以逐渐、平稳转化。维度情感模型的发展为人类的情感识别、情感合成和调节提供了模型基础。

三、离散情感模型

离散情感模型是把情感状态描述为离散的形式，即基本情感类别，如喜、怒、哀、乐等。 较为著名的是由心理学家Ekman提出的六大基本情感类别：愤怒、厌恶、恐惧、高兴、悲伤、惊讶，其在情感计算研究领域得到广泛应用。Plutchik从强度、相似性和两极性三方面进行情绪划分，对出8种基本情绪：狂喜、警惕、悲痛、惊奇、狂怒、恐惧、接受、憎恨。还有其他的一些心理学家提出了对基本情绪的不同分类。

离散情感模型较为简洁明了，方面理解，但只能描述有限种类的情感状态，而维度情感模型弥补了离散情感模型的缺点，能够直观地反映情感状态的变化过程。

四、其他情感模型

除了较常用的维度情感模型和离散情感模型外，一些心理学家还提出了其他基于不同思想的情感模型，如基于认知的情感模型、基于情感能量的概率情感模型、基于事件相关的情感模型等，从不同的角度分析和描述人类的情感，使情感的数学描述更加丰富。

41、OCC情感模型

该模型是针对情感研究而提出的最完整的情感模型之一，它将22种基本情感根据其起因分为三类：事件的结果、仿生代理的动作和对于对象的观感，并对这三类定义了情感的层次关系，可以描述特定情感的产生条件和后续发展。OCC模型给出了各类情感产生的认知评价方式。同时，该模型根据假设的正负极性和个人对刺激事件反应是否高兴、满意和喜欢的评价倾向构成情感反应。

在模型中，最常产生的是恐惧、愤怒、高兴和悲伤这4种情绪。尽管OCC模型传递函数并不是很明确，但从广义上看，其具有较强的可推理性，易于计算机实现，因此被广泛应用于人机交互系统中。

42、隐马尔可夫模型情感模型

该模型有三种情感状态，分别是感兴趣、高兴、悲伤，并且可根据需要扩展到多种情感状态。在模型中，情感状态是通过观测到如情绪响应上升时间、峰值间隔的频率变化范围等情感特征得到的，并通过转移概率来描述情感状态之间的相互转移，从而输出一种最可能的情感状态。

该模型适合表现由不同情感组成的混合情感，如忧伤可以由爱和悲伤组成。另外，还适合表现由若干单一的情感状态基于时间的不断交替出现而成的混合情感，如爱恨交织的情感状态就可能是爱恨两种之间循环。该模型的不足之处在于，对于相同的刺激，其感知结果是确定的。

43、分布式情感模型

该模型是针对外界刺激建立起来的一种分布式情感模型，整个分布式系统是将特定的外界情感事件转换成与之相对应的情感状态，过程分为以下两个阶段：

1、由事件评估器评价事件的情感意义，针对每一类相关事件，分别定义一个事件评估器，当事件发生时，先确定事件的类型和信息，然后选择相关事件评估器进行情感评估，并产生量化结果情感脉冲向量EIV。

2、对EIV归一化得到NEIV，通过情感状态估计器ESC计算出新的情感状态。事件评估器、EIV、NEIV及ESC均采用神经网络实现。

附：学习书目

《情感计算与情感机器人系统》吴敏 刘振焘 陈略峰