从心理学解读人机交互|人机交互系统

　　不少人都翘首以盼，计算机会变得越来越聪明，在不久的将来，它就能像人一样具有情感，与人进行自然、亲切和生动的智能交互。　认知科学（Cognitive Science）是在心理学、计算机科学、人工智能、神经科学、科学语言学、科学哲学以及其他基础科学（如数学、理论物理学）共同感兴趣的界面上，即理解人类的、乃至机器的智能的共同兴趣上，涌现出来的高度跨学科的新兴科学。认知科学试图依靠众多学科的共同努力，理解心智的性质，可能的话，在此基础上制造出能思维的机器。而认知心理学由于关注和研究人的心智活动，在认知科学中发挥着重要的作用。

认知心理学: 人脑与计算机类比

认知心理学是20世纪60年代兴起的心理学研究取向，它不仅研究心智活动的“软件”（即心智活动的过程，如人对信息的编码、储存和提取），而且研究心智活动的“硬件”（即心智活动的结构，如认知功能的脑定位或脑机制），提出了极富特色的理论，促进了对人类心智活动的细微剖析和准确理解，成为现代心理学的主流方向。

信息加工系统（Information-Processing System）也被称为符号操作系统（Symbol Operation System）或物理符号系统（Physical Symbol System）。一个完整的物理符号系统具有信息的输入（Input）、输出（Output）、存储（Store）、复制（Copy）、建立符号结构（Build Symbol Structure）和条件性迁移（Conditional Transfer）六种功能。物理符号系统假设提出，任何一个系统，如果能够表现出智能的话，就必能执行上述六种功能; 反之，任何系统如果具有这六种功能，就能表现出智能。其推论自然是: 人具有智能，人一定是个物理符号系统; 计算机是个物理符号系统，计算机一定能表现出智能。既然人是一个物理符号系统，计算机也是一个物理符号系统，那么我们就可以用计算机来模拟人的智能活动。认知心理学所做的，就是试图用物理符号系统假设中的基本规律来解释人类复杂的心理现象。

心智的计算-表征理解（Computa-tional-Representational Understanding of Mind，简称CRUM）是一种对心智问题的理解方式，认为对思维最恰当的理解是将其视为心智中的表征结构以及在这些结构上进行操作的计算程序。 心智表征属于系统的内部状态，是相对于外部事件或事件的语义加以界定的，是一种形式化的符号表达式; 而所有与系统有关的语义内容，都依照深层的符号表达式及其变换的形式和符号关系结构加以规定，这是一种物理符号操作，是一种计算。表征与计算二者的关系密不可分，因为一定的计算总是建立在一定的表征之上，表现为对表征的某种操作和转换; 而一定的计算也总是会产生某种新的表征。

认知心理学研究心智结构和信息加工过程的方法主要由四个步骤构成，即理论、模型、程序和平台。一个认知理论首先要假定一套表征结构和一套在这些结构上进行操作的加工过程; 然后，通过与由数据结构和算法构成的计算机程序进行类比，设计一个计算模型使得这些表征结构和过程更为精确。有关表征的模糊概念可以用准确的关于数据结构的计算概念予以补充，而心理过程则可由算法来定义; 为了测试该模型，必须用一种编程语言将其在一个软件程序中实现; 最后，该程序应该可以在各种软硬件平台上运行。实际上，无论是信息加工取向对规则和搜索策略等进行的抽象的串行的分析，还是联结主义取向强调的分布式表征和平行加工，各种心智结构和信息加工过程均可采用上述方法进行研究。理论、模型、程序、平台一起构成了认知心理学的基本研究构架。大量研究都遵循着这个途径，并通过实验将各个步骤贯穿起来。

情感计算: 人与计算机交互

显然，情感交流是个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。情感计算研究试图通过不断加深对人的情感状态和机制的理解，创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。

作者简介:傅小兰

研究员，现任中国科学院心理研究所副所长，研究领域为认知心理学，主要关注人的基本认知过程、信息加工动态机制、知识表征、认知绩效以及人机交互中的心理与行为问题。担任脑与认知科学国家重点实验室副主任，中国心理学会常务理事、副秘书长、中国人类工效学会理事、认知工效学专业委员会副主任委员，全国人类工效学标准化技术委员会副主任委员等。

情感计算研究有助于提高计算机感知情境，理解人的情感和意图，做出适当反应的能力。情境化是人与计算机交互研究中的新热点。在人与计算机的交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，做出反应。例如，通过对不同类型的用户建模（例如: 操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如: 呈现方式、操作方式、与知识背景有关的决策支持等）; 在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。

情感计算是一个高度综合化的技术领域。目前情感计算研究面临的挑战仍是多方面的: （1）情感信息的获取与建模，例如细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型; （2）情感识别与理解，例如多模态的情感识别和理解; （3）情感表达，例如多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响; （4）自然和谐的人性化和智能化的人计交互的实现，例如情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。

情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。

在电子商务领域，在设计购物网站和股票交易网站等时充分利用人的情感因素的作用，以改变客流量。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景，而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。

监督学习

目前，基于监督学习的情感分析仍然是主流，除了（Li et al,2009）基于非负矩阵三分解（Non-negative Matrix Tri-factorization），（Abbasi et al,2008）基于遗传算法（Genetic Algorithm）的情感分析之外，使用的最多的监督学习算法是朴素贝叶斯，k最近邻（k-Nearest Neighbor，k-NN），最大熵和支持向量机的。而对于算法的改进主要在对文本的预处理阶段。

基于规则/无监督学习

和基于监督学习的情感分析相比，基于规则和无监督学习方面的研究不是很多。除了（Turney,2002）之外，（朱嫣岚 et al,2002）利用HowNet对中文词语语义的进行了情感倾向计算。（娄德成 et al,2006）利用句法结构和依存关系对中文句子语义进行了情感分析，（Hiroshi et al,2004）通过改造一个基于规则的机器翻译器实现日文短语级情感分析，（Zagibalov et al,2008）在（Turney,2002）的SO-PMI算法的基础上通过对于中文文本特征的深入分析以及引入迭代机制从而在很大程度上提高了无监督学习情感分析的准确率。

跨领域情感分析

跨领域情感分析在情感分析中是一个新兴的领域，目前在这方面的研究不是很多，主要原因是目前的研究还没有很好的解决如何寻找两个领域之间的一种映射关系，或者说如何寻找两个领域之间特征权值之间的平衡关系。对于跨领域情感分析的研究开始于（Blitzer et al,2007）将结构对应学习（Structural Correspondence Learning，SCL）引入跨领域情感分析，SCL是一种应用范围很广的跨领域文本分析算法，SCL的目的是将训练集上的特征尽量对应到测试集中。（Tan et al,2009）将SCL引入了中文跨领域情感分析中。（Tan2 et al,2009）提出将朴素贝叶斯和EM算法的一种半监督学习方法应用到了跨领域的情感分析中。（Wu et al,2009）将基于EM的思想将图排序（Graph Ranking）算法应用到跨领域的情感分析中，图排序算法可以认为是一种迭代的k-NN

情感计算是为了赋予计算机识别、理解、表达和适应人类情感的能力，以此实现高效、亲切的人机交互。人类情感有着表情、语音、生理信号等多种载体，进行多模态情感识别研究可以促进情感计算的发展，而多模态情感识别研究需要多模态情感数据库的支持。当前的情感数据库多是单模态的，虽有少量的多模态数据库但是还存在着一些不足的地方。因此设计并建立一个包含平静、高兴、惊奇、厌恶、伤心、生气、害怕7种情感的多模态情感数据库具有重要的理论意义。<br> 本文首先设计了同步采集表情、语音、前额脑电信号三种模态数据的采集方案，筛选影视素材并制作了情感

本科毕业设计做人脸情绪识别难度大。

一般来说还是挺大的，得看你想做到什么程度了，有这个想法挺好，看个人情况做吧。情绪识别原本是指个体对于他人情绪的识别，现多指AI通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分。

注意事项：

情绪识别研究的内容包括面部表情、语音、心率、行为、文本和生理信号识别等方面，通过以上内容来判断用户的情绪状态。

情绪是综合了人的感觉、思想和行为的一种状态，在人与人的交流中发挥着重要作用。情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，包括伴随这种心理反应的生理反应。在人们的日常工作和生活中，情绪的作用无处不在。

一、情感建模

随着人工智能技术的发展，人机交互方式越来越向着人类自然交互方向发展，但传统的人机交互方式是机械化的，难以满足现在的需求。情感计算技术的引入，可以让机器像人一样的观察、理解和表达各种情感特征，就能在互动中与人发生情感上的交流，从而使得人与机器交流得更加自然、亲切和生动，让人产生依赖感，故情感计算及其在人机交互中的应用将是人工智能领域里一个重要的研究方向。

情感建模则是情感计算的重要过程，是情感识别、情感表达和人机情感交互的关键，其意义就在于通过建立情感状态的数学模型，能够更直观地描述和理解情感的内涵。

对于情感模型而言，由于其对情感描述方式的不同，可以分为维度情感模型、离散情感模型和其他的情感模型，但在目前的情感建模研究中，维度情感模型的应用更加广泛。

二、维度情感模型

维度空间论认为人类所有情感分布在由若干个维度组成的某一空间中，不同的情感根据不同维度的属性分布在空间中不同的位置，且不同情感状态彼此间的相似程度和差异可以根据它们在空间中的距离来显示。在维度情感中，不同情感之间不是独立的，而是连续的，可以实现逐渐、平稳的转变。

21、一维情感模型

该模型用一根实数轴来量化情感，认为人类情感除了其独特分类不同外，都可以沿情感的快乐维度排列，其正半轴表示快乐，负半轴表示不快乐，并且可以通过该轴的位置可以判断情感的快乐和不快乐程度。

当人受到消极情感的刺激时，情感会向负轴方向移动，当刺激终止时，消极情感减弱并向原点靠近。当受积极情感的刺激时，情感状态向正半轴移动，并随着刺激的减弱逐渐向原点靠近。

情感的快乐维度是个体情感的共有属性，许多不同的情感会借此相互制约，这还可以为个体情感的自我调节提供依据，但多数心理学家认为情感是由多个因素决定的，也因此产生后来的多维情感空间。

22、二维情感模型

该模型从极性和强度两个维度区分情感，极性是指情感具有正情感和负情感之分，强度是指情感具有强烈程度和微弱程度的区别。这种情感描述比较符合人们对客观世界的基本看法，目前使用最多的是VA二维情感模型，该模型将情感划分为两个维度，价效维度和唤醒维度，如下图所示：

价效维度的负半轴表示消极情感，正半轴表示积极情感。唤醒维度的负半轴表示平缓的情感，正半轴表示强烈的情感。例如，在这个二维情感模型中，高兴位于第一象限，惊恐位于第二象限，厌烦位于第三象限，轻松位于第四象限。每个人的情感状态就可以根据价效维度和唤醒维度上的取值组合得到表征

23、三维情感模型

在三维情感模型中，除了考虑情感的极性和强度外，还有其他因素考虑到情感描述中。PAD三维情感模型是当前认可度比较高的一种三维情感模型，该模型定义情感具有愉悦度、唤醒度、和优势度三个维度，其中P代表愉悦度，表示个体情感状态的正负特性；A代表唤醒度，表示个体的神经生理激活水平；D代表优势度，表示个体对情景和他人的控制状态。

另外，还有APA三维情感空间模型，该模型采用亲和力、愉悦度和活力度三种情感属性，能够描述绝大多是情感。

24、其他多维情感模型

除了以上三种情感模型外，还有更复杂的情感模型。心理学家Izard的思维理论认为情绪有愉悦度、紧张度、激动度和确实度4个维度。愉悦度代表情感体验的主观享乐程度，紧张度和激动度代表人体神经活动的生理水平，确信度代表个体感受情感的程度。

心理学家Krech认为情感的强度是指情感具有由弱到强的变化范围，同时还以紧张水平、复杂度、快乐度3个指标来进行量化。紧张水平是指对要发生的事情的事先冲动，复杂度是对复杂情感的量化，快乐度是表示情感所处的愉快和不愉快的程度，故可以从这四个维度来判断人的情感。

另外，心理学家Frijda提出了情感具有愉快、激活、兴趣、社会评价、惊奇和复杂共6个维度的观点，但高维情感空间的应用存在较大难度，因此在实际中很少使用。

维度情感模型是用人类情感体验的欧氏距离空间描述，其主要思想是人类的所有情感都涵盖于情感模型中，且情感模型不同维度上的不同取值组合可以表示一种特定的情感状态。虽然维度情感模型是连续体，基本情感可以通过一定方法映射到情感模型上，但对于基本情感并没有严格的边界，即基本情感之间可以逐渐、平稳转化。维度情感模型的发展为人类的情感识别、情感合成和调节提供了模型基础。

三、离散情感模型

离散情感模型是把情感状态描述为离散的形式，即基本情感类别，如喜、怒、哀、乐等。 较为著名的是由心理学家Ekman提出的六大基本情感类别：愤怒、厌恶、恐惧、高兴、悲伤、惊讶，其在情感计算研究领域得到广泛应用。Plutchik从强度、相似性和两极性三方面进行情绪划分，对出8种基本情绪：狂喜、警惕、悲痛、惊奇、狂怒、恐惧、接受、憎恨。还有其他的一些心理学家提出了对基本情绪的不同分类。

离散情感模型较为简洁明了，方面理解，但只能描述有限种类的情感状态，而维度情感模型弥补了离散情感模型的缺点，能够直观地反映情感状态的变化过程。

四、其他情感模型

除了较常用的维度情感模型和离散情感模型外，一些心理学家还提出了其他基于不同思想的情感模型，如基于认知的情感模型、基于情感能量的概率情感模型、基于事件相关的情感模型等，从不同的角度分析和描述人类的情感，使情感的数学描述更加丰富。

41、OCC情感模型

该模型是针对情感研究而提出的最完整的情感模型之一，它将22种基本情感根据其起因分为三类：事件的结果、仿生代理的动作和对于对象的观感，并对这三类定义了情感的层次关系，可以描述特定情感的产生条件和后续发展。OCC模型给出了各类情感产生的认知评价方式。同时，该模型根据假设的正负极性和个人对刺激事件反应是否高兴、满意和喜欢的评价倾向构成情感反应。

在模型中，最常产生的是恐惧、愤怒、高兴和悲伤这4种情绪。尽管OCC模型传递函数并不是很明确，但从广义上看，其具有较强的可推理性，易于计算机实现，因此被广泛应用于人机交互系统中。

42、隐马尔可夫模型情感模型

该模型有三种情感状态，分别是感兴趣、高兴、悲伤，并且可根据需要扩展到多种情感状态。在模型中，情感状态是通过观测到如情绪响应上升时间、峰值间隔的频率变化范围等情感特征得到的，并通过转移概率来描述情感状态之间的相互转移，从而输出一种最可能的情感状态。

该模型适合表现由不同情感组成的混合情感，如忧伤可以由爱和悲伤组成。另外，还适合表现由若干单一的情感状态基于时间的不断交替出现而成的混合情感，如爱恨交织的情感状态就可能是爱恨两种之间循环。该模型的不足之处在于，对于相同的刺激，其感知结果是确定的。

43、分布式情感模型

该模型是针对外界刺激建立起来的一种分布式情感模型，整个分布式系统是将特定的外界情感事件转换成与之相对应的情感状态，过程分为以下两个阶段：

1、由事件评估器评价事件的情感意义，针对每一类相关事件，分别定义一个事件评估器，当事件发生时，先确定事件的类型和信息，然后选择相关事件评估器进行情感评估，并产生量化结果情感脉冲向量EIV。

2、对EIV归一化得到NEIV，通过情感状态估计器ESC计算出新的情感状态。事件评估器、EIV、NEIV及ESC均采用神经网络实现。

附：学习书目

《情感计算与情感机器人系统》吴敏 刘振焘 陈略峰