什么是情感化设计认知模型?

“产品具有好的功能是重要的;产品让人易学会用也是重要的;但更重要的是，这个产品要能使人感到愉悦。” 美国认知心理学家Donald Norman在2002年提出产品设计的”情感化“理念，随着“体验经济时代”来临，“情感化”业已成为当前互联网产品主要的设计趋势之一。从心理学角度分析，情感是人格的核心，产品真正的价值在于满足人们情感需求，带给人们内心愉悦的审美体验。我们应从“功能控“思维怪圈中出逃，将注意力转移到用户的情感化需求，将情感化设计融入到产品中，达到美感和可用性的统一，使”有魅力的物品更好用“。 那我们在设计时该如何进行情感化设计本文从情感化设计认知模型出发，解析引发愉悦情感化设计的元素。

传统的人机交互，主要通过键盘、鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境。而如果缺乏这种情感理解和表达能力，就很难指望计算机具有类似人一样的智能，也很难期望人机交互做到真正的和谐与自然。由于人类之间的沟通与交流是自然而富有感情的，因此，在人机交互的过程中，人们也很自然地期望计算机具有情感能力。情感计算（Affective Computting）就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，最终使计算机像人一样能进行自然、亲切和生动的交互。 有关人类情感的深入研究，早在19世纪末就进行了。然而，除了科幻小说当中，过去极少有人将“感情”和无生命的机器联系在一起。只有到了现代，随着数字信息技术的发展，人们才开始设想让机器（计算机）也具备“感情”。从感知信号中提取情感特征，分析人的情感与各种感知信号的关联，是国际上近几年刚刚兴起的研究方向（图1）。

人的情绪与心境状态的变化总是伴随着某些生理特征或行为特征的起伏，它受到所处环境、文化背景、人的个性等一系列因素的影响。要让机器处理情感，我们首先必须探讨人与人之间的交互过程。那么人是如何表达情感，又如何精确地觉察到它们的呢？人们通过一系列的面部表情、肢体动作和语音来表达情感，又通过视觉、听觉、触觉来感知情感的变化。视觉察觉则主要通过面部表情、姿态来进行；语音、音乐则是主要的听觉途径；触觉则包括对爱抚、冲击、汗液分泌、心跳等现象的处理。

情感计算研究的重点就在于通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建感知、识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统，缩短人机之间的距离，营造真正和谐的人机环境（图2）。 在生活中，人们很难保持一种僵硬的脸部表情，通过脸部表情来体现情感是人们常用的较自然的表现方式，其情感表现区域主要包括嘴、脸颊、眼睛、眉毛和前额等。人在表达情感时，只稍许改变一下面部的局部特征（譬如皱一下眉毛），便能反映一种心态。在1972年，著名的学者Ekman提出了脸部情感的表达方法（脸部运动编码系统FACS）。通过不同编码和运动单元的组合，即可以在脸部形成复杂的表情变化，譬如幸福、愤怒、悲伤等。该成果已经被大多数研究人员所接受，并被应用在人脸表情的自动识别与合成（图3）。

随着计算机技术的飞速发展，为了满足通信的需要，人们进一步将人脸识别和合成的工作融入到通信编码中。最典型的便是MPEG4 V2视觉标准，其中定义了3个重要的参数集：人脸定义参数、人脸内插变换和人脸动画参数。表情参数中具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。

在目前的人脸表情处理技术中，多侧重于对三维图像的更加细致的描述和建模。通常采用复杂的纹理和较细致的图形变换算法，达到生动的情感表达效果。在此基础上，不同的算法形成了不同水平的应用系统（图4，图5） 人的姿态一般伴随着交互过程而发生变化，它们表达着一些信息。例如手势的加强通常反映一种强调的心态，身体某一部位不停地摆动，则通常具有情绪紧张的倾向。相对于语音和人脸表情变化来说，姿态变化的规律性较难获取，但由于人的姿态变化会使表述更加生动，因而人们依然对其表示了强烈的关注。

科学家针对肢体运动，专门设计了一系列运动和身体信息捕获设备，例如运动捕获仪、数据手套、智能座椅等。国外一些著名的大学和跨国公司，例如麻省理工学院、IBM等则在这些设备的基础上构筑了智能空间。同时也有人将智能座椅应用于汽车的驾座上，用于动态监测驾驶人员的情绪状态，并提出适时警告。意大利的一些科学家还通过一系列的姿态分析，对办公室的工作人员进行情感自动分析，设计出更舒适的办公环境。 在人类的交互过程中，语音是人们最直接的交流通道，人们通过语音能够明显地感受到对方的情绪变化，例如通过特殊的语气词、语调发生变化等等。在人们通电话时，虽然彼此看不到，但能从语气中感觉到对方的情绪变化。例如同样一句话“你真行”，在运用不同语气时，可以使之成为一句赞赏的话，也可以使之成为讽刺或妒忌的话。

目前，国际上对情感语音的研究主要侧重于情感的声学特征的分析这一方面。一般来说，语音中的情感特征往往通过语音韵律的变化表现出来。例如，当一个人发怒的时候，讲话的速率会变快，音量会变大，音调会变高等，同时一些音素特征（共振峰、声道截面函数等）也能反映情感的变化。中国科学院自动化研究所模式识别国家重点实验室的专家们针对语言中的焦点现象，首先提出了情感焦点生成模型。这为语音合成中情感状态的自动预测提供了依据，结合高质量的声学模型，使得情感语音合成和识别率先达到了实际应用水平。 虽然人脸、姿态和语音等均能独立地表示一定的情感，但人在相互交流的过程中却总是通过上面信息的综合表现来进行的。所以，惟有实现多通道的人机界面，才是人与计算机最为自然的交互方式，它集自然语言、语音、手语、人脸、唇读、头势、体势等多种交流通道为一体，并对这些通道信息进行编码、压缩、集成和融合，集中处理图像、音频、视频、文本等多媒体信息。

目前，多模态技术本身也正在成为人机交互的研究热点，而情感计算融合多模态处理技术，则可以实现情感的多特征融合，能够有力地提高情感计算的研究深度，并促使出现高质量、更和谐的人机交互系统。

在多模态情感计算研究中，一个很重要的研究分支就是情感机器人和情感虚拟人的研究。美国麻省理工学院、日本东京科技大学、美国卡内基·梅隆大学均在此领域做出了较好的演示系统。目前中科院自动化所模式识别国家重点实验室已将情感处理融入到了他们已有的语音和人脸的多模态交互平台中，使其结合情感语音合成、人脸建模、视位模型等一系列前沿技术，构筑了栩栩如生的情感虚拟头像，并正在积极转向嵌入式平台和游戏平台等实际应用（图6）。 情感状态的识别和理解，则是赋予计算机理解情感并做出恰如其分反应的关键步骤。这个步骤通常包括从人的情感信息中提取用于识别的特征，例如从一张笑脸中辨别出眉毛等，接着让计算机学习这些特征以便日后能够准确地识别其情感。

为了使计算机更好地完成情感识别任务，科学家已经对人类的情感状态进行了合理而清晰的分类，提出了几类基本情感。目前，在情感识别和理解的方法上运用了模式识别、人工智能、语音和图像技术的大量研究成果。例如：在情感语音的声学分析的基础上，运用线性统计方法和神经网络模型，实现了基于语音的情感识别原型；通过对面部运动区域进行编码，采用HMM等不同模型，建立了面部情感特征的识别方法；通过对人姿态和运动的分析，探索肢体运动的情感类别等等。

不过，受到情感信息的捕获技术的影响，并缺乏大规模的情感数据资源，有关多特征融合的情感理解模型的研究还有待深入。随着未来的技术进展，还将提出更有效的机器学习机制。 情感计算与智能交互技术试图在人和计算机之间建立精确的自然交互方式，将会是计算技术向人类社会全面渗透的重要手段。未来随着技术的不断突破，情感计算的应用势在必行，其对未来日常生活的影响将是方方面面的，目前我们可以预见的有：

情感计算将有效地改变过去计算机呆板的交互服务，提高人机交互的亲切性和准确性。一个拥有情感能力的计算机，能够对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们便于理解自己和他人的情感世界。

它还能帮助我们增加使用设备的安全性（例如当采用此类技术的系统探测到司机精力不集中时可以及时改变车的状态和反应）、使经验人性化、使计算机作为媒介进行学习的功能达到最佳化，并从我们身上收集反馈信息。例如，一个研究项目在汽车中用电脑来测量驾车者感受到的压力水平，以帮助解决所谓驾驶者的“道路狂暴症”问题。

情感计算和相关研究还能够给涉及电子商务领域的企业带来实惠。已经有研究显示，不同的图像可以唤起人类不同的情感。例如，蛇、蜘蛛和枪的能引起恐惧，而有大量美元现金和金块的则可以使人产生非常强烈的积极反应。如果购物网站和股票交易网站在设计时研究和考虑这些因素的意义，将对客流量的上升产生非常积极的影响。

在信息家电和智能仪器中，增加自动感知人们的情绪状态的功能，可以提供更好的服务。

在信息检索应用中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。

在远程教育平台中，情感计算技术的应用能增加教学效果。

利用多模式的情感交互技术，可以构筑更贴近人们生活的智能空间或虚拟场景等等。

情感计算还能应用在机器人、智能玩具、游戏等相关产业中，以构筑更加拟人化的风格和更加逼真的场景。 由于缺乏较大规模的情感数据资源，情感计算的发展受到一定的限制，而且多局限在语音、身体语言等具体而零散的研究领域，仅仅依靠这些还难以准确地推断和生成一个人的情感状态，并进行有效的情感交互。目前，科学家们正在积极地探索多特征融合的情感计算理论模型。很多人认为，今后几年情感计算将在这些方面需要取得突破：

更加细致和准确的情感信息获取、描述及参数化建模。

多模态的情感识别、理解和表达（图像、语音、生理特征等）。

自然场景对生理和行为特征的影响。

更加适用的机器学习算法。

海量的情感数据资源库。 不久前，为了推动我国在这一领域的研究，探讨情感计算和智能交互技术的发展动态与趋势，促进我国科研人员在此领域的交流与合作，中国科学院自动化研究所、中国自动化学会、中国计算机学会、中国图象图形学会、中国中文信息学会、国家自然科学基金委员会和国家863计划计算机软硬件技术主题作为主办单位，在北京主办了第一届中国情感计算与智能交互学术会议。

事实证明，情感计算的概念尽管诞生不久，但已受到学术界和产业界的高度重视，相关领域的研究和应用正方兴未艾，国家自然科学基金委也将其列入重点项目的指南中。值得注意的是，近几年来，与情感计算有密切关系的普适计算和可穿戴式计算机的研究也已获得了蓬勃发展，并同样得到了国家的大力支持。这为情感信息的实时获取提供了极大的便利条件，也为情感计算在国内的发展提供了更好的发展平台。

本次实验将加载两个数据，一个是已经标注好的用户评论数据，另外一个是用户评价主题句，通过标注过的用户评论数据进行基于集成模型的情感极性模型训练，然后利用模型对主题句进行情感极性推理，最后通过数据聚合可视化得出主题情感极性。

使用 Pandas 加载在线数据表格，并查看数据维度和前 5 行数据。

数据属性如下表所示

加载我们之前通过主题词典提取出来的主题句。

数据属性如下表所示

用户评论分词

jieba 分词器预热，第一次使用需要加载字典和缓存，通过结果看出返回的是分词的列表。

批量对用户评价进行分词，需要一些时间，并打印第一行情感极性训练集的分词结果。

批量对用户评价主题句进行分词，并打印第一句用户主题句分词结果。

依据统计学模型假设，假设用户评论中的词语之间相互独立，用户评价中的每一个词语都是一个特征，我们直接使用 TF-IDF 对用户评价提取特征，并对提取特征后的用户评价输入分类模型进行分类，将类别输出为积极的概率作为用户极性映射即可。

用户评论向量化

TF-IDF 是一种用于信息检索与数据挖掘的常用加权技术，当某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，比较适合对用户评论中的关键词进行量化。

数据集合划分

按照训练集 8 成和测试集 2 成的比例对数据集进行划分，并检查划分之后的数据集数量。

我们在系列实验的开始使用朴素贝叶斯模型来训练情感分析模型，下面我们新增逻辑回归模型作为对比模型。逻辑回归（Logistic Regression）是一种用于解决二分类问题的机器学习方法，在线性回归的基础上，套用了一个 sigmod 函数，这个函数将线性结果映射到一个概率区间，并且通常以 05 分界线，这就使得数据的分类结果都趋向于在 0 和 1 两端，将用户评论进行向量化之后也可以用此方式预测用户情感。本实验直接对标注过的用户情感数据进行训练，并验证单一模型和集成模型在情感分析性能上的差异。

模型加载

通过传入原始的标签和预测的标签可以直接将分类器性能进行度量，利用常用的分类模型评价指标对训练好的模型进行模型评价，accuracy_score 评价被正确预测的样本占总样本的比例，Precision 是衡量模型精确率的指标，它是指模型识别出的文档数与识别的文档总数的比率，衡量的是模型的查准率。Recall 召回率也称为敏感度，它是指模型识别出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率，表示正样本在被正确划分样本中所占的比例，f1_score 值是精确率与召回率的调和平均数，是一个综合性的指数。

我们分别对不同模型使用相同的数据集进行训练和测试，以此来比较单模型之间的差异，并打印模型运行时间供大家参考，批量处理不同的模型需要一些时间进行计算，清耐心等待。

通过求得的指标进行模型评价，我们发现使用相同的数据进行模型训练，朴素贝叶斯模型和逻辑回归模型性能基本持平，相差很微弱，逻辑回归稍稍占一些优势。

Stacking 堆栈模型训练

集成学习是地结合来自两个或多个基本机器学习算法的优势，学习如何最好地结合来自多个性能良好的机器学习模型的预测结果，并作出比集成中的任何一个模型更好的预测。主要分为 Bagging， Boosting 和 Stacking，Stacking 堆栈模型是集成机器学习模型的一种，具体是将训练好的所有基模型对整个训练集进行预测，然后将每个模型输出的预测结果合并为新的特征，并加以训练。主要能降低模型的过拟合风险，提高模型的准确度。

开始对两个模型进行集成训练，训练的时间要比单一模型时间久一些，清耐心等待。

评测结果收集。

结果分析

将结果存入 Dataframe 进行结果分析，lr 表示逻辑回归，nb 表示朴素贝叶斯，model_stacking 将两个单模型集成后的模型。从结果来看集成模型准确度和 f1 值都是最高的，结合两个模型的优势，整体预测性能更好，鲁棒性更好。

样例测试

通过测试样例发现，分类器对正常的积极和消极判断比较好。但是当我们改变语义信息，情感模型则不能进行识别，模型鲁棒性较差。作为早期的文本分类模型，我们使用 TFIDF 的特征提取方式并不能很好的解决语义问题，自然语言是带有语序和语义的关联，其词语之间的关联关系影响整句话的情感极性，后续我们继续试验深度情感分析模型研究解决此类问题。

加载民宿主题数据。

模型预测

将情感分析模型推理的结果写入 DataFrame 中进行聚合。

单主题聚合分析

挑选一个主题进行主题情感分析。

对民宿“设施”进行描述统计，此次我们使用主题词典的出来的用户关于民宿“设施”主体的讨论条数为 4628 条，平均用户情感极性为 040 表示为整体呈现不满意的情况，有超过一半的关于“设施”的民宿评论中表现用户不满意的情况，重庆民宿需要在“设施”进行改善，以此提高用户满意度。

单主题情感极性可视化

我们开始进行“设置”主题下的用户主题情感进行可视化，首先加载画图模块。

对“设施”主题下的用户情感极性进行可视化，我们利用集成模型对主题句进行情感极性预测，如下所示。

近三年在《计算机科学》、《计算机工程》、《北京科技大学学报》、《计算机应用》、国际会议ICNC’2006等期刊发表学术论文13篇，其中SCI检索1篇，EI检索3篇。

1．Yang Guo_Liang,Wang Zhi_Liang,Wang Guo_Jiang Affective Computing Model Based on Emotional Psychology Second International Conference, ICNC2006,Xi’an, China,2006,9, 251~260（SCI,EI,ISTP收录）

2．杨国亮,王志良等基于改进MMI的HMM训练算法及其在面部表情识别中的应用, 北京科技大学学报，2007,4, Vol29(4)（中文核心，EI收录）

3．杨国亮,王志良图像代数特征在面部表情识别中的应用, 计算机工程,2006,32(2),(中文核心期刊，EI收录)186~188

4．杨国亮,王志良,牟世堂,解仑,刘冀伟一种改进的光流算法,计算机工程,2006,32(15)(中文核心期刊，EI收录)187-188

5．杨国亮,王志良等一种改进HMM训练算法及其在面部表情识别中的应用,计算机科学,200611，33(11)（中文核心期刊）200~203

6．杨国亮,王志良,王国江,陈锋军 基于非刚体运动光流算法的面部表情识别, 计算机科学, 2007,3, Vol 34(3)（中文核心期刊）

7．杨国亮,任金霞，王志良 基于情绪心理学的情感建模研究 计算机工程,2007，Vol33(22)

8．杨国亮,王志良,任金霞采用Adaboost算法进行面部表情识别，计算机应用，2005,4，（中文核心期刊）946~948

9．杨国亮,王志良,任金霞一种基于遗传操作的聚类算法,计算机应用,2003,12（中文核心期刊）109~201

10．杨国亮,于仲安基于改进光流算法和HMM的面部表情识别微计算机信息,20081

11．杨国亮,王志良面部表情识别研究进展,自动化技术与应用,2006,4,1~6

12．任金霞，杨国亮,王志良基于Gabor变换和ADABOOST算法的面部表情识别,微计算机信息，20074（中文核心期刊）

13．王国江,王志良,杨国亮,王玉洁,陈锋军 人工情感研究综述计算机应用研究,（中文核心期刊）200611, 7～11

绪论

第一部分 情感计算预想

第一章 情感是身体的和可认知的

11 身体的和认知的

12 情感的身体方面：情感调整

13 情感的认知方面

14 情感诱导

15 小结

第二章 情感计算机

21 情感的发展

22 能表达情感的计算机

23 “有”情感的计算机

24 情感智能系统

25 关于模仿和复制的说明

26 小结

第三章 情感计算的应用

31 情感镜子

32 超越情感

33 文语转换

34 协助孤独症者

35 用户反馈

36 勇气要素

37 学习中的情感

38 “没有痛苦，就没有收获”

39 教室晴雨表

310 虚拟场景中的情感

311 音乐：听你所喜欢的

312 “快进到感兴趣部分”

313 知道你偏爱的智能体

314 学会什么时候去打断

315 闲聊

316 动画智能体的表情

317 观众表现

318 **/视频

319 情感玩具

320 小结

第四章 潜在的忧虑

41 接口方面的期待

42 幼稚的开端

43 人类的隐私

44 计算机的情感行为

45 小结

第二部分 构造情感计算

第五章 情感信号与系统

51 情感系统建模

52 情感和情绪的信号表示

53 生理信号

54 小结

第六章 情感的识别与表达

61 情感模式特征表示的关键问题

62 情感建模

63 小结

第七章 情感合成

第八章 情感可穿戴计算机

总结

参考文献

1、数据预处理：将原始文本数据进行清洗、分词、去除停用词等预处理操作，得到文本的词袋表示。

2、特征提取：对于每个属性，从词袋中提取出与该属性相关的特征词，例如“价格”、“质量”等。

3、聚类或主题建模：使用聚类或主题建模方法对文本进行无监督学习，将文本按照不同的主题或簇进行分组，从而实现属性级分类，对于聚类方法，可以使用K-means、DBSCAN等算法。对于主题模型，可以使用LDA等算法。

4、情感分析：对于每个属性，计算该属性下文本的情感得分，可以使用情感词典或者情感分类器等方法进行情感分析。

目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。心理学家认为，人工智能下一个重大突破性的发展可能来自与其说赋予机器更多的逻辑智能，倒不如说赋予计算机更多的情感智能。对人的情感和认知的研究是在人工智能理论框架下的一个质的进步。因为从广度上讲它扩展并包容了感情智能，从深度上讲感情智能在人类智能思维与反应中体现了一种更高层次的智能。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。在这个领域的研究中主要包括情感计算（Affective Computing）、人工心理（Artificail Psychology）和感性工学（Kansei Engineering）等。

人工心理理论是由中国北京科技大学教授、中国人工智能学会人工心理与人工情感专业委员会主任王志良教授提出的。他指出，人工心理就是利用信息科学的手段，对人的心理活动（着重是人的情感、意志、性格、创造）的更全面再一次人工机器（计算机、模型算法等）模拟，其目的在于从心理学广义层次上研究人工情感、情绪与认知、动机与情绪的人工机器实现的问题。

日本从上世纪九十年代就开始了感性工学（Kansei Engineering）的研究。所谓感性工学就是将感性与工程结合起来的技术，是在感性科学的基础上，通过分析人类的感性，把人的感性需要加入到商品设计、制造中去，它是一门从工程学的角度实现能给人类带来喜悦和满足的商品制造的技术科学[4]。日本已经形成举国研究感性工学的高潮。

欧盟国家也在积极地对情感信息处理技术（表情识别、情感信息测量、可穿戴计算等）进行研究。欧洲许多大学成立了情感与智能关系的研究小组。其中比较著名的有：日内瓦大学 Klaus Soberer领导的情绪研究实验室。布鲁塞尔自由大学的D Canamero领导的情绪机器人研究小组以及英国伯明翰大学的A Sloman领导的 Cognition and Affect Project。在市场应用方面，德国Mehrdad Jaladi-Soli等人在2001年提出了基于EMBASSI系统的多模型购物助手。EMBASSI是由德国教育及研究部（BMBF）资助并由20多个大学和公司共同参与的，以考虑消费者心理和环境需求为研究目标的网络型电子商务系统。

我国对人工情感和认知的理论和技术的研究始于20世纪90年代，大部分研究工作是针对人工情感单元理论与技术的实现。哈尔滨工业大学研究多功能感知机，主要包括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语会成、表情合成、唇读等内容，并与海尔公司合作研究服务机器人。清华大学进行了基于人工情感的机器人控制体系结构的研究。北京交通大学进行多功能感知机和情感计算的融合研究。中国科学院自动比研究所主要研究基于生物特征的身份验证。

当前国际人工智能领域对人工情感合认知领域的研究日趋活跃。美国人工智能协会（AAAI）在1998，1999和2004年连续组织召开专业的学术会议对人工情感和认知进行研讨，国内的研究者也开展了许多的研究工作和学术活动。2003年12月在北京召开了第一届中国情感计算及智能交互学术大会。2005年10月在北京召开的第一届情感计算和智能交互国际学术会议，集合了世界一流的情感计算、人工情绪和人工心理研究的著名专家学者。这说明我国的人工情感和人工心理的研究在逐步展开并向国际水平看齐。

对情感计算的研究大致可以分为情感识别、情感建模和情感反应三大部分，这其中情感识别无疑是最基础，也是最重要的部分。

综上所述，对人的情感和认知的研究，包括对情感识别的研究，无论在理论上还是实践中都已经受到了研究者广泛的关注，对这一问题的研究具有重要的理论和应用价值。对这一问题的研究将最终推动人工智能的进一步发展，实现人机和谐的目标。