日本学者武者利光提出"感性向量解析法"，怎么从脑波信号中提取四种情感要素

传统的基于图像内容的

检索与图像底层特征

所反映出来的人类情感信息之间的关系

并从图像的颜色纹理形状等图像特征

和人类的心电脑电等生理信号出发

阐述了图像的情感识别问题

论述了脑波信号的采集特征提取和解析

讨论了从脑波中解析人类情感信息的方法

提出了基于脑电信号的图像情感检索模型

利用脑电信号所反映的特征信息

与图像的底层信息结合

利用机器来学习和推断联系

情商是一个人成功与否的关键因素，它对人的影响是特别大的，比智商对一个人的影响要大很多。人是社会的组成元素，相互之间必须建立必要的联系，而情商就是打通这些关系的万金油，能建立起强大的人脉关系，那成功的机会就会很大。而情绪的控制就是高情商的一种表现形式，那他们为什么能做到呢，或者说能把握的住呢？

首先，就是对自己情绪的客观认识。高情商的人会时常的和自己对话，了解自己的情绪，能够自我感知。对自己什么时候会有什么样的情绪了然于胸，什么情况下自己会发怒，什么情况下自己会骄傲，什么情况下自己会郁闷，都有很明确的认识。

其次，就是对自己情绪的管理。高情商的人正式基于以上的自我认识，就会对自己的情绪有一个分类的管理，所以都会在事情发生之前，对自己即将要发生怎样的情绪有了下意识，调整自己的心态，及时纠正不良的情绪，或者把不好的情绪直接扼杀在萌芽状态。

最后，就是对他人情绪的感知。这是高智商人的一种能力，能够察言观色，发现别人微妙的情绪变化，根据不同的环境和场合调整自己的情绪，能与在一起的人做到同乐、同悲，更多的会带给人乐观、激情、欢乐以及正能量。

高智商的人正是由于对自己情绪的深刻了解，进而合理的管理自己情绪，同时又能感知他人的情绪，理解别人的感受，所以在任何环境和场合都能游刃有余的调整自己，控制情绪，像这种类型的人，想不成功都难。

人工情感包括三个方面：情感识别、情感表达与情感理解（或情感思维）。世界各国的科学家在情感识别与情感表达两个方面所取得的成果非常显著，但在情感理解或情感思维方面却收获甚微。其根本原因在于，到目前为止，没有一个科学家能够真正了解情感的哲学本质及客观目的是什么，没有创立一个全新的、科学的、数学化的情感理论，没有建立一个真正的情感的数学模型。

人工智能实际上只是人工认知，它是狭义的人工智能。知、情、意是人类三种基本的思维形式，那么广义的人工智能应该包括人工认知、人工情感和人工意志三个方面，因此要想由狭义的人工智能朝向广义的人工智能发展，就必须首先解决一系列有关情感的基本理论问题：什么是情感？情感的客观目的是什么？认知与情感到底有何区别？等等，而这些深层次的理论问题是当今的哲学、思维科学、生命科学和心理学等没能真正解决的。计算机的人工智能水平在经历了一段时间的突飞猛进之后，如今已经接近了它的理论上的发展极限，显然，不解决上述深层次的、哲学层面上的理论问题，不解决“人工智能”、“人工情感”和“情感计算”理论所存在的一系列严重的危机与哲学错误，要想研究真正意义的情感机器人是绝对不可能的。人工情感理论存在三个方面的严重缺陷：

1、不了解情感的哲学本质

情感是人类的一种主观意识，它必然是人脑对于某一种客观存在的主观反映，这种客观存在就是“价值”（或利益），情感与价值的关系就是主观与客观的关系，因此情感的哲学本质就是人脑对于事物价值特性的一种主观反映，情感的思维实际上就是人脑对于“价值”的思维，对于情感的计算实际上就是对于价值的计算。而所有人工情感的研究者们都不知道这一点，他们总是试图通过测量和计算情感产生过程的各种生理指标（如心率、血压、脑电波、呼吸、瞳孔直径、激素分泌、血液成份等）的变化数据来确定情感强度的变化情况，来研究情感的变化规律，其结果必然是：“在主观范围内绕圈子，在表面形式上打循环”。事实上，情感的感受强度、表达强度和生理唤醒指标等三个方面只是反映了情感在感受、作用和表达过程中所体现的生理指标，都属于情感的主观表现形式，而不是情感所反映的客观内容。情感所反映的客观内容就是主体所拥有的价值关系或利益关系及其变化，对于情感表现形式所激发的生理指标的计算，只能反映情感的表面形式，而不能反映情感的客观内容，只有对情感所反映的客观内容——价值关系进行计算，才能客观地、准确地、全面地反映情感运行的真实状态。情感是人脑对于事物价值特征的主观反映，其客观目的在于引导人更好地识别价值、消费价值、创造价值和表达价值，因此情感的识别实际上就是价值的识别，情感的表达实际上就是价值的表达，情感的计算实际上就是价值的计算。

2、不了解情感的主要功能

人工情感研究者们只知道情感的功能作用在于使人或机器更具有“人情味”、更友好、更容易形成自然而亲切的人与机交互，营造真正和谐的人机环境。事实是，情感的功能远非如此！情感除了帮助建立机器人的人性化界面，还能够有效地提高思维的效率与速度，而且，情感还有一个更重要的功能，那就是：情感是人的行为灵活性、决策自主性和思维创造性的根本来源。智能机器人主要的缺陷在于：只能按照人预先编制的程序进行动作，不能自主地确立和调整价值目标，不能创造性地制订和修改总体规划及行为方案，不能总结经验和吸取教训。智能机器人一旦具有了情感，就能够以“达到既定的意志目标”为行为方向，以内设的“价值观系统（或情感系统）、认知系统和意志系统”为价值计算依据，以“实现最大价值率”为行为准则，建立一系列价值计算的函数关系式或约束方程式，再根据机器人所处的自然环境和人文社会环境确定若干个边界条件，选定情感和意志的动力特性参数，就可以主动地、创造性地调整“整体规划、行为方案和具体动作”，然后对行为的最终结果进行价值评价，以便及时地修正价值观系统（或情感系统）、认知系统和意志系统，达到总结经验和吸取教训的目的。

3、不了解情感的逻辑程序

人工情感的研究者们完全不了解情感运行的内在逻辑程序，只知道人在进行情感反应时各种生理指标的变化数据。事实上，人在进行情感表达、情感识别和情感思维过程中，遵循着特定的逻辑程序。情感表达的逻辑程序大致是：人通过感觉器官接收刺激信号，大脑就会把以前存储在“价值观系统”中该事物的“主观价值率”提取出来，与自身的“中值价值率”进行比较、判断和计算。当前者大于后者时，就会在大脑中的边缘系统（该组织决定着情感的正负）的“奖励区域”产生正向的情感反映（如满意、自豪）；当前者小于后者时，就会在大脑中的边缘系统的“惩罚区域”产生负向的情感反映（如失望、惭愧）。大脑然后对价值的目标指向、变化方式、变化时态、对方的利益相关性等进行判断，从而确定和选择情感表达的基本模式。此外，情感识别、情感计算与情感调控也遵循着特定的逻辑程序。如果不了解情感运行的内在逻辑程序，就不可能研制出真正意义的情感机器人。

4、不了解情感的数学模型

心理学没有建立任何的情感数学模型，也不知道情感的数学变化规律。显然，要实现情感的数字化，就必须首先建立情感的数学模型。事实上，人的情感可以通过情感矩阵来进行描述，并可以进行情感的交集运算与并集运算，情感强度的变化有着特定的数学规律。情感是人脑对于事物价值特性的主观反映，虽然，事物的“价值率高差”在根本上决定着人的情感强度，但在一般情况下，情感的强度并不与事物的价值率高差成正比，而是一种特殊的指数函数关系。

正是上述的理论障碍，在根本上决定了情感机器人的发展局限性。各国所声称拥有情感的机器人，最多只能模拟人的某些情感表达方式，并进行一些简单的情感识别，不可能具有真正意义上的内在情感思维。

情感研究方法涵盖了多种定性和定量的方法和技术，以便对情感进行测量和理解。以下是一些常见的情感研究方法：

问卷调查：通过编制和分发问卷来收集关于情感体验的信息。问卷可以包括关于情感状态、情感感受、情感反应和情感体验的问题。

实验室观察：在实验室环境中，通过观察参与者的行为、面部表情、生理指标等来评估情感。这可以通过使用实验范式、观察记录和视频录制来实现。

自我报告：参与者通过书面或口头形式描述自己的情感体验。这可以通过采访、情感日记或情感日志的形式进行。

生理测量：使用生理指标来评估情感，如心率、皮肤电反应、脑电图等。这些生理指标可以提供客观的数据来评估情感的激活和变化。

面部表情分析：通过分析面部表情来研究情感。这可以通过使用面部表情识别软件、面部动作编码系统（Facial Action Coding System）或者眼动仪等技术来实现。

情感的表现可以包括以下方面：

面部表情：面部表情是情感的主要表现之一，如微笑、愤怒、悲伤、惊讶等。

语言和声音：情感可以通过语言的调调、语速、音量以及使用的词语和表达方式来表现。

体态和姿势：情感可以通过身体的姿势、姿态和动作来表现，如挺直身体、低头、颤抖等。

言语和行为：情感可以通过言语和行为来表现，如亲密的接触、抚摸、搂抱等。

生理反应：情感可以导致生理上的反应，如心率加快、呼吸加深、出汗等。

需要注意的是，情感的表现是多样且个体差异很大的。因此，使用多种方法和技术来综合评估情感是理解和研究情感的重要方面。

情感计算是为了赋予计算机识别、理解、表达和适应人类情感的能力，以此实现高效、亲切的人机交互。人类情感有着表情、语音、生理信号等多种载体，进行多模态情感识别研究可以促进情感计算的发展，而多模态情感识别研究需要多模态情感数据库的支持。当前的情感数据库多是单模态的，虽有少量的多模态数据库但是还存在着一些不足的地方。因此设计并建立一个包含平静、高兴、惊奇、厌恶、伤心、生气、害怕7种情感的多模态情感数据库具有重要的理论意义。<br>　　 本文首先设计了同步采集表情、语音、前额脑电信号三种模态数据的采集方案，筛选影视素材并制作了情感

日本软银公司开发的全球首款可以与人交流的情感机器人“佩珀”近期在网上开售，售价198万日元（约合11万元人民币），首批1000台一分钟内即告售罄。像人一样拥有丰富情感的机器人，受到了人们的热烈追捧。

情感是指对外界刺激做出的肯定或否定的心理反应，比如说喜欢、愤怒、悲伤、恐惧等。一般来说，人类的情感很难用指标去量化，情感机器人则恰恰相反。把一堆冷冰冰的零部件组装起来，把看不见摸不着的“情感”，量化成机器可理解、可表达的数据产物，机器人的“情感”即由此而来。

上个世纪末，美国麻省理工学院教授罗莎琳德·皮卡德提出了“情感计算”概念，先从生理学角度，检测人体的各种心理参数，如心跳、脉搏、脑电波等，据此计算人的情感状态；再从心理学角度，通过各种传感器接收并处理环境信息，并据此计算机器人所处的情感状态。

与人类间的情感交流过程类似，情感机器人的运作过程包括情感信息的获取、识别分析和情感的表达。首先，机器人需通过视觉系统、听觉系统和各类传感器等来获取外界信息。与一般智能机器人不同的是，情感机器人会更有目的地获取与情感相关的有效信息，如人脸的表情和动作，语音的高低、强弱等。情感信息的识别与分析是这个过程的重头戏。生活中，脸部表情是人们常用的较自然的情感表达方式，比如，眉头紧皱可能表示愤怒等。20世纪70年代，美国心理学家保罗·艾克曼提出了脸部情感的表达方法，即脸部运动编码系统FACS，通过不同编码和运动单元的组合，可以让机器人自动识别与合成复杂的表情变化，如幸福、愤怒、悲伤等表情。类似的还有动作分析模型和声学模型。

除了情感分析模型外，还需要建立知识库，让机器人“掌握”人们熟知的常识和惯用表达，比如“买买买”这类潮流用语。这样，机器人跟人类的交互体验将更加流畅有趣。通过情感识别与分析的反过程，即给定一种情感状态，再通过语音合成、面部表情合成和动作合成后，一个相对完美的情感机器人就呈现在你的面前。

情感机器人的互动和陪伴功能使其具有广泛的潜在商业价值，有望在医疗、公共服务、研究和智能家庭等方面大有作为。新推出的“佩珀”企业版，雀巢公司用它来推销咖啡机，日本瑞穗银行让它担任银行柜员的职位，今年它还将在山田电机卖场里卖电器……跟“佩珀”类似的，还有工作型机器人Nao、家庭管家式机器人“吉波”等。

人类情感的美妙之处在于它的不可知性，而情感机器人目前还只是人类编写出来的一个程序。从这个意义上来说，情感机器人将促使我们更了解自己的情感，在未来真正地成为人类生活和工作的好帮手。

领域自适应：

多用于文本分类，属于直推式迁移学习，直推式迁移学习定义：给定一个源域和相应的学习任务，一个目标域和相应的学习任务，直推式学习旨在利用源域和目标域中相同的知识来提高目标域中的目标预测函数。

《基于深度学习的体态与手势感知计算关键技术研究》

基于深度学习的肌电手势识别：

并不需要任何附加信息或手工设计的特征提取器，基于高密度肌电信号（HD-sEMG），使用二维阵列电极采集的肌电信号，使得肌肉活动产生的电势场在时间和空间上的变化可被多个紧密分布在皮肤表面的电极同时记录下来。HD-sEMG中的肌电信号描绘了位于电极覆盖区域内的肌肉活动的时空分布，同时HD-sEMG的瞬时值呈现了在特定时间点肌肉活动所涉及的生理过程的相对全局的测量。瞬时HD-sEMG内部可区分出不同手势模式，可以将采集到的HD-Semg描绘出电势在空间的分布，其对应的热度图即为肌电图像，肌电图像中的像素数（分辨率）由其采集设备中的电极阵列决定，即电极的数量及其电极间距离（例如，具有16行8列的电极网格可W采集816像素的肌电图像）。

主要是将原始肌电信号值从（-1，1）映射到（0，255），即，其中x是原始肌电信号，I是肌电图像。构建一个8层CNN结构，网络的前两个卷积层用于提取公共的底层特征，作者发现瞬时肌电图像在不同的空间位置上表现出不同的视觉特征。在不同手势中，肌电图像在中部偏下以及顶部的条状区域上亮度较强，提出在3，4层加入局部连接结构（受人脸识别前沿工作的启发），因为局部连接层在不同空间位置上的卷积模板的权重不共享，可以更好的提取上不同位置的特征。并依据单个窗口内每帧识别出的手势标签中所占比例最高的标签，因为上述实验仅适用于肌电幅值较大的数据进行训练和测试可以获得较高的手势识别准确率，因此需要对肌电信号采用全波整流和低通滤波（全波整流和低通滤波是被广泛采用的肌电信号幅值估计方法），以获取更好的肌电信号。

基于深度领域自适应的肌电手势识别：

当训练集和测试集的肌电信号来自不同的采集会话的情况。因为电极位移，肌肉疲劳，电极和皮肤之间的阻抗变化等因素的干扰，肌电信号与采集会话高度相关，已经训练好的手势分类器直接被应用在新的会话时通常准确率较低。因为肌电信号的分布在不同的会话之间变化很大，所以来自不同会话的基于瞬时肌电信号的手势识别可以相应地表示为多源领域自适应问题。

当标定数据未标记时，该论文采用自适应批量归一化（AdaBN, Adaptive Batch Normalization）对手势分类器进行适配。假设用于区分不同手势的知识存储在每个层的权重中，AdaBN不需要适配数据的手势标签，而是随着无标签的适配数据的增加，逐步更新少量的网络参数。给定输入U，BN将其转换为V，其中第i个输入特征的转换公式为：

l在训练阶段，每个BN层对于每个源域的均值统计量和方差统计量是独立计算的。因为训练阶段的BN对每个数据批次独立计算统计量，所以只需要确保每个数据批次中的样本来自同一个会话。

l识别阶段，对于给定的未标记数据A，AdaBN执行正向传播算法，更新参数。

该方法准确率：单幅305%，150毫秒窗口-392%，而另一种算法特征集（150毫秒窗口）和线性判断：341%。

随机选择未标记的测试集的子集（01%，05%，1%，5%，10%）进行深度领域自适应，之后再评测整个测试集上的手势识别的准确率。最后观测到大约5%的适配数据后准确率达到巅峰，适配数据20000帧，在CSL-HDEMG的2048赫兹的采样率下大约10秒。

并且适配算法并不需要观测到所有种类的手势，从27种选择5个和13个进行适配，最终结果分别是313%（732%），346%（814%）另一种方法是肌电地势（sEMG topography），定义为肌电信号在时间上的二维平均强度图，其中每个像素是某个通道的肌电信号在特定时间窗口内的均方根，用于手势识别。

《Revealing Critical

Channels and Frequency Bands for Emotion Recognition from EEG with Deep Belief

Network》

在基于脑电信号的情感识别任务中，多通道脑电信号存在不相关的脑电信号，这不仅会引起噪声，还会降低系统对情感识别能力。该论文提出一种新的深度信念网（DBN）来检查用于情感识别的关键EEG信道和频段。

主要从行为和生理反应进行情感分析，因为EEG与表情手势相比，具有较高的准确性和客观评价性。该论文采用ESI神经扫描系统，从62通道电极帽以采样率为1000Hz记录脑电信号。每个实验有15个测试，每个测试包括15s提示，45s测试及反馈，5s休息。盖论文一共评价了30个实验。

先下采样原始脑电数据到200Hz，之后使用03Hz到50Hz的带通滤波器滤除噪声和伪影，之后采用之前提出的微分熵（differential entropy）特征[1][2]，对于固定长度的脑电信号，微分熵相当于一定频段内的对数能量谱。此前已经证明微分熵在低频和高频能量之间具有识别EEG模式的能力，因此在五个频段计算微分熵特征（δ：1-3Hz，θ：4 – 7Hz，α：8-13Hz，β：14-30Hz，γ：31-50Hz），使用256点的短时傅里叶变换，并将特征归一化到0-1。

利用五个频段的去噪后的62通道的特征作为输入，DBN达到8608%的准确率和834%标准差，本论文通过分析经过训练的DBN的权重分布来检验关键通道和频带，权重对于识别情感模型是很重要的，因为对于学习任务贡献较大的神经元权值将增加，不相关的神经元权值趋于随机分布，图1为权重在第一层神经网络训练后的分布，可以看出主要在beta和gamma波的权重最大，这说明此频带包含更重要的鉴别信息。

  从图2中我们可以看出侧颞区和前额脑区相比其他脑区在beta和gamma频带更容易激活。因此可以得出结论，在识别积极，中性和负面情绪时侧颞叶和前额叶通道是关键通道，beta和gamma是关键频带。

如图3所示，依据脑区中权重分布的特点，设计了四种不同的电极放置剖面，包括4通道，6通道，9通道和12通道，其中4通道的最佳平均精度和标准差为8288%/1092%，而所有62通道的最佳平均精度和标准差为8399%/1092%，这说明四个相对电极阻轮廓（four profiles of relative electrode sets）FT7,T7,FT8,T8是辨别情感特征的电极。

[1]Duan R N, Zhu J Y, Lu B L Differential entropyfeature for EEG-based emotion classification[C]// International Ieee/embsConference on Neural Engineering IEEE, 2013:81-84

[2]Zheng W L, Zhu J Y, Peng Y, et al EEG-based emotionclassification using deep belief networks[C]// IEEE International Conference onMultimedia and Expo IEEE, 2014:1-6

脑电论文（大脑解码：行为，情绪）：

Real-time naive learning of neural correlates in ECoG Electrophysiology

神经实时朴素学习相关的皮层电生理

地址： http://wwwijmlcorg/papers/40-L0174pdf

A Deep Learning Method for Classification of EEG Data Based on MotorImagery

基于运动表象的脑电数据分类的深度学习方法

地址： http://wwwbiospburu/faculty/departments/vnd/pdf/journal%202015/moskvichpdf

Affective state recognition from EEG with deep belief networks

基于深层信念网络的脑电情感状态识别

地址： https://wwwcsebuffaloedu//DBGROUP/bioinformatics/papers/Kang_BIBM_2013pdf

A Novel Semi-Supervised Deep Learning Framework for Affective StateRecognition on EEG Signals

一种用于脑电信号情感状态识别的半监督深度学习框架

地址： https://wwwcsebuffaloedu//DBGROUP/bioinformatics/papers/cameraready_xwjiabibepdf

Revealing critical channels and frequency bands for emotion recognitionfrom EEG with deep belief network

用深层信念网络揭示脑电情感识别的关键通道和频带

地址： http://bcmisjtueducn/~blu/papers/2015/9PDF

EEG-based emotion recognition using deep learning network withprincipal component based covariate shift adaptation

基于深度学习网络的主成分协移自适应的脑电情感识别

地址： http://europepmcorg/backend/ptpmcrenderfcgiaccid=PMC4165739&blobtype=pdf

Classifying EEG recordings of rhythm perception

节律性脑电记录分类

地址： http://wwwterasoftcomtw/conf/ismir2014/proceedings/T117_317_Paperpdf

Using Convolutional Neural Networks to

Recognize Rhythm Stimuli from Electroencephalography Recordings利用卷积神经网络识别脑电记录中的节律刺激

地址： http://wwwiticsuni-magdeburgde/~stober/publ/nips2014pdf

Convolutional neural network with embedded Fourier transform for EEGclassification

基于嵌入傅立叶变换的卷积神经网络在脑电信号分类中的应用

地址： http://pdfssemanticscholarorg/9a19/a59f5e8f3494e97c70eecd06003e5d1f4eb7pdf

Continuous emotion detection using EEG signals and facial expressions

基于脑电信号和表情的连续情绪检测

地址： https://ibugdocicacuk/media/uploads/documents/soleymani-fu-icme14_camera_readypdf

‘Deep Feature Learning for EEG Recordings

脑电记录的深部特征学习

地址： https://wwwresearchgatenet/publication/283986303_Deep_Feature_Learning_for_EEG_Recor

异常分类论文（阿兹海默症，癫痫，睡眠阶段检测）：

Classification of Electrocardiogram Signals with Deep Belief Networks

基于深层信念网络的心电信号分类

http://wwwresearchgatenet/publication/293781533_Classification_of_Electrocardiogram_Signals_with_Deep_Belief_Networks

Modeling electroencephalography waveforms with semi-supervised deepbelief nets: fast classification and anomaly measurement

半监督深信网模拟脑电波形：快速分类和异常测量

http://xueshubaiducom/swd=paperuri%3A%28cae246865d395d67f463268e8079cab4%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fwwwncbinlmnihgov%2Fpmc%2Farticles%2FPMC3193936%2Fpdf%2Fnihms322259pdf&ie=utf-8&sc_us=14353019482626292792

Deep belief networks used on high resolution multichannelelectroencephalography data for seizure detection

用于癫痫检测的基于高分辨率多道脑电图数据的深度信念网

地址： https://wwwknexusresearchcom/wp-content/uploads/2015/07/AAAI_JT_Turnerpdf

Deep Learning in the EEG Diagnosis of Alzheimer’s Disease

深层学习在阿尔茨海默病脑电诊断中的应用

http://vigirmissouriedu/~gdesouza/Research/Conference_CDs/ACCV_2014/pages/workshop3/pdffiles/w3-p7pdf

Sleep stage classification using unsupervised feature learning

基于无监督特征学习的睡眠阶段分类

https://wwwresearchgatenet/publication/235943204_Sleep_Stage_Classification_Using_Unsupervised_Feature_Learning

Classification of patterns of EEG synchronization for seizureprediction

癫痫发作的脑电同步模式分类

地址： http://yannlecuncom/exdb/publis/orig/mirowski-cneuro-09pdf

Recurrent neural network based prediction of epileptic seizures inintra-and extracranial EEG

基于递归神经网络的颅内外脑电癫痫发作预测

EEG-based lapse detection with high temporal resolution

基于脑电信号的高时间分辨率检测

地址：

http://wwwresearchgatenet/profile/Richard_Jones21/publication/3039266_EEG-Based_Lapse_Detection_With_High_Temporal_Resolution/links/5457ab030cf2bccc491112ed