我们公司用过竹间的产品。我们是外呼外包的，外呼产品咨询、电销、满意度回访等等都做，用的就是竹间的智能外呼机器人，也算是智能客服的一种吧。其实当时考虑集成合作的时候评估了好几家公司，最后挨个试用下来，还是选了竹间的产品，竹间语义理解的准确度比较高，有时候客户说了一大段话，机器人还是可以明白意思，准确对答。挺智能的，不是某些厂商那种傻傻的请拨123的那种。
另外就是情感计算方面，现在很多企业都很关注用户的情绪啊、满意度呀这些，竹间产品对对话中的语气、情绪等等都有监测和预警提醒。
之前公司一些外呼客服同事，被客户怼了难免会有一些情绪，但用竹间外呼机器人的话，服务态度就比较稳定可控了，对客户态度一直和和气气的，这样客户沟通起来也不会觉得是“冷冰冰”，就我来说，接入体验确实不错，推荐。
不少人都翘首以盼，计算机会变得越来越聪明，在不久的将来，它就能像人一样具有情感，与人进行自然、亲切和生动的智能交互。 认知科学（Cognitive Science）是在心理学、计算机科学、人工智能、神经科学、科学语言学、科学哲学以及其他基础科学（如数学、理论物理学）共同感兴趣的界面上，即理解人类的、乃至机器的智能的共同兴趣上，涌现出来的高度跨学科的新兴科学。认知科学试图依靠众多学科的共同努力，理解心智的性质，可能的话，在此基础上制造出能思维的机器。而认知心理学由于关注和研究人的心智活动，在认知科学中发挥着重要的作用。
认知心理学: 人脑与计算机类比
认知心理学是20世纪60年代兴起的心理学研究取向，它不仅研究心智活动的“软件”（即心智活动的过程，如人对信息的编码、储存和提取），而且研究心智活动的“硬件”（即心智活动的结构，如认知功能的脑定位或脑机制），提出了极富特色的理论，促进了对人类心智活动的细微剖析和准确理解，成为现代心理学的主流方向。
信息加工系统（Information-Processing System）也被称为符号操作系统（Symbol Operation System）或物理符号系统（Physical Symbol System）。一个完整的物理符号系统具有信息的输入（Input）、输出（Output）、存储（Store）、复制（Copy）、建立符号结构（Build Symbol Structure）和条件性迁移（Conditional Transfer）六种功能。物理符号系统假设提出，任何一个系统，如果能够表现出智能的话，就必能执行上述六种功能; 反之，任何系统如果具有这六种功能，就能表现出智能。其推论自然是: 人具有智能，人一定是个物理符号系统; 计算机是个物理符号系统，计算机一定能表现出智能。既然人是一个物理符号系统，计算机也是一个物理符号系统，那么我们就可以用计算机来模拟人的智能活动。认知心理学所做的，就是试图用物理符号系统假设中的基本规律来解释人类复杂的心理现象。
心智的计算-表征理解（Computa-tional-Representational Understanding of Mind，简称CRUM）是一种对心智问题的理解方式，认为对思维最恰当的理解是将其视为心智中的表征结构以及在这些结构上进行操作的计算程序。 心智表征属于系统的内部状态，是相对于外部事件或事件的语义加以界定的，是一种形式化的符号表达式; 而所有与系统有关的语义内容，都依照深层的符号表达式及其变换的形式和符号关系结构加以规定，这是一种物理符号操作，是一种计算。表征与计算二者的关系密不可分，因为一定的计算总是建立在一定的表征之上，表现为对表征的某种操作和转换; 而一定的计算也总是会产生某种新的表征。
认知心理学研究心智结构和信息加工过程的方法主要由四个步骤构成，即理论、模型、程序和平台。一个认知理论首先要假定一套表征结构和一套在这些结构上进行操作的加工过程; 然后，通过与由数据结构和算法构成的计算机程序进行类比，设计一个计算模型使得这些表征结构和过程更为精确。有关表征的模糊概念可以用准确的关于数据结构的计算概念予以补充，而心理过程则可由算法来定义; 为了测试该模型，必须用一种编程语言将其在一个软件程序中实现; 最后，该程序应该可以在各种软硬件平台上运行。实际上，无论是信息加工取向对规则和搜索策略等进行的抽象的串行的分析，还是联结主义取向强调的分布式表征和平行加工，各种心智结构和信息加工过程均可采用上述方法进行研究。理论、模型、程序、平台一起构成了认知心理学的基本研究构架。大量研究都遵循着这个途径，并通过实验将各个步骤贯穿起来。
情感计算: 人与计算机交互
显然，情感交流是个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。情感计算研究试图通过不断加深对人的情感状态和机制的理解，创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。
作者简介:傅小兰
研究员，现任中国科学院心理研究所副所长，研究领域为认知心理学，主要关注人的基本认知过程、信息加工动态机制、知识表征、认知绩效以及人机交互中的心理与行为问题。担任脑与认知科学国家重点实验室副主任，中国心理学会常务理事、副秘书长、中国人类工效学会理事、认知工效学专业委员会副主任委员，全国人类工效学标准化技术委员会副主任委员等。
情感计算研究有助于提高计算机感知情境，理解人的情感和意图，做出适当反应的能力。情境化是人与计算机交互研究中的新热点。在人与计算机的交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，做出反应。例如，通过对不同类型的用户建模（例如: 操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如: 呈现方式、操作方式、与知识背景有关的决策支持等）; 在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。
情感计算是一个高度综合化的技术领域。目前情感计算研究面临的挑战仍是多方面的: （1）情感信息的获取与建模，例如细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型; （2）情感识别与理解，例如多模态的情感识别和理解; （3）情感表达，例如多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响; （4）自然和谐的人性化和智能化的人计交互的实现，例如情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。
情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。
在电子商务领域，在设计购物网站和股票交易网站等时充分利用人的情感因素的作用，以改变客流量。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景，而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。
语音和文本之间的模态差异虽大，但利用训练过的Tokenizer将所有未标注的语音和文本转换到相同的离散表示空间。这样，两种模态亦能在预训练中通过共享接口自然地交互。
如今，人工智能技术已经能够通过语音识别与语音合成实现两者的相互转换。随着自监督表征学习分别在自然语言处理（NLP）与语音领域取得了显著进展，研究者们开始关注语音和文本的联合预训练方法。
近期，微软亚洲研究院与微软云计算平台 Azure 语音组的研究员们提出了文本数据增强的语音预训练模型SpeechLM。神经科学研究显示，人类在接收语音和文字信息时会使用不同的大脑皮层分别预处理语音和文本，然后再将预处理的结果投射至同一个被称为Broca and Wernicke的区域提取语义等信息。受此启发，研究员们开始使用音素单元（phoneme unit）或隐藏单元（hidden unit）作为共享的语义接口[LZ1] 来桥接语音和文本模态。该接口具有很强的可解释性和可学习性。通过这个共享的语义接口，SpeechLM可以利用额外的文本数据来提升语音预训练模型的性能。在典型的语音-文本跨模态任务（如语音识别、语音翻译）和语音表征学习基准数据集SUPERB [1]上，SpeechLM表现优异。图1展示了在LibriSpeech数据集中使用不同数量的文本数据后，SpeechLM显示出的语音识别性能。仅仅使用少量文本数据（10K个文本句子）的SpeechLM显著地超越了之前的SOTA模型。目前，该模型已经在GitHub开源，并将集成到 Hugging Face框架中供研发者参考。
回首语音和语言联合训练
与NLP不同，语音信号是连续的，因此很难直接找到类似于BERT预训练的预测标签。想要解决这个问题，就需要一个Tokenizer将连续的语音特征映射至离散的标签。受文本预训练方法BERT的启发，语音表示学习模型HuBERT [2]利用MFCC特征或者Transformer中间层表示的k-means模型作为Tokenizer，将语音转换为离散的标签，通过迭代的方法进行模型预训练。
以往的联合预训练方法大多简单地让语音和文本共享神经网络的模型参数。这种训练方法不能保证语音和文本在同一语义空间内，存在迁移干扰和容量稀释的问题。为了缓解这两个问题，SLAM [3]和mSLAM [4]利用额外有监督的语音识别任务来增强语音与文本的一致性。然而，这些方法仍然无法使用相同的建模单元对未标注的语音和文本数据进行建模。虽然MAESTRO能够在RNN-T框架下通过模态匹配算法从语音和文本模态中学习共享表示，但该算法只能在成对的语音-文本数据上进行优化。
SpeechLM的目标就是利用文本数据来改善语音表征的学习。不同于之前的研究，SpeechLM能够利用训练过的Tokenizer将所有未标注的语音和文本转换到相同的离散表示空间。这样，两种模态亦能在预训练中通过共享接口自然地交互。
构建语音和文本的共享桥梁
语音和文本之间的模态差异极大。首先，语音信号比文本数据具有更多更丰富的信息，如韵律、音色、情感等。其次，语音是由一连串音素组成的连续信号，通常表示为连续平滑的波形，而文本是由词语、字词或字符表示的离散数据。第三，语音表示比文本表示更长，例如，一秒16KHZ的语音包含16000个采样点和几个单词。因此，如何弥合语音和文本之间的模态差异是构建两者桥梁的关键。
为了解决这一问题，研究员们探索使用了一个定义好的离散标签来桥接语音和文本，将语音和文本映射到共享离散空间中进行联合预训练。利用音素单元或者隐藏单元作为语音和文本之间的桥梁具有以下优点：
（1）将语音和文本分别对齐成共享的中间表示比直接对齐两者更容易
（2）可以充分利用额外的未标注数据来提升对齐学习
（3）可以利用更细粒度的对齐信息（例如帧级别对齐）来促进联合建模。
研究员们定义了两套不同的离散Tokenizer来实现这个目的，分别将语音文本映射到基于音素单元的表示空间和基于隐藏单元的表示空间。音素单元Tokenizer使用混合ASR模型，将未标记的语音序列转录成帧级别的音素单元，并通过词典转换未标记的文本。而隐藏单元Tokenizer使用基于HuBERT的k-means模型将语音聚类为隐藏单元，并利用非自回归模型将未标记的文本转换为隐藏单元。所有的Tokenizer模型都是用无监督数据或少量ASR数据训练获得的，并在预训练前离线使用，不直接参与预训练过程。
语音情感识别和脸部情感识别相比,各有方便、技术成熟、直观、难以伪造的优势。语音识别技术的应用通常是在人机交互上，让机器通过是被和理解语音信号之后转化为相应的文本和命令然后进行执行。人脸识别网络技术使用通用的摄像机作为识别数据信息资源获取装置，以非接触的方式在识别研究对象未察觉的情况下完成识别发展过程。语音情感识别和脸部情感识别各具有以下优势：
1、语音情感识别优势。和脸部情感识别技术相比，语音识别技术的优势似乎更加明显，语音识别技术不会遗失和忘记数据，不用记忆，在应用的时候也比较方便。语音识别技术比较成熟，用户的接受度也很高，声音输入设备造价也很具有优势，在隐私问题上，语音识别技术也比较有保障，所以推广使用还是很有市场的。
2、脸部情感识别优势。人脸识别系统使用可以方便，人脸识别技术是以人脸图像为基础的，最直观的信息来源，便于人工确认和审核。人脸识别技术是独一无二的，与语音情感识别技术相比，人脸识别技术具有准确率高、难以伪造、误识别率和拒识率低的特点。
多模态数据就是利用数据融合技术在多模态生物识别的过程里面来采取识别过程，使得认证和识别过程更加准确安全。
多模态数据，它跟传统数据的区别在于捕获的信息量和数据的复杂性。模态数据可以捕获广泛的信息，包括视觉和听觉线索，而传统数据通常仅限于单一模态。
多模态指的是同一个任务中使用多种不同的特征数据来完成，以此来提高识别准确度。大模型指的是使用更多的参数来提高模型的表现，从而提高识别准确度。
模态指的是人类通过感官（如视觉、听觉等）与外部环境（如人、机器、物件、动物等）之间的互动方式。
虽然MAESTRO能够在RNN-T框架下通过模态匹配算法从语音和文本模态中学习共享表示，但该算法只能在成对的语音-文本数据上进行优化。SpeechLM的目标就是利用文本数据来改善语音表征的学习。
而现在更引人瞩目的是同时分析单细胞内多种分子以建立更全面的单细胞分子视图。通常这些方法是将scRNA-seq数据与其它分析手段的结合，目前主要有四种策略从单细胞中得到多模态数据：严格来说这种方法算单模态。
人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中，从人操作计算机，变为计算机辅助人；从人围着计算机转，变为计算机围着人转；计算机从认知型，变为直觉型。显然，为实现这些转变，人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。
情感——人际通信交流的重要手段
情感被用来表示各种不同的内心体验（如情绪、心境和偏好），情绪被用来表示非常短暂但强烈的内心体验，而心境或状态则被用来描述强度低但持久的内心体验。情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。
情感具有三种成分：⑴主观体验，即个体对不同情感状态的自我感受；⑵外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式）、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化）；⑶生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模式。
概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。
情感可以测量应用深远广阔
情感测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测量其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。
确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：⑴愉悦度（也有人提出用趋近-逃避来代替愉悦度）；⑵激活度，即与情感状态相联系的机体能量的程度。研究发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤醒度的生理指标。
情感是一种内部的主观体验，但总是伴随着某种外部表现，即表情。面部表情、姿态表情、语调表情三种表情被称之为体语，构成了人类的非言语交往方式。面部表情是指通过眼部、颜面和口部肌肉的变化来表现各种情感状态。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。研究表明，人脸的不同部位具有不同的表情作用，例如，眼睛对表达忧伤最重要，口部对表达快乐与厌恶最重要，前额能提供惊奇的信号，而眼睛、嘴和前额等对表达愤怒很重要。使用特定的仪器可以对面部的微小表情变化进行研究，甚至可以区分真笑和假笑：人在真笑时面颊上升，眼周围的肌肉堆起，大脑左半球的电活动增加；而人在假笑时仅有嘴唇的肌肉活动，下颚下垂，大脑左半球的电活动不明显。脸部运动编码系统facs通过不同编码和运动单元的组合，可以在脸部形成复杂的表情变化，其成果已经被应用于人脸表情的自动识别与合成。还有mpeg-4 v2视觉标准，定义了3个重要的参数集，即人脸定义参数、人脸内插变换参数和人脸动画参数，其表情参数具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。目前面部表情的研究侧重于对三维图像的更细致的描述和建模，也注重使用复杂的纹理和较细致的图形变换算法，以达到生动的情感表达效果。
人的姿态即身体表情，一般伴随着交互过程而发生变化，并表达着一些信息。而语调表情是通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。在人际交往中，语音是人们最直接的交流通道。通过语音人很容易就能感受到对方的情感变化，就像“你真行!”这句话，既可以表示赞赏，也同样可以表示讽刺或妒忌。情感语音研究目前主要侧重于情感的声学特征的分析。语音中的情感特征往往通过语音韵律的变化表现出来（如当一个人发怒时，讲话的速率可能变快，音量变大，音调变高等），但也可同时通过一些音素特征（如共振峰、声道截面函数等）表现出来。中国科学院心理研究所、中国科学院自动化研究所、清华大学计算机系等机构都在从事相关研究。
在人机交互研究中已使用过很多种生理指标，例如，皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电eeg等。生理指标的记录需要特定的设备和技术，在进行测量时，研究者有时很难分离各种混淆因素对所记录的生理指标的影响。
情境化是人机交互研究中的新热点
情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模，基于多模态和动态时序特征的情感识别与理解，及其信息融合的理论与方法，情感的自动生成理论及面向多模态的情感表达，以及基于生理和行为特征的大规模动态情感数据资源库的建立等。
欧洲和美国的各大信息技术实验室正加紧进行情感计算系统的研究。剑桥大学、麻省理工学院、飞利浦公司等通过实施“环境智能”、“环境识别”、“智能家庭”等科研项目来开辟这一领域。例如，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统，通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来调节程序以识别人的情感。如果你对电视讲座的一段内容表现出困惑，情感助理会重放该片段或者给予解释。麻省理工学院“氧工程”的研究人员和比利时imec的一个工作小组认为，开发出一种整合各种应用技术的“瑞士军刀”可能是提供移动情感计算服务的关键。而目前国内的情感计算研究重点在于，通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建个人情感计算系统。研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。
情境化是人机交互研究中的新热点。自然和谐的智能化的人机界面的沟通能力特征包括：⑴自然沟通：能看，能听，能说，能触摸；⑵主动沟通：有预期，会提问，并及时调整；⑶有效沟通：对情境的变化敏感，理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同反馈和支持。而实现这些特征在很大程度上依赖于心理科学和认知科学对人的智能和情感研究所取得的新进展。我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何做出恰当的反应，从而帮助计算机正确感知环境，理解用户的情感和意图，并做出合适反应。因此，人机界面的“智能”不仅应有高的认知智力，也应有高的情绪智力，从而有效地解决人机交互中的情境感知问题、情感与意图的产生与理解问题，以及反应应对问题。
显然，情感交流是一个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。在人机交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，并做出反应。例如，通过对不同类型的用户建模（例如，操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如，呈现方式、操作方式、与知识背景有关的决策支持等）;在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。
电脑能像人一样具有情感
计算智能领域“百花齐放”，进化计算、遗传算法、混沌理论、粗集理论、情感计算、免疫计算等研究方兴未艾。不少人都翘首以盼，计算机会变得越来越聪明，在不久的将来，电脑就能像人一样具有情感，与人进行自然、亲切和生动的智能交互。
情感计算是一个高度综合化的技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人机交互环境，将有可能实现人与计算机的情感交互。迄今为止，有关研究已在人脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。情感计算研究将不断加深对人的情感状态和机制的理解，并提高人机界面的和谐性，即提高计算机感知情境、理解人的情感和意图并做出适当反应的能力。
目前情感计算研究面临的挑战仍是多方面的：⑴情感信息的获取与建模，例如，细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型；⑵情感识别与理解，例如，多模态的情感识别和理解；⑶情感表达，例如，多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响；⑷自然和谐的人性化和智能化的人机交互的实现，例如，情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。
情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。在电子商务领域，在设计购物网站和股票交易网站等时能充分利用人的情感因素的作用，以改变客流量。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景，而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。
展望现代科技的潜力，我们预期在未来的世界中将可能会充满运作良好、操作容易、甚至具有情感特点的计算机。
欢迎分享，转载请注明来源：浪漫分享网
微信扫一扫
支付宝扫一扫
评论列表（0条）