如何分析和研究人的情感？

分析和研究人的情感是一个复杂的过程，需要结合多个因素和方法。以下是一些常见的方法和技巧：

观察非语言表达：情感通常通过非语言表达来展示，包括面部表情、姿势、手势、眼神等。观察这些非语言信号可以提供关于一个人情感状态的线索。

倾听和观察语言表达：人们在语言中常常流露出情感，包括词语的选择、语调、语速等。倾听和观察一个人的语言表达可以帮助你了解他们的情感体验。

提问和探索：与他人进行深入的对话，提出开放性的问题，探索他们的情感体验和内心感受。通过主动与他人交流，你可以更好地了解他们的情感世界。

了解背景和经历：一个人的情感体验通常受到他们的背景和经历的影响。了解一个人的背景故事、家庭环境、教育背景等，可以提供更多的背景信息来理解他们的情感。

使用情感分析工具：一些科学研究和心理学领域的专业人士使用情感分析工具来研究和测量情感。这些工具可能包括问卷调查、心理测量仪器、脑部扫描等，通过客观的数据来分析和研究情感。

学习心理学和情感科学知识：深入学习心理学和情感科学领域的知识可以提供更多的理论框架和研究成果，帮助你理解情感的本质和影响因素。

需要注意的是，分析和研究他人的情感是一项复杂的任务，需要综合考虑多个因素，并且要尊重他人的隐私和个人边界。在进行情感分析时，保持尊重、开放和理解的态度非常重要。

http://wwwdocincom/p-2177206264html

任务机器人

知识图谱机器人

FAQ机器人

闲聊机器人

阅读理解机器人

query -> 纠错->标准化->文本特征提取->query改写[同义词] ->BM25 算法 -> 计算语句和候选句的相似度s(q,q') , 并排序

相似度计算：冷启动-深度学习匹配-知识图谱-拒识

https://blogcsdnnet/qq_42491242/article/details/105286787

https://zhuanlanzhihucom/p/84809907

字面匹配 文本相似度（jaccard, cosine)+ xgboost

词向量 word2vec,glove =Global Vectors for Word Representation

句向量 WMD[无监督] ,SIF

结论 虽然句子中无加权的平均词嵌入是简单的基准做法，但是Smooth Inverse Frequency是更强有力的选择

https://zhuanlanzhihucom/p/37104535

排序阶段也可以利用排序训练模型，得到知识库内的相似问，构造句对训练数据，训练有监督的模型

判断(query, question)的分数，选择分数最高的问题对应的知识点作为机器人回复

通过搜索引擎里 Query 和 Title 的海量的点击曝光日志，用 DNN 把 Query 和 Title 表达为低纬语义向量，并通过 cosine 距离来计算两个语义向量的距离，最终训练出语义相似度模型。该模型既可以用来预测两个句子的语义相似度，又可以获得某句子的低纬语义向量表达。

https://wwwjianshucom/p/8f19d915b3f8

联合学习

-文本分类：同时进行语句匹配和分类

-文本生成：匹配和seq2seq训练

多语料迁移：

-fine-tune

-adversarial loss

预训练模型

-ELMO , BERT

对话管理

query->nlu-DST-DPL -NLG ->response

NLU : 意图识别（规则或分类）槽位提取（NER）

DST-会话状态管理(DQN)

DPL- 会话策略学习，选择下一步

NLG- 根据action 返回回复文本

预判 客服机器人多轮对话的意图预判功能通常依赖于访客的接入渠道、着陆页、访问轨迹等数据，机器人可以通过这些数据来预测客户想要咨询的问题

https://blogcsdnnet/stay_foolish12/article/details/90265394

https://wwwcnblogscom/qcloud1001/p/9181900html

任务型机器人指特定条件下提供信息或服务的机器人。通常情况下是为了满足带有明确目的的用户，例如查流量，查话费，订餐，订票，咨询等任务型场景

理解了用户意图之后，通过引导用户完善任务要求，完成任务。

处理流程：场景选择，实体抽取，关系预测

问答式

引导式

根据知识逐步递进，一步步进行约束定义

从文章中抽取答案，阅读理解建模。

seq2seq， 上下文建模

ASR, NLP, TTS,MRCP

智能电话管理

人群管理，话术管理，电话任务管理，知识库管理，算法模型管理

外呼统计

任务监控，通话监控，意向度筛选，通话详情，统计分析

功能组件：语义解析，语义匹配，会话意图识别，答案生成，情感分析

深度迁移学习，知识图谱引擎

问答标注平台，模型训练平台，分布式爬虫，hadoop 集群

问答管理，相似问题，智能学习

回答，引导转人工

1- 单轮: 深度语义匹配 迁移学习 知识图谱

2- 多轮 对话管理-槽位提取-端到端学习-强化学习

3- 阅读理解机器人-开放域闲聊机器人

自然语言处理(NLP)的研究对象是计算机和人类语言的交互，其任务是理解人类语言并将其转换为机器语言。

在目前的商业场中，NLP 技术用于分析源自邮件、音频、文件、网页、论坛、社交媒体中的大量半结构化和非结构化数据，市场前景巨大。

近年来，自然语言处理处于快速发展阶段。互联网与移动互联网和世界经济社会一体化的潮流对自然语言处理技术的迫切需求，为自然语言处理研究发展提供了强大的市场动力。

纵观自然语言处理技术研究发展的态势和现状，以下研究方向或问题将可能成为自然语言处理未来研究必须攻克的堡垒：

1、词法和句法分析方面：包括多粒度分词、新词发现、词性标注等；

2、语义分析方面：包括词义消歧、非规范文本的语义分析；

3、语言认知模型方面：比如使用深度神经网络处理自然语言，建立更有效、可解释的语言计算模型；

4、知识图谱方面：如何构建能够融合符号逻辑和表示学习的大规模高精度的知识图谱；

5、文本分类与聚类方面：通过有监督、半监督和无监督学习，能够准确进行分类和聚类；

6、信息抽取方面：对于多源异构信息，如何准确进行关系、事件的抽取等。

7、情感分析方面：包括基于上下文感知的情感分析、跨领域跨语言情感分析、基于深度学习的端到端情感分析、情感解释、反讽分析、立场分析等；

8、自动文摘方面：如何表达要点信息？如何评估信息单元的重要性；

9、信息检索方面：包括意图搜索、语义搜索等，都将有可能出现在各种场景的垂直领域，将以知识化推理为检索运行方式，以自然语言多媒体交互为手段的智能化搜索与推荐技术；

10、自动问答方面：包括深度推理问答、多轮问答等各种形式的自动问答系统；

11、机器翻译方面：包括面向小数据的机器翻译、非规范文本的机器翻译和篇章级机器翻译等。

分享嘉宾：张鸿志博士 美团 算法专家

编辑整理：廖媛媛 美的集团

出品平台：DataFunTalk

导读： 美团作为中国最大的在线本地生活服务平台，连接着数亿用户和数千万商户，其背后蕴含着丰富的与日常生活相关的知识。美团知识图谱团队从2018年开始着力于图谱构建和利用知识图谱赋能业务，改善用户体验。具体来说，“美团大脑”是通过对美团业务中千万数量级的商家、十亿级别的商品和菜品、数十亿的用户评论和百万级别的场景进行深入的理解来构建用户、商户、商品和场景之间的知识关联，进而形成的生活服务领域的知识大脑。目前，“美团大脑”已经覆盖了数十亿实体、数百亿的三元组，在餐饮、外卖、酒店、到综等领域验证了知识图谱的有效性。今天我们介绍美团大脑中生活服务知识图谱的构建及应用，主要围绕以下3个方面展开：

--

“美团大脑”是什么？

以下是“美团大脑”构建的整体RoadMap，最先是2018年开始餐饮知识图谱构建，对美团丰富的结构化数据和用户行为数据进行初步挖掘，并在一些重要的数据维度上进行深入挖掘，比如说对到餐的用户评论进行情感分析。2019年，以标签图谱为代表，重点对非结构化的用户评论进行深入挖掘。2020年以后，开始结合各领域特点，逐个领域展开深度数据挖掘和建设，包括商品、美食、酒旅和到综和cross图谱等。

--

在搜索中，通常用户需要将其意图抽象为搜索引擎能够支持的一系列精搜关键词。标签知识图谱则是通过“标签”来承载用户需求，从而提升用户搜索体验。例如，通过标签知识图谱，用户可直接搜索“带孩子”或者“情侣约会”，就可返回合适的商户/内容供给。从信息增益角度来说，用户评论这种非结构化文本蕴含了大量的知识（比如某个商户适合的场景、人群、环境等），通过对非结构化数据的挖掘实现信息增益。该团队以生活服务领域的海量评论数据作为主要知识来源，通过标签挖掘、标签间关系挖掘以及标签-商户关联等关键技术，自下而上梳理用户需求，场景及主要关注点完成图谱构建。

标签知识图谱构建分为以下四个部分：知识抽取、关系挖掘、图谱打标和图谱应用。

① 知识抽取

标签挖掘采用简单的序列标注架构，包括Single span标签挖掘和跳字标签挖掘，此外还会结合语义判别或者上下文判别，采用远监督学习+结果投票方式获取更精准的标签。

② 关系挖掘

同义词挖掘：同义词挖掘被定义为给定包含N个词的池子，M个业务标签词，查找M中每个词在N中的同义词。现有的同义词挖掘方法包括搜索日志挖掘、百科数据抽取、基于规则的相似度计算等，缺乏一定的通用性。当前我们的目标是寻找通用性强，可广泛应用到大规模数据集的标签同义词挖掘方法。

以下是作者给出的同义词挖掘的具体方案，首先将离线标签池或者线上查询标签进行向量表示获取向量索引，再进行向量哈希召回，进一步生成该标签的TopN的同义词对候选，最后使用同义词判别模型。该方案的优势在于降低了计算复杂度，提升了运算效率；对比倒排索引候选生成，可召回字面无overlap的同义词，准确率高，参数控制简单。

对于有标注数据，主流的标签词嵌入表示方法有word2vec、BERT等。word2vec方法实现较为简单，词向量取均值，忽略了词的顺序；BERT通过预训练过程中能捕捉到更为丰富的语义表示，但是直接取[CLS]标志位向量，其效果与word2vec相当。Sentence-Bert对于Bert模型做了相应的改进，通过双塔的预训练模型分别获取标签tagA和tagB表征向量，然后通过余弦相似性度量这两个向量的相似性，由此获取两个标签的语义相似性。

对于无标注数据来说，可以通过对比学习的方法获取句子的表示。如图所示，Bert原始模型对于不同相似度的句子的向量相似度都很高，经过对比学习的调整之后，向量的相似度能够较好地体现出文本相似度。

对比学习模型设计：首先给定一个sentence，对这个样本做扰动产生样本pair，常规来说，在embedding层加上Adversarial Attack、在词汇级别做Shuffling或者丢掉一些词等构成pair；在训练的过程中，最大化batch内同一样本的相似度，最小化batch内其他样本的相似度。最终结果显示，无监督学习在一定程度上能达到监督学习的效果，同时无监督学习+监督学习相对于监督学习效果有显著提升。

同义词判别模型设计：将两个标签词拼接到Bert模型中，通过多层语义交互获取标签。

标签上下位挖掘：词汇包含关系是最重要的上下位关系挖掘来源，此外也可通过结合语义或统计的挖掘方法。但当前的难点是上下位的标准较难统一，通常需要结合领域需求，对算法挖掘结果进行修正。

③ 图谱打标：如何构建标签和商户供给的关联关系？

给定一个标签集合，通过标签及其同义词在商户UGC/团单里出现的频率，卡一个阈值从而获取候选tag-POI。这样会出现一个问题是，即使是频率很高但不一定有关联，因此需要通过一个商户打标判别模块去过滤bad case。

商户打标考虑标签与商户、用户评论、商户Taxonomy等三个层次的信息。具体来讲，标签-商户粒度，将标签与商户信息（商户名、商户三级类目、商户top标签）做拼接输入到Bert模型中做判别。

微观的用户评论粒度，判断每一个标签与提到该标签的评论（称为evidence）之间是正面、负面、不相关还是不确定的关系，因此可当作四分类的判别模型。我们有两种方案可选择，第一种是基于多任务学习的方法， 该方法的缺点在于新增标签成本较高，比如新增一个标签，必须为该标签新增一些训练数据。笔者最终采用的是基于语义交互的判别模型，将标签作为参数输入，使该模型能够基于语义判别，从而支持动态新增标签。

基于语义交互的判别模型，首先做向量表示，然后是交互，最终聚合比较结果，该方法的计算速度较快，而基于BERT的方法，计算量大但准确率较高。我们在准确率和速度上取balance，例如当POI有30多条的evidence，倾向于使用轻量级的方式；如果POI只有几条evidence，可以采用准确率较高的方式进行判别。

从宏观角度，主要看标签和类目是否匹配，主要有三种关系：一定不会，可能会，一定会。一般通过商户层关联结果进行投票结果，同时会增加一些规则，对于准确率要求较高时，可进行人工review。

④ 图谱应用：所挖掘数据的直接应用或者知识向量表示应用

在商户知识问答相关的场景，我们基于商户打标结果以及标签对应的evidence回答用户问题。

首先识别用户query中的标签并映射为id，然后通过搜索召回或者排序层透传给索引层，从而召回出有打标结果的商户，并展示给C端用户。A/B实验表明，用户的长尾需求搜索体验得到显著提升。此外，也在酒店搜索领域做了一些上线实验，通过同义词映射等补充召回手段，搜索结果有明显改善。

主要采用GNN模型实现，在构图中构建了两种边，Query-POI点击行为和Tag-POI关联信息；采用Graph Sage进行图学习，学习的目标是判断Tag和POI是否有关联关系或者Query和POI是否点击关系，进一步依据关联强度进行采样。上线后结果显示，在仅利用Query-POI信息构图时，线上无收益，在引入Tag-POI关联信息后线上效果得到显著提升。这可能是因为排序模型依赖于Query-POI点击行为信息去学习，引入Graph Sage学习相当于换了一种学习的方式，信息增益相对较少；引入Tag-POI信息相当于引入了新的知识信息，所以会带来显著提升。

此外，仅接入Query-POI向量相似度线上效果提升不佳，将Query和POI向量接入后效果得到显著提升。这可能是因为搜索的特征维度较高，容易忽略掉向量相似度特征，因此将Query和POI向量拼接进去后提升了特征维度。

该任务通过当前已知的Item去预测用户点击的Masked Item。比如说获取Item的上下文表征的时候，将相关的Attribute信息也进行向量表征，从而去判断Item是否有Attribute信息。

此外，还可以做Masked Item Attribute 预测，从而将标签的知识图谱信息融入到序列推荐任务中去。实验结果表明，引入知识信息后的准确率在不同的数据集上均有数量级的提升。同时，我们也做了线上转化的工作，将Item表征做向量召回；具体来说，基于用户历史上点击过的Item去召回topN相似的Item，从而补充线上推荐结果，在美食列表推荐页有显著提升。

--

菜品知识图谱的构建目标，一方面是构建对菜品的系统理解能力，另一方面是构建较为完备的菜品知识图谱，这里从不同的层次来说明菜品知识图谱的构建策略。

菜名理解

菜名中蕴含着最精准、获取成本最低的菜品信息，同时对菜名的理解也是后续显式知识推理泛化能力的前提。首先是抽取菜名的本质词/主体菜，然后序列标注去识别菜名中的每个成分。针对两种场景设计了不同的模型，对于有分词情况，将分词符号作为特殊符号添加到模型中，第一个模型是识别每个token对应的类型；对于无分词情况，需要先做Span-Trans的任务，然后再复用有分词情况的模块。

菜名理解是一个较为重要的信息来源，但是所蕴含的知识相对有限，从而提出了基于深度学习模型进行初步字符推断，可实现对不同字面表述的泛化处理。但是对需要专业知识的case表现欠佳，偶尔在字面极其匹配时出现case。

从知识内容丰富的文本中挖掘某些菜谱的基础知识，来构建源知识库；然后通过泛化推理去映射到具体SKU中。在食材推理中，比如菜品种有多道红烧肉，统计10道五花肉中有4道是指五花肉，6道是指带皮五花肉，因此肉就转化为带皮五花肉。对应地，佛跳墙有多道菜谱，先通过统计每种食材出现的概率，可以卡一个阈值，然后表明该菜谱的食谱是什么。

多源数据挖掘，基于菜名理解结果构建solid knowledge triple，同时也依赖菜名理解结果泛化规则。该策略主要适用于处理食材、功效、人群等标签。该方法准确率OK，有一定泛化能力，但覆盖率偏低。

业务内有一些比较好用的训练数据，例如1000万商户编辑自洽的店内分类树。基于该数据可产生5亿的 positive pairs 和 30G corpus。在模型训练中，会随机替换掉菜谱分类的 tab/shop，模型判断 tab/shop 是否被替换；50%的概率drop shop name，使得模型仅输入菜名时表现鲁棒。同时，对模型做了实体化改进，将分类标签作为bert的词进行训练，将该方法应用到下游模型中，在10w标注数据下，菜谱上下位/同义词模型准确率提升了18%。

首先使用ReseNet对菜谱进行编，使用Bert模型对菜谱文本信息做编码，通过对比学习loss去学习文本和店菜的匹配信息。这里采用双塔模型，一方面是下游应用较为方便，单塔模型可独立使用，也可inference出菜品的表示并缓存下来；另一方面是内容单纯，暂无交互式建模的必要。训练目标分别是与店菜匹配、与菜名对齐，与Tab对齐。

可基于多模态信息做菜品品类预测或者菜谱信息补全。比如，预测“猪肉白菜”加上了信息将更加直观和准确。基于文本和视图模态信息进行多视图半监督的菜谱属性抽取，以烹饪方式抽取为例，首先通过产生烹饪方法训练样本（红烧肉-红烧）；然后采用CNN模型去训练预测菜谱烹饪方法，指导Bert模型Finetune文本模型或者多模态模型，基于商户/tab/菜品及评论信息预测菜品烹饪方法；最终对两个模型进行投票或者将两个特征拼接做预测。

综上，我们对菜品知识图谱构建进行相应的总结。菜品理解比较适合SKU的初始化；深度学习推理模型和显式推理模型比较适合做同义词、上下位、菜系等；最终是想通过多模态+结构化预训练和推理来解决单模态信息不完整、属性维度多、需要大量标注数据等问题，因此该方法被应用到几乎所有的场景中。

今天的分享就到这里，谢谢大家。

分享嘉宾：

知识图谱的构建流程主要包括以下几个步骤：

收集数据：收集与知识图谱相关的数据，包括结构化数据和非结构化数据。结构化数据包括数据库、表格等，非结构化数据包括网页、文本、等。

数据清洗：对收集到的数据进行清洗和去重，消除噪声和冗余信息，确保数据质量。

实体识别：对清洗后的数据进行实体识别，将文本中的实体抽取出来，如人名、地名、机构名等。

关系抽取：通过自然语言处理技术，从文本中提取实体之间的关系，并将它们转化为图谱中的边。

知识表示：将实体和关系表示为图谱中的节点和边，以图谱的形式呈现出来。

知识融合：将来自不同数据源的知识进行融合，以丰富知识图谱的内容和结构。

知识推理：通过推理算法，对知识图谱进行推理和推断，从而生成新的知识和发现隐藏的关系。

以上是知识图谱构建的基本流程，具体实现的过程和方法因应用场景而异。在实际应用中，还需要结合具体的业务需求和技术特点，采用适当的算法和工具。