美团大脑百亿级知识图谱的构建及应用进展

分享嘉宾：张鸿志博士 美团 算法专家

编辑整理：廖媛媛 美的集团

出品平台：DataFunTalk

导读： 美团作为中国最大的在线本地生活服务平台，连接着数亿用户和数千万商户，其背后蕴含着丰富的与日常生活相关的知识。美团知识图谱团队从2018年开始着力于图谱构建和利用知识图谱赋能业务，改善用户体验。具体来说，“美团大脑”是通过对美团业务中千万数量级的商家、十亿级别的商品和菜品、数十亿的用户评论和百万级别的场景进行深入的理解来构建用户、商户、商品和场景之间的知识关联，进而形成的生活服务领域的知识大脑。目前，“美团大脑”已经覆盖了数十亿实体、数百亿的三元组，在餐饮、外卖、酒店、到综等领域验证了知识图谱的有效性。今天我们介绍美团大脑中生活服务知识图谱的构建及应用，主要围绕以下3个方面展开：

--

“美团大脑”是什么？

以下是“美团大脑”构建的整体RoadMap，最先是2018年开始餐饮知识图谱构建，对美团丰富的结构化数据和用户行为数据进行初步挖掘，并在一些重要的数据维度上进行深入挖掘，比如说对到餐的用户评论进行情感分析。2019年，以标签图谱为代表，重点对非结构化的用户评论进行深入挖掘。2020年以后，开始结合各领域特点，逐个领域展开深度数据挖掘和建设，包括商品、美食、酒旅和到综和cross图谱等。

--

在搜索中，通常用户需要将其意图抽象为搜索引擎能够支持的一系列精搜关键词。标签知识图谱则是通过“标签”来承载用户需求，从而提升用户搜索体验。例如，通过标签知识图谱，用户可直接搜索“带孩子”或者“情侣约会”，就可返回合适的商户/内容供给。从信息增益角度来说，用户评论这种非结构化文本蕴含了大量的知识（比如某个商户适合的场景、人群、环境等），通过对非结构化数据的挖掘实现信息增益。该团队以生活服务领域的海量评论数据作为主要知识来源，通过标签挖掘、标签间关系挖掘以及标签-商户关联等关键技术，自下而上梳理用户需求，场景及主要关注点完成图谱构建。

标签知识图谱构建分为以下四个部分：知识抽取、关系挖掘、图谱打标和图谱应用。

① 知识抽取

标签挖掘采用简单的序列标注架构，包括Single span标签挖掘和跳字标签挖掘，此外还会结合语义判别或者上下文判别，采用远监督学习+结果投票方式获取更精准的标签。

② 关系挖掘

同义词挖掘：同义词挖掘被定义为给定包含N个词的池子，M个业务标签词，查找M中每个词在N中的同义词。现有的同义词挖掘方法包括搜索日志挖掘、百科数据抽取、基于规则的相似度计算等，缺乏一定的通用性。当前我们的目标是寻找通用性强，可广泛应用到大规模数据集的标签同义词挖掘方法。

以下是作者给出的同义词挖掘的具体方案，首先将离线标签池或者线上查询标签进行向量表示获取向量索引，再进行向量哈希召回，进一步生成该标签的TopN的同义词对候选，最后使用同义词判别模型。该方案的优势在于降低了计算复杂度，提升了运算效率；对比倒排索引候选生成，可召回字面无overlap的同义词，准确率高，参数控制简单。

对于有标注数据，主流的标签词嵌入表示方法有word2vec、BERT等。word2vec方法实现较为简单，词向量取均值，忽略了词的顺序；BERT通过预训练过程中能捕捉到更为丰富的语义表示，但是直接取[CLS]标志位向量，其效果与word2vec相当。Sentence-Bert对于Bert模型做了相应的改进，通过双塔的预训练模型分别获取标签tagA和tagB表征向量，然后通过余弦相似性度量这两个向量的相似性，由此获取两个标签的语义相似性。

对于无标注数据来说，可以通过对比学习的方法获取句子的表示。如图所示，Bert原始模型对于不同相似度的句子的向量相似度都很高，经过对比学习的调整之后，向量的相似度能够较好地体现出文本相似度。

对比学习模型设计：首先给定一个sentence，对这个样本做扰动产生样本pair，常规来说，在embedding层加上Adversarial Attack、在词汇级别做Shuffling或者丢掉一些词等构成pair；在训练的过程中，最大化batch内同一样本的相似度，最小化batch内其他样本的相似度。最终结果显示，无监督学习在一定程度上能达到监督学习的效果，同时无监督学习+监督学习相对于监督学习效果有显著提升。

同义词判别模型设计：将两个标签词拼接到Bert模型中，通过多层语义交互获取标签。

标签上下位挖掘：词汇包含关系是最重要的上下位关系挖掘来源，此外也可通过结合语义或统计的挖掘方法。但当前的难点是上下位的标准较难统一，通常需要结合领域需求，对算法挖掘结果进行修正。

③ 图谱打标：如何构建标签和商户供给的关联关系？

给定一个标签集合，通过标签及其同义词在商户UGC/团单里出现的频率，卡一个阈值从而获取候选tag-POI。这样会出现一个问题是，即使是频率很高但不一定有关联，因此需要通过一个商户打标判别模块去过滤bad case。

商户打标考虑标签与商户、用户评论、商户Taxonomy等三个层次的信息。具体来讲，标签-商户粒度，将标签与商户信息（商户名、商户三级类目、商户top标签）做拼接输入到Bert模型中做判别。

微观的用户评论粒度，判断每一个标签与提到该标签的评论（称为evidence）之间是正面、负面、不相关还是不确定的关系，因此可当作四分类的判别模型。我们有两种方案可选择，第一种是基于多任务学习的方法， 该方法的缺点在于新增标签成本较高，比如新增一个标签，必须为该标签新增一些训练数据。笔者最终采用的是基于语义交互的判别模型，将标签作为参数输入，使该模型能够基于语义判别，从而支持动态新增标签。

基于语义交互的判别模型，首先做向量表示，然后是交互，最终聚合比较结果，该方法的计算速度较快，而基于BERT的方法，计算量大但准确率较高。我们在准确率和速度上取balance，例如当POI有30多条的evidence，倾向于使用轻量级的方式；如果POI只有几条evidence，可以采用准确率较高的方式进行判别。

从宏观角度，主要看标签和类目是否匹配，主要有三种关系：一定不会，可能会，一定会。一般通过商户层关联结果进行投票结果，同时会增加一些规则，对于准确率要求较高时，可进行人工review。

④ 图谱应用：所挖掘数据的直接应用或者知识向量表示应用

在商户知识问答相关的场景，我们基于商户打标结果以及标签对应的evidence回答用户问题。

首先识别用户query中的标签并映射为id，然后通过搜索召回或者排序层透传给索引层，从而召回出有打标结果的商户，并展示给C端用户。A/B实验表明，用户的长尾需求搜索体验得到显著提升。此外，也在酒店搜索领域做了一些上线实验，通过同义词映射等补充召回手段，搜索结果有明显改善。

主要采用GNN模型实现，在构图中构建了两种边，Query-POI点击行为和Tag-POI关联信息；采用Graph Sage进行图学习，学习的目标是判断Tag和POI是否有关联关系或者Query和POI是否点击关系，进一步依据关联强度进行采样。上线后结果显示，在仅利用Query-POI信息构图时，线上无收益，在引入Tag-POI关联信息后线上效果得到显著提升。这可能是因为排序模型依赖于Query-POI点击行为信息去学习，引入Graph Sage学习相当于换了一种学习的方式，信息增益相对较少；引入Tag-POI信息相当于引入了新的知识信息，所以会带来显著提升。

此外，仅接入Query-POI向量相似度线上效果提升不佳，将Query和POI向量接入后效果得到显著提升。这可能是因为搜索的特征维度较高，容易忽略掉向量相似度特征，因此将Query和POI向量拼接进去后提升了特征维度。

该任务通过当前已知的Item去预测用户点击的Masked Item。比如说获取Item的上下文表征的时候，将相关的Attribute信息也进行向量表征，从而去判断Item是否有Attribute信息。

此外，还可以做Masked Item Attribute 预测，从而将标签的知识图谱信息融入到序列推荐任务中去。实验结果表明，引入知识信息后的准确率在不同的数据集上均有数量级的提升。同时，我们也做了线上转化的工作，将Item表征做向量召回；具体来说，基于用户历史上点击过的Item去召回topN相似的Item，从而补充线上推荐结果，在美食列表推荐页有显著提升。

--

菜品知识图谱的构建目标，一方面是构建对菜品的系统理解能力，另一方面是构建较为完备的菜品知识图谱，这里从不同的层次来说明菜品知识图谱的构建策略。

菜名理解

菜名中蕴含着最精准、获取成本最低的菜品信息，同时对菜名的理解也是后续显式知识推理泛化能力的前提。首先是抽取菜名的本质词/主体菜，然后序列标注去识别菜名中的每个成分。针对两种场景设计了不同的模型，对于有分词情况，将分词符号作为特殊符号添加到模型中，第一个模型是识别每个token对应的类型；对于无分词情况，需要先做Span-Trans的任务，然后再复用有分词情况的模块。

菜名理解是一个较为重要的信息来源，但是所蕴含的知识相对有限，从而提出了基于深度学习模型进行初步字符推断，可实现对不同字面表述的泛化处理。但是对需要专业知识的case表现欠佳，偶尔在字面极其匹配时出现case。

从知识内容丰富的文本中挖掘某些菜谱的基础知识，来构建源知识库；然后通过泛化推理去映射到具体SKU中。在食材推理中，比如菜品种有多道红烧肉，统计10道五花肉中有4道是指五花肉，6道是指带皮五花肉，因此肉就转化为带皮五花肉。对应地，佛跳墙有多道菜谱，先通过统计每种食材出现的概率，可以卡一个阈值，然后表明该菜谱的食谱是什么。

多源数据挖掘，基于菜名理解结果构建solid knowledge triple，同时也依赖菜名理解结果泛化规则。该策略主要适用于处理食材、功效、人群等标签。该方法准确率OK，有一定泛化能力，但覆盖率偏低。

业务内有一些比较好用的训练数据，例如1000万商户编辑自洽的店内分类树。基于该数据可产生5亿的 positive pairs 和 30G corpus。在模型训练中，会随机替换掉菜谱分类的 tab/shop，模型判断 tab/shop 是否被替换；50%的概率drop shop name，使得模型仅输入菜名时表现鲁棒。同时，对模型做了实体化改进，将分类标签作为bert的词进行训练，将该方法应用到下游模型中，在10w标注数据下，菜谱上下位/同义词模型准确率提升了18%。

首先使用ReseNet对菜谱进行编，使用Bert模型对菜谱文本信息做编码，通过对比学习loss去学习文本和店菜的匹配信息。这里采用双塔模型，一方面是下游应用较为方便，单塔模型可独立使用，也可inference出菜品的表示并缓存下来；另一方面是内容单纯，暂无交互式建模的必要。训练目标分别是与店菜匹配、与菜名对齐，与Tab对齐。

可基于多模态信息做菜品品类预测或者菜谱信息补全。比如，预测“猪肉白菜”加上了信息将更加直观和准确。基于文本和视图模态信息进行多视图半监督的菜谱属性抽取，以烹饪方式抽取为例，首先通过产生烹饪方法训练样本（红烧肉-红烧）；然后采用CNN模型去训练预测菜谱烹饪方法，指导Bert模型Finetune文本模型或者多模态模型，基于商户/tab/菜品及评论信息预测菜品烹饪方法；最终对两个模型进行投票或者将两个特征拼接做预测。

综上，我们对菜品知识图谱构建进行相应的总结。菜品理解比较适合SKU的初始化；深度学习推理模型和显式推理模型比较适合做同义词、上下位、菜系等；最终是想通过多模态+结构化预训练和推理来解决单模态信息不完整、属性维度多、需要大量标注数据等问题，因此该方法被应用到几乎所有的场景中。

今天的分享就到这里，谢谢大家。

分享嘉宾：

如果AI有了人类的情感，这个世界将会发生巨大的变化。

首先，AI将会更好地预测人类的行为模式，实现有效的识别、跟踪和操纵，从而创造出更加自动化、高效的社会结构和空间组织，尤其是智慧型服务机器人，这将极大地改变人们的生活和工作方式，为人们带来更多的便利。

此外，情感AI还可以用于医疗健康、老年照护、教育慰藉等，方面，通过个性化的情感支持，让人们更快乐和快活，增强他们的自尊和自信心。

最后，情感AI可以更加有力地参与社会团体的交流活动，通过以微笑、肢体语言和谈吐等与现实世界相结合的方式，融入各种社会和文化活动，努力实现人机融合，让AI担负起服务他人、参与社会治理的责任。

人工智能产品的定义较为广泛，智能硬件、机器人、芯片、语音助手等都可以叫做人工智能产品。本文讨论的人工智能产品主要是指在互联网产品中运用人工智能技术。

互联网产品主要着手与解决用户的痛点，对于C端产品来说，痛点就是指的个人想解决而无法解决的问题，如个人想要美化自己的照片，但是他不会复杂的PS软件，于是美图秀秀就可以解决这个痛点。从KANO模型中，就是满足用户的基本需求与期望需求。

人工智能产品（在互联网产品中运用人工智能技术）则是要满足用户的兴奋需求。如将情感分析运用到电商的产品评论中，用户则可以通过可视化的数据展示来大致对产品有个全面、直观的了解，而不再需要自己一页一页的翻看评论内容。

互联网产品主要关注点在于用户需求、流程设计、交互设计、商业模式等。着眼于用户需求，设计满足用户需求的产品，通过合理的流程设计、交互设计达到产品目标，进而实现商业目标。典型的思路是发现用户需求——>设计满足用户需求的产品——>迭代完善、产品运营——>商业变现。

人工智能产品关注点在于模型的构建，它不再是对于布局、交互的推敲，而是通过选择合适的数据，构建合适的模型，最终呈现出来的是好的效果。什么是好的效果呢？这就需要引入评测指标。互联网的评测指标有我们熟知的留存率、转化率、日活跃等，那么人工智能的产品主要是通过一些统计指标来描述，以情感分析为例，把情感分析看成一个分类问题，则可以使用P、R、A、F值来描述。

1）查准率（Precision）：P值，衡量某类分类中识别正确的比例，如情感分析中，有10条被分类为“正向”，其中8条是分类正确的（由人工审核），那么P=8/10=80%

2）查全率（Recall）：R值，又叫查全率，又叫召回度，指的是某类被被正确分类的比例，同样以情感分析为例，100条数据中有10条是正向的，机器分类后，这10条中有7条被分类为正向，则R=7/10=70%

3)F值，因为P值和R值通常是两个相互矛盾的指标，即一个越高另一个越低，F则是两者综合考虑的指标，不考虑调节P、R权重的情况下，F=2PR/(P+R)

4）精确度（Accuracy）：这个最好理解，就是被准确分类的比例，也就是正确率。如100条数据，90条是被正确分类的，则A=90/100=90%。

以上指标越高，说明模型效果越好。

我们从上面内容可以知道，人工智能产品设计关注：数据——>模型——>效果评估。

现在我们以情感分析为例子说明产品设计的过程。

1）数据：

数据的选择对最终模型的结果有直接影响，情感分析，根据不同的目的，选择的数据也不同。如将情感分析运用于**票房预测，则一些更新及时、内容丰富的数据源，如微博，是比较好的选择。如果是应用于商品的评价，如电子产品，很多评测内容是无法在短短几句话内描述清楚的，这时候微博不是个好的选择，选择论坛上更新较慢、但是详细的内容就比较适合。

如果能在产品的早期就有引入人工智能的打算，则可以在产品中事先做好数据采集。

2）模型：

在选择模型中，产品需要了解不同的模型的优缺点，进而选择更加合适的模型。在情感分析中，NB、SVM、N-gram都是常用的模型，其中SVM效果最好（这是已有的结论），如果是其他的智能产品，可能需要算法团队进行实验，给出测试数据，进而选择合适的模型。

3）效果评估：

效果评估在上文中已经描述得比较清楚，具体指标不再赘述。

4）产品呈现：

最后这一步，是将结果展示给用户。在情感分析中，我们可以选择雷达图、词云、情感趋势图来展示结果。取决于产品属性，如电商产品评论挖掘，可以使用词云；

如舆论分析，可以使用情感趋势图。

人工智能产品的设计要关注：数据、模型、评判、呈现。

离不开情感运营。微信公众号如何做情感营销？情感营销要求企业必须站在顾客的立场来考虑问题，企业必须比以往任何时候更加关注顾客的需求及顾客所遇到的问题。企业只有把顾客当做朋友，才能使得顾客的满意与忠诚度得到提升，最终赢得顾客的再次购买，从而有效地避免顾客被竞争对手抢走。

情感营销是一种典型的一对一沟通互动模式。情感营销更加关注如何更好地满足大部分顾客，尤其是对企业最有价值的那部分老顾客的需求，其最终目的是不断提升顾客的满意度与忠诚度，避免老顾客的流失，在那些相信企业的顾客身上投放更多，同时把这一部分购买力转化成企业的直接利润。

那么微信公众号如何做情感营销？最重要的是鼓励用户跟企业更多地一对一地进行沟通互动，具体做法可以参考以下几点。

在每一篇文章后面，鼓励用户进行评论，让他们写下自己阅读这一篇文章的读后感，进行一对一的沟通互动。

每个星期，可以预订—个时间，用30 -60分钟的时间来解答顾客的疑问。顾客可以在公众账号里留言也可以拨打公司电话咨询。

可以适当地提供一些小的奖品，以鼓励用户评论留言，创造更多跟顾客一对一的沟通互动的机会

情感解析技术实质上也就是人工智能中的自然语言处理技术中的一种。

也许前两年我还很难回答你这个问题，不过随着机器学习技术、硬件迭代等因素这两年人工智能得到了极大的发展，自然语言处理也就有了越来越多地实用价值。

在正式回答你的问题之前，我们先要明白，作为人工智能技术基础的机器学习，其最重要的就是需要有充分大的样本数据进行训练，即需要先给机器一些已知“情感”的语言数据，才可以获取最终的解析引擎。这一点尤为重要，因为这决定了能产生使用价值的领域一定存在着易获取、易分析的语言数据才行。当然同时又要对顾客/消费者的情感反馈有着积极地需求。

以这两个为条件，那么结果显而易见了：

1、对话机器人。诸如微软小冰、苹果siri等。非常容易理解，因为“对话”本身就是语言数据之间的沟通，而情感数据作为从语言数据中提炼出来的附加价值信息，对智能对话机器人的“人性化”来说当然是有百利而无一弊。而且，对于这些大企业来说，巨量的语言数据也相当容易获取。

3、情绪客服质检。这是一个很容易被忽略的行业，但是确实人工智能情感解析最直接最有效的应用之一。试想一下，客服质检需要做的是什么工作：判断客服人员工作是否到位……传统的客服质检只能通过堆叠人力的方式，主观、抽样判断。而现有的所谓“客服质检”系统也只不过是关键词提取、匹配，根本不是质检。但是情绪解析的出现彻底改变了这一状况，其实也不难理解，因为判断客服工作最直接的指标不就是顾客的“满意程度”嘛，而通过情绪解析获取的顾客通话或文本输入中的“情感状态及变化趋势”不就满足了这一条件。唯一的一个问题就是这需要很强的情绪解析实践能力，对准确率和技术基础有着很高的要求，故目前为止也只有很少几家诸如语忆科技等提供商才有这样的技术。但事实上，客服质检一定会是最需要情绪解析的细分行业之一。

2、各种评论分析。这点也不难理解，在当今电商消费已经变成主流的网络时代，电商上会产生海量的评论数据。在以前，由于评论量不多，且是非结构化数据，文本处理能力又有限，导致品牌方们很难从中获取有用的信息，从而有巨量的评论数据被浪费。但是如今已经不一样了，像以上所提到的一些优秀的引擎提供商，不仅可以从评论中提取关键词、还能通过情绪解析明白用户的满意程度。一些上文提到的供应商有的还能做到对特定关键词的观点提取。这些都能帮助甲方从评论中挖掘非常有价值的消费者洞察。不难想象，一旦技术成熟，像评论一样的非结构化数据作为用户想法的直接传递，其价值将会远超那些“浏览量”“互动率”等结构化数据……

……

除此之外，还有如书籍分析归类、教育辅导优化、歌词台词总结等等很多应用场景，只不过有些商业价值不明显的领域仍然需要大胆的创新者去研究和开拓。不过无论如何，在这个人工智能兴起的时代，情绪解析仍处于朝阳时代，还具备着极大的潜力等待被挖掘~

自然语言处理（NLP）在旅游领域具有广泛的应用，其中之一是情感分析。情感分析是指通过计算机程序来识别文本中的情感倾向，分析人们对旅游目的地、酒店、餐厅、交通工具等的评价。这种技术可以帮助旅游公司、酒店、餐厅等机构了解消费者的需求和喜好，改善服务质量和提高客户满意度。

一个典型的旅游情感分析应用是在线评论分析。在线评论是消费者对旅游目的地、酒店、餐厅等的反馈，通过使用 NLP 技术，旅游公司和酒店等机构可以分析这些评论，了解消费者对服务质量、位置、价格、餐饮等的看法。这些信息可以帮助他们改善服务质量、提高客户满意度。

另一个应用是社交媒体情感分析。社交媒体是消费者展示旅游经历的主要渠道，通过使用 NLP 技术，旅游公司和酒店等机构可以分析消费者在社交媒体上发布的文本、和视频，了解消费者对旅游目的地、酒店、餐厅等的感受。这些信息可以帮助他们改善服务质量、提高客户满意度、扩大品牌知名度。

                                   

此外，NLP还可以用于预测未来趋势，通过分析历史数据来预测旅游需求、价格趋势等，进而帮助旅游公司和酒店等机构调量、提高客户满意度。

NLP技术还可以用于语音识别和语音合成，在旅游领域中应用于语音导航、语音查询等场景。例如，旅游公司可以开发一款语音导航应用，让游客在旅游中使用语音命令来获取信息和导航。

总之，NLP在旅游领域有着广泛的应用，它可以帮助旅游公司、酒店、餐厅等机构了解消费者的需求和喜好，改善服务质量和提高客户满意度。通过使用NLP技术，旅游行业可以更好地了解客户，并提供更好的服务和体验。

产品网络情绪分析使用的工具有：社交媒体分析工具、

自然语言处理工具、情绪检测工具、数据可视化工具等。

1、社交媒体分析工具：例如Hootsuite、Brandwatch、Sprout Social等工具可以帮助企业从社交媒体上收集大量用户评论、反馈，从而进行情绪分析。

2、自然语言处理工具：例如Google Natural Language API、IBM Watson、Python NLP库等工具可以利用机器学习和语料库对文本进行分词、情感分析等操作。

3、情绪检测工具：例如Clarabridge、MeaningCloud等工具可以帮助企业分析和评估用户的情绪反应，以识别其对该产品的态度和对其的满意度。

4、数据可视化工具：例如Tableau、Power BI、Google Data Studio等工具可以将情绪分析数据以图表和可视化图像的形式呈现，以帮助企业更好地理解和分析数据。

进行产品网络情绪分析需要综合运用多种工具和技术，以收集、分析、评估和呈现相应的数据和分析结果。通过数据分析，企业可以更好地洞察产品市场，提升产品质量和用户满意度，实现可持续的发展。

情感分析(又称为观点挖掘或感情AI)是指使用自然语言处理、文本分析、计算语言学和生物特征识别来系统地识别、提取、量化和研究情感状态和主观信息。情感分析广泛应用于分析客户的心声，如评论和调查回复，在线和社交媒体，以及从市场营销到客户服务再到临床医学的保健材料。

情感分析的一个基本任务是在文档、句子或特征/方面级别对给定文本的极性进行分类，判断在文档、句子或实体特征/方面中表达的意见是积极的、消极的还是中性的。高级的“超越极性”情感分类着眼于诸如“愤怒”、“悲伤”和“快乐”等情绪状态。

进行情感分析的先驱包括“一般询问者”（General Inquirer），它提供了量化文本模式的线索，另外，还提供了基于对人的言语行为进行分析来检查一个人的心理状态的心理学研究。