Word文本中的文档部件里的域 打开之后不是一个方框，而是一个代码是怎么回事？

无效沟通、有效沟通和高效沟通。

沟通是人们分享信息、思想和情感的任何过程。这种过程不仅包含口头语言和书面语言，也包含形体语言、个人的习气和方式、物质环境，赋予信息含义的任何东西。

一、一般处理流程

语料获取 -> 文本预处理 -> 特征工程 -> 特征选择

1、语料获取

即需要处理的数据及用于模型训练的语料。

数据源可能来自网上爬取、资料积累、语料转换、OCR转换等，格式可能比较混乱。需要将url、时间、符号等无意义内容去除，留下质量相对较高的非结构化数据。

2、文本预处理

将含杂质、无序、不标准的自然语言文本转化为规则、易处理、标准的结构化文本。

①处理标点符号

可通过正则判定、现有工具(zhon包)等方式筛选清理标点符号。

②分词

将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列的过程。

一般看来英文较容易可通过空格符号分词，中文相对复杂，参考结巴分词、盘古分词、Ansj等工具。

常见的分词算法有：基于字符串匹配的分词方法、基于理解的分词方法、基于统计的分词方法和基于规则的分词方法，每种方法下面对应许多具体的算法。

③词性标注

为自然语言文本中的每个词汇赋予一个词性的过程，如名词、动词、副词等。可以把每个单词（和它周围的一些额外的单词用于上下文）输入预先训练的词性分类模型。

常用隐马尔科夫模型、N 元模型、决策树

④stop word

英文中含大量 a、the、and，中文含大量 的、是、了、啊，这些语气词、助词没有明显的实际意义，反而容易造成识别偏差，可适当进行过滤。

⑤词形还原

偏向于英文中，单数/复数，主动/被动，现在进行时/过去时/将来时等，还原为原型。

⑥统计词频

因为一些频率过高/过低的词是无效的，对模型帮助很小，还会被当做噪声，做个词频统计用于停用词表。

⑦给单词赋予id

给每一个单词一个id，用于构建词典，并将原来的句子替换成id的表现形式

⑧依存句法分析

通过分析句子中词与词之间的依存关系，从而捕捉到词语的句法结构信息(如主谓、动宾、定中等结构关系)，并使用树状结构来表示句子的句法结构信息(如主谓宾、定状补等)。

3、特征工程

做完语料预处理之后，接下来需要考虑如何把分词之后的字和词语表示成计算机能够计算的类型。

如果要计算我们至少需要把中文分词的字符串转换成数字，确切的说应该是数学中的向量。有两种常用的表示模型分别是词袋模型和词向量。

①词向量

词向量是将字、词语转换成向量矩阵的计算模型。目前为止最常用的词表示方法是 One-hot，这种方法把每个词表示为一个很长的向量。

②词袋模型

即不考虑词语原本在句子中的顺序，直接将每一个词语或者符号统一放置在一个集合（如 list），然后按照计数的方式对出现的次数进行统计。统计词频这只是最基本的方式，TF-IDF 是词袋模型的一个经典用法。

常用的表示模型有：词袋模型（Bag of Word, BOW），比如：TF-IDF 算法；词向量，比如 one-hot 算法、word2vec 算法等。

4、特征选择

在文本挖掘相关问题中，特征工程也是必不可少的。在一个实际问题中，构造好的特征向量，是要选择合适的、表达能力强的特征。

举个自然语言处理中的例子来说，我们想衡量like这个词的极性（正向情感还是负向情感）。我们可以预先挑选一些正向情感的词，比如good。然后我们算like跟good的PMI，用到点互信息PMI这个指标来衡量两个事物之间的相关性。

特征选择是一个很有挑战的过程，更多的依赖于经验和专业知识，并且有很多现成的算法来进行特征的选择。目前，常见的特征选择方法主要有 DF、 MI、 IG、 CHI、WLLR、WFO 六种。

5、模型训练

在特征向量选择好了以后，接下来要做的事情是根据应用需求来训练模型，我们使用不同的模型，传统的有监督和无监督等机器学习模型，如 KNN、SVM、Naive Bayes、决策树、GBDT、K-means 等模型；深度学习模型比如 CNN、RNN、LSTM、 Seq2Seq、FastText、TextCNN 等。这些模型在分类、聚类、神经序列、情感分析等应用中都会用到。

当选择好模型后，则进行模型训练，其中包括了模型微调等。在模型训练的过程中要注意由于在训练集上表现很好，但在测试集上表现很差的过拟合问题以及模型不能很好地拟合数据的欠拟合问题。同时，也要防止出现梯度消失和梯度爆炸问题。

6、模型评估

在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。模型的评价指标主要有：错误率、精准度、准确率、召回率、F1 值、ROC 曲线、AUC 曲线等。

7、投产上线

模型的投产上线方式主要有两种：一种是线下训练模型，然后将模型进行线上部署提供服务；另一种是在线训练模型，在线训练完成后将模型 pickle 持久化，提供对外服务。

三、NLP应用方向

1、命名实体识别

指识别自然语言文本中具有特定意义的实体，主要包括人名、地名、机构名、时间日期等。

传统机器学习算法主要有HMM和CRF，深度学习常用QRNN、LSTM，当前主流的是基于bert的NER。

2、情感分析

文本情感分析和观点挖掘（Sentiment Analysis)，又称意见挖掘(Opinion Mining)是自然语言处理领域的一个重要研究方向。简单而言，是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。

情感分析技术可以分为两类，一类是基于机器学习的方法，通过大量有标注、无标注的主观语料，使用统计机器学习算法，通过提取特征，进行文本情感分析。另一类是基于情感词典的方法，根据情感词典所提供的词的情感极性（正向、负向），从而进行不同粒度的（词语、短语、属性、句子、篇章）下的文本情感分析。

3、文章标签

文章标签是利用机器学习算法，对文章进行文字和语义的分析后，提取出若干个重要的词或者短语(关键短语)。关键短语是NLP基础的算法模块，有了关键短语，能为后续的搜索、推荐等更高级的应用提供有力的抓手。

适用场景：1、个性化推荐：通过对文章的标签计算，结合用户画像，精准的对用户进行个性化推荐；2、话题聚合：根据文章计算的标签，聚合相同标签的文章，便于用户对同一话题的文章进行全方位的信息阅读；3、搜索：使用中心词可以对query进行相似度计算、聚类、改写等，可以用于搜索相关性计算。

4、案件串并

①信息抽取

运用实体抽取、关系抽取，从案情中抽取关键信息，如从警情中可以抽取报警人项目、报警人电话、案发地址等信息

②实体对齐

相同的实体在不同的案情中会有不同的表述，会给串并带来困难。可针对地址、人名、组织名进行对齐处理。

③文本聚类

对于关键片段类信息，无法像实体那样对齐，需要借助文本聚类技术进行关联。

④构建图谱

将信息抽取结果存入图谱。每个警情id对应一个节点，实体、属性、关键片段作为节点，对齐的实体、同一类的文本存为同一个节点。

除了来自于从警情中抽取的信息，还可以将其他警务系统中存在的结构化数据导入（如来自户籍信息的人物关系），从而丰富图谱。

⑤图谱检索

完成以上工作，即完成了案件串并的必要基础建设，接下来通过图谱的查询功能自动完成案件的串并。首先需要设定串并的条件，案件串并的条件在警务实战中已有很多的积累，如“具有相似的作案手段”，又如“相似作案手段，嫌疑人有共同联系人”，只需要将这些条件用图谱查询语言表达出来。

面试前搜集往年面试常考题目属于使用信息检索和分析技术来解决问题。

信息检索和分析技术已经成为许多领域中不可或缺的工具，在面试前搜集往年面试常考题目时，我们需要了解这些技术的基本概念和应用。同时，人工智能技术的发展也为信息检索和分析带来了新的机遇和挑战。

1、什么是信息检索技术？

信息检索技术是指在大规模数据集合中自动地查找、筛选、排序相关信息的过程。它通常包括了关键字查询、文本预处理、索引构建、查询优化和结果排序等环节。

2、信息检索技术在哪些领域有应用？

信息检索技术已经应用到了广泛的领域中，比如搜索引擎、文本挖掘、情感分析、舆情监测、知识图谱构建等。

3、如何构建一个高效的搜索引擎？

构建高效的搜索引擎需要先进行数据抓取、清洗和存储，然后利用信息检索技术对数据进行索引构建和查询优化，最后利用机器学习算法对用户偏好进行分析和个性化推荐。

4、什么是文本挖掘？

文本挖掘是一种从非结构化或半结构化数据中发现有用信息的过程。它通常包括了文本分类、命名实体识别、主题识别、情感分析等任务。

5、如何进行文本分类？

文本分类可以使用传统的基于规则或机器学习的方法，比如朴素贝叶斯、决策树、支持向量机等算法，也可以使用深度学习模型，如卷积神经网络、循环神经网络等。

6、什么是情感分析？

情感分析是指对文本中的情感倾向进行自动化识别和分类的过程。它通常涉及到情感词典构建、特征提取、分类器训练等步骤。

7、如何应用情感分析？

情感分析可以应用到广泛的领域中，比如商品评论分析、社交媒体分析、政治舆情分析等。在这些场景中，情感分析可以帮助人们更好地理解消费者需求、维护品牌形象、精准预测选举结果等。

百度文心一言是一款基于人工智能技术的短文本情感分析产品，它能够针对输入的短文本，分析出其中蕴含的情感，并给出相应的情感标签和分值。文心一言可以帮助用户更好地理解和处理短文本信息，并为企业提供情感分析类的数据支持，促进决策的准确性和效率。

一、更加准确的情感分析。文心一言不仅能够高度自适应，精准分析自然语言，还能够识别语境，抓住写作的情感、倾向以及沟通目的。采用更先进的算法和技术，让情感识别更为准确可信，提升应用的实用价值。

二、更丰富的应用场景

我期望文心一言能够应用于更广泛的场景，包括但不限于社交媒体、舆情监测、新闻报道、广告营销、客户服务等领域。例如，可以结合社交媒体的实时数据，实现更全面的舆情监测和反馈。还可以为广告商提供更精准的广告投放策略，提高广告投放的效果和ROI。期望文心一言可以通过与其他工具和产品的结合，为更多行业解决情感分析及管理问题。

三、更完善的应用支持

百度文心不停完善产品本身和其应用生态，进一步提高用户体验和应用效果。具体来说，文心一言需要提供更加丰富、灵活的情感分析API，同时为开发者提供更完善的文档和技术支持。

此外，还需要不断完善产品的用户界面和易用性，方便非技术人员使用。根据用户反馈，及时更新算法、修复漏洞，优化集成流程，达到更好的用户体验。

在不断变化的市场环境下，情感分析类技术正在逐渐成为企业决策的重要组成部分。文心一言作为其中的佼佼者之一，必将不懈努力，积极应对市场变化，以先进的技术为基础，为用户和企业提供更加优质的情感分析服务

您好。您说的是情感文本分析吗？如果是的话，我觉得情感计算的分类有两大类，一类是主观性：主观、客观、中性；一类是情感倾向：褒义、贬义、中性。

文本分析的话，主要是对词、句子中观点的挖掘。

你所说的机器学习法，现在基本用于对**观点的打分系统吧。基本上就是利用分类计数，对文档中存在的情感进行分类的。

就我个人理解而言，我认为机器学习法只是情感文本分析的方法论之一，至于数据挖掘，也是通过对文档的数据收取，进行情感分析的。也是对情感文本分析的方法论之一。

所以，情感分析是主体的话，文本分类、机器学习、数据挖掘都是方式方法。这些方法可以共同应用在一个情感分析中，也可以分别独立存在。

目前英文类的文本情感分析比较多，中文类的相对少一点，你要做这方面的研究路漫漫其修远啊。嘿嘿。

一、赏析诗中的关键字词

命题方式：这一联中最生动传神的是什么字为什么

命题变式：某字历来为人称道,你认为它好在哪里

解答分析：古人作诗讲究炼字,这种题型是要求品味这些经锤炼的字的妙处答题时不能把该字孤立起来谈,得放在句中,并结合全诗的意境情感来分析

答题步骤：

(1)解释该字在句中的含义

(2)展开联想,把该字放入原句中描述景象

(3)点出该字烘托了怎样的意境,或表达了怎样的感情

二、赏析诗中的重要语句

命题方式：这句诗有何特殊含义或深沉含义

命题变式：这句诗最具表现力,试简要分析

解答分析：先解释清这句诗的字面意义,然后或扣语言特点或扣思想情感作具体分析

三、赏析诗歌的写作技巧

命题方式：这首诗用了怎样的表现手法

命题变式：请分析这首诗的表现技巧(或艺术手法,或手法)

解答分析：表现手法是诗人用以抒发感情的手段方法,要准确答题,必须熟悉常用的一些表现手法

表现手法分修辞手法（比喻、夸张、拟人、通感等）、表达方式（抒情、议论、描写等）、艺术技巧（托物言志、情景交融、动静结合衬托用典等）三大类

答题步骤：

(1)准确指出用了何种手法

(2)结合诗句阐释为什么或怎样运用了这种手法

(3)此手法有效传达出诗人怎样的感情

四、赏析诗歌的意境

命题方式：这首诗营造了一种怎样的意境氛围

命题变式：这首诗展现了一幅怎样的画面表达了诗人怎样的思想感情

答题步骤：

(1)描绘诗中展现的图景画面考生应抓住诗中的主要景物,用自己的语言再现画面描述时一要忠实于原诗,二要用自己的联想和想像加以再创造,语言力求优美

(2)概括景物所营造的氛围特点一般用两个双音节词即可,例如孤寂冷清、恬静优美、雄浑壮阔、萧瑟凄凉等,注意要能准确地体现景物的特点和情调

(3)分析作者的思想感情切忌空洞,要答具体

五、赏析诗歌的思想情感

提问方式：这首诗表达了作者怎样的情感

提问变体：请分析这首诗的主旨或对于本诗内涵,你是如何理解的

解答分析：这种题型要品味整首诗表现出来的情感或某句诗的含义(特殊含义、深层含义,如语境含义、意境含义)

能用来答题的词一般有：壮志未酬、报国无门、闺中怨恨、念远思家、忠贞爱国

答题步骤：

(1)用一两个词准确点明思想情感

(2)用诗中有关语句具体分析作者这种感情

六、赏析诗歌的语言特色

提问方式：这首诗在语言上有何特色

提问变体：请分析这首诗的语言风格(语言艺术)

解答分析：这种题型不是要求揣摩个别字词运用的巧妙,而是要品味整首诗表现出来的语言风格或某句诗的含义(特殊含义、深层含义,如语境含义、意境含义)

能用来答题的词一般有：清新自然、朴实无华、沉郁顿挫、华美绚丽、明白晓畅、多用口语、委婉含蓄、雄浑豪放、笔调婉约、简练生动……

答题步骤：

(1)用一两个词准确点明语言特色

(2)用诗中有关语句具体分析这种特色

(3)指出表现了作者怎样的感情

或(1)结合全诗分析某句诗的表达技巧及表达效果

总之,如果我们能熟悉这些命题方式,清楚各种答题技巧,再认真审读题意,根据试题要求,扣住原诗,抓住要点组织语言,就能极大的避免失分．