自然语言处理技术有哪些

自然语言处理技术有标记化、删除停止词、提取主干、单词嵌入、词频-逆文档频率、主题建模、情感分析。

1、标记化（Tokenization）

标记化指的是将文本切分为句子或单词，在此过程中，我们也会丢弃标点符号及多余的符号。

这个步骤并非看起来那么简单。举个例子：纽约（New York）一词被拆成了两个标记，但纽约是个代名词，在我们的分析中可能会很重要，因此最好只保留一个标记。在这个步骤中要注意这一点。

标记化的好处在于，会将文本转化为更易于转成原始数字的格式，更合适实际处理。这也是文本数据分析显而易见的第一步。

2、删除停止词（Stop Words Removal）

在标记化之后，下一步自然是删除停止词。这一步的目标与上一步类似，也是将文本数据转化为更容易处理的格式。这一步会删除英语中常见的介词，如“and”、“the”、“a”等。之后在分析数据时，我们就能消除干扰，专注于具有实际意义的单词了。

通过比对定义列表中的单词来执行停止词的删除非常轻松。要注意的重要问题是：并没有普天皆适的停止词列表。因此这个列表一般是从零开始创建，并针对所要处理的应用执行了定制。

3、提取主干（Stemming）

清理文本数据的另一个技术就是提取主干。这种方法是将单词还原为词根形式，目的是将因上下文拼写略有不同，但含义相同的单词缩减为相同的标记来统一处理。例如：考虑在句子中使用单词“cook”的情况。

cook的所有形式含义都基本相同，因此理论上，在分析时我们可以将其映射到同一个标记上。在本例中，我们将cook、cooks、cooked和cooking全部标记为“cook”，这将大大简化我们对文本数据的进一步分析。

4、单词嵌入（Word Embeddings）

从上面三个步骤中，我们已经将数据清理完毕，现在可以将其转化为可用于实际处理的格式。

单词嵌入是一种将单词以数字表达的方式，这样一来，具有相似含义的单词表达也会相似。如今的单词嵌入是将单个单词表示为预定义向量空间中的实值向量。

所有单词的向量长度相同，只是值有差异。两个单词的向量之间的距离代表着其语义的接近程度。举个例子：单词“cook”（烹饪）和“bake”（烘焙）的向量就非常接近，但单词“football”（足球）和“bake”（烘焙）的向量则完全不同。

有一种创建单词嵌入的常见方法被称为GloVe，它代表着“全局向量”。GloVe捕获文本语料库的全局统计信息和局部统计信息，以创建单词向量。

GloVe使用了所谓的共现矩阵（co-occurrence matrix）。共现矩阵表示每对单词在语料库里一起出现的频率。

5、词频-逆文档频率（Term Frequency-Inverse Document Frequency,TF-IDF）

术语“词频-逆文档频率”（常被称为TF-IDF）是一种加权因子，经常在诸如信息检索及文本挖掘类的应用中使用。TF-IDF会使用统计数据来衡量某个单词对特定文档的重要程度。

TF-IDF可以达到完美平衡，并考虑到目标单词的本地与全局统计水平。在文档中出现越频繁的单词，其权重也越高，不过前提是这个单词在整个文档中出现并不频繁。

由于其强大程度，TF-IDF技术通常被搜索引擎用在指定关键字输入时，评判某文档相关性的评分与排名上。在数据科学中，我们可以通过这种技术，了解文本数据中哪些单词和相关信息更为重要。

6、主题建模（Topic Modeling）

在自然语言处理中，主题建模是从文本数据或文档的集合中提取主要话题的过程。本质来讲，由于我们将大量文本数据缩减为数量较少的主题，这是一种降维形式。主题建模在许多数据科学场景中都很有用。

7、情感分析（Sentiment Analysis）

情感分析是一种自然语言分析技术，旨在识别与提取文本数据中的主观信息。与主题建模类似，情感分析可以将非结构化的文本转为嵌入在数据中的信息基本摘要。

大多情感分析技术都属于以下两个类别之一：基于规则和机器学习的方法。基于规则的方法需要根据简单的步骤来获得结果。在进行了一些类似标记化、停止词消除、主干提取等预处理步骤后，基于规则的方法可能会遵从以下步骤：

（1）对于不同的情感，定义单词列表。例如，如果我们打算定义某个段落是消极的还是积极的，可能要为负面情感定义“坏的”和“可怕的”等单词，为正面情感定义“棒极了”和“惊人的”等单词。

（2）浏览文本，分别计算正面与负面情感单词的数量。

（3）如果标记为正面情感的单词数量比负面的多，则文本情绪是积极的，反之亦然。基于规则的方法在情感分析用于获取大致含义时效果很好。但是，如今最先进的系统通常会使用深度学习，或者至少经典的机器学习技术让整个过程自动化。

通过深度学习技术，将情感分析按照分类问题来建模。将文本数据编码到一个嵌入空间中（与上述的单词嵌入类似），这是功能提取的一种形式。之后将这些功能传递到分类模型，对文本情绪进行分类。

距离方法

1、文本的表示

11、VSM表示

12、词向量表示

13、迁移方法

2、距离计算方法

21、欧氏距离 （L 2 范数)、曼哈顿距离 （L 1 范数)、 明氏距离

22、汉明距离

23、Jaccard相似系数、 Jaccard距离( 1-Jaccard相似系数)

24、余弦距离

25、皮尔森相关系数

25、编辑距离

场景举例：

1）计算 Query 和文档的相关度、2）问答系统中计算问题和答案的相似度、3）广告系统中计算 Query 和广告词的匹配程度、4）推荐系统中 要给某个用户推荐某件物品，计算这件物品和这个用户兴趣的相似度

更多地，判断两个query表达的意思是否相同也可以看作属于文本相似度的范畴。

相似度一定是指两个东西(姑且分别用 P 和 Q 表示)的相似程度，而这两个东西可以是任何形式的，例如文本、、声音等等。最终要计算相似度，那必须把这些东西抽象成数学形式，说白了 ，就是怎么用数字把 这些 东西表示出来， 一 般会表示成向量或者矩阵。那如果表示成了向量， 计算相似度就可以使用大家在数学课上学的知识了。

这里希望可以比较清晰全面地介绍一下文本相似度的计算方法，目前来说，大致分为距离、hash、深度学习三种方法。

这些所谓的距离其实都是一些 固定 的公式而己，关键在于如何应用。实际应用中可以使用tf-idf、word2vec、LDA等方法实现相似度的距离计算。

很多相似度的第一步其实都是文本的表示问题，即把文本用数字的形式表示出来，这一步目前主要有 VSM（vector space model） ，和 词向量表示 两种方式。

这种方法其实灵活性较大，可以基于分词，对于中文基于字符或n-grams的表示也有一定效果。

1） tf-idf/bow表示 ：在给定文档集合C和词典D的条件下，将某篇文档通过词袋模型表示成一个个的词，而后根据 TF-IDF 为每个词计算出一个实数值；

由于词典D的大小为M，因此 将这篇文档转化成一个M维向量 ，如果词典中某个词未出现在文档中，则这个词的在向量中对应的元素为0，若某个词出现在文档中，则这个词在向量中 对应的元素值为这个词的tf-idf值 。这样，就把文档表示成向量了，而这就是 向量空间模型(vector space model) 。从这里也可看出：向量空间模型并没有catch住词(term)与词(term)之间的关系，它假设各个term之间是相互独立的。

而有了文档向量，就可以计算文档之间的相似度了。

这种表示方法与词典大小相关，往往会使文本的表示比较稀疏且高维，可以通过PCA缓解这一问题。

2） 主题模型表示 ：实际上VSM可以作为一种文本表示的思想：把对文本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度。

在这个角度，使用LDA，LSA等主题模型同样可以完成文本的VSM表示：将文本表示为topic的向量空间。

这种方法维度可自定义（topic数），且不稀疏，但是可能存在文本对之间距离相似度分布空间密集的情况导致效果不佳。

这种方法一般直接将文本分词后 将词向量相加除以句子长度就可得到 。也可以使用如 smooth inverse frequency的加权方法 将词向量加权：每个词嵌入都由a/(a + p(w))进行加权，其中a的值经常被设置为001，而p(w)是词语在语料中预计出现的频率。

一般来说word2vec的词向量方法 强于glove方法 ，而对于word2vec，cbow方法强于skip-gram（具体原因并不复杂，感兴趣可以从训练方法角度思考一下～）

更多地，上述文本表示方法其实会损失或无法捕捉到语义信息，通过bert、elmo等预训练方法的表示更加靠谱，也可以用于无监督的文本相似度计算。

欧氏距离：

曼哈顿距离：

表示两个（相同长度）字对应位不同的数量，我们以d（x,y）表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。

(1)雅各相似系数：

两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示。　

杰卡德相似系数是衡量两个集合的相似度一种指标。

实际使用中，可以用去重与不去重两种方式计算，更多地，可以转换为交集的tf-idf值之和除以并集的tf-idf值之和

(2) 杰卡德距离

  与杰卡德相似系数相反的概念是杰卡德距离(Jaccard distance)。

杰卡德距离可用如下公式表示：

杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

夹角余弦取值范围为[-1,1]。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。文本的相似度一般取绝对值。

皮尔森相关系数在推荐系统用的较多，它的公式如下 :

指两个字符串，由一个变成另一个所需的最少的编辑次数，这个编 就包括替换、插入、删除操作。

文本相似度的计算一般使用VSM/cbow+cos距离/欧式距离，或jaccard距离

Dice 系数可以计算两个字符串的相似度：Dice（s1,s2）=2comm(s1,s2)/(leng(s1)+leng(s2))。

https://blogcsdnnet/weixin_43526820/article/details/89883640spm=1001201430015501

应用1：关键词自动生成

核心思想是对于某个文档中的某个词，计算其在这个文档中的标准化TF值，然后计算这个词在整个语料库中的标准化IDF值。在这里，标准化是说对原始的计算公式进行了一些变换以取得更好的衡量效果，并避免某些极端情况的出现。这个词的TF-IDF值便等于TFIDF。对于这个文档中的所有词计算它们的TF-IDF值，并按照由高到低的顺序进行排序，由此我们便可以提取我们想要的数量的关键词。

TF-IDF的优点是快捷迅速，结果相对来说比较符合实际情况。缺点是当一篇文档中的两个词的IDF值相同的时候，出现次数少的那个词有可能更为重要。再者，TF-IDF算法无法体现我词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。存在的解决办法是对文章的第一段和每段的第一句话给予比较大的权重。

应用2：计算文本相似度

明白了对于每个词，如何计算它的TF-IDF值。那么计算文本相似度也轻而易举。我们已经计算了文章中每个词的TF-IDF值，那么我们便可以将文章表征为词的TF-IDF数值向量。要计算两个文本的相似度，只需要计算余弦即可，余弦值越大，两个文本便越相似。

应用3：自动摘要

2007年，美国学者的论文<A Survey on Automatic Text Summarization>总结了目前的自动摘要算法，其中很重要的一种就是词频统计。这种方法最早出自1958年IBM公司一位科学家的论文<The Automatic Creation of Literature Abstracts>。这位科学家认为，文章的信息都包含在句子中，有的句子包含的信息多，有的句子包含的信息少。自动摘要就是找出那些包含信息最多的句子。那么句子的信息量怎么衡量呢？论文中采用了关键词来衡量。如果包含的关键词越多，就说明这个句子越重要，这位科学家提出用Cluster的来表示关键词的聚集。所谓簇，就是包含多个关键词的句子片段。

以第一个图为例，其中的cluster一共有7个词，其中4个是关键词。因此它的重要性分值就等于(44)/7=23。然后，找出包含cluster重要性分值最高的句子（比如5句），把它们合在一起，就构成了这篇文章的自动摘要。具体实现可以参见<Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites>（O'Reilly, 2011）一书的第8章，Python代码见github。这种算法后来被简化，不再区分cluster，只考虑句子包含的关键词。伪代码如下。

Summarizer(originalText, maxSummarySize):

　　　　// 计算文本的词频，生成一个列表，比如[(10,'the'), (3,'language'), (8,'code')]

　　　　wordFrequences = getWordCounts(originalText)

　　　　// 过滤掉停用词，列表变成[(3, 'language'), (8, 'code')]

　　　　contentWordFrequences = filtStopWords(wordFrequences)

　　　　// 按照词频的大小进行排序，形成的列表为['code', 'language']

　　　　contentWordsSortbyFreq = sortByFreqThenDropFreq(contentWordFrequences)

　　　　// 将文章分成句子

　　　　sentences = getSentences(originalText)

　　　　// 选择关键词首先出现的句子

　　　　setSummarySentences = {}

　　　　foreach word in contentWordsSortbyFreq:

　　　　　　firstMatchingSentence = search(sentences, word)

　　　　　　setSummarySentencesadd(firstMatchingSentence)

　　　　　　if setSummarySentencessize() = maxSummarySize:

　　　　　　　　break

　　　　// 将选中的句子按照出现顺序，组成摘要

　　　　summary = ""

　　　　foreach sentence in sentences:

　　　　　　if sentence in setSummarySentences:

　　　　　　　　summary = summary + " " + sentence

　　　　return summary

类似的算法已经被写成了工具，比如基于Java的Classifier4J库的SimpleSummariser模块、基于C语言的OTS库、以及基于classifier4J的C#实现和python实现。

基于规则的方法是指通过事先定义一系列规则，这种方法的优点是简单、易于理解，但是需要人工编写规则，难以应对复杂的情况。

1关键词提取

关键词提取是文字提取的一种基本技巧。通过对一段文字进行分析，找出其中最重要、最具代表性的词语，以便更好地理解文章的主旨和重点。关键词提取可以采用基于统计模型的算法，如TF-IDF算法，如LDA算法。

基于统计模型的方法是指通过对大量语料进行统计分析，这种方法的优点是可以自动学习规律，适应不同的情况，但是需要大量的训练数据和计算资源。

命名实体识别是指从一段文字中识别出人名、地名、组织机构名等具有特定意义的实体，以便更好地理解文章的内容。命名实体识别可以采用基于规则的算法，如正则表达式，如CRF算法。

基于机器学习的方法是指通过训练一个机器学习模型，这种方法的优点是可以自动学习规律，适应不同的情况，但是需要大量的训练数据和计算资源。