lsa怎么读

LSA的正确读法是“LS-A”，表示潜在语义分析（Latent Semantic Analysis），是一种基于线性代数方法的文本分析技术。

LSA模型可以将大量文本数据转化为矩阵形式，便于进一步计算和分析，并且可以处理词义相似但表述不同的情况。

LSA模型的核心思想是将文本中的单词映射到一个高维向量空间中，并通过计算向量之间的相似性来刻画文本之间的关系。LSA通常用于自然语言处理领域中的文本分类、信息检索、文档摘要等任务，可以有效地提高这些任务的准确性和效率。

LSA模型的实现过程包括构建文档-词项矩阵、对矩阵进行奇异值分解计算、选择主题个数进行降维和计算相似度等步骤。LSA模型具有较好的稀疏性和高效性，在处理大规模文本数据时表现优异。

然而，LSA模型也存在一些问题，如对于词语的多义性和歧义性处理不足、无法考虑上下文信息等。因此，近年来更加复杂的基于深度学习的文本分析方法也逐渐得到应用，但LSA模型的基本思想和相关技术仍具有重要的研究价值。

LSA模型中的关键步骤是矩阵分解和主题提取。在矩阵分解过程中，LSA使用奇异值分解（SVD）算法对文档-词项矩阵进行分解，得到三个矩阵，分别代表文档、词项以及主题。在主题提取阶段，LSA将矩阵进行降维处理，保留与主题相关的重要信息。通过这些步骤，LSA模型可以对文本进行向量表示，并计算向量之间的相似性，从而实现文本分类、信息检索等任务。

LSA模型的应用范围非常广泛，其中最为典型的就是文本分类和信息检索。在文本分类方面，LSA模型可以将文本数据转化为向量形式，并使用机器学习算法进行分类，例如朴素贝叶斯分类器、支持向量机等。在信息检索方面，LSA模型通常使用余弦相似度计算查询向量和文档向量之间的相似度，从而找到最匹配的文档。

除了文本分类和信息检索外，LSA模型还可以应用于文档摘要、情感分析等领域。在文档摘要方面，LSA模型可以提取文档中的关键主题，并根据主题的重要程度对文档进行摘要；在情感分析方面，LSA模型可以通过分析大量文本数据中的情感词汇和语义关系等信息，自动生成情感分类器。

总之，LSA模型是一种基于线性代数方法的文本分析技术，可以对文本进行矩阵化表示，实现文本分类、信息检索、文档摘要、情感分析等多种任务。虽然该模型也存在一些问题，但其核心思想和技术仍具有很高的研究价值。

自然语言处理技术有标记化、删除停止词、提取主干、单词嵌入、词频-逆文档频率、主题建模、情感分析。

1、标记化（Tokenization）

标记化指的是将文本切分为句子或单词，在此过程中，我们也会丢弃标点符号及多余的符号。

这个步骤并非看起来那么简单。举个例子：纽约（New York）一词被拆成了两个标记，但纽约是个代名词，在我们的分析中可能会很重要，因此最好只保留一个标记。在这个步骤中要注意这一点。

标记化的好处在于，会将文本转化为更易于转成原始数字的格式，更合适实际处理。这也是文本数据分析显而易见的第一步。

2、删除停止词（Stop Words Removal）

在标记化之后，下一步自然是删除停止词。这一步的目标与上一步类似，也是将文本数据转化为更容易处理的格式。这一步会删除英语中常见的介词，如“and”、“the”、“a”等。之后在分析数据时，我们就能消除干扰，专注于具有实际意义的单词了。

通过比对定义列表中的单词来执行停止词的删除非常轻松。要注意的重要问题是：并没有普天皆适的停止词列表。因此这个列表一般是从零开始创建，并针对所要处理的应用执行了定制。

3、提取主干（Stemming）

清理文本数据的另一个技术就是提取主干。这种方法是将单词还原为词根形式，目的是将因上下文拼写略有不同，但含义相同的单词缩减为相同的标记来统一处理。例如：考虑在句子中使用单词“cook”的情况。

cook的所有形式含义都基本相同，因此理论上，在分析时我们可以将其映射到同一个标记上。在本例中，我们将cook、cooks、cooked和cooking全部标记为“cook”，这将大大简化我们对文本数据的进一步分析。

4、单词嵌入（Word Embeddings）

从上面三个步骤中，我们已经将数据清理完毕，现在可以将其转化为可用于实际处理的格式。

单词嵌入是一种将单词以数字表达的方式，这样一来，具有相似含义的单词表达也会相似。如今的单词嵌入是将单个单词表示为预定义向量空间中的实值向量。

所有单词的向量长度相同，只是值有差异。两个单词的向量之间的距离代表着其语义的接近程度。举个例子：单词“cook”（烹饪）和“bake”（烘焙）的向量就非常接近，但单词“football”（足球）和“bake”（烘焙）的向量则完全不同。

有一种创建单词嵌入的常见方法被称为GloVe，它代表着“全局向量”。GloVe捕获文本语料库的全局统计信息和局部统计信息，以创建单词向量。

GloVe使用了所谓的共现矩阵（co-occurrence matrix）。共现矩阵表示每对单词在语料库里一起出现的频率。

5、词频-逆文档频率（Term Frequency-Inverse Document Frequency,TF-IDF）

术语“词频-逆文档频率”（常被称为TF-IDF）是一种加权因子，经常在诸如信息检索及文本挖掘类的应用中使用。TF-IDF会使用统计数据来衡量某个单词对特定文档的重要程度。

TF-IDF可以达到完美平衡，并考虑到目标单词的本地与全局统计水平。在文档中出现越频繁的单词，其权重也越高，不过前提是这个单词在整个文档中出现并不频繁。

由于其强大程度，TF-IDF技术通常被搜索引擎用在指定关键字输入时，评判某文档相关性的评分与排名上。在数据科学中，我们可以通过这种技术，了解文本数据中哪些单词和相关信息更为重要。

6、主题建模（Topic Modeling）

在自然语言处理中，主题建模是从文本数据或文档的集合中提取主要话题的过程。本质来讲，由于我们将大量文本数据缩减为数量较少的主题，这是一种降维形式。主题建模在许多数据科学场景中都很有用。

7、情感分析（Sentiment Analysis）

情感分析是一种自然语言分析技术，旨在识别与提取文本数据中的主观信息。与主题建模类似，情感分析可以将非结构化的文本转为嵌入在数据中的信息基本摘要。

大多情感分析技术都属于以下两个类别之一：基于规则和机器学习的方法。基于规则的方法需要根据简单的步骤来获得结果。在进行了一些类似标记化、停止词消除、主干提取等预处理步骤后，基于规则的方法可能会遵从以下步骤：

（1）对于不同的情感，定义单词列表。例如，如果我们打算定义某个段落是消极的还是积极的，可能要为负面情感定义“坏的”和“可怕的”等单词，为正面情感定义“棒极了”和“惊人的”等单词。

（2）浏览文本，分别计算正面与负面情感单词的数量。

（3）如果标记为正面情感的单词数量比负面的多，则文本情绪是积极的，反之亦然。基于规则的方法在情感分析用于获取大致含义时效果很好。但是，如今最先进的系统通常会使用深度学习，或者至少经典的机器学习技术让整个过程自动化。

通过深度学习技术，将情感分析按照分类问题来建模。将文本数据编码到一个嵌入空间中（与上述的单词嵌入类似），这是功能提取的一种形式。之后将这些功能传递到分类模型，对文本情绪进行分类。

先说大数据时代舆情数量庞大，来源众多，网站信源也很多。舆情情感分析单纯依靠人工数据难以量化，工程量大，借助舆情分析平台是不错的选择。

西盈舆情分析系统可以实现以下功能：

1、可以做到对舆情信息的分类研判（包括舆情的热点、负面、地域等）、及时预警、科学的分析（时间节点分析、图表分析、报告分析等）以及辅助建立预警机制，提供科学的决策依据。企业购买舆情监测系统已经是常态了，很多舆情危机的出现都会读直接影响企业的形象、经济利益、产品的推广等等。

2、内置数据模型知识库（数据分析方法库），由若干成熟的模型（数据算法）（维稳、治安、环保、交通运输、医疗、教育、卫生等）的代码和技术文档构成，并能够进行模型的拼接，引入和相互无缝引用。

3、实时显示分析引擎领域、属性、项目、日志、入库和统计图表信息，异常情况系统发出警示。实时显示目前系统运行详细日志，包括任务运行时间、文本处理时间、入库情况、知识库匹配情况、引擎数据库状态等。