cncommon是什么

cncommon介绍：了解中国常见语法库

cncommon是一款面向中文语言处理的Python工具包，内置了丰富的中文语言处理方法和工具，如中文分词、词性标注、命名实体识别、关键词提取等。它的目的是为了方便中文自然语言处理工作者在文本分类、机器翻译、情感分析等领域快速开发和部署模型。

cncommon包含了多种方法，其中最基础的是中文分词。中文分词是中文自然语言处理领域的基础任务，cncommon中使用了多种分词方法，可以针对不同场景进行选择。除了中文分词外，cncommon还提供了词性标注功能，识别句子中每个词的词性，如名词、动词、形容词等。此外，它还包含了命名实体识别功能，可以识别句子中的人名、地名、组织名等实体。在信息提取和关键词提取方面，cncommon都提供了相关的方法，可以大大减少繁琐的手工处理过程。

cncommon的使用非常简单，只需安装好Python，并使用pipinstallcncommon即可。它的文档也非常详细，提供了各种方法的具体用法、参数说明和示例代码。因此，即使是初学者也可以轻松上手。此外，cncommon还提供了在线版工具，可以直接在网页端使用，方便快捷。

虽然cncommon主要面向中文自然语言处理领域，但其所提供的工具也适用于其他中文文本相关任务，如文本分类、情感分析等。相信在将来的发展中，cncommon将能够越来越好地为中文自然语言处理工作者提供帮助。

文本分类问题： 给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个

文本分类应用： 常见的有垃圾邮件识别，情感分析

文本分类方向： 主要有二分类，多分类，多标签分类

文本分类方法： 传统机器学习方法（贝叶斯，svm等），深度学习方法（fastText，TextCNN等）

本文的思路： 本文主要介绍文本分类的处理过程，主要哪些方法。致力让读者明白在处理文本分类问题时应该从什么方向入手，重点关注什么问题，对于不同的场景应该采用什么方法。

文本分类的处理大致分为 文本预处理 、文本 特征提取 、 分类模型构建 等。和英文文本处理分类相比，中文文本的预处理是关键技术。

针对中文文本分类时，很关键的一个技术就是中文分词。特征粒度为词粒度远远好于字粒度，其大部分分类算法不考虑词序信息，基于字粒度的损失了过多的n-gram信息。下面简单总结一下中文分词技术:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法 [1]。

1，基于字符串匹配的分词方法：

过程：这是 一种基于词典的中文分词 ，核心是首先建立统一的词典表，当需要对一个句子进行分词时，首先将句子拆分成多个部分，将每一个部分与字典一一对应，如果该词语在词典中，分词成功，否则继续拆分匹配直到成功。

核心： 字典，切分规则和匹配顺序是核心。

分析：优点是速度快，时间复杂度可以保持在O（n）,实现简单，效果尚可；但对歧义和未登录词处理效果不佳。

2， 基于理解的分词方法：基于理解的分词方法是通过让计算机模拟人对句子的理解 ，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统 还处在试验阶段 。

3，基于统计的分词方法:

过程：统计学认为分词是一个 概率最大化问题 ，即拆分句子，基于语料库，统计 相邻的字组成的词语出现的概率 ，相邻的词出现的次数多，就出现的概率大， 按照概率值进行分词 ，所以一个完整的语料库很重要。

主要的统计模型有： N元文法模型（N-gram），隐马尔可夫模型（Hidden Markov Model ，HMM），最大熵模型（ME），条件随机场模型（Conditional Random Fields，CRF）等。

1， 分词 ： 中文任务分词必不可少，一般使用jieba分词，工业界的翘楚。

2， 去停用词：建立停用词字典 ，目前停用词字典有2000个左右，停用词主要包括一些副词、形容词及其一些连接词。通过维护一个停用词表，实际上是一个特征提取的过程，本质 上是特征选择的一部分。

3， 词性标注 ： 在分词后判断词性（动词、名词、形容词、副词…），在使用jieba分词的时候设置参数就能获取。

文本分类的核心都是如何从文本中抽取出能够体现文本特点的关键特征，抓取特征到类别之间的映射。 所以特征工程很重要，可以由四部分组成：

1，基于词袋模型的特征表示：以词为单位（Unigram）构建的词袋可能就达到几万维，如果考虑二元词组（Bigram）、三元词组（Trigram）的话词袋大小可能会有几十万之多，因此基于词袋模型的特征表示通常是极其稀疏的。

（1）词袋特征的方法有三种：

（2）优缺点：

2，基于embedding的特征表示： 通过词向量计算文本的特征。（主要针对短文本）

4，基于任务本身抽取的特征：主要是针对具体任务而设计的，通过我们对数据的观察和感知，也许能够发现一些可能有用的特征。有时候，这些手工特征对最后的分类效果提升很大。举个例子，比如对于正负面评论分类任务，对于负面评论，包含负面词的数量就是一维很强的特征。

5，特征融合：对于特征维数较高、数据模式复杂的情况，建议用非线性模型（如比较流行的GDBT, XGBoost）；对于特征维数较低、数据模式简单的情况，建议用简单的线性模型即可（如LR）。

6，主题特征：

LDA（文档的话题）： 可以假设文档集有T个话题，一篇文档可能属于一个或多个话题，通过LDA模型可以计算出文档属于某个话题的概率，这样可以计算出一个DxT的矩阵。LDA特征在文档打标签等任务上表现很好。

LSI（文档的潜在语义）： 通过分解文档-词频矩阵来计算文档的潜在语义，和LDA有一点相似，都是文档的潜在特征。

这部分不是重点，传统机器学习算法中能用来分类的模型都可以用，常见的有：NB模型，随机森林模型（RF），SVM分类模型，KNN分类模型，神经网络分类模型。

这里重点提一下贝叶斯模型，因为工业用这个模型用来识别垃圾邮件[2]。

1，fastText模型： fastText 是word2vec 作者 Mikolov 转战 Facebook 后16年7月刚发表的一篇论文： Bag of Tricks for Efficient Text Classification [3]。

模型结构：

改进：注意力（Attention）机制是自然语言处理领域一个常用的建模长时间记忆机制，能够很直观的给出每个词对结果的贡献，基本成了Seq2Seq模型的标配了。实际上文本分类从某种意义上也可以理解为一种特殊的Seq2Seq，所以考虑把Attention机制引入近来。

过程：

利用前向和后向RNN得到每个词的前向和后向上下文的表示：

词的表示变成词向量和前向后向上下文向量连接起来的形式：

模型显然并不是最重要的： 好的模型设计对拿到好结果的至关重要，也更是学术关注热点。但实际使用中，模型的工作量占的时间其实相对比较少。虽然再第二部分介绍了5种CNN/RNN及其变体的模型，实际中文本分类任务单纯用CNN已经足以取得很不错的结果了，我们的实验测试RCNN对准确率提升大约1%，并不是十分的显著。最佳实践是先用TextCNN模型把整体任务效果调试到最好，再尝试改进模型。

理解你的数据： 虽然应用深度学习有一个很大的优势是不再需要繁琐低效的人工特征工程，然而如果你只是把他当做一个黑盒，难免会经常怀疑人生。一定要理解你的数据，记住无论传统方法还是深度学习方法，数据 sense 始终非常重要。要重视 badcase 分析，明白你的数据是否适合，为什么对为什么错。

超参调节： 可以参考 深度学习网络调参技巧 - 知乎专栏

一定要用 dropout： 有两种情况可以不用：数据量特别小，或者你用了更好的正则方法，比如bn。实际中我们尝试了不同参数的dropout，最好的还是05，所以如果你的计算资源很有限，默认05是一个很好的选择。

未必一定要 softmax loss： 这取决与你的数据，如果你的任务是多个类别间非互斥，可以试试着训练多个二分类器，也就是把问题定义为multi lable 而非 multi class，我们调整后准确率还是增加了>1%。

类目不均衡问题： 基本是一个在很多场景都验证过的结论：如果你的loss被一部分类别dominate，对总体而言大多是负向的。建议可以尝试类似 booststrap 方法调整 loss 中样本权重方式解决。

避免训练震荡： 默认一定要增加随机采样因素尽可能使得数据分布iid，默认shuffle机制能使得训练结果更稳定。如果训练模型仍然很震荡，可以考虑调整学习率或 mini_batch_size。

知乎的文本多标签分类比赛，给出第一第二名的介绍网址：

NLP大赛冠军总结：300万知乎多标签文本分类任务(附深度学习源码)

2017知乎看山杯 从入门到第二

怎么避免尬聊没话题

怎么避免尬聊没话题，如果说两个人实在是找不到话题可聊了，但是你们又不得不面临这样的状况，是一件很尴尬的事情，我和大家一起来看看怎么避免尬聊没话题的相关资料。

怎么避免尬聊没话题1

一、没话题时怎么避免尬聊

1、如果现在的你与对面的这个人聊着聊着忽然间没有了话题，想要避免这样的尴尬发生，我们可以去适当的夸一下对方，毕竟任何一个人他都是喜欢听好听的，他也是特别希望对面的这个人能够夸一下自己，在你们没有话题的时候，你可以用这些语言来赞美一下他，肯定会缓解一下你们之间的尴尬气氛，例如，以前听朋友说你是一个非常优秀的人，我还觉得他在胡说，但是当我见到你的那一刻起，我就承认了，我之前的想法是错误的。

2、去对自己进行一下自嘲，或者说把自己的缺点都给与对方说一下，我们可以和他说对不起，我其实是一个很无聊的人，我也是一个不会说话的人，如果让你感觉到不愉快了，那么你随时可以结束这场谈话，或许这样直接了当的与对方说出你的心里想说的话，会让他觉得你是一个特别坦诚的人。

二、怎样才能跟异性不尬聊

喜不要说一些对方不喜欢听的话，例如与你交谈的这个女孩子，是一个比它是一个短发美女，那么我们在交谈的过程中，就不要说你喜欢的是长发美女，而且长头发会让女孩子觉得更淑女一些，一个会说话的人他应该这样说的，头发的女孩其实是十分干练的，遇到人任何事情也是雷厉风行的，与这样的人在一起相处，肯定也会十分的舒适，相信你这样说话会让他感觉到很愉快很高兴，自然就会愿意与你继续谈下去了。

一个会说话的人会时时刻刻的就能够得到身边朋友的喜欢，即使是他们两个人认识的时间还不是很长，但是很快也会熟络起来，这应该就是聊天的魅力所在。

没话题时怎么避免尬聊这些就是在以上的文章中主要为大家介绍的内容，现在的你是否已经有了一些勇气来改变一下你不会说话的毛病了，一个不善于表达自己的人，一个总是会会错意的人，相信在他的身边朋友也会非常的少，因为他也不知道在什么时候就伤害到了他的这个朋友，有的时候其实也是无心之举，但是换来的朋友的不舒服却是朋友比较尴尬的瞬间，要改变这些，想要让自己能够成为一个能说会道的人，一个会讲话的人，那么我们就要不断的去练习，在你与他人交谈的过程中不断的去吸取经验，去改掉一些不好的，去吸取一些好的东西，自然慢慢的你也会成为一个人人都喜欢的人，你也会成为一个特别会聊天的人。

怎么避免尬聊没话题2

一、控制聊天的参数

认识一个女生，恨不得和这个妹子不停的聊、一直聊到晚，其实这就是一个丧失吸引力的表现。女生会感觉你这个人很无聊，天天找她聊天，一种低价值的'展现产生。

学会控制聊天的频率，才是聊天中高价值的第一步，和妹子的聊天的节奏，一般保持2-3天就可以了。其次，学会挑选聊天点，不用每天找女生聊、不停从早聊到晚。

你可以在固定某个时间段发起聊天，例如工作开会、生活下厨、运动健身等都是高价值，侧面展示你是一个高价值的男生，而不是整天围绕着她转的男生。

还有，要学会控制聊天的进程，学会在聊天火热的时候，来个中途刹车，进行短时间冷冻，这样就会让妹子感觉到和你聊天意犹未尽，下次和你聊天感觉就会特别的开心，形成一个条件反射，这就是一种高价值立场，这就是一种吸引女孩子的方式。

二、展现软价值

什么是软价值？软价值就是你的谈吐、肢体语言、情绪等等方面的东西。在聊天中，展现软价值，我们可以通过植入一些高价值形象的方式，比如：

三、低调的展示硬价值

什么是硬价值？硬价值，就是你的金钱 、房子、车子等等物质基础，比如，你是高学历海归，你是某家大公司的高管，你有几辆车，你家里有几套房子 ，你爸爸是XX局局长…这些就是你的硬价值。

在聊天中，面对硬价值，经常会有以下两种情形：

1、要么过度炫耀，让女人反感，

2、要么把自己土豪金的一面暴露给女人，让女人对你没了兴趣。

这些就是在聊天中，错误的展现价值的一些方式。

因此，面对我们的硬价值，真正的展示是建立在自己本身价值基础上，用更合理、更低调的方式去表达，比如：

最后，回到问题：“如何在聊天中正确展示自己的价值？”“怎么去吸引女生？”其实，总结一下可以概括为两步操作：

首先，发现自己的价值，懂得展现什么能吸引到她。

其次，懂得用正确的方式展现出来。

聊天时保持适合的节奏，聊几句她的话题，再聊几句你的话题。当你明白每句话的用意后，你会发现，聊天变得简单起来，你不需要真的记下和女孩子聊天的每个话题，我们的目的不是让你死学，而是让你自己拥有这个思维方法，让自己内化。

这里，鱼老师提醒大家一句话，恋爱最快速有效的捷径是复制别人成功的经验和方法，而不是自己去尝试撞的头破血流，最后时间浪费了，心累了，钱花了，还没有结果!

怎么避免尬聊没话题3

1、聊趣味的亲身经历

好奇心是个好产品，在和女孩聊天的情况下，假如你能把握住这一点，就能取得成功的造成女孩的兴趣爱好，例如女孩都很憧憬他人轻松自由的旅游，针对那样的亲身经历肯定是很好奇的，怎样幽默聊天？假如你恰好试着过，那么就何不在闲聊的情况下跟女孩共享一下你度假旅游中的一些趣味的亲身经历，那样女孩对你的好感度毫无疑问便会平行线升高。聊天宝典：搭讪的技巧哪些好？

另外也会感觉你是一个非得有亲身经历和经验的男孩子，之后出去旅游或许还会继续积极的约你要功略，或是在你跟女孩共享完你度假旅游全过程中碰到小玩意，优秀的人时，还能借着女孩对你有点儿钦佩的情况下明确提出模糊不清的邀请，这个时候女孩毫无疑问会同意你的，或许还能因而偶遇一个有故事的人，一起跟你去旅行哦。

2、聊女孩喜欢的东西

要想跟女孩在闲聊的情况下不容易尴聊，那就需要学好顺水推舟，提早去掌握女孩的个人爱好，找一些她喜欢的东西去聊，那样始终都不容易担忧出现尴聊的状况啦，怎样幽默聊天？例如女生喜欢小宠物，你也就能够 去科谱一些养动物的专业知识，或是你恰好也喜爱养动物，在你公出或是要回家的情况下，就可以把宠物放进女孩的家中让她帮你照料几日，这样一来，大家的话题讨论不但增加了，情感也可以由于这一宠物而渐渐地的挨近，终究女孩都是感觉喜爱养动物的男孩子毫无疑问很有爱心，跟一个有爱心的男孩子在一起，一定也会真幸福。聊天宝典：搭讪的技巧哪些好？和男友吵架闹分手怎么办？10s免费申请情感分析>

3、聊你喜爱做的事儿

处对象或是寻找另一半，只不过便是要想找一个志趣相投，三观一致的人在一起共度余生，因此 在追求完美喜爱的女孩也没必要一味的凑合女孩，聊天宝典：搭讪的技巧哪些好？有时在闲聊时适度的主要表现出自身喜欢的东西还能分辨这一女孩跟自身是否同一频道栏目的人，因此 在闲聊时不清楚聊什么话题讨论得话，能够 试一下这一些你喜爱做的事儿，例如运动健身，去看书，歌唱等，或许还能因而碰到跟你个人爱好一致的女孩，拥有相互的个人爱好，那样聊到来天就不必担心会出现尴聊啦。