NLP自然语言处理

罗素悖论：由所有不包含自身的集合构成的集合

例子：理发师称只给那些不给自己理发的人理发。

基于集合论，理发师无论给自己理发还是不给自己理发都是矛盾的。

因此集合论不是完备的。 即使后面冯罗伊德等科学家提出了各种假定条件。

由于上述的原因，集合率无法很好的描述自然语言，科学家发现通过概率模型可以更好的描述自然语言。

深度学习来处理自然语言属于概率模型

证明最小点位于坐标轴上

h = f+c|x|

由于在x = 0处不可导

h-left'(0)h-right'(0) = (f'+c)(f'-c)

那么如果c>|f'(0)|可得，h在0处左右导数异号

0是最值。

那么在损失函数加入L1正则化后，可以得到某些维度容易为0，从而得到稀疏解

几乎所有的最优化手段，都将适用凸优化算法来解决

P(A|B) = P(A and B) / P(B)

if A and B 独立

=》P(A and B| C) = P(A|C)P(B|C)

也可以推出

=>A(A|B and C) = P(A|C) (B交C不为空)

抛9次硬币，硬币出现正面的概率是05，出现k次的概率分布如下如

服从正态分布

x的平均值

E = xp(x) +

x相对于期望的偏离

var = (x-E(x))^2

conv = (x - E(x))(m - E(m))

描述x,m是否有同分布

按理协方差为0，并不代表x和m没有关系

例如下图

如果点的分布对称的分布，会得到协方差为0，但是其实他们是有关系的。

把每个相关的概率累加，得到联合概率

P(x1=m1,x2=m2) = n!P1 m1/m1!P2 m2/m2!

T(n) = (n-1)!

T(x)用一条曲线逼近n!，进而可以求得非整数的阶乘

由二项式分布推出

P = T(a+b)x (a-1)(1-x) (b-1)/(T(a)T(b))

则正态分布

y为0时，不考虑y‘。y为1时，y'越接近1，越小，越靠近0，越大

把D最小化，迫使y'逼近y

对于一个句子，有若干单词组成。例如

C1: The dog laughs

C2: He laughs

那么计算P(C1) = P(The, Dog, laughs)的概率和P(C2) = P(He, laughs)的概率。

根据历史文本的统计学习。

可以得到P(C1)<<P(C2)

P('I love the game') = P('I')P('love')P('the')P('game')

其中P(<work>) = 频率/总单词数

计算一篇文章是积极的还是消极的。

P(y|x) = sigmod(wx)

x是文章内每个单词的频率

y表示积极和消极情感

其中P(xk|x1, x2,xk-1) = frequence(x1, x2 ,, xk)/frequence(x1, x2xk-1)

2-gram模型例子

把多个gram的模型进行线性整合

P(y|x1, x2, xn) = P(y)P(x1, x2, xn|y) / P(x1, x2, xn)

y代表是否是垃圾邮件

x代表单词

广州市长寿路 -》 广州市长|寿路

广州市长寿路 -》 广州市|长寿路

匹配词袋：广州市，广州市长，长寿路

使用最大匹配发，第二个分词更优

通过统计P(A|B)，得出各个option的概率，取最大的概率，则为最后的分词

word => [0, 0 , 1, 0]

word => [0, 1, 0, 1, 0, ]

可以解决词相似性问题

计算附近词的频率

word => [0, 3, 0, 1, 0, ]

w是附近词的one-hot encoding

score是词的one-hot encoding

最后一层通过softmax，取拟合文本

最终中间层则为词向量

输入为词one-hot encoding

输出为附近此的one-hot encoding

最后通过softmax预测附近词

最后中间层则为结果词向量

混合模型是一种统计模型，问题中包含若干个子问题，每个子问题是一个概率分布，那么总问题就是若干个子问题的组合，也就是若干个子分部的组合，这样就形成了混合模型。

有红黑两种硬币，把它们放在盒子里，从盒子里随机抽取一个硬币并投币，抽到红色的概率是p，红色硬币正面的概率是q，黑色硬币正面的概率是m，假设我们没办法看到抽取出的硬币的颜色，只能看到最终是正面或者反面的结果，例如HTTHTTTTHHH (H:正面 T: 反面)。需要估计p,q,m三个参数。

此时可以计算出

通过EM算法迭代如下：

随机p q m

迭代以下过程：

计算上面table

p = (aC(正)+cC(反))/total

q = aC(正)/(aC正+cC正)

m = bC(正)/(bC正 + dC正)

假设有上述数据，需要用混合模型来逼近，通过分析，红色和蓝色数据分别为高斯正态分布，N(u, v)

此时可以得到如下表

p = pN红x/(pN红x+(1-p)N蓝x)

u = pN红x/n

v = pN红(x-u)^2/n

词性转换概率

词性到单词的转换概率

通过EM递归算法，训练以上参数，得到隐马尔可夫模型

PLSA主题模型

只统计词的频率，不计算词的相对位置

计算文档和单词频率的矩阵

进行奇异矩阵分解

得到A矩阵的压缩U，U中的k则为k个主题

通过分析，LSA得到的主题是跟现实无法关联，它只是一个量，而没有明显的意义。

PLSA为了解决此问题，引入概率模型，先确定主题个数

然后通过构建Doc->topic的概率table，和topic->word的概率table。

然后通过EM模型，得到这两个table的所有概率值。

进而得到文档的主题表示

PLSA的缺陷是，对于预测未知的doc，无法计算此文档的相关概率。随着doc数量的增加，PLSA模型的参数会线性增加，从而会造成过拟合。

LDA通过引入先验概率来克服PLSA的问题。

类似于编译原理的上下文无法句法分析，一颗语法树

通过对CFG引入概率参数

有了概率，可以计算每颗语法树的极大似然概率，并取最大概率的树为最终输出

上一个状态中间层的输出作为下一隐层的输入

类似于HMM的2-gram模型。t状态受到t-1时刻输出的影响，受t-k的输出的k越大，影响越小

由于RNN几乎只受到上一时刻的影响，而忽略了久远信息的影响。从而造成了一定的局限性。

LSTM通过引入长短记忆方法，来维持长记忆的信息。

通过训练核内的sigmod函数，使得LSTM可以根据不同的句子，有条件的保留和过滤历史信息，从而达到长记忆的功能。

GRU是LSTM的简化版，它只需要处理两个sigmod函数的训练，而LSTM需要三个sigmod函数的训练，减少了训练的参数，加快了训练的速度，但也损失了一部分模型的复杂，在处理较复杂问题时，没有LSTM那么好。

auto-encoder-decoder的特点是输出的单元数是固定的。对于一般自然语言处理，例如机器翻译，输入的单元个数跟输出单元的个数并不是一一对应的，此时就需要动态的生成输出单元。Seq2Seq通过动态的输出结束符，代表是否输出完成，达到可以动态的根据输入输出不同的单元个数。

seq2seq的缺点是，所有的输入序列都转化为单一的单元c，导致很多信息都将消失，对于不同的输出yi，它可能依赖的输入xj有可能不一样，此时通过加入注意力模型，通过对xi进行softmax处理，并加入到y权重的训练中，可以让不同的y，有不同的x对它进行影响

softmax的输入为输入单元x，和上一个输出单元y，联合产生softmax的权重，进而对不同的序列，对于同一个x，会有不同的注意力到输出

q = Wq(x)

k = Wk(x)

v = Wv(x)

x为词向量

通过训练，得到权重w，从而学习到这一层的softmax注意力参数

R是前一次encoder的输出

通过增加w的数量，产生多个z，并进行堆叠，通过前馈网络，最后产生z

在使用self attention处理句子时，是没有考虑单词在句子中的位置信息的。为了让模型可以加入考虑单词的位置信息，加入了位置编码的向量

计算如下：

pos为单词在句子中的位置

i为词向量的位置

d为句子的长度

位置编码加上词向量形成tranformer的输入

加入了归一化和残差网络

最终通过softmax，输出每个单词的概率，并最终输出单词

NLP与Java最常见的结合方式就是使用Java开发自然语言处理的应用程序。Java作为一种功能强大的编程语言，拥有着较好的可移植性和跨平台性，同时也有着丰富的第三方开源库支持。在自然语言处理领域，Java提供了许多有用的库或框架，例如OpenNLP、Stanford NLP、UIMA、LingPipe等，这些库提供了多种自然语言处理任务的工具和功能，如分词、词性标注、命名实体识别、句法分析、情感分析等等。借助Java和NLP库的完美结合，我们可以轻松地实现各种自然语言处理任务，并将其应用于语音识别、机器翻译、智能客服等领域。

使用数据驱动的方法对自然语言处理NLP模型进行改进和优化的一般步骤如下：

确定优化目标：明确优化目标，例如提高准确率、提升处理速度等。

收集和准备数据集：选择适当的数据集来测试和验证模型性能。

选择合适的评价指标：根据优化目标，选择适合的评价指标，如精确率、召回率、F1值、ROC曲线等。

分析和评估模型性能：利用收集到的数据集对模型进行评估和测试，比较不同模型的性能表现，并找出可能存在的缺陷或瓶颈。

提出改进策略：根据模型性能评估结果，提出具体的改进策略，例如改进特征提取算法、调整超参数等。

实施改进措施：根据提出的改进策略，修改原有的NLP模型或者构建新的模型来进行实验验证。

重新评估和验证改进后的模型：重复上述流程，不断优化改进NLP模型，直到达到满意的性能表现为止。

结果解释和总结：将优化过程中的关键步骤、方法和结果进行归纳和总结，以便于未来相似任务的参考。

1、NLP是什么？

答：NLP是目前世界上最实用有效的一门心理行为科学。NLP全名是Neuro Linguistic Programming，中文译为「神经语言程序学」。有人评价它：纳米技术是物理学的一次飞跃，而NLP则是人类心理学的一场革命。互联网改变了人类的生活方式、NLP则改变了人类的思维方式。NLP是一个引领人走向正面、阳光、积极、和谐的学问；是一套塑造新生活的首选法门；是一种老百姓自己的实用心理学。

2、NLP的意思是什么？

答：NLP为Neuro-Linguistic Programming的缩写，三个单词分别代表以下的意思：

Neuro(脑神经)，意为“身心”，指的是我们的头脑和身体经由我们的脑神经系统联结在一起。我们的脑神经系统控制我们的感觉器官去维持与世界的联系。

lnpJistic(语法)，指的是我们运用语言与别人作出相互影响，经由姿势、手势、习惯等无声语言显示我们的思考模式、信念及内心种种状态。我们的头脑与身体之间的联系机制所用的语言模式。

Programming(程式)，借用计算机科学语言指出我们的意念、感觉和行为只不过是习惯性的程式，可以经由提升我们"思想”的软件而将以改善。凭借改善我们思想和行为的重复程序，便能在行动中取得更满意的效果。

故此，我认为NLP也可以解释为研究我们的大脑如何工作的学问。知道大脑如何工作后，我们可以配合和提升它，从而使人生更成功、快乐。也因此我把NLP译为“身心语法程式学”。

3、NLP研究的是什么？

答：NLP研究我们思想、情绪、行为背后的规律，为我们提供一套如何表现卓越，如何追求成功、快乐、幸福人生的

思维框架与实用技术。

NLP是一门研究人的主观世界的学科，研究我们如何创造出我们独特的内心世界。NLP从破解卓越人士的语言及思维模式入手，独创性地将他们的思维模式进行解码后，发现了人类思想、情绪和行为背后的规律，并将其归纳为一套可复制，可模仿的程序。

语言是思维的载体，NLP从语言入手，革命性地将意识与潜意识的研究带到一个全新的高度，更难能可贵的是，它不是一套学者们用来清谈的理论，而是可推及到现实生活各个层面的方法论。它被誉为现代心理学最具学科综合性，最具神奇效力，也是最具发展前景的应用成果。有人说NLP是成功学，正确的解释是，成功学只是它的冰山一角，它背后有着更深刻的脑神经学及心理学基础。

4、NLP起源于哪里？

答：NLP首创于1970年代早期。是由两位美国人——理察·班德勒(Richard Bandler)和约翰·葛瑞德(John Grinder)完成的基础理论。这两个美国人由于不满于传统心理学的治疗过程冗长，效果反复不定，因而集各家所长，加上他们独到创见，在美国加州大学经过三年的实践，奠定了NLP的基础。

理察·班德勒(Richard Bandler)和约翰·葛瑞德(John Grinder)一起研究并效仿了美国当时四位顶尖的心理治疗师与沟通大师：

催眠治疗大师也是艾瑞克森摧眠学派创始人：米尔顿·艾瑞克森

家庭治疗大师：维吉尼亚·萨提尔

完形治疗创始人：弗列兹·皮耳氏

沟通大师：格利葛利·贝特森。

他们一方面亲自向四位大师学习，另一方面也将四位大师的心法，适当的修正与发展，他们发展出来的第一个模式就是口语与非口语的沟通技巧，通过策略引导与模仿能快速学习任何事物，汲取精华。

5、为什么要学习NLP？

答：人生的困局往往来自于头脑与心灵的抵触、理智与感情的冲突、意识与潜意识的矛盾。NLP因为完全发现了思维和情绪的规律，知道如何让你的理性与感性协调一致、身心合一。所以，用它来处理各种困局、突破发展瓶颈，就如利斧断木，效果惊人，它常常能迅速抓住问题的要害，以最短的时间化矛盾于无形，很大程度上，NLP是教你找到方法的方法。

NLP发现了思维的规律，规律的特性意味着可以不断地被举一反三。因此，NLP具有无限的延展性。在这门学问出现后的三十年时间里，已经有无数的人发展出了数百个不同的技巧，并且还在不断的发展中。这些技巧可以用来处理你工作、学习、生活等各个方面的问题，并极大地提升你的学习能力、沟通能力以及幸福感。毫不夸张的说，没有哪门学问能够像NLP这样给你打开如此广阔的世界，它让你看到无限多的可能性，并给你方法，让你朝着自己想去的方向轻松快乐地向前。

6、NLP可以帮我们解决什么问题？

答：NLP是一门专业研究人主观世界的学科，可以帮我们解决一下问题：

1)NLP帮助我们深刻的了解人、认识人。了解人跟人是不同的，并且了解每个人行为、情绪、思维背后的规律，从而更有效的配合与提升我们的绩效表现。

2)NLP可以协助我们最求卓越，更快速有效的达成目标，创造成果。NLP是一门以结果为导向，注重实效的学科。

3)NLP可以丰盛我们的思想，培养积极处世的人生观与世界观。

4)NLP可以快速的提高我们的沟通、领导、管理与的能力，提高我们的思考能力，掌握大脑运作的规律，从而我们掌控人生。

5)NLP可以协助我们处理情绪困扰，消除心理障碍，提升情感平衡的能力，从而达成自我和谐与良好人际关系。

6)NLP可以快速有效的调整与改变我们的一些不良的行为习惯。

7、NLP的中心学问是什么？

答：NLP的中心学问是“模仿卓越”。我们通过模仿成功人士的行为模式与思想模式，可以做到与他们一样的效果，并且通过灵活的运用，使到我们在运用各种工具时可以更适应我们自己的情况。NLP四大智慧与核心思想为：敏锐、灵活、弹性、结果导向与系统平衡。

8、NLP学问有什么特点：

答：1）它是灵活性的。如果用两个字来形容NLP特点的话，那就是——“灵活”两个字。NLP犹如一股灵活之泉，它主张向“小河流”学习，还记得在第一章与你分享的小河流吗？小河流为了到达生命中的大海，它会不断地改变自己的形状，去越过高山、穿过草地，为了跨越沙漠，甚至愿意蒸发到空气当中，让微风带着它到大海的上空，再化为雨水落下来，到达生命中的目的地。NLP也一样，一切以效果为导向，而不拘泥于各种形式或道理；

2）它是全面性的。NLP整个体系的训练，是由修身到与人互动。由生理的觉察到心理的苏醒，直至灵性的抬头。不像有些课程只专注在治疗或某个单项的快速成功；

3）它是持续性的。NLP是改变自己，引领他人的修习训练。只要接受它就可生生不息的成长。不像有些课程，只有短期的激情效果，一阵激情后又陷入迷惘；

4）它是自主性的。经NLP训练后，学员可挑选其中某些领域继续深入或朝NLP专业发展或与其它专业结合。不像有些课程，没能帮助学员建立自主的独立性，所以上过之后还要再上；

5）它是通透性的。只要学会几种简单模式与架构，就可以活用于生活中的各种情境。比如呼应与引导的原则，既适用于与客户的互动，也适用于亲子调教，更可用于两性的互动。不像某些技巧，仅适用于少数特定的情境；

6）它是开放性的。它的结构，既有成长性，也有包容性与附益性。换句话说，它自成一家，但又可与其它领域的专业相结合，不断地与环境配合适应

9、NLP课程涉及哪些内容？

答：NLP专注于研究人的主观世界，探讨我们是如何创造出我们每个人独特的内心世界，并如何有效

的配合、调整、改变、提升与整合我们的内在世界，从而达至身心灵和谐一致。NLP探讨的内容如下：

1)人的大脑是如何工作的，并有效配合以提升人的思维能力。

2)人的情绪是如何产生的，并有效管理以提升人的情感智能

3)人的行为反应与习惯模式是怎样的，如何戒除的不良行为，调整状态，创造最佳的表现

4)如何提高我们内向沟通能力，达成身心灵和谐统一。

5)如何提升我们外向沟通能力，创造良好的人际关系，从而达到人与人，人与社会的和谐。

10、NLP实践应用在哪些方面？

答：NLP以它神奇、独特的可以改变人生的超级魅力，以及实用、易学，可操作性强的具体方法，迅速风靡世界。目前NLP已涉足并被广泛应用于人际沟通、个人成长、家庭婚姻、亲子教育、身心健康、企业经营管理、个人与组织学习、教育训练、心理治疗与生涯规划等领域。更具体地说，如个人心灵创伤、受虐、受暴力、无自信心、恐高症、家庭问题等的心理治疗；或减肥、酗酒、戒烟、戒毒、消除压力、身心不适症状等的治疗；或如何销售、如何谈判、如何领导、如何增加创造力、如何沟通等商业上的应用及改善或加强小孩、职员、组织或自己的有效学习与终生学习能力等。效果无与伦比，颇受赞赏，在全球形成了学习风潮。

11、NLP学问的发展情况怎么样

答：全世界现已出版的NLP类书籍有300余种，各种语言的NLP专业杂志10余种，在国际互联网上，NLP网站有100多个，欧美的40多个国家已有全国性NLP协会，数个国际组织在实施NLP专业资格的国际认证作业。

12、什么样的人适合学习NLP？

答：几乎所有人都可以学。尤其适用于：企业负责人、职业经理人、市场营销人员、行政人事工作者、公关人员、培训工作者、教练、教育工作者、心理咨询师、为人父母者等等。

13、NLP容易学吗？

答：很容易。NLP这门学问题虽然揭示了思维及行为活动的规律，其发现是革命性的。但是，它的理论基础却是我们大部分受过教育的人都熟悉的。NLP在短短的三十年里能够迅速地传播，得益于它"效果显著、易学易懂"的特性，它是一门小学生能听懂，大学教授觉得有深度的学问。在它的教学过程中，大量地运用体验式的互动的方法，使得整个学习的过程变得轻松有趣。

情感银行：

每个人都有个情感账户，关系的相互作用是银行中的存款和取款。

存款是是指让对方开心，感觉被欣赏，被肯定，或是做了一些让对方高兴的事。

黄启团老师认为，在情感银行存款可以这样做：

其一，给予别人真正需要的东西

判断对方的需要，可以通过听对方对你经常抱怨的是什么。

还有就是运用爱的五种语言：

第一种语言：肯定赞美的语言

毕竟，每个人都希望被肯定，被赞美。

第二种语言：服务的行动

行动比语言更有说服力

第三种语言：收礼物

礼物不在于贵重，重在心意

第四种语言：高质量的时间

比如对方跟你倾诉，你应该排除干扰，空出时间耐心倾听。

第五种语言：身体的接触

比如跟爱的人，牵手，拥抱。

其二，找对存款时间

在别人遇到挫折，失败，困难等，你及时伸出援手，雪中送炭。

最后，愿你在情感账户的存款越来越多，越来越富有。

要想在别人的情感银行中存款，需要做的就是给予别人赞美、肯定、关心、帮助、爱，并且能够真心地欣赏对方，在适当时候给予鼓励。

“情感银行”对建立和维护人与人之间的关系如此重要，但是“存款”却并非简单的行为，在很多时候，我们以为自己在存款，却存错了账户，或者别人根本没收到。

怎样才能将钱存到你想要的存的“情感账户”中呢？一定要把握好以下两个原则。

1、给予别人真正需要的东西

当你口渴的时候，一个人给你水喝，这就是你所需要的。但是，如果这个人给你馒头呢？从他的角度来看，他给予了，是在存款，但是从你的角度来看，这不是你真正想要的东西，这可能是一个提款。如果你们知道对方的感受，一定都会觉得委屈。

我们生活中常出现的问题—我们以为是对别人好，但别人未必认同，所以，情感存款一定是要给予对方想要的东西。

那我们怎么判断对方的需要，然后投其所好地为自己的情感账户存款呢？

有一个非常简单的方法，就是仔细听听对方对你经常抱怨的是什么。在那个对方对你抱怨最多的事上，认真思考你真正能为对方做什么，只要在这件事情上做1%的努力，努力存1块钱，对方就会很敏感地看到你的变化，其惊喜自不待言，相当于收到了100块钱。

2、找对“存款”时间 

银行5点下班，你8点才去存款，能存得了吗？同样，情感账户也要找对时间，你在对的时间存款，也许只存了一点点，别人却能收到很多；而你在不对的时间取款，只是取了一点，别人却觉得你取了很多。

当对方做错事情觉得很心虚的时候，如果你能正确看待这件事并且不一味地抱怨他，这就是一大笔存款。

举个例子，与别人发生争执的时候也是存款的好时机。当两个人意见不合时，一方如果能很快转换角色，站在对方的角度思考问题，就能在对方账户里存款。

存款的最佳时间有一个很重要的关键点——情绪高涨的时候，这一点几乎对所有人都适用。

你试着回想一下你的前半生，你印象最深刻的事情是什么？我猜此刻你能想起来的，都是那些与情绪相关的事情。我们的大脑很健忘，每天都会发生大量的事情，但我们能记住的不多，一旦某件事情被情绪所包裹，我们就很难忘记—“能忘掉的是事，忘不掉的是情”。

因此，在别人遇到挫折、失败、困难或是悲伤痛苦时，我们能及时施以援手，哪怕是一点点力所能及的帮助，就能在对方的情感账户中存上一大笔款项，雪中送炭总比锦上添花要强。