浅谈人工智能产品设计——情感分析

人工智能产品的定义较为广泛，智能硬件、机器人、芯片、语音助手等都可以叫做人工智能产品。本文讨论的人工智能产品主要是指在互联网产品中运用人工智能技术。

互联网产品主要着手与解决用户的痛点，对于C端产品来说，痛点就是指的个人想解决而无法解决的问题，如个人想要美化自己的照片，但是他不会复杂的PS软件，于是美图秀秀就可以解决这个痛点。从KANO模型中，就是满足用户的基本需求与期望需求。

人工智能产品（在互联网产品中运用人工智能技术）则是要满足用户的兴奋需求。如将情感分析运用到电商的产品评论中，用户则可以通过可视化的数据展示来大致对产品有个全面、直观的了解，而不再需要自己一页一页的翻看评论内容。

互联网产品主要关注点在于用户需求、流程设计、交互设计、商业模式等。着眼于用户需求，设计满足用户需求的产品，通过合理的流程设计、交互设计达到产品目标，进而实现商业目标。典型的思路是发现用户需求——>设计满足用户需求的产品——>迭代完善、产品运营——>商业变现。

人工智能产品关注点在于模型的构建，它不再是对于布局、交互的推敲，而是通过选择合适的数据，构建合适的模型，最终呈现出来的是好的效果。什么是好的效果呢？这就需要引入评测指标。互联网的评测指标有我们熟知的留存率、转化率、日活跃等，那么人工智能的产品主要是通过一些统计指标来描述，以情感分析为例，把情感分析看成一个分类问题，则可以使用P、R、A、F值来描述。

1）查准率（Precision）：P值，衡量某类分类中识别正确的比例，如情感分析中，有10条被分类为“正向”，其中8条是分类正确的（由人工审核），那么P=8/10=80%

2）查全率（Recall）：R值，又叫查全率，又叫召回度，指的是某类被被正确分类的比例，同样以情感分析为例，100条数据中有10条是正向的，机器分类后，这10条中有7条被分类为正向，则R=7/10=70%

3)F值，因为P值和R值通常是两个相互矛盾的指标，即一个越高另一个越低，F则是两者综合考虑的指标，不考虑调节P、R权重的情况下，F=2PR/(P+R)

4）精确度（Accuracy）：这个最好理解，就是被准确分类的比例，也就是正确率。如100条数据，90条是被正确分类的，则A=90/100=90%。

以上指标越高，说明模型效果越好。

我们从上面内容可以知道，人工智能产品设计关注：数据——>模型——>效果评估。

现在我们以情感分析为例子说明产品设计的过程。

1）数据：

数据的选择对最终模型的结果有直接影响，情感分析，根据不同的目的，选择的数据也不同。如将情感分析运用于**票房预测，则一些更新及时、内容丰富的数据源，如微博，是比较好的选择。如果是应用于商品的评价，如电子产品，很多评测内容是无法在短短几句话内描述清楚的，这时候微博不是个好的选择，选择论坛上更新较慢、但是详细的内容就比较适合。

如果能在产品的早期就有引入人工智能的打算，则可以在产品中事先做好数据采集。

2）模型：

在选择模型中，产品需要了解不同的模型的优缺点，进而选择更加合适的模型。在情感分析中，NB、SVM、N-gram都是常用的模型，其中SVM效果最好（这是已有的结论），如果是其他的智能产品，可能需要算法团队进行实验，给出测试数据，进而选择合适的模型。

3）效果评估：

效果评估在上文中已经描述得比较清楚，具体指标不再赘述。

4）产品呈现：

最后这一步，是将结果展示给用户。在情感分析中，我们可以选择雷达图、词云、情感趋势图来展示结果。取决于产品属性，如电商产品评论挖掘，可以使用词云；

如舆论分析，可以使用情感趋势图。

人工智能产品的设计要关注：数据、模型、评判、呈现。

生如夏花之绚烂，死如秋叶之静美。

数据清洗听起来很神秘，其实每一个职场人在用 Excel 的时候几乎都会重复的在做。在数据真正能为我们所用之前，对数据删除空行空列、清除空格打印字符、分列、替换等都是数据清洗过程。

将杂乱无章的数据整理成有规则的、可供分析的过程，可以称之为「数据清洗」 。

导入 Power Query 查询编辑器的数据如下，我们通过菜单中的 10 个功能进行数据清洗。

Ch07 Examples\GL Jan-Mar

01、删除行

导入数据的前10行都是无用的标题行，可以使用 Power Query 主页提供的「删除行」功能进行删除。

PQ提供了丰富的删除行操作，这里我们选择：删除最前面的几行  > 10 >  确定。

02、修整和清除

现在数据看起来规整多了，但是我们仔细观察可以看到列的两边有多余的空格，同时还有一些打印字符需要将其清除。

选中列，在转换选项卡下，格式功能中可以找到「修整」和「清除」。

在 Excel 中有 Trim() 及 Clean() 函数可以将前导、尾随及中间多余的空白单元格删除

（字符中间仅保留一个单元格）

。不同的是，PQ的「修整」功能并不能删除字符中间多余的空格。

03、按字符数拆分列

和 Excel 的拆分列功能相似，我们可以看到 PQ 将数据识别成了单独的一列。需要我们自己手动拆分列。

主页 > 拆分列 > 按字符数 > 15

这里拆分的字符数可以根据日期列的字符数进行确定初始值，然后进行调试，找到最佳的拆分字符数。

拆分完后更具规则的数据

04、提升标题

这时我们需要给每列一个有意义的名称，可以看到第一行就是列的标题。因此可以直接使用「将第一列用作标题」提升标题行。

05、更改数据类型

PQ 默认会根据列的数据特征自动更改列的数据类型，然而它并不能每次都准确识别，所以有时我们需要自己更改数据类型。

06、删除错误值

转换数据类型操作后，可以看到列的下方出现了红色的标记，这是 PQ 提醒我们数据列存在错误值，往下拉到第 44 行可以发现错误值。

因为数据类型转换失败导致的错误值

当确认了这些属于无用字符导致的转换失败以后，可以删除错误行。

主页  > 删除行 >  删除错误

07、筛选剔除行

删除错误以后，第一列还有灰色的提示，说明该列还有无用的空行。

可以通过列的筛选功能，剔除空行，选中第一列，筛选取消勾选 (null)。

08、删除列

删除数据中的空列。选中空列，右击鼠标删除列。

09、合并列

处理到这一步数据已经基本清洗干净了。往后看，可以发现有两列在开始按字符数拆分时，被错误的拆开了。

我们可以使用「合并列」功能进行逆操作，「合并列」相当于 Excel 中的连接字符 「&」。

选中以上两列，点击转换> 合并列

弹出的对话框中指定新的列名，点击确定完成合并。

10、按分隔符拆分列

合并的 Reference Information 列包含双重信息，并且可以按照分隔符「 - 」进行拆分。

选中该列，点击转换拆分列 > 按分隔符 > -

学会以上十招，基本也就掌握了PQ 常用的数据清洗功能，只要认真跟着操作一番，相信对 PQ 会有不一样的理解，同时对于文章没有出现的其它数据转换功能也会具备一定的自我探索能力。

也许你会问这些都能在 Excel 中实现，为什么要一定要在 PQ 中处理 ？，在 Excel 中当你面临同样的需求时，所有的导入文本、删除行、合并拆分列，你都需要重新操作一遍。

而在 PQ 中，以上操作都已经被录制下来

（类似宏）

，当你面临同样需求时，只要更改数据源就可以一键执行整个清洗工作。

Excel Tips & Tricks 使用蝴蝶图让数据对比更明显

学会这两个M函数，合并文件更加得心应手

牢记这三点，你也可以高效管理度量值

你的在看

我的动力 !

数据分析（Data Analysis） 数据分析概念

　　数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

　　数据也称观测值，是实验、测量、观察、调查等的结果，常以数量的形式给出。

　　数据分析与数据挖掘密切相关，但数据挖掘往往倾向于关注较大型的数据集，较少侧重于推理，且常常采用的是最初为另外一种不同目的而采集的数据。 数据分析的目的与意义

　　数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。

　　在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如J开普勒通过分析行星角位置的观测数据，找出了行星运动规律。又如，一个企业的***要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极广泛的应用范围。 数据分析的功能

数据分析主要包含下面几个功能：

　　1 简单数学运算（Simple Math）

　　2 统计（Statistics）

　　3 快速傅里叶变换（FFT）

　　4 平滑和滤波（Smoothing and Filtering）

　　5 基线和峰值分析(Baseline and Peak Analysis)

数据分析的类型

　　在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。

　　探索性数据分析：是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(John Tukey)命名。

　　定性数据分析：又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”，是指对诸如词语、照片、观察结果之类的非数值型数据（或者说资料）的分析。

数据分析步骤

　　数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步：

　　1、探索性数据分析，当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。

　　2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。

　　3、推断分析，通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。

数据分析过程实施

　　数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。

　　一、识别信息需求

　　识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。　二、收集数据

　　有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑：

　　① 将识别的需求转化为具体的要求，如评价供方时，需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据；

　　② 明确由谁在何时何处，通过何种渠道和方法收集数据；

　　③ 记录表应便于使用；

　　④ 采取有效措施，防止数据丢失和虚假数据对系统的干扰。

　　三、分析数据

　　分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有：

　　老七种工具，即排列图、因果图、分层法、调查表、散步图、直方图、控制图；

　　新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图；

　　四、数据分析过程的改进

　　数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析，评估其有效性：

　　① 提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题；

　　② 信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析；

　　③ 收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通；

　　④ 数据分析方法是否合理，是否将风险控制在可接受的范围；

　　⑤ 数据分析所需资源是否得到保障。

1决定目标：数据价值链的第一步必须先有数据，然后业务部门已经决定数据科学团队的目标。这些目标通常需要进行大量的数据收集和分析。因为我们正在研究数据驱动决策，我们需要一个可衡量的方式知道业务正向着目标前进。

2确定业务标杆：业务应该做出改变来改善关键指标从而达到它们的目标。如果没有什么可以改变，就不可能有进步,，论多少数据被收集和分析。确定目标、指标在项目早期为项目提供了方向，避免无意义的数据分析。

3数据收集：撒一张数据的大网，更多数据，特别是数据从不同渠道找到更好的相关性，建立更好的模型，找到更多可行的见解。大数据经济意味着个人记录往往是无用的，在每个记录可供分析才可以提供真正的价值。

4数据清洗：数据分析的第一步是提高数据质量。数据科学家处理正确的拼写错误，处理缺失数据和清除无意义的信息。在数据价值链中这是最关键的步骤，即使最好的数据值分析如果有垃圾数据这将会产生错误结果和误导。

5数据建模：数据科学家构建模型，关联数据与业务成果和提出建议并确定关于业务价值的变化这是其中的第一步。这就是数据科学家成为关键业务的独特专长，通过数据，建立模型，预测业务成果。

6数据科学团队：数据科学家是出了名的难以雇用，这是一个好主意来构建一个数据科学团队通过那些有一个高级学位统计关注数据建模和预测，而团队的其他人，合格的基础设施工程师，软件开发人员和ETL

专家，建立必要的数据收集基础设施、数据管道和数据产品，使数据通过报告和仪表盘来显示结果和业务模型。

7优化和重复：数据价值链是一个可重复的过程，通过连续改进价值链的业务和数据本身。基于模型的结果，企业将通过数据科学团队测量的结果来驱动业务。

1、删除缺失值

当样本数很多的时候，并且出现缺失值的样本在整个的样本的比例相对较小，这种情况下，我们可以使用最简单有效的方法处理缺失值的情况。那就是将出现有缺失值的样本直接丢弃。这是一种很常用的策略。

2、均值填补法

根据缺失值的属性相关系数最大的那个属性把数据分成几个组，然后分别计算每个组的均值，把这些均值放入到缺失的数值里面就可以了。

3、热卡填补法

对于一个包含缺失值的变量，热卡填充法的做法是：在数据库中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。最常见的是使用相关系数矩阵来确定哪个变量（如变量Y）与缺失值所在变量（如变量X）最相关。然后把所有变量按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个个案的数据来代替了。

还有类似于最近距离决定填补法、回归填补法、多重填补方法、K-最近邻法、有序最近邻法、基于贝叶斯的方法等。

异常值通常被称为“离群点”，对于异常值的处理，通常使用的方法有下面几种：

1、简单的统计分析

拿到数据后可以对数据进行一个简单的描述性统计分析，譬如最大最小值可以用来判断这个变量的取值是否超过了合理的范围，如客户的年龄为-20岁或200岁，显然是不合常理的，为异常值。

2、3∂原则

如果数据服从正态分布，在3∂原则下，异常值为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据服从正态分布，距离平均值3∂之外的值出现的概率为P(|x-u| > 3∂) <= 0003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。

3、箱型图分析

箱型图提供了识别异常值的一个标准：如果一个值小于QL015IQR或大于OU-15IQR的值，则被称为异常值。QL为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR为四分位数间距，是上四分位数QU与下四分位数QL的差值，包含了全部观察值的一半。箱型图判断异常值的方法以四分位数和四分位距为基础，四分位数具有鲁棒性：25%的数据可以变得任意远并且不会干扰四分位数，所以异常值不能对这个标准施加影响。因此箱型图识别异常值比较客观，在识别异常值时有一定的优越性。

4、基于模型检测

首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象

优缺点：1有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；2对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。

5、基于距离

通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象

优缺点：1简单；2缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；3该方法对参数的选择也是敏感的；4不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。

6、基于密度

当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。适合非均匀分布的数据。

优缺点：1给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；2与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；3参数选择困难。虽然算法通过观察不同的k值，取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。

7、基于聚类：

基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇。离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。

优缺点：1基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；2簇的定义通常是离群点的补，因此可能同时发现簇和离群点；3产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；4聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

噪音，是被测量变量的随机误差或方差。对于噪音的处理，通常有下面的两种方法：

1、分箱法

分箱方法通过考察数据的“近邻”（即，周围的值）来光滑有序数据值。这些有序的值被分布到一些“桶”或箱中。由于分箱方法考察近邻的值，因此它进行局部光滑。

用箱均值光滑：箱中每一个值被箱中的平均值替换。

用箱中位数平滑：箱中的每一个值被箱中的中位数替换。

用箱边界平滑：箱中的最大和最小值同样被视为边界。箱中的每一个值被最近的边界值替换。

一般而言，宽度越大，光滑效果越明显。箱也可以是等宽的，其中每个箱值的区间范围是个常量。分箱也可以作为一种离散化技术使用

2、回归法

可以用一个函数拟合数据来光滑数据。线性回归涉及找出拟合两个属性（或变量）的“最佳”直线，使得一个属性能够预测另一个。多线性回归是线性回归的扩展，它涉及多于两个属性，并且数据拟合到一个多维面。使用回归，找出适合数据的数学方程式，能够帮助消除噪声。

一、数据收集

四、数据应用

数据收集是数据分析的第一步，也是非常重要的一步。只有收集到足够的、准确的数据，才能进行有意义的数据分析。数据收集的方法有很多种，可以通过问卷调查、实地调查、网络爬虫、数据库查询等方式获取数据。在数据收集的过程中，要注意数据的准确性和完整性，以及保护数据的安全性和隐私性。

数据应用是指将分析好的数据应用到实际工作中，以解决实际的问题。数据应用的方法有很多种，可以制定营销策略、优化生产流程、风险控制等。在数据应用的过程中，要注意数据的有效性和可靠性，以及根据实际情况进行调整和改进。

二、数据清洗

总之，数据分析是一项复杂的工作，需要系统性、科学性和创造性。只有掌握了数据分析的基本步骤和方法，才能更好地利用数据，为实际工作提供有力支持。