NeurIPS2022 | 基于 “情感分析” 的推荐行为预判

正義

首发: AINLPer 微信公众号（每日论文干货分享！！）                                                   
编辑: ShuYini                                                
校稿: ShuYini                                                  
时间: 2022-11-10

引言

一些大的产品公司，都有自己的客户支持。当你打电话/对话完成之后，经常会被问及“你有多大可能将我们推荐给你的朋友或家人?”。产品公司做这样做主要是评估自己的服务或者产品是否满足用户需求，进而及时改进服务提升客户体验。在这信息爆炸的时代，对于公司来说，如何根据与客户的对话预测用户给出的推荐评分呢？今天给大家分享的这篇文章就是针对这个问题，通过分析客户每轮对话情绪变化来预判客户的反馈意见。
NeuIPS2022 最新论文列表已更新，共计1191篇。关注：AINLPer 回复：历年NeurIPS
背景介绍

自21世纪初引入净推广者评分(NPS)以来，它已成为衡量客户推荐行为的重要指标。这个分数是基于一个相当直接的问题，即“你有多大可能将我们推荐给你的朋友或家人?”此外，这些调查以每月至每年的频率进行，甚至在与客户支持部门(CS)进行个人互动后立即进行。在实践中，NPS得分可以分为三个主要组，即促进者、被动者和批评者。
此前，与NPS推荐行为相关的情绪研究，并不是在客户关系交互中进行研究，但是随着应用程序和客户资源管理平台的大规模应用，基于聊天的客户关系交互获得了广泛的欢迎。此外，预测推荐决策来主动地纠正服务中犯的错误，并以激励措施回报客户，进而提高公司的评级这对于公司来说是非常有吸引力的。因此，本文主要目标是使用NLP来评估和预测用户的推荐行为，其中除了使用静态情感分析外，受人们对话固有方式的启发，还利用每个用户在特定对话中的情感变化，最后选择了比较健壮的Transformer机器学习架构。
在这项工作中，本文解决了 NPS 二元分类问题，即预测给定用户是否会成为推广者。在拉丁美洲的一个特定城市拥有16.4k的用户和48.7k的CS对话，其中每个特定的推荐评级都是直接从用户自己在相应的调查回复中获得的。有了这个，我们对每个用户的基于CS聊天的交互进行了基于Transformer-based架构的情感分类，以提前预测特定用户的推荐行为。
此外，本文提出对整个对话中客户发送的消息进行情绪变化分析。这种方法可以在CS对话中发生的每条消息获取情绪分数，进而可以让我们分析整体情绪变化与用户推荐行为的关系。实验结果结果表明，相较于计算整个CS交互对话整体情绪，分析整个CS交互中每个对话的情绪变化在用户的推荐行为方面具有更显著的优势。经调研发现。本文是第一个针对CS交互对话，进行基于消息的情感变化分析，以预测用户的推荐行为的研究，并且它对于任何特定领域和任何特定业务驱动的指标都具有高度可扩展性，例如，N类或二元问题、满意度分数 (CSAT)、流失分数、RFM分数，甚至欺诈检测等等。
模型方法

在这项工作中，在考虑用户基于CS交互的NPS分类问题范围内，提出了一个主动检测推荐行为的框架，如下图所示。


  其主要思想在于这样一个假设:基于聊天对话的情感变化趋势可以更好地捕捉客户对其推荐决策的整体行为。该方法主要是通过基于Transformer架构的语言模型对每条消息的情感进行分类。例如，假设一个用户开始了一个相当中立的对话，然后在问题暴露时转向了相当消极的连续消息，然后相当积极地结束了对话，因为问题可能已经有效地解决了。在这种情况下，由于良好的客户体验或较低的挫折感，用户可能更倾向于推荐服务。
对于情感度量SS(·)，本文使用了基于双向编码器表示(BERT)架构的情感分类器，这是一种基于Transformer的ML技术，适用于情感分类、问题回答、屏蔽语言模型、下句预测任务等NLP应用。这里使用了一个预先训练好的特定模型，该模型经过微调，旨在直接用作英语、荷兰语、德语、法语、西班牙语或意大利语的产品评论的情绪分类模型。无论使用哪种语言，该模型都具有从93%到95%的足够稳定的精度。
一旦在每个特定的长对话中获得每个用户响应的消息的情绪，就会根据检索到的情绪分类执行手动特征提取和特征工程。对于会话 \hat{c}∈ C_i，这里将离散情感线构造为与向量disc = MWS(\hat{c})相关联的曲线。更准确地说，对于给定的消息m，模型返回与m相关联的星数作为值SS(m)。该模型还返回概率P(SS(m))。鉴于这种“离散”方法（MWS(\hat{c})）通常会出现阶梯的现象，因此选择了“连续”情绪，即具有最大概率分数的P(SS(m))加上SS(m)：


  然后，为了进一步平滑情绪信息序列，对上式应用指数加权平均函数，从而得到更灵活的变化起始点，更适合于趋势和凹度分析:


  在图下图中将其描绘为红色虚线，其中考虑了α = 2/3的静态衰减参数。应用简单的线性回归来捕捉趋势，这通常可以为对话的整体变化提供近似值。然后这个值的斜率被用作分类模型的特征。


  最后，使用广为人知的ML分类算法，即梯度增强树(XGBoost)和随机搜索超参数调优。本文提出的框架非常灵活，它可以很容易地扩展到任何基于聊天的交互，以预测任何业务驱动的度量或n类客户评级分类任务，如满意度评分(CSAT)、客户流失率评分、最近频率-货币(RFM)评分，甚至欺诈检测。
实验结果

实验结果表明，使用基于Transformer的方法对数据源的动态情感分类来预测用户的推荐决策。与纯粹聚合的、基于评论的情绪分类相比，本文获得了约 10-14% 的性能增益。


推荐阅读

这是一篇关于「情绪分析」和「情感检测」的综述（非常详细）

刚刚 ！ICLR2023 官方评审结果正式发布！另附：2017年--2023年 ICLR 论文下载

NLP自然语言处理：EMNLP2022 | “Meta AI 9篇接受论文”，其中7篇主会、2篇Findings

EMNLP2022|清华&阿里提出“更强，更快”的基于Bert的「中文」语言模型！！

EMNLP2022 | 基于挖掘的零样本学习(Zero-Shot)，无需Prompt模板设计(阿姆斯特丹）

NeurIPS 2022 | 模型轻量化部署！？根源分析异常值对Transformer的影响（含源码）

NeurIPS2022 | 基于Transformer的中文命名实体识别(NER)新模型

一文了解ACL国际会议--附: 历年会议论文下载

EMNLP2022 | 听说训练一个Bert模型所消耗的能量相当于一次跨美飞行？(NLP气候影响)

一文带你看懂NeurIPS国际顶会--附: 各年论文列表连接

一文了解AAAI国际会议--附: 各年论文列表连接

新会陈皮茶业

有空一起交流一下