1 原文作者
Guohou Shan(Temple University)
Lina Zhou(University of North Carolina at Charlotte)
Dongsong Zhang(University of North Carolina at Charlotte)
2 论文来源
Decision Support Systems(2021)
3 论文地址
https://doi.org/10.1016/j.dss.2021.113513
4 论文简介
在线消费者评论（OCR）中的不一致性可能会在消费者做出购买决定时造成不确定性和混乱。然而，文献中缺乏对评论不一致的系统性和实证性调查。这项研究从多个方面来描述评论的不一致性，包括评级-情绪、内容和语言，并通过借鉴欺骗理论和态度-行为一致性理论来提出它们对虚假OCR检测的影响假设。该文用22个特征来描述评论的不一致性，并用为假OCR检测开发的机器学习模型来测试这些假设。实验结果不仅证实了评论不一致的存在，而且还证明了评论不一致对虚假OCR检测性能的显著积极影响。研究结果对提高OCR的可信度有重要意义。
5 解决问题
消费者人工检测假冒OCR的准确性相当低。在过去的十年中，基于评论者、评论内容、星级和目标产品的特征，开发自动检测假冒OCR的方法的努力越来越多;然而，以往的研究都没有关注评论不一致对伪造OCR检测的影响。特别是，对于评论不一致在伪造OCR检测中的作用，缺乏理论认识和经验证据。该文对评论的不一致进行了全面系统的阐述，弥补了这一片的空白。
6 本文贡献
- 作者提出了三种评论不一致的类型，并从经验上验证了它们在OCR中的存在。
- 该研究首次将欺骗理论、真相-谎言理论和态度-行为一致性理论用于解释评论不一致对虚假OCR检测的影响。
- 该研究提出并验证了纳入评论不一致性特征以改善自动假OCR检测的方法。这项研究为通过探测评论不一致性来改进虚假OCR检测提供了新的研究和实践见解。
7 论文方法
1.情感分析
内容情感分析过程包括四个主要步骤:预处理、情感术语提取、情感得分计算和情感得分聚合。预处理依次包括以下过程:标记化(即将评论文本转换为标记(单词)、词素化(即将单词转换为其有意义的基本形式)、词性标记(即为单个单词分配句法标记)和术语过滤(例如，从单词中选择形容词、副词、动词和名词)。基于SentiwordNet 3.0词典计算所识别术语的情感得分。
2.内容特征提取
根据相关研究的结果，从在线消费者评论的文本内容中选取特征。并进一步将这些特征归入文本内容、语言风格类别
3.评论不一致分析
通过计算标准分数将三种评论不一致的特征归一化。得到某一条评论的不一致特征，具体公式见论文。
4.虚假评论检测
使用特征提取的输出、星级评定以及其他研究中所使用的非语言特征作为输入，作者使用几种分类技术开发了假OCR检测模型。作者使用的方法包括SVM、NB、分类与回归树（CART）、随机森林（RF）和多层感知机神经网络（MLPNN）。
8 实验结果
作者使用准确率（Accuracy）、精确度（Precision）、召回率（Recall）、F值（F-measure）作为评价指标。使用来源为Yelp.com，规模为24,539个有标签餐厅的在线消费者评论（其中，11,641条是真实的，12,898条是虚假的（包括评论者ID，评分，评论内容和评论标签））
实验一：验证了评论不一致性的存在
为了确认评论不一致的存在，作者以0（即没有不一致）作为假设的群体平均值，对每一个评论不一致的特征进行了单样本检验。检验结果显示所有三种审查不一致的特征在OCR中都有显著的存在。
实验二：验证了与真实的在线消费者评论相比，假的在线消费者评论显示出更大的不一致。
为了研究假的和真的OCR之间评级-情绪不一致（RSI）的差异，该实验将RSI作为因变量，将评论真实性作为协变量进行了方差分析。分析结果显示，评论真实性对RSI有明显的影响。具体来说，伪造的OCR显示出比真实的OCR（平均=0.887，标准差=0.682）更高的RSI水平（P < .001）。为了研究假冒和真实OCR之间的内容不一致（CI）和语言风格不一致（LI）的差异，实验将CI和LI特征作为因变量，将评论的真实性作为自变量，进行实验。实验结果表明，除了人称代词的数量，评论的真实性对所有的CI特征都有显著的影响（P>0.05）。此外，实验结果表明，评论的真实性对八种LI特征有显著影响，如情感（p < .05）和情感多样性（p < .05），但对其他LI特征没有产生任何影响，如主观性（p > .05）和评论长度（p > .05）。对于所有在真实和虚假OCR之间显示出明显差异的CI和LI特征，它们的值在虚假OCR中都比真实OCR高。
实验三：验证了纳入上述三种不一致将提高假冒虚假在线消费者评论检测模型的性能
使用了五种分类方法，分别使用基线特征和单独三种评论不一致特征以及合并三种评论不一致特征进行实验，实验结果证明包含所有三种评论不一致特征的RF模型在准确性、精确性、召回率和F-score方面取得了最佳表现。
实验四：敏感度分析，根据特征对模型性能的重要性对其进行排序。
为了研究单个评论不一致特征对虚假OCR检测的相对重要性，作者进行了敏感度分析，目的是分析在所有其他独立变量保持不变的情况下，一个因变量如何影响因变量（即结果）。如果因变量的值不会随着某个自变量的值的变化而发生明显的变化（同时保持其他独立变量的值不变），那么该自变量对因变量就不重要。实验结果证明了不同的不一致特征对假OCR的识别有不同程度的贡献。最重要的不一致特征是评级-情绪不一致。前30个最重要的特征包括了三种评论不一致的特征，这进一步证实了所有提出的评论不一致对假OCR检测的重要性。
9 本文不足
1.本研究中使用的在线消费者评论数据是从Yelp.com收集的。Yelp的评论主要与本地企业和在线预订服务有关，这可能会导致研究结果并不具有普遍性。
2.在带有word embeddings的深度神经网络模型中，评论不一致性是否仍有帮助存疑，需要进一步的研究。
10 代码和数据集地址
无