ERNIE-Sentiment

简介

ERNIE-Sentiment是针对于情感倾向分析场景下的预训练模型，基于情感知识增强的情感预训练算法 SKEP训练而来，SKEP算法采用无监督方法自动挖掘情感知识，然后利用情感知识构建预训练目标，从而让机器学会理解情感语义。该方法被NLP会议ACL 2020收录，论文地址 SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis。具体来说，我们基于ERNIE模型，应用SKEP方法再次预训练，对模型进行进一步提升得到ERNIE-Sentiment。

技术原理

SKEP算法采用了无监督方法自动挖掘情感知识，然后利用情感知识构建预训练目标，从而让机器学会理解情感语义。主要表现为以下几个方面：

• 基于统计方法从大量无标记数据中自动挖掘情感知识，包括情感词（如图中情感词fast、appreciated）、情感词极性（如图中fast对应的情感极性为积极）以及观点搭配（如图中<product, fast>构成的二元组）。
• 基于自动挖掘的情感知识，SKEP对原始输入句子中的部分词语进行屏蔽(Mask)，即替换为特殊字符[MASK]。除了像传统的预训练对单词或者连续片段进行屏蔽，SKEP还会对观点搭配这种skip-gram进行屏蔽。
• SKEP设计了三个情感优化目标，要求模型复原被屏蔽的情感信息，包括：基于多标签优化的观点搭配预测，如图x1位置预测<product, fast>情感搭配；情感词预测，如图x6位置预测fast；情感极性分类，如图x6、x9预测该位置情感极性。

模型效果

以通用预训练模型ERNIE（内部版本）作为初始化，SKEP相比ERNIE 平均提升约1.2%，并且较原SOTA平均提升约2%，具体效果如下表：

文心中ERNIE-Sentiment的支持

目前文心提供ERNIE-Sentiment的中文模型。其模型下载脚本位于./wenxin_appzoo/models_hub/目录下，为download_ernie_sentiment_1.0_ch.sh 。执行下载脚本，会下载并生成对应的目录，其中包含模型参数文件、词表文件、网络配置文件、模型版本信息文件 。

• ERNIE-Sentiment的两个模型目前支持的任务类别有：情感分析