自然语言处理任务简介
更新时间：2023-01-18
EasyDL专业版平台将支持代码级的NLP任务包括文本分类任务、短文本匹配任务、序列标注任务、文本实体抽取任务。同时平台集成了百度大脑文心的ERNIE2.0预训练模型，可以选择ERNIE-Base、ERNIE-Large、ERNIE-Tiny三种类型的预训练模型。
预训练模型ERNIE
ERNIE 是一个从海量无监督数据中学习大量知识的超大预训练模型，通过将 ERNIE 模型中的这些知识迁移到上层特定任务相关的网络从而显著提升任务效果；基于 ERNIE 来 Finetune 特定任务就好比是站在巨人的肩膀上看世界，起点会显著高于从 0 开始训练特定任务的深度学习模型；您可以通过ERNIE官网查看最新动态和相关信息。
不同版本的ERNIE特点
- Base 模型的网路结构主体由 12 层 transformer block 构成，此版本的预测精度、预测性能、训练速度相对均衡
- Large模型拥有更大的参数量，以及更好的 Finetune 效果，Large模型网络结构主体由 24 层Transformer Block构成，此版本的预测精度突出
- Tiny模型有更浅的模型，在实际真实数据中有超过4倍的预测提速，预测精度逼近Base版
文本分类
文本分类任务中，平台提供的网络有：BOW、CNN、GRU、TextCNN、LSTM、BiLSTM； 同时，平台提供了BOW、CNN、GRU、TextCNN、LSTM、BiLSTM的ERNIE预训练模型版本的网络；
网络特点描述
- BOW：词袋模型，不考虑语法和语序，用一组无序单词来表达一段文本
- CNN：卷积神经网络，通过卷积核的权重共享减少参数数量，能够处理变长的序列输入
- GRU：门控循环单元网络，能够较好地处理序列文本中长距离依赖的问题
- TextCNN：该模型可以自主设定多组不同窗口的CNN模型
- LSTM：长短期记忆网络，能够较好地处理序列文本中长距离依赖问题
- BiLSTM：双向长短期记忆网络，能够更好的捕捉句子中的语义特征
短文本语义匹配
短文本匹配任务中，平台提供的网络有：SimNet-BOW、SimNet-CNN、SimNet-GRU、SimNet-LSTM、FC；
同时，ERNIE预训练模型可选FC网络；
网络特点描述
- FC：基础句对匹配模型，可以任意搭配其他各种经典网络
- SimNet-CNN：卷积神经网络，能够处理变长的序列输入，提取一个局部区域之内的特征
- SimNet-BOW：词袋模型，不考虑语法和语序，用一组无序单词来表达一段文本
- SimNet-GRU：门控循环单元网络，能够较好地处理序列文本中长距离依赖的问题
- SimNet-LSTM：长短期记忆网络，能够较好地处理序列文本中长距离依赖问题
序列标注
序列标注任务中，平台提供的网络为CRF； ERNIE预训练模型可选CRF网络；
网络特点描述
- CRF：条件随机场，能够考虑上下文关联信息的进行模型学习
文本实体抽取
文本实体抽取基于序列标注任务，平台提供CRF网络，使用预训练模型ERNIE时，也可接入CRF网络；