进阶任务-使用ERNIE-Word进行文本分类

使用ERNIE-Word训练模型：

• 下载ERNIE-Word模型：

# ERNIE-Word 模型下载
# 进入models_hub目录
cd ../../models_hub/
# 运行下载脚本
sh download_ernie_word_ch.sh

• 通过加载预置json配置文件进行模型训练
• 文心提供了将ERNIE-Word作为预训练词向量，结合bow进行文本分类的demo：

python run_trainer.py --param_path ./examples/cls_bow_ernie_word_ch.json

• 注：目前ernie_word仅支持动态图模式

预测我的第一个模型

• 开始预测

python run_infer.py --param_path ./examples/cls_bow_ernie_word_ch_infer.json

• 预测运行的日志会自动保存在./output/predict_result.txt文件中。

修改组网代码以使用ERNIE-Word进行文本分类

• 用户可参考以上的demo自行导入ERNIE-Word预训练词向量进行其他NLP任务的训练。
• 可参考./model/bow_ernie_word_classification.py修改模型组网文件。

• 需要保证使词向量的参数命名、维度大小和词表大小和ERNIE-Word一致，具体地：

  • 词向量参数名：“emb”，可以使用 paddle.ParamAttr 在paddle.nn.Embedding 处定义。
  • 词向量维度：300维
  • 词表大小：300000