使用ERNIE预训练模型

{
  "dataset_reader": {                                  
    "train_reader": {                                   ## 训练、验证、测试各自基于不同的数据集，数据格式也可能不一样，可以在json中配置不同的reader，此处为训练集的reader。
      "name": "train_reader",
      "type": "BasicDataSetReader",                     ## 采用BasicDataSetReader，其封装了常见的读取tsv文件、组batch等操作。
      "fields": [                                       ## 域（field）是TextOne的高阶封装，对于同一个样本存在不同域的时候，不同域有单独的数据类型（文本、数值、整型、浮点型）、单独的词表(vocabulary)等，可以根据不同域进行语义表示，如文本转id等操作，field_reader是实现这些操作的类。
        {
          "name": "text_a",                             ## 文本分类只有一个文本特征域，命名为"text_a"。
          "data_type": "string",                        ## data_type定义域的数据类型，文本域的类型为string，整型数值为int，浮点型数值为float。
          "reader": {"type":"ErnieTextFieldReader"},   ## 采用针对Ernie文本域的通用reader "ErnieTextFieldReader"。数值数组类型域为"ScalarArrayFieldReader"，数值标量类型域为"ScalarFieldReader"。
          "tokenizer":{
              "type":"FullTokenizer",                 ## FullTokenizer。
              "split_char":" ",                         ## 通过空格区分不同的token。
              "unk_token":"[UNK]",                      ## unk标记为"[UNK]"。
              "params":null
            },
          "need_convert": true,                         ## "need_convert"为true说明数据格式是明文字符串，需要通过词表转换为id。
          "vocab_path": "./dict/vocab.txt",             ## 指定该文本域的词表。
          "max_seq_len": 512,                           ## 设定每个域的最大长度。
          "truncation_type": 0,                         ## 选择截断策略，0为从头开始到最大长度截断，1为从头开始到max_len-1的位置截断，末尾补上最后一个id（词或字），2为保留头和尾两个位置，然后按从头开始到最大长度方式截断。
          "padding_id": 0                               ## 设定padding时对应的id值。
        },                                              ## 如果每一个样本有多个特征域（文本类型、数值类型均可），可以仿照前面对每个域进行设置，依次增加每个域的配置即可。此时样本的域之间是以\t分隔的。
        {
          "name": "label",                              ## 标签也是一个单独的域，命名为"label"。如果多个不同任务体系的标签存在于多个域中，则可实现最基本的多任务学习。
          "data_type": "int",                           ## 标签是整型数值。
          "reader":{
            "type":"ScalarFieldReader"                  ## 整型数值域的reader为"ScalarFieldReader"。
          },
          "tokenizer":null,
          "need_convert": false,
          "vocab_path": "",
          "max_seq_len": 1,
          "truncation_type": 0,
          "padding_id": 0,
          "embedding": null
        }
      ],
      "config": {
        "data_path": "./data/train_data/",              ## 训练数据train_reader的数据路径，写到文件夹目录。
        "shuffle": false,
        "batch_size": 8,
        "epoch": 10,
        "sampling_rate": 1.0
      }
    },
    "test_reader": {                                    ## 若要评估测试集，需配置test_reader，其配置方式与train_reader类似。
    ……
    },
    "dev_reader": {                                     ## 若要评估验证集，需配置dev_reader，其配置方式与test_reader类似。
    ……
    }
  },
  ……
}

    "train_reader": {
      "name": "train_reader",
      "type": "BasicDataSetReader",
      ......
      "config": {
        "data_path": "./data/train_data",
        "shuffle": false,
        "batch_size": 8,
        "epoch": 5,
        "sampling_rate": 1.0
      }

  "model": {
    "type": "ErnieCnnClassification",
    "optimization": {
      "learning_rate": 5e-05,
      "lr_scheduler": "linear_warmup_decay",
      "warmup_steps": 0,
      "warmup_proportion": 0.1,
      "weight_decay": 0.01,
      "use_dynamic_loss_scaling": false,
      "init_loss_scaling": 128,
      "incr_every_n_steps": 100,
      "decr_every_n_nan_or_inf": 2,
      "incr_ratio": 2.0,
      "decr_ratio": 0.8
    },
    "embedding": {
      "type": "ErnieTokenEmbedding",
      "emb_dim": 768,
      "use_fp16": false,
      "config_path": "../model_files/config/ernie_1.0_base_ch_config.json",
      "other": ""
    },
    "num_labels": 2
  },

  "trainer": {
    "PADDLE_USE_GPU": 1,
    "PADDLE_IS_LOCAL": 1,
    "train_log_step": 10,
    "is_eval_dev": 0,
    "is_eval_test": 1,
    "eval_step": 100,
    "save_model_step": 10000,
    "load_parameters": 0,
    "load_checkpoint": 0,
    "use_fp16": 0,
    "pre_train_model": [
      {
        "name": "ernie_1.0_base_ch",
        "params_path": "../model_files/ernie_1.0_base_ch_dir/params"
      }
    ],
    "output_path": "./output/cls_ernie_1.0_base_cnn_ch",
    "extra_param": {
      "meta":{
        "job_type": "text_classification"
      }

    }
  }

# ernie_1.0_base 模型下载
# 进入model_files目录
cd ../model_files/
# 运行下载脚本
sh download_ernie_1.0_base_ch.sh

  "inference": {
    "output_path": "./output/predict_result.txt",
    "inference_model_path": "./output/cls_ernie_1.0_base_cnn_ch/save_inference_model/inference_step_10",
    "PADDLE_USE_GPU": 1,
    "PADDLE_IS_LOCAL": 1,
    "num_labels": 2,
    "extra_param": {
      "meta":{
        "job_type": "text_classification"
      }

    }
  }

python run_with_json.py --param_path ./examples/cls_ernie_1.0_base_cnn_ch.json