Bert-Base_tensorflow训练说明

1. 模型训练参数配置

在train/yaml/Bert-Base.yaml中修改相应配置，配置项含义:

 tensorflow_config:
    #layer层数有6和12两种，中文数据集用 bert_base_layer6_cn.json/bert_base_layer12_cn.json 英文用bert_base_layer6_cn.json/bert_base_layer12_en.json
    bert_config_file: bert_base_layer6_cn.json
    #数据集句子长度是256时 设置为 256,40，句子长度是128时设置为128,20 
    max_seq_length: 128
    max_predictions_per_seq: 20
    
    # 最佳性能train_batch_size为160 
    train_batch_size: 160
    learning_rate: 1e-4
    num_warmup_steps: 100
    num_train_steps: 1000
    optimizer_type: adam
    manual_fp16: True
    use_fp16_cls: True
    input_files_dir: 数据集路径
    eval_files_dir: 数据集路径
    npu_bert_debug: False
    npu_bert_use_tdt: True
    distributed: True
    do_train: True
    do_eval: False
    num_accumulation_steps: 1
    iterations_per_loop: 100
    npu_bert_loss_scale: 0
    save_checkpoints_steps: 1000
    npu_bert_clip_by_global_norm: False

    # docker 镜像名称:版本号
    docker_image: c73:b021

    # 仅多机执行需要配置: ip1:卡数量1,ip2:卡数量2
    mpirun_ip: 90.90.140.199:8,90.90.140.229:8

    # 指定 device id, 多个 id 使用空格分隔, 数量需与 rank_size 相同
    device_group_1p: 6
    device_group_2p: 0 1
    device_group_4p: 0 1 2 3

1.4 KiB Raw Blame History

Bert-Base_tensorflow训练说明

1. 模型训练参数配置

1.4 KiB

Raw Blame History