Transformer-encode-decode(huggingface)

Transformer的大致分类

• encode,典型例子：BERT，是一类自编码模型
• decode,典型例子：GPT，是一类自回归模型
• encode-decode,典型例子：BART/T5,是一类encode-decode模型

  encode

  Encode-only模型，预训练通常为“破坏一个句子，然后模型预测或填补”
  适用：文本分类，实体识别，关键信息抽取

  decode

  decode-only模型，预训练任务通常为“next word predict” 适用：文本生成

  encode-decode

  融合二者，适合做翻译对话