1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

时间:2020-10-11 07:55:38

相关推荐

GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

没有一个前置的意图识别任务分类小模型,看下论文,

Training_language_models_to_follow_instructions_with_human_feedback.pdf

里面从26页到30页有真实训练数据示例,看了就懂了:

想办法把训练数据都处理成GPT式的文本生成式的格式,意图分类就‘内置’在prompt里了。

GPT这种decoder-only transformer可以实现pre-train和fine-tune的一致性,

这里一致性就是指的,pre-train时的模型输入输出的数据格式 和 fine-tune时的模型输入输出的数据格式 完全一样,同时pre-train的代码和fine-tune的代码也都几乎一样,

举例pre-train时的伪代码:

sentence_concat_next_sentence.make_labels()

gpt_model.fit(sentence_concat_next_sentence)

然后fine-tune时的伪代码:

question_concat_answer.make_labels()

gpt_model.fit(question_concat_answer)

所以这样最大化利用了大规模预训练的基础“知识库”。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。