一、 Chatgpt究竟是一个什么东西?

它能够实现什么样的任务和什么样的功能?

它本质是一个聊天机器人

这是我跟他聊天保留下的一些聊天截图 。

因为我之前以为他是一个英文的模型 所以我最开始用英语去问他说canyouspeakchinese

然后得到一个肯定的回复后， 我就干脆只用中文跟他进行聊天了 。

我问他说：“ 你是怎么被训练出来的。“

他说：“ 我是通过深度学习的方法被训练出来的."

我问他:" 强化学习在你的训练过程中有起到什么样的作用 ."

他跟我说:"强化学习是一门选择力的技术，他是用来解决reword 交互任务。

这点他就很厉害，因为你没有办法一眼看出来这句话是机器人生成的 而不是人去写的。

它能够实现什么样的任务和什么样的功能?

1. 聊天工具

这点其实不稀罕，像百度的PLAYTOR 也能做到

但其实离奇的是他不仅仅是聊天，还可以做任务测试。

一、摘要抽取

二、小说生成

三、尝试回答

四、文本分类

那在摘要抽取当中 我选择一条世界杯的信息

问他说：”能帮我抽一下这段话的摘要信息是啥吗 ？

他告诉我说：“卡塔尔世界杯1/4决赛中，克罗地亚和巴西1- 1打平，

而在点球大战中晋级了四强 。”

小说生成当中 ，我问他：” 你能不能用金庸的风格帮我写一段钢铁侠和绿巨人对战的小说。”

但比较有趣的是 ，他生成的小说里 ，绿巨人通常都会怒吼和嘶吼 ，而钢铁侠一般表现的会比较轻盈，也就是说没有给任何prom的情况下， 他也能知道钢铁侠和绿巨人一些鲜艳的b权。

问答

光的速度是多少？ 它能给造一个表精确的结果 ，我们分类下，他也能知道说这句话是属于体育类别的新闻。所以通过这个我们就能够看到 说这个聊天机器人能解决的问题不仅是聊天 而很多n o p的task也可以转换成聊天的方式得到我们想要的。

说说他更厉害的功能 ，测试下翻译功能

比如说翻译 I'm Hungry ,如果用Chatgpt ,它生成的模型是一个字一个字的吐出来，

翻译成“肚”“子”“很”“饿”

但如果我们用BERT，它是一次性翻译成“肚狗很饿”

原理很简单，Chatgpt 因为是一个字一个字生成，才会更加精准，比如生成一个“肚”后面可以是肚子，肚皮。 而BERT，一次生成，就不能精准的判断前一个字是什么？

所以更多人倾向于单项模型去做任务。

好接下来我们讲讲GPT 的发展史

GPT 是背提出的，那时候有1.17亿的参数直到今天GTP 已经又1750亿的参数了。

GPT-3 无疑是一个非常巨大的模型。

Insrtuct Gpt :这是印刷GPT就是切GPT 使用的基本框架。

两者的区别：

1) 用人类更喜欢的数据 去做训练（align）

GPT 原本使用的是互联网中的海量语料，并不一定是人类想知道的内容。

比如说一些比较长尾的文章 或者是一些长尾的知识 。

那我们做对话机器人，那就应该知道人们都喜欢问一些什么样的问题。

GPT 就围绕人们通常感兴趣的内容并编写答案，进行训练。

2) 引入强化学习(RL)提升性天花板

强化学习是一门只告诉模型 好不好，而不告诉模型 怎样才能变好的学科

这就意味着说这种方式能够使得模型有了更大的探索自由度 从而突破进入学习的天花板

比如：今天我们要去训练一个对话机器人， “女朋友生气 怎么办？‘’

如果你要做一个监督学习的模型的话， 可能就会让一个人去说

1. 跟他道歉

2. 就是说陪他逛街

3. 提醒他要多喝热水

​

那我再遇到女朋友生气怎么办 ，就可以从这些参考级别去思考。

像这样的对话训练，其实我们都已经知道这个模型的天花板在哪里了。

最好的效果就是从这几个选项当中去选择。

​

​那强化学习版怎么做呢？

把人工标注的部分改成人工打分的部分，那就不会给出答案，

​​​​而是告诉他你觉得应该给出什么样的回答。

那模型就会自己瞎猜，比如说跟女朋友吵架，那我们就给它打负分 比如-5分，这就不是一个很好的选择。

那模型就会知道这样方式是不允许的，那他可能会回答说讲道理 ，那我们可能觉得这个回答也没有那么好，就给他打-1分。那模型就会知道，不能吵架，不能讲道理，那就可以跟他认错。那我们觉得这个行为确实还可以，于是给他正向分，+3

所以强化学习的过程中，我们并没有告诉模型看到女朋友生气具体要做什么样的事情，我们只是让模型认识到什么样的事情是好的，什么样的事情是不好的。因为我们知道人类的语言是非常非常大的。我们很难说去呈现什么样什么样的模板。只是希望模型知道什么样是好，什么样是不好的概念。

​

这点非常重要，为什么要把强化学习的这种概念用在里面，以及为什么用在里面就能够取得更好的效果的原因。

​

好了，下一篇 再讲 CHATGPT 的训练流程 。

​

​​​​

​​​​