【人工智能】ChatGPT 技术架构与相关技术栈清单

ChatGPT 技术架构

ChatGPT是一种基于自然语言处理的神经网络模型，它使用了大量的未标注文本数据进行训练，并通过预测文本中下一个词的方式来自我监督。

文章目录

ChatGPT 技术架构自监督预训练模块预训练模型深度学习Transformer模型生成式模型微调模块注意力机制多头自注意力机制基于人类反馈的强化学习与PPO机制残差连接长短时记忆网络（LSTM）词嵌入（Embedding）多层感知器（MLP）梯度下降优化算法自注意力机制序列到序列模型