Let's build GPT: from scratch, in code, spelled out.

关键观点

1. 01

   语言模型本质上是序列补全器

   模型接收一段已有文本，并预测接下来最可能出现的 token。生成过程从左到右重复进行，每次将新采样的 token 加回上下文。由于下一 token 来自概率分布，同一提示可以得到不同结果。ChatGPT 的交互能力建立在这种连续序列补全机制之上。

   为什么重要: 理解这一点可以避免把模型误解为检索数据库或确定性规则系统，也能解释输出为何具有随机性。

   支撑证据

   it's a language model in that sense

   模型接收一段已有文本，并预测接下来最可能出现的 token。生成过程从左到右重复进行，每次将新采样的 token 加回上下文。由于下一 token 来自概率分布，同一提示可以得到不同结果。Ch…展开观点

   模型接收一段已有文本，并预测接下来最可能出现的 token。生成过程从左到右重复进行，每次将新采样的 token 加回上下文。由于下一 token 来自概率分布，同一提示可以得到不同结果。Ch…展开观点收起观点

   模型接收一段已有文本，并预测接下来最可能出现的 token。生成过程从左到右重复进行，每次将新采样的 token 加回上下文。由于下一 token 来自概率分布，同一提示可以得到不同结果。ChatGPT 的交互能力建立在这种连续序列补全机制之上。

   为什么重要: 理解这一点可以避免把模型误解为检索数据库或确定性规则系统，也能解释输出为何具有随机性。

   支撑证据

   it's a language model in that sense

2. 02

   Transformer 是 GPT 的核心神经网络

   GPT 中的 Transformer 源于 2017 年论文《Attention Is All You Need》。该架构最初服务于机器翻译，随后扩展到大量 AI 应用。GPT 采用其中的仅解码器结构，以因果掩码保证每个位置只能读取当前及之前的信息。教程构建的模型与真实 GPT 在核心结构上相似，但规模和训练流程相差巨大。

   为什么重要: 掌握 Transformer 的组件及数据流，就能理解现代大语言模型最关键的计算骨架。

   支撑证据

   Transformer is the neuron nut that actually does all the heavy lifting under the hood

   GPT 中的 Transformer 源于 2017 年论文《Attention Is All You Need》。该架构最初服务于机器翻译，随后扩展到大量 AI 应用。GPT 采用其中的仅解…展开观点

   GPT 中的 Transformer 源于 2017 年论文《Attention Is All You Need》。该架构最初服务于机器翻译，随后扩展到大量 AI 应用。GPT 采用其中的仅解…展开观点收起观点

   GPT 中的 Transformer 源于 2017 年论文《Attention Is All You Need》。该架构最初服务于机器翻译，随后扩展到大量 AI 应用。GPT 采用其中的仅解码器结构，以因果掩码保证每个位置只能读取当前及之前的信息。教程构建的模型与真实 GPT 在核心结构上相似，但规模和训练流程相差巨大。

   为什么重要: 掌握 Transformer 的组件及数据流，就能理解现代大语言模型最关键的计算骨架。

   支撑证据

   Transformer is the neuron nut that actually does all the heavy lifting under the hood