The spelled-out intro to language modeling: building makemore

关键观点

1. 01

   字符级建模把名字视为字符序列

   模型将数据集中的每一行视为一个训练序列，并以单个字符作为基本符号。任务不是记忆完整名字，而是根据已有字符预测下一个字符。一个名字因此包含多个训练样本，包括首字符、相邻字符转移以及序列结束。这样的表示简单且通用，但尚不能直接捕捉词级语义。

   为什么重要: 理解训练样本如何从序列中产生，是掌握后续计数、损失计算和神经网络训练的基础。

   支撑证据

   under the hood make more is a character level language model

   模型将数据集中的每一行视为一个训练序列，并以单个字符作为基本符号。任务不是记忆完整名字，而是根据已有字符预测下一个字符。一个名字因此包含多个训练样本，包括首字符、相邻字符转移以及序列结束。这样…展开观点

   模型将数据集中的每一行视为一个训练序列，并以单个字符作为基本符号。任务不是记忆完整名字，而是根据已有字符预测下一个字符。一个名字因此包含多个训练样本，包括首字符、相邻字符转移以及序列结束。这样…展开观点收起观点

   模型将数据集中的每一行视为一个训练序列，并以单个字符作为基本符号。任务不是记忆完整名字，而是根据已有字符预测下一个字符。一个名字因此包含多个训练样本，包括首字符、相邻字符转移以及序列结束。这样的表示简单且通用，但尚不能直接捕捉词级语义。

   为什么重要: 理解训练样本如何从序列中产生，是掌握后续计数、损失计算和神经网络训练的基础。

   支撑证据

   under the hood make more is a character level language model

2. 02

   二元模型只依据前一个字符预测

   二元语言模型每次只观察一个当前字符，并预测紧随其后的字符。它能够学习局部拼写规律，例如哪些字母常出现在开头、结尾或彼此相邻。由于模型完全忽略更早的上下文，它无法判断当前字符之前已经生成了多少内容。这正是生成结果经常过短、结构混乱或仅略像名字的根本原因。

   为什么重要: 该限制说明更长上下文不是装饰性增强，而是提升生成连贯性的必要条件。

   支撑证据

   we're always just looking at the previous character to predict the next one

   二元语言模型每次只观察一个当前字符，并预测紧随其后的字符。它能够学习局部拼写规律，例如哪些字母常出现在开头、结尾或彼此相邻。由于模型完全忽略更早的上下文，它无法判断当前字符之前已经生成了多少内…展开观点

   二元语言模型每次只观察一个当前字符，并预测紧随其后的字符。它能够学习局部拼写规律，例如哪些字母常出现在开头、结尾或彼此相邻。由于模型完全忽略更早的上下文，它无法判断当前字符之前已经生成了多少内…展开观点收起观点

   二元语言模型每次只观察一个当前字符，并预测紧随其后的字符。它能够学习局部拼写规律，例如哪些字母常出现在开头、结尾或彼此相邻。由于模型完全忽略更早的上下文，它无法判断当前字符之前已经生成了多少内容。这正是生成结果经常过短、结构混乱或仅略像名字的根本原因。

   为什么重要: 该限制说明更长上下文不是装饰性增强，而是提升生成连贯性的必要条件。

   支撑证据

   we're always just looking at the previous character to predict the next one

3. 03