从一个 token 开始

这是 Pretrain 专题的开篇序言。这里会逐步收录学习笔记、论文阅读与可复现的实验记录。

这里想记录什么

从一个 token 的预测开始，走到模型整体能力的形成。这个栏目关注预训练中的目标函数、训练过程与评估，也关注那些没有在一张结果表中被完整解释的问题。

写下一个结论时，也留下它的前提、证据和仍然不确定的地方。

三条阅读线索

1. 目标与优化：模型在优化什么？训练曲线告诉了我们什么，又遗漏了什么？
2. 数据与训练：数据如何进入训练过程？哪些变化值得单独控制和比较？
3. 评估与能力：验证集的变化与我们真正关心的能力，如何建立联系？

一篇笔记的约定

笔记会持续修改。新的证据出现时，旧的理解也应当更新。

接下来

沿着训练过程继续探索，也把问题带到 Data Scaling 与 Interpretability 中。