> 这是 Pretrain 专题的开篇序言。这里会逐步收录学习笔记、论文阅读与可复现的实验记录。

## 这里想记录什么

从一个 token 的预测开始，走到模型整体能力的形成。这个栏目关注预训练中的目标函数、训练过程与评估，也关注那些没有在一张结果表中被完整解释的问题。

写下一个结论时，也留下它的前提、证据和仍然不确定的地方。

## 三条阅读线索

1. **目标与优化**：模型在优化什么？训练曲线告诉了我们什么，又遗漏了什么？
2. **数据与训练**：数据如何进入训练过程？哪些变化值得单独控制和比较？
3. **评估与能力**：验证集的变化与我们真正关心的能力，如何建立联系？

## 一篇笔记的约定

| 部分 | 希望回答的问题 |
| --- | --- |
| 问题 | 为什么要研究它？ |
| 设置 | 条件、数据和比较对象是什么？ |
| 观察 | 实际看到了什么？ |
| 边界 | 哪些解释仍然需要检验？ |

笔记会持续修改。新的证据出现时，旧的理解也应当更新。

## 接下来

沿着训练过程继续探索，也把问题带到 [Data Scaling](../data-scaling-notebook/) 与 [Interpretability](../interpretability-notebook/) 中。