FIELD NOTES
№ 001 / ∞a field of
possibilities.
№ 001 / ∞a field of
possibilities.
PRETRAIN · DATA SCALING · INTERPRETABILITYa little more understood, every day.
02 / RECENT ENTRIES
最近写下的
01
Pretrain · 2026.11.06
从一个 token 开始
把训练目标、数据与评估放在一起，慢慢理解模型能力是如何长出来的。
展开手记02
Data Scaling · 2026.11.06
规模之外，数据之中
不只关心数据有多少，也关心模型看到了什么，以及我们如何做出比较。
展开手记03
Interpretability · 2026.11.06
Lesson 1: MLLM-SAE
以 Qwen3.5-9B 与 Gemma 4 E4B 为例，沿着图片、问题和答案追踪 hidden state，走完多模态 SAE 的数据、hook、训练与特征使用流程。
展开手记这一页还留着空白。新的笔记会从这里开始。
A SMALL NOTE ABOUT ME
你好，我是 Xu Wang.
香港大学博士二年级在读。
这里是一处持续生长的学习空间，分享关于 pretrain、data scaling 和 interpretability 的理解，也收集沿途的疑问。
xuwang