大多数人还在纠结提示词怎么写，真正会用 AI 的人，已经在研究模型是从哪来、怎么被喂数据、怎么被对齐的。斯坦福这门 100 分钟的讲座，就把这件事从头拆开讲了一遍。
先说分词。Tokenizer 不是随便切词，BPE 找的是文本里最常见的子序列，让序列更短，后面所有计算都跟着省下来。
数据才是真的脏活。从 1PB 级别的 Common Crawl 起步，过滤、去重、重新加权，一层层把垃圾洗掉，才有干净的训练集。互联网是脏的，模型能干净，全靠这一步。
Scaling laws 很直白：同样算力，Transformer 比 LSTM 强太多。参数和 token 之间有最优比例，不是越大越好，是配得对才好。
预训练完的模型只会接龙。要变成有用的助手，得用人类偏好数据训练奖励模型，再用 RL（PPO）把它对齐成 ChatGPT 的样子。
最后是系统层。bf16 低精度、混合精度训练，让大模型训得动、训得快、内存扛得住。没有这些，前面全是纸上谈兵。
会写提示词只是入门，知道模型怎么被造出来、边界在哪，才是真正的基本功。
正文完