想系统学大模型,不用花钱买课。Karpathy 的三套开源仓库按顺序啃下来,就是一条从零到能训模型的完整路线,全部 MIT 协议免费。
第一步看 nn-zero-to-hero 视频课:从 micrograd 手写反向传播开始,一路讲到从零搭 GPT,边看边写,基础就是这么打牢的。
第二步啃 llm.c:用纯 C 和 CUDA 训模型,把训练的每一环都落到代码上,性能和原理一起吃透。
第三步上 nanochat:从分词、训练到聊天界面全流程跑通,README 里说大概 48 美元就能训出 GPT-2 水平的模型,适合第一次亲手训一个能聊天的模型。
三个仓库地址:
https://github.com/karpathy/nn-zero-to-hero
https://github.com/karpathy/llm.c
https://github.com/karpathy/nanochat
收藏起来慢慢学,按这个顺序走,学完就是一套能动手、能讲明白的功底。