想系统学 AI,又不知道从哪下手,Karpathy 的 7 个仓库串成了一条现成的学习链路。层层递进,从神经网络一路学到智能体开发,7 个仓库累计超 30 万 Star,照着这个顺序啃就行。
1. micrograd:神经网络到底是怎么学习的,先把反向传播这层窗户纸捅破。
2. makemore:从零搭一个字符级语言模型,理解语言模型是怎么“学会说话”的。
3. nanoGPT:亲手训一个 GPT,从数据到训练全流程走一遍。
4. minbpe:搞懂 tokenizer 是怎么切词的,模型眼里的文字长什么样。
5. llm.c:不靠框架,用 C 直接训练大模型,把训练过程拆到最底层。
6. nanochat:从训练到聊天界面,一个完整的 ChatGPT 小样,端到端跑通。
7. autoresearch:能自己通宵跑实验的研究智能体,学到最后直接上智能体开发。
这条线的好处是每一步都有明确的产出:先懂原理,再动手训模型,最后做出能干活的智能体。有兴趣深度钻研 AI 的,先把这条学习链路收藏起来,按顺序一个一个过。