系统学大模型,别花钱买课:Karpathy 这三套开源仓库按顺序啃就行

3次阅读
没有评论

想系统学大模型,不用花钱买课。Karpathy 的三套开源仓库按顺序啃下来,就是一条从零到能训模型的完整路线,全部 MIT 协议免费。

第一步看 nn-zero-to-hero 视频课:从 micrograd 手写反向传播开始,一路讲到从零搭 GPT,边看边写,基础就是这么打牢的。

第二步啃 llm.c:用纯 C 和 CUDA 训模型,把训练的每一环都落到代码上,性能和原理一起吃透。

第三步上 nanochat:从分词、训练到聊天界面全流程跑通,README 里说大概 48 美元就能训出 GPT-2 水平的模型,适合第一次亲手训一个能聊天的模型。

三个仓库地址:

https://github.com/karpathy/nn-zero-to-hero
https://github.com/karpathy/llm.c
https://github.com/karpathy/nanochat

收藏起来慢慢学,按这个顺序走,学完就是一套能动手、能讲明白的功底。

正文完
 0