LLM 推理优化想深入钻研,有没有系统的实战教程?开源项目 Time-to-First-Token 值得一看。

课程共 50 讲,按每天半小时、持续 10 周的节奏推进,从基础原理一路带到生产级推理部署。主线内容分四块:
① 搞懂推理原理:Prefill 的算力开销怎么来的、Decode 为何容易卡在显存和带宽上,都得弄明白。
② 深入 vLLM 源码:PagedAttention、请求调度等关键机制逐一拆解。
③ 监控与排障:首 Token 延迟(TTFT)和队列状态,用 Prometheus、Grafana 追踪。
④ 性能压测与量化:千级并发实战演练,FP8、INT4 等量化方案的取舍也一并分析。
不只是概念讲解,源码、监控和性能调优都有覆盖,适合想把 LLM 推理从”能跑”推向”跑得稳、跑得快”的开发者。
开源仓库单独放这里:
正文完