家用电脑跑 748B 的 DeepSeek:Project Maya 开源,单张 4090 就能玩

3次阅读
没有评论

748B 参数的 DeepSeek,能在自己家电脑上跑起来了。Project Maya 刚开源(MIT 协议),10 月 7 日才建库,已经拿下 1500 多星,DeepSeek 量化文件下载超过 3 万次。

家用电脑跑 748B 的 DeepSeek:Project Maya 开源,单张 4090 就能玩

它解决的是这个:DeepSeek V4.1 Flash 1017 这种平时得进机房的模型,Maya 让它在你家电脑上跑起来。原理很直白——常用的专家放显卡,次常用的放内存,冷门的丢固态,聊天时自动搬运。

实测数据:单张 4090 48G,日常聊天每秒 26.4 个 token,写代码能到 65。同一台机器换 Unsloth 1-bit,只有 2 个左右,差距非常明显。

家用电脑跑 748B 的 DeepSeek:Project Maya 开源,单张 4090 就能玩

用起来也方便:自带网页聊天,兼容 OpenAI 和 Anthropic 接口,Claude Code 改个地址就能接本地 DeepSeek。本地跑,不按 token 付钱。

丑话说前头:这是 1-bit 量化,跟原版选同一个词的比例是 87.5%;Mac 不支持;显存加内存不到 115G 的也别硬上。

家用电脑跑 748B 的 DeepSeek:Project Maya 开源,单张 4090 就能玩

有 N 卡、想本地跑 DeepSeek 的朋友,可以先收藏。

开源地址:https://github.com/mw00/project-maya

量化文件:https://huggingface.co/peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF

正文完
 0