Strata 0.2.9 更新:超小体积 DeepSeek 来了,本地跑大模型更省更快

2次阅读
没有评论

Strata 0.2.9 来了,这次更新对本地跑大模型的人很实在:能用上 Unsloth 的超小体积 DeepSeek 了,省空间、速度也更快。

Strata 0.2.9 更新:超小体积 DeepSeek 来了,本地跑大模型更省更快

核心变化是新增了 Unsloth 的 1-bit 版本 DeepSeek,体积大约 240GB 左右,比原来小很多,质量基本不掉。Windows、Linux、Mac 都能选着跑,普通电脑也有机会上手,不再是顶配机器的专属。

速度方面的提升也不少:Strix Halo 电脑上处理问题明显更快,最高能快将近一倍;Linux 上多任务同时跑更流畅,整体速度最高快 1.45 倍;DGX Spark 上 DeepSeek 短问题处理速度大约翻倍。

Strata 0.2.9 更新:超小体积 DeepSeek 来了,本地跑大模型更省更快

显卡支持也补齐了短板:Intel 显卡提示处理速度提升一截,多张显卡配合更顺;多张 AMD 显卡一起用时,以前只用一张,现在会自动用满,速度提升很明显。

一句话总结:这次更新就是让本地大模型更省、更快、更好配,硬件门槛又往下压了一截。

更新说明和下载地址:https://github.com/Niko1221/Strata/releases/tag/v0.2.9

Strata 0.2.9 更新:超小体积 DeepSeek 来了,本地跑大模型更省更快
Strata 0.2.9 更新:超小体积 DeepSeek 来了,本地跑大模型更省更快

正文完
 0