DGX Spark 上聊天、语音、生图、生视频全开,显存立刻吃紧。localrouter 的办法是只留一个 Zig 写的守护进程管模型:语音和聊天常驻热备,随叫随到;其他模型按需加载,用完就让位,显存不再被一堆常驻模型占满。
接口也一次给齐:MCP 和 OpenAI 兼容接口都能调,接进现有工具链不用改调用方式,本地模型当成远程 API 一样用。
定位很明确:只适合真有 DGX Spark 的人,装之前先留够磁盘空间,模型一多,空间比显存先告急。语音先回,拿它先干哪件事,取决于你先把哪个模型热备起来。
正文完