新闻动态

  • 首页Our Projects12GB显卡本地跑DeepSeek V4.1-Flash-1017,Strata 0.2.4彻底封神?

12GB显卡本地跑DeepSeek V4.1-Flash-1017,Strata 0.2.4彻底封神?

2026-10-26 3821

2026年10月24日,开源本地推理引擎 Strata 发布 v0.2.4 ,终端版正式加入对 DeepSeek V4.1-Flash-1017 的支持。一张 12GB 显存的 RTX 3060,搭配 46GB 内存,就能在本地加载这个总参数 552B 的 MoE 模型。代价是至少 239GB 的高速 SSD 空间,以及你需要对“本地千亿模型该跑多快”有一个诚实的预期。 一、先看干货:0.2.4 到底做了什么,跑出了什么数字 发布时间与版本范围 Strata 0.2.4 于 2026年10月24日 发布,对应终端包版本 0.2.4.1。这次更新 仅限终端版 (strata launch / strata setup),桌面 GUI 仍然停留在 0.2.3,DeepSeek 支持会在后续版本中加入。0.2.4.1 是一个修复补丁,主要解决 0.2.4 终端包缺少 DeepSeek 准备脚本、安装卡在“Preparing your model”的问题。 核心功能:热门专家缓存 + SSD 流式加载 DeepSeek V4.1-Flash-1017 是一个 552B 总参数的 MoE 模型 ,采用 Causal Encoder-Decoder 非对称架构,输入时激活约 8B 参数,输出解码时激活约 16B 参数。Strata 0.2.4 的“热门专家缓存”机制,把高频使用的专家常驻内存(显存允许时进一步驻留 GPU),其余专家权重放在 SSD 上按需读取。 这等于把本地推理的瓶颈公式改写了: 不再是“显存够不够大”,而是“内存容量 + SSD 随机读性能 + CPU 调度效率”共同决定模型能不能跑、跑多快。 量化版本与存储门槛 Strata 0.2.4 提供三个来自 ISTA-DASLab 的 GSQ-RCO 量化版本: 量化版本 磁盘占用 质量代价(相对原模型) IQ1_M (1.75 bit) 239 GB Perplexity +21%;代码 +8.9%,agent +10.2%;普通英文散文明显偏弱 IQ2_XXS (2.00 bit) 257 GB Perplexity +15.5%;代码 +8.6%,agent +5.3% IQ2_XS (2.25 bit) 274 GB Perplexity +7.3%;代码 +3.2%,agent +2.2% 数据

about image

订阅我们的时事通讯

获取更多更新