内存还会跌吗？KV Cache砍掉99%，单卡吞吐飙6倍，港科大、CMU联手岩山科技开源新模型

允中 发自 凹非寺 量子位 | 公众号 QbitAI 谷歌今年的一篇论文，愣是把存储芯片巨头的股价都给整出动静了。 论文里提到， KV Cache至少能压缩6倍 要知道，大模型推理越来越吃内存，KV Cache又是其中一笔不小的开销。 现在谷歌突然把它压下去这么多，美光等存储芯片巨头的股价随之下跌。 结果才过去几个月，又有人对KV Cache下了更狠的一刀。 这次连压缩都不满足了。 上下文从4K一路涨到256K，KV Cache占用愣是没变。 在256K上下文下，始终固定在72MiB。相比源模型，KV Cache直接减少 99.1% 更夸张的是，一张80GB显卡同时跑512路长推理，输出吞吐达到12124 tokens/s，是源模型的6.42倍。 而且推理能力也基本保住了，AIME 2024—2026平均一次通过率达到82.9%，而参评的有界状态模型即便做到14B，最好也只有18.8%。 这就是 岩山科技 旗下岩芯矩阵联合港科大、CMU等高校刚刚发布并开源的 EdgeRock-4B 它给长推理带来的一个变化是： 推理再长，内存不涨。 模型权重和推理代码目前均已 开源 ，还支持文本和图像推理。 推理越长，为什么越贵？ 现在的模型，动不动就要思考几万token；Agent更是能连续工作几十轮，搜索结果、代码、工具调用记录不断往上下文里塞。 模型越干越起劲，显存却先扛不住了。 问题就出在KV Cache上。 如今大多数模型，都把推理历史存在KV Cache里，每生成一个token，就多存一些。 以Qwen3.5-4B为例，每个token要新增32 KiB的KV Cache。推理到64K，一条序列就是2 GiB；推理到256K，就是8 GiB。 这在推理模型时代尤其要命。 模型越来越爱“深度思考”，动辄输出几万token；Agent一跑就是几十轮工具调用，上下文越滚越长。 推理越长，占的显存越多，一张卡能同时服务的请求就越少。 到了端侧，KV Cache还得跟感知、控制模块争抢本就有限的内存。 业界的办法大致有两类。 一类是给每个token“瘦身”： 多头潜在注意力（MLA）压缩KV，KIVI这类量化方法降低精度，谷歌的TurboQuant也属于这一路。 但它们只降低了单个token的成本，缓存照样随推理增长。 另一类是有界状态模型： 循环模型、状态空间模型、滑动窗口模型，内存天生固定。 问题是，它们往往留不住后续推理要用的远处细节，推理能力随之大打折扣。 所以真正的难题就变成了： 能不能在固定内存里，留住推理要用的关键细节？ EdgeRock给出的答案是： 一张卡，512路长推理同时跑 先看最直观的吞吐。 测试设定是32K输入、32K输出，所有模型都在单张Hopper 80GB GPU上跑，各自取实测最快的批大小。 结果，EdgeRock-4B一口气开到512路并发，输出吞吐12124 tokens/s。 源模型Qwen3.5-4B最快的配置是批大小64，只有1889 tokens/s；Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6B也都在1700到2200 tokens/s之间。 差距为什么这么大？账其实很好算。 32K输入加32K输出跑完，Qwen3.5-4B每条序列的KV Cache是2 GiB。 单张80GB显卡并发几十条就会被占满，更多请求只能排队。 而EdgeRock-4B批量运行时，每条序列需要保存的全部历史状态固定为97.76 MiB，不随长度变化。 打个比方：如果让Qwen3.5-4B也同时跑完这512条序列，光是生成结束时的KV Cache就要1 TiB，约等于13张80GB显卡的显存。 EdgeRock一张卡就装下了，峰值61.26 GiB，还含着模型权重。 再看扩展性。 在4K到32K输入、输出两两组合的16种负载上，批大小从32一路加到512，加权解码吞吐从4128涨到12497 tokens/s，显存峰值始终没碰到单卡上限。 单条请求也不慢。 KV Cache随推理增长的模型有个通病：越写越慢。 因为每生成一个新token，都要回头看一遍越积越多的KV Cache。 EdgeRock每个token的计算量不随上下文增长。 128K输入后再生成128K token，它的速度从头到尾稳在233.7 tokens/s； Qwen3.5-4B则从169左右一路降到151.3。 上下文越长，越省钱 吞吐翻几倍，换个角度看，就是成本降几倍。 同一张卡、同样的负载，生成同样多的token： 4K输入时，EdgeRock只需要Qwen3.5-4B 24.9%的GPU时间； 32K输入时，只需要15.6%。 按GPU时长计费的话，每个token的算力成本也按这个比例下降。 四种输入长度平均下来，Edg