本期速览
英伟达论文《You don't need long context》挑战了大上下文窗口对长程任务和长输入任务必不可少的假设。作者展示了两种压缩策略——对话结束压缩(EoCC)和单动作压缩(SAC)——在将峰值上下文从 200K 压至 10K 以下时,精度仅波动几个百分点。选择性读取(用 grep 等工具按需检索)在检索型基准上甚至优于全量塞入上下文。但成本节省基于分级定价假设(而非现行固定单价),基准偏向可检索任务,且 Qwen 3 Coder Next 等开源模型在紧凑上下文下直接崩溃。
为你解答
PRO members can sign in and request more information — or their own version of this digest, tuned to what they care about.
Sign in to unlock意想不到的发现
一次性塞入 200K 代码库的效果反而不如让模型自己 grep 相关文件,因为模型仍需在海量上下文中定位关键信息。
单步仅见约 9K token(约 10 页中文)的模型,居然能完成原本需要 200K 上下文的任务,且多项基准无精度损失。
在现行固定单价计费下,使用压缩策略反而可能导致名义成本小幅上升,因为要为额外的压缩调用买单却没有体量折扣。
本期要点
在 H100 上将上下文从 16K 扩到 256K,GLM 5.2、Kimi K2.6、Qwen 3 Coder Next 等模型的每百万输出 token 成本分别上涨 3.6 倍、5.6 倍、7 倍,因为注意力计算和 KV 缓存随长度超线性增长。
EoCC 将上下文维持在 16K–48K,在 SWE-bench、Terminal-Bench、FRAMES 等六个长程基准上与全历史基线精度相差 ±3–5 个百分点,建模成本节省 Opus 2.2–8.8 倍、GPT 2.4–5.0 倍,前提是云厂商按上下文长度分级定价。
选择性读取把长输入存成文件,让模型用 grep/sed/awk 跳读相关段落,在七个长输入基准上全面超越全量输入:RULER 召回率从约 63% 升至约 96%,BABILong 从 67–71% 升至 92–94%,核心优势在于绕过了大海捞针式的定位过程。
SAC 每次模型调用后立即压缩,中位数峰值上下文仅 7K–9K(最大值 15K–37K),Opus 在 SWE-bench Verified 上 70.2% 对基线 70.0%,Terminal-Bench 甚至从 47.2% 提升到 51.8%。
论文提出语义状态空间模型(SSSM):模型被训练循环执行五步——读取自然语言状态、推理下一步动作、执行、观察、更新状态——用可读、可审计的自然语言状态取代黑盒神经隐向量。
Qwen 3 Coder Next 在 16K 配置下 SWE-bench 从 53.0% 崩至 3.6%,因其输出轨迹过于冗长,两次压缩间难有实质进展,说明短上下文可行性强依赖模型冗长度与训练方式。
实验用的 Claude Opus 4.5 和 GPT 5.6 Sol 本身都经历过长上下文训练;论文仅证明运行时无需填满窗口,并非证明模型不需要长上下文能力。
精彩语录
“你不需要长上下文”
▸ 精彩语录 · 0:07“长上下文模式下只能生成七分之一的token”
▸ 精彩语录 · 0:24“好的压缩不是简单摘要……它是为未来工作挑选事实的简报,不是执行历史的叙述”
▸ 精彩语录 · 3:18“把长输入当文件按需读取,效果就比一次性全塞进去好”
▸ 精彩语录 · 6:20“每次调用模型只让它看最多9K token……居然能完成原来需要200K上下文才能完成的任务”
▸ 精彩语录 · 8:02“长上下文依然是有价值的能力,只是未必需要成为每一步推理的默认运行方式了”
▸ 精彩语录 · 12:12章节
0:00 — 论文动机与成本测算: 介绍英伟达论文《You don't need long context》,展示 H100 实测:上下文从 16K 扩到 256K 导致主流模型每百万输出 token 成本上涨 3.6–7 倍。
1:50 — 三个研究问题与三种策略: 提出长程任务、长输入任务、单动作压缩三个问题;定义基线 FHA 与两种压缩策略 EoCC、SAC,以及面向长输入的选择性读取法。
3:15 — 压缩模板设计: 规定压缩需包含五项:任务原文、当前意图与下一步计划、分解执行步骤、完成条件、已验证事实与确定走不通的死路——是给未来工作的简报,非执行历史叙述。
3:51 — 长程任务实验结果(EoCC): 在六个基准上,EoCC 以 16K–48K 上下文使 Opus 与 GPT 精度波动 ±3–5 个百分点,建模成本节省 2–8 倍,前提是分级定价。
5:42 — 长输入任务实验结果(选择性读取): 选择性读取在七个检索型基准上全面超越全量输入:RULER 63%→96%,BABILong 67–71%→92–94%,提升源于检索而非压缩。
7:23 — 单动作压缩实验结果(SAC): SAC 将峰值上下文从 130–200K 压至中位数 7–9K,Opus SWE-bench 持平(70.2% 对 70.0%),Terminal-Bench 反超(51.8% 对 47.2%)。
8:11 — 语义状态空间模型提案: 提出 SSSM:模型被训练循环读取自然语言状态、推理、行动、观察、更新状态,用可读自然语言状态替代不透明隐向量。
9:00 — 六大局限与行业启示: 列举六点谨慎:成本为建模值、基准偏检索、未覆盖整体理解任务、工具编排成本未算、样本窄(Qwen 崩溃)、运行时≠训练侧。建议 Agent 记忆转向状态管理+外部检索,评价指标多维化,对本地推理有参考价值。
出场人物
大飞 — 主播