NVIDIA Says You Don't Need Long Context, But Don't Get Too Excited | Long Context | NVIDIA | Cont...

Original Media · 12m · 中文 · YouTube · Best Partners TV

本期速览

英伟达论文《You don't need long context》挑战了大上下文窗口对长程任务和长输入任务必不可少的假设。作者展示了两种压缩策略——对话结束压缩(EoCC)和单动作压缩(SAC)——在将峰值上下文从 200K 压至 10K 以下时,精度仅波动几个百分点。选择性读取(用 grep 等工具按需检索)在检索型基准上甚至优于全量塞入上下文。但成本节省基于分级定价假设(而非现行固定单价),基准偏向可检索任务,且 Qwen 3 Coder Next 等开源模型在紧凑上下文下直接崩溃。

为你解答

PRO members can sign in and request more information — or their own version of this digest, tuned to what they care about.

Sign in to unlock

意想不到的发现

•

一次性塞入 200K 代码库的效果反而不如让模型自己 grep 相关文件,因为模型仍需在海量上下文中定位关键信息。

•

单步仅见约 9K token(约 10 页中文)的模型,居然能完成原本需要 200K 上下文的任务,且多项基准无精度损失。

•

在现行固定单价计费下,使用压缩策略反而可能导致名义成本小幅上升,因为要为额外的压缩调用买单却没有体量折扣。

本期要点

•

在 H100 上将上下文从 16K 扩到 256K,GLM 5.2、Kimi K2.6、Qwen 3 Coder Next 等模型的每百万输出 token 成本分别上涨 3.6 倍、5.6 倍、7 倍,因为注意力计算和 KV 缓存随长度超线性增长。

•

EoCC 将上下文维持在 16K–48K,在 SWE-bench、Terminal-Bench、FRAMES 等六个长程基准上与全历史基线精度相差 ±3–5 个百分点,建模成本节省 Opus 2.2–8.8 倍、GPT 2.4–5.0 倍,前提是云厂商按上下文长度分级定价。

•

选择性读取把长输入存成文件,让模型用 grep/sed/awk 跳读相关段落,在七个长输入基准上全面超越全量输入:RULER 召回率从约 63% 升至约 96%,BABILong 从 67–71% 升至 92–94%,核心优势在于绕过了大海捞针式的定位过程。

•

SAC 每次模型调用后立即压缩,中位数峰值上下文仅 7K–9K(最大值 15K–37K),Opus 在 SWE-bench Verified 上 70.2% 对基线 70.0%,Terminal-Bench 甚至从 47.2% 提升到 51.8%。

•

论文提出语义状态空间模型(SSSM):模型被训练循环执行五步——读取自然语言状态、推理下一步动作、执行、观察、更新状态——用可读、可审计的自然语言状态取代黑盒神经隐向量。

•

Qwen 3 Coder Next 在 16K 配置下 SWE-bench 从 53.0% 崩至 3.6%,因其输出轨迹过于冗长,两次压缩间难有实质进展,说明短上下文可行性强依赖模型冗长度与训练方式。

•

实验用的 Claude Opus 4.5 和 GPT 5.6 Sol 本身都经历过长上下文训练;论文仅证明运行时无需填满窗口,并非证明模型不需要长上下文能力。

精彩语录

“你不需要长上下文”

▸ 精彩语录 · 0:07

“长上下文模式下只能生成七分之一的token”

▸ 精彩语录 · 0:24

“好的压缩不是简单摘要……它是为未来工作挑选事实的简报,不是执行历史的叙述”

▸ 精彩语录 · 3:18

“把长输入当文件按需读取,效果就比一次性全塞进去好”

▸ 精彩语录 · 6:20

“每次调用模型只让它看最多9K token……居然能完成原来需要200K上下文才能完成的任务”

▸ 精彩语录 · 8:02

“长上下文依然是有价值的能力,只是未必需要成为每一步推理的默认运行方式了”

▸ 精彩语录 · 12:12

章节

•

0:00 — 论文动机与成本测算: 介绍英伟达论文《You don't need long context》,展示 H100 实测:上下文从 16K 扩到 256K 导致主流模型每百万输出 token 成本上涨 3.6–7 倍。

•

1:50 — 三个研究问题与三种策略: 提出长程任务、长输入任务、单动作压缩三个问题;定义基线 FHA 与两种压缩策略 EoCC、SAC,以及面向长输入的选择性读取法。

•

3:15 — 压缩模板设计: 规定压缩需包含五项:任务原文、当前意图与下一步计划、分解执行步骤、完成条件、已验证事实与确定走不通的死路——是给未来工作的简报,非执行历史叙述。

•

3:51 — 长程任务实验结果(EoCC): 在六个基准上,EoCC 以 16K–48K 上下文使 Opus 与 GPT 精度波动 ±3–5 个百分点,建模成本节省 2–8 倍,前提是分级定价。

•

5:42 — 长输入任务实验结果(选择性读取): 选择性读取在七个检索型基准上全面超越全量输入:RULER 63%→96%,BABILong 67–71%→92–94%,提升源于检索而非压缩。

•

7:23 — 单动作压缩实验结果(SAC): SAC 将峰值上下文从 130–200K 压至中位数 7–9K,Opus SWE-bench 持平(70.2% 对 70.0%),Terminal-Bench 反超(51.8% 对 47.2%)。

•

8:11 — 语义状态空间模型提案: 提出 SSSM:模型被训练循环读取自然语言状态、推理、行动、观察、更新状态,用可读自然语言状态替代不透明隐向量。

•

9:00 — 六大局限与行业启示: 列举六点谨慎:成本为建模值、基准偏检索、未覆盖整体理解任务、工具编排成本未算、样本窄(Qwen 崩溃)、运行时≠训练侧。建议 Agent 记忆转向状态管理+外部检索,评价指标多维化,对本地推理有参考价值。

出场人物

•

大飞 — 主播