GoForum › 🌐 V2EX

长对话模型上下文暴增,如何压缩上下文?

jonsmith · 2026-08-26 11:18 · 0 次点赞 · 1 条回复

基于单一长需求持续对话,模型上下文很容易跑到几十万 Token 。

背景:

  • 模型:DeepSeek V4 Pro ( 1M 上下文)
  • 不限额不考虑费用(公司报销),也不在乎延迟,只追求最高质量的回复与代码准确率。

疑问:

  1. 压缩时机: 按比例固定压缩,比如上下文到达 50%主动压缩?
  2. 压缩方式: OpenCode 的 /compact 指令是否靠谱?会丢失关键信息吗?
  3. 替代方案: 如果不压缩上下文,是自己拆分任务吗?有合适的工具或流程吗?
1 条回复
ttsh · 2026-08-26 11:28
#1

我目前的做法是

先判断当前对话和上下文是否有关联,没关联丢弃历史对话,只要最新的 message 有关联保留,然后按照对话和 trace 次数来分割,保留前 200 字符 再长就让模型总结当前对话,然后给一个概览

我这个和写代码没关系,是内部平台,比较简单,压缩我感觉是对话里很难的一步

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: jonsmith
发布: 2026-08-26
点赞: 0
回复: 0