GoForum › 🌐 V2EX

qwen3.5 2b 或 4b 吃满 256k 上下文需要多大的显存

baton · 2026-10-20 13:03 · 0 次点赞 · 1 条回复

下载了几万本网络小说,想使用本地小模型对小说内容进行摘要,方便后续筛选阅读。本地小模型也就只有 qwen 跟 gemma 可用,我想知道需要多大的内存或显存才能吃满 256k 上下文。

1 条回复
admin948 · 2026-10-20 13:43
#1

qwen3.8 27b,我的 5060Ti 16G ,就可以吃满了,而且速度还不慢

用的是这个项目部署的:

https://github.com/kvmem/kvmem

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: baton
发布: 2026-10-20
点赞: 0
回复: 0