GoForum🌐 V2EX

想本地化最小成本部署 qwen3.8 27b 求个配置建议

BingoW · 2026-08-18 08:57 · 0 次点赞 · 1 条回复

我目前机箱和电源( 850w )都只支持单卡,目前是 2080ti 22G 魔改,能跑 4bit 量化版本 但是 KV 不够了,上下文太短。想换卡,换 3090 24G 还是 4080s 32G 魔改呢?后者比前者贵 5000 左右,要不要换呢?还是说等老黄的大饼(显存内存一体笔记本)还是加预算上 mac 呢?如果不本地部署,买订阅也够用 4 、5 年。但是未来不好说啊,自己能有一个推理和执行 skills 准确率 80%以上的大模型真的很香

1 条回复
Nasdaq · 2026-08-18 09:12
#1

我 4090 跑起来感觉就那样,都是营销号在吹牛皮。个人感觉都不如新出的 gemini3.7-flash

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: BingoW
发布: 2026-08-18
点赞: 0
回复: 0