GoForum › 🌐 V2EX
有什么本地部署好使的写代码小模型吗？ 24GB 显存玩玩那种
52txr ·
2026-10-06 18:58 ·
0 次点赞 · 2 条回复
3090 24GB 的显卡 64GB DDR5 内存
目前调研能部署的有 Qwen3-Coder-30B-A3B （ Q4_K_M / AWQ ）、DeepSeek-R1-Distill-Qwen-32B （ AWQ / INT4 ）、DeepSeek-Coder-V2-Lite （ Q4_K_M / Q5_K_M ）、DeepSeek-Coder-33B （ Q4_K_M ）
有同志真自己部署了吗，哪一个的效果相对好一点呢？
添加回复
你还需要 登录
后发表回复
没那么关注，不过前些天我装了个 Strata （ https://github.com/Niko1221/Strata ），也许可以试试。