GoForum › 🌐 V2EX

H100*2 本地部署大模型求助

Lekou · 2026-10-15 09:58 · 0 次点赞 · 4 条回复

手里有两块 H100 96G 版，用的 AMD 平台，128G DDR5 内存。

目前使用 vLLM 部署的 qwen3.8 27B 感觉有点大材小用，求推荐更合适的模型。

主要用途： 1.本地 agent 调用 2.部分编码工作 3.rag 问答

4 条回复

hutoer · 2026-10-15 10:03

试试 Qwen3.8-Flash-Next ?

lovelyxiaod · 2026-10-15 10:03

qwen3.8 27B 都是大材了吗, 我们自己部署的 qwen3.8 flash next 版本好蠢啊.

后来改用 deepseek-v4.1-flash 了.

这个模型真的能胜任编码工作吗?

zhuanggu · 2026-10-15 10:08

@lovelyxiaod 他指的硬件大才小用

Lekou · 2026-10-15 10:13

@hutoer 跑不起来吧，有推荐的部署方案嘛

添加回复

你还需要登录后发表回复

登录后可发帖和回复

登录注册

主题信息

作者: Lekou

发布: 2026-10-15

点赞: 0

回复: 0