GoForum🌐 V2EX

用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行)

qazwsxkevin · 2026-04-22 19:30 · 0 次点赞 · 1 条回复

这东西我都没见过实物,在 USA 的同学有一台,但是他上线后应用的事情都快拉爆了,暂时没空测我的想法,只能想象着来问一下这里各位佬了:

  • C++,Python 的代码 review;
  • 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多,爆不了上下文)
  • 给出初高中的数学物理,某题的解题思路;
    需求就这三类事情为主。

问题:

  • DGX Spark 128G 跑个什么模型能应付以上三类强度的事情?
  • 如果有合适(或者将就)应付的模型,90%额定容量的上下文打进去,要多久时间有反应开始出 tokens?
  • 每秒能吐多少 tokens?

考虑:

  • 场地空间和物理条件所限,只能找这类小机.
  • 可以考虑 Mac Studio M3U 256G,再新款的加钱也不好买,也贵.
1 条回复
lan894734188 · 2026-04-22 20:05
#1

最多跑 100b 左右的 moe 模型 tps 约 40 左右 不快不慢

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: qazwsxkevin
发布: 2026-04-22
点赞: 0
回复: 0