GoForum › 🌐 V2EX
用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行)
qazwsxkevin ·
2026-04-22 19:30 ·
0 次点赞 · 1 条回复
这东西我都没见过实物,在 USA 的同学有一台,但是他上线后应用的事情都快拉爆了,暂时没空测我的想法,只能想象着来问一下这里各位佬了:
- C++,Python 的代码 review;
- 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多,爆不了上下文)
- 给出初高中的数学物理,某题的解题思路;
需求就这三类事情为主。
问题:
- DGX Spark 128G 跑个什么模型能应付以上三类强度的事情?
- 如果有合适(或者将就)应付的模型,90%额定容量的上下文打进去,要多久时间有反应开始出 tokens?
- 每秒能吐多少 tokens?
考虑:
- 场地空间和物理条件所限,只能找这类小机.
- 可以考虑 Mac Studio M3U 256G,再新款的加钱也不好买,也贵.
1 条回复
添加回复
你还需要 登录
后发表回复
最多跑 100b 左右的 moe 模型 tps 约 40 左右 不快不慢