GoForum🌐 V2EX

私有化部署大模型的“终点”是 Mac 还是 Nvidia?

babymonster · 2026-04-30 10:35 · 0 次点赞 · 4 条回复

自己家里的 5070Ti 跑模型起来太费劲了,用了一下同事的 macbook 顶配版跑模型比 5070Ti 要强一点点,感觉都差不多,所以大佬可以指点下有没有必要搞一个 Mac studio 还是 Nvidia thor 或者 DGX Spark

4 条回复
frantic · 2026-04-30 10:40
#1

mac studio 顶配二手价格都翻倍了

zenfsharp · 2026-04-30 10:40
#2

看部署目的啊。 如果是自己用,那 Mac 的包容性强,起码能塞得下权重,开得起 context 窗口啊,自己用吐答案慢点就慢点。 如果是内部多人用,还得是正经显卡啊,只要能跑起来,比 Mac 的处理器强太多了。

maymay5 · 2026-04-30 10:45
#3

看咋用吧,另外看要部署多大参数,Mac 说实话挺慢的,不能发个 hi 当测试用例,上下文强度提高点,Mac 的慢就很明显了

stimw · 2026-04-30 10:45
#4

个人场景搞私有化的唯一作用就是涩涩,涩涩的话也不需要参数多大的模型

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: babymonster
发布: 2026-04-30
点赞: 0
回复: 0