GoForum › 🌐 V2EX

mac m5 ultra 上线中国官网。1.2T 显存带宽, 256GB 版本 8.6 万

sentinelK · 2026-08-26 09:53 · 0 次点赞 · 1 条回复
编者注:此文完全是数字推演,不代表真实硬件能力。笔者不对信息准确度负责。
信源会罗列在文章下方

结合 256GB 统一内存来看,目前比较有价值的就是运行 ds-v4-flash-0731 ,恰巧最近 omlx 有过一次版本更新,官方性能数据如下:信息来源 f917c000-707f-43a1-b0a1-23bd464ed4e9-image.jpeg

然后,M5 Ultra 的内存带宽是 M3 Ultra 的接近 1.5 倍。又根据苹果官网数据,其 prefill 性能是 M3 Ultra 的 4 倍( ollama 数据,框架不同,只能参考)

所以大概预期,M5 Ultra 运行 ds-v4-flash-0731 Q4 的大致性能是:

prefill

上下文 M3U ( v0.5.4rc2 ) 3× 4×
1K 531.0 ~1590 ~2120
4K 486.5 ~1460 ~1950
64K 468.5 ~1410 ~1870
128K 438.6 ~1320 ~1750

decode

场景 M3 Ultra M5 Ultra 预计
MTP 关,1K 27.6 ~40
MTP 关,4K 25.8 ~38
MTP 关,64K 22.8 ~33
MTP 关,128K 21.3 ~31

信息来源: https://newreleases.io/project/github/jundot/omlx/release/v0.5.4rc2

https://www.apple.com.cn/mac-studio/

https://omlx.ai/compare

1 条回复
sentinelK · 2026-08-26 09:53
#1

也就是说,结合实际场景,大概实际应用时打开 MTP ,prefill 也就是 1500 左右的水平,decode 大概在 60 左右。

prefill 性能仍然偏低。

但是结合非常大的统一内存,能实现非常高的多会话缓存命中能力,所以和多卡部署相比,有利有弊。

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: sentinelK
发布: 2026-08-26
点赞: 0
回复: 0