GoForum › 🌐 V2EX

本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！

jinsongzhaocn · 2026-10-13 10:13 · 0 次点赞 · 2 条回复

UMA 统一内存，GPU 直接访问共享内存池，硬件层面消除显式拷贝，不用软件层手动搬数据。

独立显卡 VRAM + 系统内存分层卸载，模型权重、KV Cache 按需在显存和内存之间动态搬运。未来只会留在发烧友、工作站、专业推理场景

2 条回复

LittleYangYang · 2026-10-13 10:23

内存带宽实在是太低了

yh7gdiaYW · 2026-10-13 10:23

移动端很快就会变成这样，M 系列现在就是，但 PC 端搞成这样的话 DIY 就死透了话又说回来，普通用户要本地大模型干啥？

添加回复

你还需要登录后发表回复

登录后可发帖和回复

登录注册

主题信息

作者: jinsongzhaocn

发布: 2026-10-13

点赞: 0

回复: 0