GoForum › 🌐 V2EX
各位推荐一个 32G Macbook air M5 可以跑的 moe 模型
Hermitist ·
2026-04-26 08:20 ·
0 次点赞 · 8 条回复
27B/31B 甚至 35B 的 4bit 都可以, 测试了好久, 也下载了几十个了,都不太行, 感觉降智了, 这些刚出来的时候我这个配置能跑到 35tokens/s.
准备直接抄作业, 请给 huggingface 连接, 我的本地推理框架是 omlx, 感谢感谢.
8 条回复
https://github.com/ggml-org/llama.cpp/discussions/4167
Mac 跑大模型天梯图。
目前我自己用下来兼顾速度和效果的感觉也就最新的 qwen3.6-35b-a3b 了,需要微调一下模型的参数。
添加回复
你还需要 登录
后发表回复
能用的太慢,快得太蠢