GoForum › 🌐 V2EX
家用机带宽太小玩不转 local llm 啊
Eleutherios ·
2026-03-16 00:42 ·
0 次点赞 · 3 条回复
现在算力过剩，瓶颈都是显存带宽和显存大小，搜了一圈，感觉就两个方案有些可行性
一是 qwen3 embedding 8b int8 ，给本地知识库做向量化，结合云端 API ，应该能省一些 tokens ，配置的话，16G 显存的 N 卡都大差不差，或者 Apple M4 + 32G ？想试试给 claude code 加个 local embedding mcp
从这个角度讲，M4+32G 确实是个挺好的配置
二是买张魔改的 4090 48G ，可以跑 30b int8 或者 70b int4 ，可以用 QLoRA 调一下模型，玩玩 SillyTavern ？但看网评还是比云端 API 差太多，所以估计只有 刘备 玩家值得一试？
不知道 3 年后，国产 HBM+国产 GPU 能不能把大内存推理显卡的价格打下来……现在 Local LLM 还是不太行
3 条回复
stinkytofux · 2026-03-16 01:02
即便 3 年后显卡价格被打下来了, 在家跑 local llm 的电费也不得了.
azhangbing · 2026-03-16 02:02
别想 local 了 m 系列芯片 prefill 极慢 提示词处理就很慢，上下文大了也 gg 太慢了，就算能跑 27b 又怎么样呢 ，9b 凑合用用 单主力任务也不敢交给他啊，还是要线上模型 codex claude 最差也要 glm5 MiniMax2.5 这些了 花钱也比买显卡 笔记本强
添加回复
你还需要 登录
后发表回复
bro 。。。你该睡觉了，不清醒了。。。
这个月的 intel 轻薄本人均 32g8533 的 lpd5 起步，64glpd5 的 camm2 条子三千块不到，你纠结个入门配置干啥。。。