GoForum › 🌐 V2EX
碎碎念:什么时候硬件+llm 的发展能让码农像部署 nas 一样部署一个家用 llm
YanSeven ·
2026-03-09 10:48 ·
0 次点赞 · 4 条回复
有生之年有可能吗。
- 硬件价格打下来。
- LLM 开源模型能媲美顶尖模型
4 条回复
stinkytofux · 2026-03-09 10:58
完全有可能, 而且这个需求会被极大的推动. 因为不想数据泄露, 不管是个人还是公司, 都有私有部署大模型的需求.
@sagnitude #1 我觉得主要还得等小模型的性能上来了以后才行吧。现在小模型的性能有点一言难尽。大模型本地部署的话算力需求又太高了
添加回复
你还需要 登录
后发表回复
现在就可以啊。mac studio m3 ultra 四台联机,2T 内存,轻松部署 kimi k2.5 ,你要是日常用的话 mac mini 部署个小模型就行了