GoForum🌐 V2EX

碎碎念:什么时候硬件+llm 的发展能让码农像部署 nas 一样部署一个家用 llm

YanSeven · 2026-03-09 10:48 · 0 次点赞 · 4 条回复

有生之年有可能吗。

  1. 硬件价格打下来。
  2. LLM 开源模型能媲美顶尖模型
4 条回复
sagnitude · 2026-03-09 10:58
#1

现在就可以啊。mac studio m3 ultra 四台联机,2T 内存,轻松部署 kimi k2.5 ,你要是日常用的话 mac mini 部署个小模型就行了

stinkytofux · 2026-03-09 10:58
#2

完全有可能, 而且这个需求会被极大的推动. 因为不想数据泄露, 不管是个人还是公司, 都有私有部署大模型的需求.

MomoBD · 2026-03-09 10:58
#3

@sagnitude #1 我觉得主要还得等小模型的性能上来了以后才行吧。现在小模型的性能有点一言难尽。大模型本地部署的话算力需求又太高了

msg7086 · 2026-03-09 11:08
#4

顶尖模型需要非常高的成本来训练 如果顶尖模型开源,谁来付高昂的训练费用 没有资金的支持,模型怎么保持在顶尖位置 得等到了模型瓶颈期了,很难提高了,没有发展了,泡沫破裂了,大批公司倒闭了,那有机会。

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: YanSeven
发布: 2026-03-09
点赞: 0
回复: 0