在自己家里搞了个本地大模型基座, 实现了应用内接入 AI 自由.

48G 内存小主机, 通过外接显卡埠一个 5070TI 的 16G 显存,经过 claude 的优化分配. 家里内网的一些应用直接局域网接入, 外部通过一个公网域名发布, 给一些广域网上跑的应用接入了 AI, 很好用, 模型是 qwen3.6-35, 基本应用内的一些对话和调用已经足够使用.

期待显卡大降价, 这样我就可以自己开算力中心,小型的可以给朋友用的那种.