做模型训练、蒸馏门槛高吗

运行在端侧的门槛是端侧的算力吧

这玩意儿就像 java ，一开始容易，越做越难

@zhouhuade 刚刚 Claude 了下，回复端侧最大的障碍是内存和发热，GPU 已经够用

@justNoBody 如果有门槛，那就可以做做试试喽，万一中了就不用担心下一阶段的工作了 -_-

现在都在做 agent ，做 tool 治理，做 memory ，做沙箱，RAG,这些技术适合现有的软件工程范式出来的同学。 如果把这些能力打包成一个个垂直的小模型，会不会现在研究的很多 memory 的技术就不需要了呢？ 纯粹脑暴，最近想创业快想疯了，想找切入点-_-

算力费用高，而且难，很多地方难以量化效果。 算力是最大的门槛，蒸馏的话，如果是参数蒸馏那一个大模型跑起来当专家模型就会要了算力的命，就算是通过 API 形式做 SFT 后训练，token 费用也是个人难以负担得起的开销。