sentinelK
因为 LLM 的工程实践有个自证陷阱。
你没法证明你的 Agent 流程,或者说工程化产品相比裸模型/竞品是更优、更有效的。 所有人都在吹自己对于 LLM 落地的思路有多么高大上。但聊到实际产出又都阳痿了,因为他们没法对实际产出负责。
但是有一些思想还是有一定的启发作用。
比如任…
这个机制和 llama.cpp 的 – fit on 区别是?
因为开发程序的特性就是认理性参数,不认感性价值。
显得更“抠”是因为很多领域的消费品,感型价值比重实在太大。甚至部分领域会出现倒挂(实际性能更差的产品,因为品牌、营销策略等原因更贵)
要看你功能的。
1 、接不接收银厨打? 2 、能不能线上支付? 3 、能不能支持多人同点?拼桌? 4 、接不接库存?
以上都决定最终价格和成本。
反过来讲,不管是什么项目,以后都应该用 AI 产品先进行一遍 review 。
常言道,道高一尺魔高一丈。
0 、这是趋势,解放生产力,核心就是要解放。但是前提是你要知道什么该解放,什么该攥在手里。资本家从来不会解放自己的人脉和渠道。
1 、所以在使用中应该合理的优化上下文。给 AI 一个明确的任务目标与界限。目前网上用 token 去砸 AI 许愿的风气追不得。最后要么大炮打蚊子,要么产出的内容全…
再反转一下,以上是基于消费者视角。基于 LLM 模型提供者的视角来看,他们立于不败之地。
市面上有更好的工程化实践,就吸纳到自己的嫡系 app 中。 市面上有不利于自己利益的工程化实践,就禁掉。 市场出现了现象级产品?换个模型版本。直接负优化废掉他,自己在做一个。
没用,在 LLM 模型 API 接口本身都是黑箱(动不动降智,更别提还有各种黑中转)的情况下,你根本没法评估 AI 应用的能力和稳定性。
更何况,我个人理解,其实并不是每个人都需要那么“定制化”的工程环境。
目前的 LLM 上下文,已经足够大到只要你愿意提供足够的信息,不人为的隐瞒,基本…
mlx 的 qwen3.6-35B-A3B 试试看