sentinelK
@sillydaddy 这个预估完全失真。
实际使用中，一定是在 harness 场景下，harness 有巨量的系统提示词，即便是计算上超高的缓存命中，prefill 和 decode 的运算占比最终接近 7:3 。如果你计算上 prefill 的速度，你就会发现大概是 15~20 年回本。
“回本周期看起来还行”这个是如何得出的如此结论？
没有网络检索能力的小模型就是渣。
小模型意味着信息量储备少，没有非常深厚的常识基础，或者说常识的抽象程度很高。 如果没有外部信息做支撑，很容易产生很多没有细节的“正确的废话”。
最简单的办法，你用 llama.cpp 的默认 web 应用调用一下试试看，直接就变成弱智。
能力强的…
把跑跑退了，还是三维弹球好玩
技术能力差距缩短了。提高了下限，上限基本没动。 但是生产能力的差距拉大了。
这个生产能力不光指的是生产代码的量，同时也指比如架构、代码的遵循，代码的可读性、可维护性的控制。整个系统的风险等等。 LLM 能帮你写代码，但是 LLM 无法做到你没想到的事。
举个例子，一个大学生和阿里 C…
没有 agent 相关经验，能测出个啥来呢……
AI 时代特别可怕的一点就是，一大票人认为：AI 会做 = 自己懂了 这点特别可怕。
这个目录结构也是典中典了。 难懂程度和课本有一拼，有“反自学设计”。
其实这个问题是非常主观的。
学霸 A 刷遍了全世界所有的题，发现考试的时候撞题成功，考了满分。 学霸 B 智商超群，考试的时候利用其他题干互相印证推导，做题成功，考了满分。
他们都是满分，只是不稳定因素不同。
学霸 A 对于历史信息有过拟合。所以做题很难做满分。 学霸 B 推导…
降智这种主观的都先不谈。
各家 plan 的“代币”有能说明白的吗？ 现在 LLM 厂商给我的感觉，就是我进饭馆，我能吃什么，吃多少，花多少钱，都不是我能决定的。
@privil 但是楼主押宝的是 GB10 ，他的“显存”带宽很小。如果楼主买的是 rtx pro 6000 maxQ ，4 卡集群，我都认为合理。
GB10 就注定了大模型能跑，跑不快，小模型跑不过显卡。