顺便贴一下从网上随便找了一个测试 Token 生成速度的代码跑了下, 测试结果如下
我勒个槽 120B ，我只敢部署 20B 的。 大概半年前 OpenAI 丢出来的开源模型，我试了 20B 的大概才 GPT-4mini 的水平，远不如如今线上小模型。
好羡慕，电脑都啥配置？
我 4090+96GB RAM 都跑不起来，可以想象 OP 的配置
登录后可发帖和回复
我勒个槽 120B ，我只敢部署 20B 的。 大概半年前 OpenAI 丢出来的开源模型，我试了 20B 的大概才 GPT-4mini 的水平，远不如如今线上小模型。