GoForum › 🌐 V2EX
据说这是目前全世界最快的文本推理速度
HMYang33 ·
2026-06-03 14:43 ·
0 次点赞 · 3 条回复
下面是我自己搭桥过来的体验页,国内有一部分网络环境会发不出请求,也有可能打不开页面,换成 wifi 或者流量多试一试。
http://hmyang33.3vfree.vip/fast_llm/
搭桥链路:cerebras.ai <-> vercel 免费美国节点 <-> 廉价的香港 VPS <-> 廉价的香港静态页托管
因为接入的都是廉价或免费的服务,体验的人又很多,源头 cerebras.ai 给的免费 api 也有很多限制,vercel 也可能会偶尔出问题。
所以不稳定是常见的,出错就稍后再试试,主要是给兄弟们体验一下世界最快的 token 生成速度。
cerebras.ai 是源头,标称 gpt-oss-120b 每秒生成 3k 个词元,个人实际体验就 1.7k 左右
不要说 apikey 暴露的问题了,反正是免费的 key ,无门槛申请点击就送
3 条回复
fe619742721 · 2026-06-03 14:53
这速度确实有点夸张,如果最近的模型能做到这个速度,agent 执行会快很多啊。。这个模型能力怎么样,gpt-oss-120b
添加回复
你还需要 登录
后发表回复
其实是模型拆到 硬件的 sip core 里面了 通常只能定制模型