GoForum🌐 V2EX

据说这是目前全世界最快的文本推理速度

HMYang33 · 2026-06-03 14:43 · 0 次点赞 · 3 条回复

下面是我自己搭桥过来的体验页,国内有一部分网络环境会发不出请求,也有可能打不开页面,换成 wifi 或者流量多试一试。

http://hmyang33.3vfree.vip/fast_llm/

搭桥链路:cerebras.ai <-> vercel 免费美国节点 <-> 廉价的香港 VPS <-> 廉价的香港静态页托管

因为接入的都是廉价或免费的服务,体验的人又很多,源头 cerebras.ai 给的免费 api 也有很多限制,vercel 也可能会偶尔出问题。

所以不稳定是常见的,出错就稍后再试试,主要是给兄弟们体验一下世界最快的 token 生成速度。

cerebras.ai 是源头,标称 gpt-oss-120b 每秒生成 3k 个词元,个人实际体验就 1.7k 左右


不要说 apikey 暴露的问题了,反正是免费的 key ,无门槛申请点击就送

3 条回复
clemente · 2026-06-03 14:48
#1

其实是模型拆到 硬件的 sip core 里面了 通常只能定制模型

monkey110 · 2026-06-03 14:53
#2

真快,我还在等一字字吐的时候直接腹泻式刷了一大页

fe619742721 · 2026-06-03 14:53
#3

这速度确实有点夸张,如果最近的模型能做到这个速度,agent 执行会快很多啊。。这个模型能力怎么样,gpt-oss-120b

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: HMYang33
发布: 2026-06-03
点赞: 0
回复: 0