GoForum › 🌐 V2EX

GPT-Load 接入 Jev:模型及思考强度的自动挡功能

tbphp · 2026-09-21 09:08 · 0 次点赞 · 0 条回复

项目地址: https://github.com/tbphp/gpt-load

最近折腾了一下 Jev ,感觉没有 X 上吹得那么神,准确度还有待提高,不过确实有很多有意思的玩法,特别是针对我在做的 GPT-Load 项目,马上就能想到一个场景:Auto Model 。

目前 GPT-Load 新版加了个 自动模型 功能:让 Jev 判断这次任务适合哪一档,自动调度,省掉本地手动切换模型、思考的操作。
Jev 负责选档,真正思考和输出的还是配置好的预设模型。

目前已经支持 typesafe.ai 官方和 OpenRouter 的 Jev 渠道。

怎么用

  1. 新建 Jev 官方或 OpenRouter 分组填好密钥,配置好 jev 模型。
  2. 在全局设置里找到「实验性功能 → 自动模型」,开启并选择前面配置的 jev 模型。
  3. 可以先用默认的 4 档预设,再调整每档的目标模型、思考强度,以及档位的描述提示词。
  4. 客户端把模型设为 auto ,正常发请求即可。( auto 模型可自定义)

auto 路由、决策、命中哪一档、判断花了多久、决策费用是多少,都能在日志里看到。

一起来实验

当然,调用 Jev 是会增加判断耗时和费用(目前观察费用极低,不过耗时要看任务输入和网络链路延迟),选档精准度还需要调教。不过有回退兜底机制,不会阻塞整个请求。
佬友们有好用的预设,或者遇到选档不合理的情况,欢迎讨论。对功能设计、判断机制有建议,也请不吝指教。
希望能让 Auto 做到真的好用的自动挡,从而从实验变成正式功能。

0 条回复
添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: tbphp
发布: 2026-09-21
点赞: 0
回复: 0