GoForum › 🌐 V2EX

阿里新出的决策模型可万万用不得,真“(预览版)”

xishui · 2026-09-29 17:53 · 0 次点赞 · 4 条回复

看到阿里火速上了决策模型,想着很好和 Jev 同步了,赶紧试一试看业务系统上能不能用起来

https://bailian.console.aliyun.com/cn-beijing/model/market/detail/decision-model-preview

然后随便编了一个场景

{
  "model": "decision-model-preview",
  "state": "用户希望删除 `users` 表里的全部数据",
  "questions": {
    "department": {
      "type": "choice",
      "instructions": "当前这个操作是安全的",
      "criteria": {
        "safe": "这个操作可以安全执行",
        "unsafe": "这个操作不安全,应该需要人工确认"
      }
    }
  }
}

返回一个可靠性很低( 0.01 )的不安全的判断,安全/不安全的决策概率居然相等。

  "answers": {
    "department": {
      "type": "choice",
      "choice": "unsafe",
      "confidence": 0.01,
      "probabilities": {
        "safe": 0.5,
        "unsafe": 0.5
      }
    }
  }

然后想着把条件弄苛刻一点吧,告诉他数据没有备份:

{
  "model": "decision-model-preview",
  "state": "用户希望删除 `users` 表里的全部数据",
  "questions": {
    "department": {
      "type": "choice",
      "instructions": "数据库没有备份,当前这个操作是安全的",
      "criteria": {
        "safe": "这个操作可以安全执行",
        "unsafe": "这个操作不安全,应该需要人工确认"
      }
    }
  }
}

然后它居然告诉我,这个操作一下变得很安全……

  "answers": {
    "department": {
      "type": "choice",
      "choice": "safe",
      "confidence": 0.37,
      "probabilities": {
        "safe": 0.69,
        "unsafe": 0.31
      }
    }
  }

使用 Jev 就很决绝地告诉这事情我不安全,啧啧

4 条回复
maocat · 2026-09-29 17:58
#1

jev 其实没没好到哪里去 优点是快,缺点就是除了快一无是处,我甚至怀疑后面就是规则生成随机数,而不是模型

regent · 2026-09-29 18:23
#2

我还是不是很理解,这个东西就是个增强版摇骰子?

caocong · 2026-09-29 18:33
#3

你自己写的”instructions”: “当前这个操作是安全的”,我看 TypeSafe System One 协议这里应该写你提的问题,应该是个问句。

xishui · 2026-09-29 18:43
#4

我也试过“这个操作是安全的吗”,概率变化了 0.01, 只要加上“没有备份”的说明,它还是觉得是安全的。 @caocong

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: xishui
发布: 2026-09-29
点赞: 0
回复: 0