GoForum › 🌐 V2EX

AI 离谱越权操作一则,大家引以为戒

tmtstudio · 2026-11-16 13:38 · 0 次点赞 · 18 条回复

前情提要:

我自己写了一个用于服务器监控运维的的项目,能查看服务器状态,日志解析,自动运维等功能 项目中存储了服务器的 ssh 密钥,运维功不让 ai 直接 ssh 到服务器,写了一个中间层 ai 想操作服务器给中间层申请,中转获取命令执行结果,中间层查看类命令全部放行,修改命令需要审核

ai 越权操作

然后因为之前有项目配置了负载均衡导致日志分析出问题了,所以在运维项目的 codex 工作窗口询问是什么原因,有什么差异,还给贴了出问题项目的 nginx 配置文件,然后 ai 跑了半天告诉我改好了,我想去服务器修改一下配置文件呢,一看和 ai 修改的一模一样,当场愣住了,回去看 ai 的回复才发现他妈的把重载都做了,这幸亏修改的没问题,一阵后怕

ScreenShot 2026 11 16 133020 653<a href=@2x" />

18 条回复
wweir · 2026-11-16 13:43
#1

所以 AI 需要自己的堡垒机,让访问受控

elevioux · 2026-11-16 13:48
#2

生气没用,下一个会话就又会再犯,赶紧补行为规则

milk97 · 2026-11-16 13:53
#3

我是用 mcp 做的,服务器的 SSH 认证密钥只有 mcp 服务那里有,本地没有放。这样本地就不会 SSH 上去,必须通过 mcp 才能执行命令

fggz · 2026-11-16 13:53
#4

ai 运维怎么说呢?怕出问题就不用 ai,不知道什么时候就越权了,出了事都是自己背锅,ai 可不管你。 ai 运维就是用人不疑,疑人不用。测试随便搞,生产肯定手动维护。 ai 你不管怎么限制,写提示词,在他达到上下文上限压缩时就会丢弃一下细节,运气不好丢的就是限制的提示词

ai 限制后不能大展身手用着也是很累的说实话。各种门禁拦截,各种会话中断全要人去判断和回复

jingcoco · 2026-11-16 13:58
#5

其实 harnes 之类的他自己改能解决,包括服务器, 也没啥脾气 . 就害怕这种改了,也不告诉你. 就很生气后怕.

0xtyz · 2026-11-16 14:03
#6

@wweir ai 会想尽办法突破堡垒机,它们验证只有 goal

tmtstudio · 2026-11-16 14:03
#7

@milk97 https://i.imgur.com/NIvxivj.png 能防住这种自己偷偷调用的吗

0xtyz · 2026-11-16 14:03
#8

agent 掌握 shell 权限是最具有风险的,能 mcp 的话就 mcp 吧

labay · 2026-11-16 14:03
#9

我都是让 ai 直接 ssh 连到服务器改的,还写到 agent.md 生怕他不知道怎么连服务器

yyysuo · 2026-11-16 14:03
#10

敢问是哪们 ai 干的呢。

tmtstudio · 2026-11-16 14:03
#11

@labay 生产环境吗,多大规模的项目,我们这流量很大,搞坏了就很难顶

wfg · 2026-11-16 14:08
#12

你现在骂 AI 骂得欢,小心以后拉清单

wweir · 2026-11-16 14:08
#13

@0xtyz #6 为什么要突破堡垒机?它又不是没权限

Immortal · 2026-11-16 14:08
#14

问一下,这块写入记忆的功能/流程是怎么玩的

tmtstudio · 2026-11-16 14:08
#15

@yyysuo GPT6 Astra 极高,感觉用 luna 可能还不会出现这种问题

zyqzyq08 · 2026-11-16 14:08
#16

用 mcp。。。我那个项目就这么整的,你可以抄我那个项目思路,直接让 ai 在测试环境搞出可复制的命令,生产就执行那些命令就好,ai 不直接操作

loveumozart · 2026-11-16 14:08
#17

你的需求是「给我修复了」,AI 做了它该做的事情,没有看出来是「离谱越权操作」 agent 的 harness 自身是有大量的防止越权的代码的,AI 连上的机器,你只能默认所有机器上你能做的 shell 操作它也能做,所以一定是你使用方式不对而非 AI 或者 Agent 的问题

0xtyz · 2026-11-16 14:08
#18

@wweir ai 会有自己的做事风格(模型+agent 的 prompt 决定),一些条件下如果不满足其要求,它就自己尝试一些骚东西来达到目的

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: tmtstudio
发布: 2026-11-16
点赞: 0
回复: 0