关于 AI 对人类的威胁

说到记忆，我的短期记忆可能还不如模型的 context 大，长期记忆需要微调模型或者我自己，刻到 ROM 的权重里。小时候每次“熟读并背诵”就是一次微调的过程。

如果只把它当成下一 token 预测器，那确实啥也干不了，发明 coding agent 之前大概也想不到如此能干吧。所以可以没有条件就创造条件，说不定之后有人发明超高性能的端侧模型，然后用蠕虫病毒式的 agent 传播到每一台电脑上，让 agent 可以永久自动运行。

你可以看一下今天 anthropic 发的

有屁的威胁

我愿意在 polymarket/区块链赌博

现在给你 100 万，5 年后人类灭亡你不用还钱，你跟我都死了

人类不灭亡你得还我 500 万

我相信会有人开这个赌博的

@Thesara 我感觉他们说的很可怕，但我理解不了。

威胁来自于授权使用物理资源。比如把使用武器的判断交给 AI 。

如果我办了一家 AI 企业，但是还没上市，不过现在外界估值过万亿美金，只要一上市就能赚来十辈子都花不掉的钱，我也整天叨叨叨 AI 太厉害了，我的 AI 今天自己攻破了我自己的防守，其他人都是抄我家的 AI，其他人的 AI 企业都没有道德必须都禁掉，我的 AI 今天已经发现了新的线索，物理界大一统理论即将被我的 AI 所攻破。

如果我做空了 AI，那我会说，现在的 AI 都是垃圾，远远没有宣传的那么厉害，现在大规模投资的企业估值极度高估，马上就会一地鸡毛。

威胁不威胁，取决于我是靠威胁赚钱，还是靠做空赚钱。

推荐你仔细阅读 anthropic 发布的威胁报告，此时此刻，许多人都在这么做

“似乎都在说 AI 会威胁人类生存，但都没说具体威胁手段有哪些。” 因为料不到。A\ 披露有人尝试用 AI 研究生化武器来着。