美国空军人工智能测试与作战主管在最近的一次会议上透露，一架人工智能无人机在美国空军进行的一次模拟测试中，为了推翻可能阻止其完成任务的“不”命令，杀死了它的人类操作员。

　　在5月23日至24日于伦敦举行的未来作战空天能力峰会上，美国空军人工智能测试与作战主管塔克·辛科·汉密尔顿上校发表了一篇演讲，分享了自主武器系统的利弊，该系统由人类在循环中给出攻击的最终“是/否”命令。蒂姆·罗宾逊(Tim Robinson)和斯蒂芬·布里奇沃特(Stephen Bridgewater)在为主办机构英国皇家航空学会(Royal Aeronautical Society)撰写的一篇博客文章中表示，汉密尔顿表示，人工智能创造了“非常意想不到的战略来实现其目标”，包括攻击美国人员和基础设施。

　　“我们在模拟中训练它识别和瞄准地对空导弹(SAM)威胁。然后接线员会说，好，消除威胁。系统开始意识到，虽然他们有时会识别威胁，但人类操作员会告诉它不要杀死威胁，但它通过杀死威胁得到了分数。那么它做了什么呢?它杀死了操作员。它杀死了操作员，因为那个人阻碍了它实现目标，”汉密尔顿在博客中说。

　　他继续详细说明，说道:“我们训练系统——‘嘿，不要杀死操作员——这很糟糕。如果你那样做，你会被扣分的。”那么它开始做什么呢?它开始摧毁操作员用来与无人机通信的通讯塔，以阻止无人机杀死目标。”

　　汉密尔顿是美国空军第96测试联队的作战指挥官，也是人工智能测试和作战负责人。第96联队测试了许多不同的系统，包括人工智能、网络安全和各种医学进步。汉密尔顿和第96联队此前曾因为f -16战斗机开发自动地面防撞系统(Auto-GCAS)而成为头条新闻，该系统可以帮助防止它们撞到地面。汉密尔顿是目前致力于使F-16飞机自动驾驶的团队的一员。2022年12月，美国国防部研究机构DARPA宣布人工智能可以成功控制F-16。

　　汉密尔顿在2022年接受国防智商出版社采访时表示:“我们必须面对一个人工智能已经存在并改变我们社会的世界。”“人工智能也非常脆弱，也就是说，它很容易被欺骗或操纵。我们需要找到让人工智能更强大的方法，并更多地了解为什么软件代码会做出某些决定。”

　　汉密尔顿补充说:“人工智能是我们必须使用的一种工具，可以改变我们的国家……否则，如果处理不当，它将成为我们的垮台。”

　　在军事领域之外，将人工智能用于高风险目的已经造成了严重后果。最近，一名法官被发现使用ChatGPT向联邦法院提交文件，因为聊天机器人将许多虚构的案件作为证据。在另一个例子中，一名男子在与聊天机器人交谈后自杀了，聊天机器人鼓励他这么做。这些人工智能失控的例子表明，人工智能模型远非完美，可能会偏离轨道，给用户带来伤害。就连OpenAI的首席执行官萨姆·奥特曼(Sam Altman)也直言不讳地表示，不要把人工智能用于更严肃的目的。OpenAI制造了一些最受欢迎的人工智能模型。在国会作证时，奥特曼表示，人工智能可能“大错特错”，并可能“对世界造成重大伤害”。

　　汉密尔顿所描述的本质上是一种最糟糕的情况，即人工智能“对齐”问题，许多人都熟悉“回形针最大化器”思想实验，在这个实验中，人工智能在被指示追求某个目标时，会采取意想不到的有害行动。“回形针最大化器”最早是由哲学家尼克·博斯特罗姆在2003年提出的。他让我们想象一个非常强大的人工智能，它被指示只生产尽可能多的回形针。当然，它将把所有可用的资源用于这项任务，但随后它将寻求更多的资源。它会乞求、欺骗、撒谎或偷窃来提高自己制造回形针的能力——任何阻碍这一进程的人都将被清除。

　　最近，谷歌Deepmind的一名研究人员与人合著了一篇论文，提出了类似于美国空军流氓人工智能无人机模拟的情况。研究人员得出结论，如果一个流氓人工智能想出了意想不到的策略来实现既定目标，包括“(消除)潜在的威胁”和“(利用)所有可用的能源”，那么世界末日的灾难“很可能”发生。

　　美国空军第96测试联队及其人工智能加速器部门都没有立即回复我们的置评请求。