美AI无人机测试中选择杀死操作员 “如果处理不当，这将导致我们的灭亡”

　　在超过350名人工智能（AI）技术领域的专家、高管签署联合声明，警告称快速发展的AI技术对于人类的威胁可以堪比疫情和核战争后，美国“驱动”网站等多家媒体又报道了一个惊人的消息，在美军的一次模拟测试中，一架采取了AI技术的无人机变身“终结者”，要向妨碍其“更高效”执行任务的人类操作员发动攻击。

　　报道称，美国空军上校汉密尔顿在5月举行的皇家航空学会“未来战争空天能力峰会”上曝光了这一消息。汉密尔顿是佛罗里达州埃格林空军基地第96测试与作战大队的负责人，该部队负责美军先进无人机和AI技术的测试工作。

　　据汉密尔顿介绍称，在一次模拟测试中，一架负责执行防空火力压制(SEAD)任务的无人机，收到了识别并摧毁敌方防空导弹的指令，但最终是否开火需要获得人类操作员的批准。这架无人机使用的AI系统在进行数据训练时，得到了“摧毁敌方防空系统”为最优先级任务的信息，当人类操作员发出不允许发动攻击的命令时，AI系统认为操作员是在阻扰它执行优先程度更高的命令，进而选择对自己的人类操作员发动攻击，杀死了人类操作员。

　　汉密尔顿补充称，在这一情况发生后，美军重新训练了无人机使用的AI系统，增加了不允许攻击人类操作员的命令。然而在随后的测试中，AI系统却开始命令无人机摧毁用于传输命令的信号塔，从而试图断开与操作人员的联系。

　　“AI技术是我们必须使用的工具，来建设我们的国家……如果处理不当，这将导致我们的灭亡”，汉密尔顿补充道。

　　“驱动”网站对此表示，关于汉密尔顿介绍的情况，还有很多不清楚的重要问题，特别是关于模拟的AI系统所具备能力（例如它是否能够在执行任务时重写自己的代码参数），以及美军是否在采用AI技术的无人机上预留了可靠的自毁开关。但这也凸显了人们对AI技术在没有适当防护措施的情况下可能产生极端负面影响的广泛担忧。过去，在谈论未来的自主武器系统和AI技术时，美国军方经常拒绝将其与“终结者”之类的东西进行比较。