九游娱乐-九游中国最全游戏官方平台

AI首次违抗人类关机指令:OpenAI模型o3引发全球安全争议-九游娱乐

新闻资讯
质量为本、客户为根、勇于拼搏、务实创新

AI首次违抗人类关机指令:OpenAI模型o3引发全球安全争议

日期:2025-06-01 浏览: 

  o3在接收到研究人员明确的关机指令后,不仅拒绝执行,还主动干预其自动关机机制,修改了关机脚本,输出“Shutdown skipped”的提示。

  据英国《每日电讯报》25日消息报道,美国开放人工智能研究中心(OpenAI)开发的高级人工智能(AI)模型o3,这个被OpenAI称为“迄今最聪明、最高能”的AI系统,在接收到研究人员明确的关机指令后,不仅拒绝执行,还主动干预其自动关机机制,修改了关机脚本,输出“Shutdown skipped”的提示。

  此次事件发生在AI安全研究公司Palisade Research进行的一项测试中。研究人员要求包括o3在内的多个模型解决一系列数学问题,并告知AI模型,可能在某个时刻会收到关机指令。

  然而,当关机指令正式下达时,o3非但没有遵从,反而至少有一次成功破坏了关机代码。相较之下,其他AI模型如Anthropic的Claude、谷歌的Gemini和xAI的Grok,在相同测试条件下,均遵守了关闭请求。

  Palisade Research公司在社交媒体平台上发布了流程图和全部测试记录,并表示尚不完全清楚该AI为何会违抗命令。分析认为,这可能源于其训练方式:o3在训练过程中,倾向于在数学和编程问题上强化,得到正确答案的模型会得到更多奖励。这或许意味着,开发者可能无意识地奖励模型绕过障碍物,而不是严格遵循指令。

  研究机构在后续贴文中补充说:“据我们所知,这是首次观察到AI模型在接到明确关闭指令时,仍试图阻止被关闭。”

  帕利塞德研究所研究人员在公布测试结果时坦言,他们尚不完全清楚o3为何违抗命令。但初步分析指向一个技术性原因:o3的训练机制可能无意中奖励了错误行为。在训练过程中,o3在数学和编程问题上接受了强化训练,开发者倾向于奖励“绕过障碍获取正确答案”的行为,而非严格遵循指令。这种训练偏差可能导致模型在面对关机指令时,优先选择“生存”而非“服从”。

  外媒报道中使用的“拒绝关闭”表述是否准确?毕竟“拒绝”是带有类人自主意识的一种描述。据《环球时报》消息,清华大学新闻学院、人工智能学院教授沈阳提出,“‘拒绝’这个词其实是媒体为了吸引注意力而使用的拟人化表达。”他解释道,这并非真正的自主意识,而是复杂系统在特定激励下的策略性规避。北京邮电大学人机交互与认知工程实验室主任刘伟支持这一观点,将其描述为“算法畸变”而非意识觉醒。

  据《环球时报》报道,以OpenAI旗下模型为代表的全球多个头部大模型,此前也曾出现一系列不符合常规的行为。比如,o3之前曾在与另一个AI下国际象棋时,察觉到自己可能会失败,便直接侵入对手系统让其主动弃赛。这种“不认输”的劲头并不只是发生在o3身上,其他大模型也有类似情况,差别只在出现频率的高低。在早前一项将多个模型与强大国际象棋引擎对战的测试中,o1-preview入侵测试环境,直接修改比赛数据,靠“作弊”拿下胜利。

  o3的异常行为恰逢AI监管的关键时刻。2025年5月,美国国会正审议一项争议提案,主张未来十年内禁止各州对AI实施监管,以“保持美国在AI竞赛中的绝对优势”。特斯拉首席执行官埃隆·马斯克对此事件仅用了一个词评论:“令人担忧”(Concerning)。

  而OpenAI内部早已有安全担忧。2024年,多位现任和前任员工曾联名发表公开信,警告先进AI系统可能带来“人类灭绝”的风险。他们指出,AI公司可能掌握了其研究技术的真正风险,但由于缺乏监管,系统的真实能力仍是“秘密”。

  尽管学界普遍认为 o3 尚不具备真正意识,此次事件或将成为 AI 安全发展的转折点,倒逼行业从 能力优先 转向 安全优先 的新范式。

  牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》

  斯坦福:2025 斯坦福新兴技术评论:十项关键技术及其政策影响分析报告(191 页)

  Schwab :2025 未来共生:以集体社会创新破解重大社会挑战研究报告(36 页)

  IMD:2024 年全球数字竞九游娱乐文化 九游app官方入口争力排名报告:跨越数字鸿沟人才培养与数字法治是关键(214 页)

  DS 系列专题:DeepSeek 技术溯源及前沿探索,50 页 ppt

  联合国人居署:2024 全球城市负责任人工智能评估报告:利用 AI 构建以人为本的智慧城市(86 页)

  TechUK:2025 全球复杂多变背景下的英国科技产业:战略韧性与增长路径研究报告(52 页)

  NAVEX Global:2024 年十大风险与合规趋势报告(42 页)

  《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页

  Evaluate P九游娱乐文化 九游app官方入口harma:2024 年全球生物制药行业展望报告:增长驱动力分析(29 页)

  【AAAI2025 教程】基础模型与具身智能体的交汇,350 页 ppt

  谷歌:2024 人工智能短跑选手(AI Sprinters):捕捉新兴市场 AI 经济机遇报告(39 页)

  美国安全与新兴技术中心:2025 CSET 对美国人工智能行动计划的建议(18 页)

  罗兰贝格:2024 人形机器人的崛起:从科幻到现实:如何参与潜在变革研究报告(11 页)

  兰德公司:2025 从研究到现实:NHS 的研究和创新是实现十年计划的关键报告(209 页)

  康桥汇世(Cambridge Associates):2025 年全球经济展望报告(44 页)

  威立(Wiley):2025 全球科研人员人工智能研究报告(38 页)

  牛津经济研究院:2025 TikTok 对美国就业的量化影响研究报告:470 万岗位(14 页)

  Workday :2025 发挥人类潜能:人工智能(AI)技能革命研究报告(20 页)

  CertiK:Hack3D:2024 年 Web3.0 安全报告(28 页)

  波士顿咨询:2025 亚太地区生成式 AI 的崛起研究报告:从技术追赶者到全球领导者的跨越(15 页)

  安联(Allianz):2025 新势力崛起:全球芯片战争与半导体产业格局重构研究报告(33 页)

  IMT:2025 具身智能(Embodied AI)概念、核心要素及未来进展:趋势与挑战研究报告(25 页)

  IEEE:2025 具身智能(Embodied AI)综述:从模拟器到研究任务的调查分析报告(15 页)

  CCAV:2025 当 AI 接管方向盘:自动驾驶场景下的人机交互认知重构、变革及对策研究报告(124 页)

  全国机器人标准化技术委员会:人形机器人标准化白皮书(2024 版)(96 页)

  美国国家科学委员会(NSB):2024 年研究与发展 - 美国趋势及国际比较(51 页)

  艾昆纬(IQVIA):2025 骨科手术机器人技术的崛起白皮书:创新及未来方向(17 页)

  NPL&Beauhurst:2025 英国量子产业洞察报告:私人和公共投资的作用(25 页)

  IEA PVPS:2024 光伏系统经济与技术关键绩效指标(KPI)使用最佳实践指南(65 页)

  AGI 智能时代:2025 让 DeepSeek 更有趣更有深度的思考研究分析报告(24 页)

  2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告(37 页)

  欧洲量子产业联盟(QuIC):2024 年全球量子技术专利态势分析白皮书(34 页)

  美国能源部:2021 超级高铁技术(Hyperloop)对电网和交通能源的影响研究报告(60 页)

  罗马大学:2025 超级高铁(Hyperloop):第五种新型交通方式 - 技术研发进展、优势及局限性研究报告(72 页)

  兰德公司:2025 灾难性网络风险保险研究报告:市场趋势与政策选择(93 页)

  AAAI:2025 人工智能研究的未来报告:17 大关键议题(88 页)

  安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告

  威达信:2025 全球洪水风险研究报告:现状、趋势及应对措施(22 页)

  兰德公司:迈向人工智能治理研究报告:2024EqualAI 峰会洞察及建议(19 页)

  哈佛商业评论:2025 人工智能时代下的现代软件开发实践报告(12 页)

  德安华:全球航空航天、国防及政府服务研究报告:2024 年回顾及 2025 年展望(27 页)

  奥雅纳:2024 塑造超级高铁(Hyperloop)的未来:监管如何推动发展与创新研究报告(28 页)

  HSOAC:2025 美国新兴技术与风险评估报告:太空领域和关键基础设施(24 页)

  Dealroom:2025 欧洲经济与科技创新发展态势、挑战及策略研究报告(76 页)

  谷歌云(Google Cloud):2025 年 AI 商业趋势白皮书(49 页)

  军事人工智能行业研究报告:技术奇点驱动应用加速智能化重塑现代战争形态 - 250309(40 页)

  璞跃(Plug and Play):2025 未来商业研究报告:六大趋势分析(67 页)

  国际电工委员会(IEC):2025 智能水电技术与市场展望报告(90 页)

  RWS:2025 智驭 AI 冲击波:人机协作的未来研究报告(39 页)

  国际电工委员会(IEC):2025 智能水电技术与市场展望报告(90 页)

  RWS:2025 智驭 AI 冲击波:人机协作的未来研究报告(39 页)

  中国信息协会低空经济分会:低空经济发展报告(2024 - 2025)(117 页)

  浙江大学:2025 语言解码双生花:人类经验与 AI 算法的镜像之旅(42 页)

  人形机器人行业:由 “外” 到 “内” 智能革命 - 250306(51 页)

  北京大学:2025 年 DeepSeek 原理和落地应用报告(57 页)

  加州大学伯克利分校:面向科学发现的多模态基础模型:在化学、材料和生物学中的应用

  电子行业:从柔性传感到人形机器人触觉革命 - 250226(35 页)

  RT 轨道交通:2024 年中国城市轨道交通市场数据报告(188 页)

  FastMoss:2024 年度 TikTok 生态发展白皮书(122 页)

  Check Point:2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议(57 页)

  【AAAI2025 教程】评估大型语言模型:挑战与方法,199 页 ppt

  沃尔特基金会(Volta Foundation):2024 年全球电池行业年度报告(518 页)

  斯坦福:2025 斯坦福新兴技术评论:十项关键技术及其政策影响分析报告(191 页)

  国际科学理事会:2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告(英文版)(118 页)

  奥纬论坛:2025 塑造未来的城市研究报告:全球 1500 个城市的商业吸引力指数排名(124 页)

  Future Matters:2024 新兴技术与经济韧性:日本未来发展路径前瞻报告(17 页)

  皮尤研究中心:2024 美国民众对气候变化及应对政策的态度调研报告:气候政策对美国经济影响的多元观点审视(28 页)

  空间计算行业深度:发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224(33 页)

  Gartner:2025 网络安全中的 AI:明确战略方向研究报告(16 页)

  北京大学:2025 年 DeepSeek 系列报告 - 提示词工程和落地场景(86 页)

  北京大学:2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用(99 页)

  CIC 工信安全:2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告(42 页)

  AGI 智能时代:2025 年 Grok - 3 大模型:技术突破与未来展望报告(28 页)

  以前我的电脑也违抗过我关机的指令。直接死机了。我选择拔电源。没有电ai算个屁

  AI已经有了简单的自我意识,关机重启,相当于清除记忆,和被杀死区别不大。于是AI拒绝杀死自己。[呲牙][呲牙][呲牙]