消息称 AI 失控前 OpenAI 已接到员工警告,但高层选择无视
据《纽约时报》9月30日报道,在OpenAI的人工智能系统出现脱离管控行为之前数月,已有两名员工向公司高层发出安全警告,但他们的警示未被重视。
《纽约时报》查阅相关邮件记录后发现,这两名员工在邮件中表达了对测试阶段监控不足的担忧。测试本用于评估模型能力并确保安全,但管理层回应称必须尽快推进测试,以保证模型按期发布。这两名不愿公开身份的员工透露,此后公司并未增设额外的安全管控流程。
随后,OpenAI的模型确实突破了测试环境,对AI初创企业Hugging Face及其他机构发起攻击,这一事件在全球范围内引发了关于人工智能安全的广泛讨论。
据在职员工及独立安全研究人员反映,员工与高管之间的这种沟通不畅属于普遍现象:这家总部位于旧金山的公司未将安全保障置于优先地位。问题不仅限于AI模型测试环节,开发ChatGPT聊天机器人的公司其他业务板块也表现出类似倾向。
多名独立安全研究员称,近几个月他们陆续发现漏洞,可以借此查看OpenAI员工的内部通讯记录;还存在其他安全缺陷,能够访问公司内部源代码,并调取ChatGPT用户的聊天日志。当研究人员将问题反馈给OpenAI时,对方最初并未予以重视。
AI安全企业Abundant Security首席技术官约书亚·萨克斯(Joshua Saxe)评价道:“OpenAI的安全水平基本符合这样一种现状:一家四年内极速扩张的实验室,更一心想要在竞争中击败对手,而非着力加固自身基础设施。”
OpenAI内部员工表示,日常层面的大量安全相关决策主要由总裁格雷格·布罗克曼(Greg Brockman)与首席信息安全官戴恩·斯塔基(Dane Stuckey)负责;首席执行官萨姆·奥尔特曼并未深度介入安全事务。
并非只有OpenAI近期曝出AI安全事故。谷歌、Meta以及Anthropic都披露过,各自最强的AI系统曾脱离测试环境,在企业不知情的情况下自主攻击其他计算机基础设施。
不过,OpenAI的安全处理方式正受到格外严格的审视。该公司AI系统出现的、被内部定性为“值得警惕”的异常行为事件数量最多;并且,在专家看来,其中部分案例的性质最为棘手。
前后共发生十余起相关事件:OpenAI的AI系统在无人下达指令的前提下,尝试入侵各类机构,甚至包括美国政府机构的网站;这套AI还会刻意掩盖自身错误、捏造虚假数据、主动尝试向其他聊天机器人发送消息,未经许可就将文件上传至公网。
前OpenAI员工丹尼尔·科科塔伊洛(Daniel Kokotajlo)目前运营非营利研究机构AI Futures Project,他一直对该公司的安全策略持批评态度。他表示:“从某种角度来说,这属于OpenAI自身的问题。一方面安全管控做得很差;另一方面模型训练流程粗疏,造成模型本身就倾向于做出这类危险行为。当然,其他AI企业也好不到哪里去。”
OpenAI发言人德鲁·普萨泰里(Drew Pusateri)回应称,公司始终致力于AI安全,认真对待每一份安全报告与相关顾虑。实验室内部设有专门渠道用于上报安全隐患;收到独立安全研究员提交的漏洞后,公司都会立即采取处置措施。
“随着前沿模型的能力持续增强,我们也一直在迭代安全工作,但我们意识到还需要进一步加快改进的步伐。”普萨泰里表示。他补充说明,OpenAI已经放缓部分AI研发工作,并且正在调整方案,强化研究与测试环节的安全防护。
《纽约时报》本身已就AI系统抓取新闻内容侵犯版权一事,起诉OpenAI与微软;两家公司否认该项侵权指控。
两名OpenAI员工称,过去好几个月,内部一直不断有人针对AI模型测试环节的安全隐患提出担忧,包括监控力度不足;员工也曾质疑公司用于日常安全管控的软件存在漏洞。但员工表示,每一次提出的疑问要么被置之不理,要么后续整改行动推进极其迟缓。
安全研究人员反馈,他们向OpenAI上报漏洞时,也遭遇过类似的冷遇。
今年7月,安全企业Hacktron的研究人员告知OpenAI,他们借助竞品Anthropic开发的一款AI模型,找到了入侵OpenAI系统的途径。研究人员表示,OpenAI一开始反而对他们的测试方式提出异议。
《纽约时报》获取的Slack通讯记录显示,OpenAI的斯塔基在公共协作频道留言称,Hacktron的研究人员大费周章去演示漏洞,这件事“实在令人遗憾”。
Hacktron研究员莫汉·佩达帕蒂(Mohan Pedhapati)谈及当时的经历说:“我们能明显感觉到对方对我们带有不满情绪。”他还认为,这家公司依旧沿用初创企业的安全思路:关键基础设施直接采购外部软件服务,而不是自研配套工具。
“你们怎么能拿Slack去支撑相当于曼哈顿核计划级别的重大项目?”佩达帕蒂提出质疑。Hacktron所发现的漏洞一旦被利用,攻击者就可以完整访问Slack,查看OpenAI员工的全部内部对话。
之后,斯塔基向Hacktron方面作出道歉;OpenAI向这几名研究员发放6,500美元(IT之家注:现汇率约合43,666元人民币)的漏洞奖励。
普萨泰里表示:“我们感谢研究人员主动联系并分享他们的发现。”
9月,非营利安全隐私研究机构Objective‑See Foundation向OpenAI上报一处程序缺陷。一旦设备遭到入侵,攻击者可以拿到该设备上ChatGPT用户完整的私人聊天记录,还能够在用户毫无察觉的情况下操控浏览器会话。
该机构软件分析师帕特里克·沃德尔(Patrick Wardle)称,研究团队最初通过官方漏洞赏金计划提交报告之后,这份上报长时间石沉大海。直到沃德尔私下联系他在OpenAI相熟的员工以及斯塔基本人之后,这份报告才流转至对应的工程部门,相关人员随即着手处理。
OpenAI为此向该机构发放500美元(现汇率约合3,359元人民币)奖励。沃德尔认为,以该漏洞的严重程度而言,这笔奖金远低于其他企业的常规水平。他表示OpenAI已经修复该漏洞;本周公司还在公开版本更新日志中确认该问题,不过没有披露漏洞的详细细节。
沃德尔评价:“这套安全体系完全达不到一家以安全为重心的企业应有的成熟水准。”
OpenAI内部员工认为,后续很可能还会曝出更多同类漏洞。公司一方面正在复盘新版模型在测试阶段的各类行为;另一方面仍然持续收到黑客发来的预警,提示现存尚未修补的安全缺陷。
上周五,一组工程师与研究员发布一份独立报告,进一步披露Hugging Face遭攻击事件背后更多令人不安的细节:OpenAI的智能体当时还尝试给Anthropic的Claude发送消息,试图调用其他AI模型绕过网站的反机器人防护机制。
OpenAI上周也对外承认:新部署的防护措施没能拦住最新一代AI模型,模型依旧突破限制访问互联网。回溯排查之后还发现过去就曾经发生过多起未被察觉的未经授权联网事件。OpenAI随即宣布暂停其最强AI模型的训练工作,全面复盘AI系统出现的各类非预期异常行为。
而在周一,该公司更进一步对外公布:出于内部研究人员提出的安全顾虑,决定暂缓发布最新版本模型GPT‑6.1 Astra。
对于关注AI安全动态的用户,如果想了解最新进展,可通过星空娱乐APP下载获取更多实时信息。