OpenAI计划在四年内实现AI自我监控 全新“超对齐”团队正式成立

7月6日消息，OpenAI，ChatGPT的背后开发团队，宣布将构建全新的研究分支，以加大在AI安全性方面的投入。其目标是建立一种AI监督AI的机制，以提升AI技术对人类的安全性。

OpenAI联合创始人伊利亚·苏茨凯弗(Ilya Sutskever)与AI对齐项目负责人简·莱克(Jan Leike)通过官方博客，对AI超级智能化带来的可能危险发出警告。他们指出，未来超级智能AI或可能使人类力量无法抗衡，而目前人类还无法控制这种潜在的超级智能AI。

据了解，两位负责人进一步预见，未来十年内有可能出现超越人类智能的AI。为防止AI失控，人类需要研发更先进的技术，并在AI对齐的问题上取得重大突破。AI对齐是指AI系统的目标应与人类价值观和意图一致。

OpenAI预计，未来四年将把20%的计算能力投入到这一领域，同时还计划组建一支专门的“超对齐”团队来进行相关工作。这个新团队的主要任务，将是培养出达到“人类水平”的AI对齐研究员，然后用巨大的计算能力来推进他们的发展。

这种“人类水平”的AI对齐研究员，将采用人工反馈进行训练，然后协助人类进行AI系统的评估，最后对AI系统进行实际的对齐研究。

然而，AI安全倡导者康纳·莱希(Connor Leahy)对OpenAI的这一计划表示担忧。他认为，如果最初的人类水平AI失控，可能会造成无法挽回的后果，因此在开发人类水平的AI之前，必须首先解决AI对齐问题。

对于AI技术的安全性，公众始终持谨慎态度。今年四月，一批AI行业领导者和专家签署公开信，要求暂停开发比GPT-4更强大的AI系统六个月，原因正是其可能对社会造成的潜在风险。据益普索5月的调查显示，超过三分之二的美国人对AI可能带来的负面影响感到担忧，其中61%的受访者认为AI可能会对人类文明产生威胁。在这种背景下，OpenAI加大对AI安全研究的投入显得更为重要。