IT采购网10月27日消息,OpenAI宣布成立一支专门团队,旨在降低与人工智能(AI)相关的“灾难性风险”,并致力于追踪、评估、预测和保护免受AI可能引发的重大问题。
据了解,OpenAI相信前沿AI模型的潜力将超越目前最先进的现有模型,为全人类带来福祉,但同时也带来了日益严重的潜在风险。这一新成立的团队将努力应对AI可能引发的重大风险,包括核威胁、生物、化学和放射性威胁等,以及AI“自我复制”等行为可能带来的潜在风险。
OpenAI强调,他们必须确保具备足够的理解和基础设施,以确保高能力AI系统的安全性。这支团队将由前麻省理工学院可部署机器学习中心的主任AleksanderMadry领导,并将制定和维护一项名为“风险知情开发政策”的措施,旨在总结公司在评估和监控AI大模型方面的工作。
此前,非营利组织AI安全中心发表简短声明,将减轻AI引发的绝灭风险视为与流行病、核战等社会问题同等重要的全球优先事项。这一倡议得到了包括OpenAI首席执行官山姆・阿尔特曼在内的多位AI行业领袖的支持。