人工智能
麻省理工学院研究人员发布SEAL：迈向自改进人工智能的新一步
SO
Sophia King
4周前7 分钟阅读
麻省理工学院（MIT）著名计算机科学与人工智能实验室（CSAIL）的研究人员推出了一项突破性框架，可能从根本上改变人工智能发展的轨迹。该新系统名为SEAL（Self-correction with Alignment，意为“对齐驱动的自我纠正”），它使大型语言模型（LLMs）能够识别自身的错误、生成修正，并自主更新其内部知识，这一过程类似于从经验中学习。这一发展标志着与当前人工智能模型固有的静态性质的重大 M、这些模型在初始训练完成后基本被锁定，代表着迈向创建更动态、更可靠、持续改进的人工智能系统的重要一步。SEAL 解决的核心挑战是现代人工智能面临的最大障碍之一：模型停滞。像驱动流行聊天机器人模型的 LLM 是基于庞大但固定的数据集进行训练的。一旦这个庞大且昂贵的训练过程完成，它们对世界的理解就固定了。如果不经过开发人员进行大量、资源密集型的重新训练，它们无法独立学习新信息或纠正根深蒂固的偏见和事实性错误。这种局限性意味着，即使是最先进的模型，也可能自信地提供过时的答案，或延续其训练数据中存在的有害刻板印象。SEAL 提供了一种更优雅、更有效率的解决方案，使模型本身能够实时执行必要的编辑。该框架通过一个复杂的、多步骤的过程运作，该过程基于强化学习。SEAL 不等待人类反馈，而是让 LLM 充当自己的批评者和编辑。当收到提示时，模型首先生成一个响应。然后，它在内部标记该响应中潜在的缺陷——研究人员称之为“未对齐的演示”。随后，模型模拟一个“编辑”角色来修改有缺陷的输出，创建一个更高质量、更准确的版本。这对输出——原始的有缺陷的响应和自我纠正后的优秀版本——成为一个强大、内部生成的训练示例，指导模型自身的改进。然后，这些自生成的反馈被用于直接微调模型的内部参数或权重，这些是其知识和行为的基石。SEAL 使用强化学习算法，奖励那些能够产生已纠正响应的神经网络通路，从而有效地教会模型避免过去的错误。这与其他可能使用外部数据库来修补正确信息的技巧有着本质的区别。SEAL 不仅仅提供正确的答案；它从根本上重写了模型的内部逻辑，使其未来不太可能犯同样的错误。这是一个真正的学习过程，而不仅仅是检索。在实验中，麻省理工学院的团队证明，SEAL 在一系列关键领域显著提高了模型性能。该框架在减少有毒或有害内容的生成、提高事实准确性以及更好地使人工智能的行为与期望的人类价值观保持一致方面被证明是有效的。通过自主识别和纠正其弱点，模型会随着时间的推移变得越来越安全和可靠。研究人员表明，这种方法可以应用于各种现有的 LLM，这表明它可能是一种有价值的工具，用于改进当今已经广泛使用的人工智能应用程序。这项研究的意义是深远的。如果能够成功扩展和实施，SEAL 可能会带来更强大、更具适应性的人工智能系统。想象一下，能够跟上日常新闻的人工智能助手，能够用新的研究更新自己知识库的科学发现，或者不需要持续人类监督就能“卸载”危险行为的安全系统。虽然仍处于研究阶段，但 SEAL 为实现长期以来的人工智能通用性（AGI）——不仅仅是背诵信息，而是能够进行推理、学习和自主成长的系统——描绘了一条充满希望的道路。这是一种从静态工具迈向真正智能、自给自足的代理人的基础性举措。
#week's picks
#AI
#MIT
#CSAIL
#Reinforcement Learning
#Large Language Models
#AI Safety
评论
这里很安静...留下第一条评论开始对话吧。
