AI
MIT 연구진, 자체 개선 AI 향한 새로운 단계인 SEAL 공개
SO
Sophia King
4주 전7분 읽기
MIT의 명문 컴퓨터 과학 및 인공지능 연구소(CSAIL)의 연구원들이 인공지능 개발의 궤적을 근본적으로 바꿀 수 있는 획기적인 프레임워크를 선보였습니다. 자체 수정 및 정렬(Self-correction with Alignment)을 의미하는 SEAL로 명명된 이 새로운 시스템은 대규모 언어 모델(LLM)이 자체 오류를 식별하고, 수정을 생성하며, 경험으로부터 배우는 과정과 유사하게 내부 지식을 자율적으로 업데이트할 수 있도록 합니다. 이 개발은 초기 훈련 후 대부분 시간이 고정된 현재 AI 모델의 정적인 특성에서 중요한 전환을 나타내며, 보다 역동적이고 신뢰할 수 있으며 지속적으로 개선되는 AI 시스템을 만드는 중요한 발걸음입니다.SEAL이 해결하는 핵심 과제는 현대 AI의 가장 큰 장애물 중 하나인 모델 정체입니다. 인기 있는 챗봇을 구동하는 LLM과 같은 모델은 방대하지만 고정된 데이터셋으로 훈련됩니다. 이 기념비적이고 비용이 많이 드는 훈련 과정이 완료되면, 세상에 대한 그들의 이해는 고정됩니다. 개발자들에 의한 광범위하고 리소스 집약적인 재훈련 없이는 새로운 정보를 독립적으로 학습하거나 내재된 편견과 사실적 부정확성을 수정할 수 없습니다. 이 제한으로 인해 가장 진보된 모델조차도 구식 답변을 자신 있게 제공하거나 훈련 데이터에 존재하는 해로운 고정관념을 영속시킬 수 있습니다. SEAL은 모델 자체가 실시간으로 필요한 편집을 수행할 수 있도록 하여 보다 우아하고 효율적인 솔루션을 제공합니다.이 프레임워크는 강화 학습에 기반한 정교한 다단계 프로세스를 통해 작동합니다. 인간의 피드백을 기다리는 대신, SEAL은 LLM이 자신의 비평가이자 편집자 역할을 하도록 합니다. 프롬프트가 주어지면 모델은 먼저 응답을 생성합니다. 그런 다음 연구원들이 "정렬되지 않은 시연"이라고 부르는 응답 내의 잠재적 결함을 내부적으로 표시합니다. 이후 모델은 "편집자" 페르소나를 시뮬레이션하여 결함이 있는 출력을 수정하여 더 높은 품질의 더 정확한 버전을 만듭니다. 이 두 가지 출력, 즉 원래의 결함 있는 응답과 더 우수한 자체 수정된 응답은 모델 자체의 개선을 안내하는 강력하고 내부적으로 생성된 훈련 예시가 됩니다.이 자체 생성된 피드백은 모델의 지식과 행동의 기본인 내부 매개변수, 즉 가중치를 직접 미세 조정하는 데 사용됩니다. 강화 학습 알고리즘을 사용하여 SEAL은 수정된 응답으로 이어지는 신경망 경로에 보상하여 모델이 이전 실수를 피하도록 효과적으로 가르칩니다. 이는 외부 데이터베이스를 사용하여 올바른 정보를 패치할 수 있는 다른 기술과 중요한 차이점입니다. SEAL은 올바른 답변을 제공하는 것뿐만 아니라, 모델이 미래에 같은 실수를 할 가능성을 줄이기 위해 내부 논리를 근본적으로 재작성합니다. 이것은 단순히 검색이 아니라 진정한 학습 과정입니다.실험에서 MIT 팀은 SEAL이 다양한 중요한 영역에서 모델 성능을 크게 향상시킨다는 것을 입증했습니다. 이 프레임워크는 유해하거나 독성 있는 콘텐츠 생성을 줄이고, 사실적 정확성을 개선하며, AI의 행동을 원하는 인간 가치에 더 잘 부합시키는 데 효과적인 것으로 입증되었습니다. 모델은 자율적으로 약점을 식별하고 수정함으로써 시간이 지남에 따라 점진적으로 더 안전하고 신뢰할 수 있게 됩니다. 연구원들은 이 방법을 다양한 기존 LLM에 적용할 수 있음을 보여주었으며, 이는 오늘날 이미 사용 중인 광범위한 AI 응용 프로그램을 개선하기 위한 다목적 도구가 될 수 있음을 시사합니다.이 연구의 의미는 심오합니다. 성공적으로 확장되고 구현된다면 SEAL은 훨씬 더 강력하고 적응력 있는 AI 시스템으로 이어질 수 있습니다. 일상 뉴스를 따라잡을 수 있는 AI 비서, 새로운 연구로 자체 지식 기반을 업데이트할 수 있는 과학적 발견, 또는 지속적인 인간의 감독 없이 위험한 행동을 잊을 수 있는 안전 시스템을 상상해 보십시오. 아직 연구 단계에 있지만, SEAL은 단순히 정보를 암기하는 것이 아니라 추론하고, 배우고, 자율적으로 성장할 수 있는 시스템인 범용 인공지능(AGI)이라는 오랜 목표를 향한 유망한 길을 제시합니다. 이것은 정적인 도구에서 벗어나 진정으로 지능적이고 자급자족하는 에이전트로 나아가는 기초적인 움직임입니다.
#week's picks
#AI
#MIT
#CSAIL
#Reinforcement Learning
#Large Language Models
#AI Safety
댓글
조용하네요...첫 번째 댓글을 남겨 대화를 시작하세요.
