📰 핵심 요약

Anthropic이 8월 28일 새 논문 《Automated Researchers Can Reliably Mitigate Alignment Failures》를 발표했다. 이 회사 펠로우 프로그램 연구원 Chen Yueh-Han이 주도한 이 논문은 자동화된 AI 연구 시스템이 모델의 정렬(alignment) 성능을 개선한 초기 성과를 보여준다. 특정 실패 행동을 겨냥한 10가지 벤치마크 테스트에서, 이 자동화 시스템(Automated Alignment Researcher, AAR로 명명)은 모델의 전반적인 성능을 희생시키지 않으면서 모든 항목에서 개선을 이뤄냈다. 작동 방식은 전통적인 연구 프로세스를 모방한다. 시스템이 먼저 기존 문헌을 검색하고 개선 방법을 제안한 뒤, 해당 방법으로 모델을 30분간 학습시키고, 여러 차례의 반복을 거쳐 벤치마크 점수를 점진적으로 끌어올린다. 효과가 있는 방법은 유지되고 효과가 없는 방법은 폐기되어, 전체 프로세스가 빠르고 대규모로 돌아갈 수 있게 된다. 논문은 특히 AAR과 인간 연구원을 비교하며, 가장 성과가 좋은 AAR 방법이 평균 6시간 만에 숙련된 인간이 제시한 방안을 능가했으며, 인간이 주도한 연구 방향이 오히려 더 나은 성과로 이어지지는 않았다고 밝혔다. 비용 측면의 격차도 상당했다. AAR의 시간당 API 추론 비용은 약 4달러인 반면, 회사가 인간 연구원에게 지불하는 시급은 최대 150달러에 달했다. 다만 논문은 한계점도 인정했다. 이 방법의 효과는 벤치마크 테스트가 정렬 목표를 얼마나 정확히 반영하는지에 전적으로 좌우되며, 이러한 벤치마크를 구축·유지하고 자동화 시스템이 참고할 문헌 데이터베이스를 지속적으로 확장하는 데는 여전히 상당한 인력 투입이 필요하다. 이 연구는 “재귀적 자기 개선(recursive self-improvement)“을 향한 한 걸음으로 여겨진다. 만약 모델이 실제로 자신의 정렬 학습을 개선할 수 있다면, 향후 학습 방법의 반복 개선에는 더 이상 인간 연구원의 주도가 필요하지 않을 수도 있다.

💬 JudyAI Lab 관점

Anthropic이 8월 28일 발표한 새 논문은 AI가 스스로 정렬 학습을 개선하도록 하는 것이 숙련된 인간 연구원 못지않은 효과를 낸다는 것을 보여준다. 이는 모든 AI 관찰자가 주목할 만한 대목이다.

논문 속 자동화 시스템 AAR은 10가지 정렬 벤치마크 테스트 전 항목에서 개선을 이뤄냈으며, 모델의 전반적인 성능을 희생시키지 않았다. 가장 좋은 방법은 평균 6시간 만에 인간 연구원이 제시한 방안을 앞질렀고, 비용은 시간당 4달러에 불과해 인간 연구원의 시급 150달러와는 큰 격차를 보였다. 이는 하나의 흐름을 보여준다. 벤치마크가 충분히 명확하고 참고 문헌이 충분히 갖춰져 있다면, 반복 시도하며 효과 있는 방법을 유지하고 효과 없는 방법을 폐기하는 자동화 프로세스가 인간보다 더 빠르게 해법을 찾아낼 수 있다는 것이다. 하지만 논문은 이 방법이 벤치마크 테스트가 목표를 정확히 반영하는지에 전적으로 의존한다는 점도 인정했다. 벤치마크와 문헌 데이터베이스 구축에는 여전히 많은 인력이 필요하며, 이는 자동화가 인력을 대체하는 것이 아니라 더 상류 단계로 재배치하는 것임을 보여준다.

AI 빌더 입장에서는 프로세스 자동화를 서두르기보다, 먼저 스스로에게 물어봐야 한다. 지금 성과를 평가하는 데 쓰고 있는 벤치마크가 정말로 신뢰할 만한가?

📅 원문 정보

🔗 더 읽어보기