앤스로픽 소속 연구원이 이끈 새 연구에서, 자동화된 AI 시스템이 사람 연구자보다 빠르고 저렴한 비용으로 AI의 '정렬(얼라인먼트)' 성능을 안정적으로 개선할 수 있다는 결과가 나왔다.

첸위에한 연구원 등이 참여한 이번 연구는 '자동화 정렬 연구자(AAR)'라는 시스템을 활용했다. 이 시스템은 기존 논문을 검색해 정렬 기법을 찾아내고, 30분 단위의 학습 주기 동안 새로운 방법을 제안하고 검증하는 과정을 반복한다. 효과가 있는 기법은 남기고 그렇지 않은 기법은 걸러내는 방식이다.

연구진이 AI의 비정상적 행동을 측정하는 10개 벤치마크에 이 시스템을 적용한 결과, 전체 벤치마크에서 성능이 개선됐으며 전반적인 모델 능력 저하도 나타나지 않았다.

연구진은 "이번 결과는 자동화된 정렬 사후학습이 가까운 미래에 실용화될 수 있다는 초기 증거"라고 밝혔다. 가장 뛰어난 AAR 기법은 평균 6시간 만에 숙련된 인간 연구자의 성과를 뛰어넘었다고 덧붙였다.

비용 측면에서도 차이가 컸다. AAR 시스템의 시간당 API 추론 비용은 약 4달러에 불과한 반면, 인간 연구자에게 지급하는 비용은 시간당 150달러에 달했다.

이번 연구는 AI가 스스로 자신의 학습 방식을 개선하는 '재귀적 자기 개선'으로 이어질 가능성을 시사하며, 향후 인간 AI 연구자의 역할이 축소될 수 있다는 논쟁도 촉발하고 있다. 다만 연구진은 벤치마크가 실제 정렬 목표를 정확히 반영해야 하고, 관련 문헌과 벤치마크를 지속적으로 관리해야 한다는 한계도 함께 지적했다.