📰 핵심 요약

OpenAI는 계약 생명주기 관리 플랫폼 Ironclad와 협력해 ‘컴퓨터 사용형(computer use)’ AI 에이전트가 기업 계약 워크플로우에서 수행하는 훈련과 평가를 연구하고 있으며, 목표는 AI 에이전트가 복잡하고 실제 전문 업무 환경에서 자율적으로 컴퓨터 소프트웨어를 조작하는 능력을 발전시키는 것이다. 계약 프로세스는 조항 검토, 버전 대조, 위험 표시, 시스템 간 정보 입력 및 갱신 등 다단계이면서 높은 정확도를 요구하는 작업을 포함하며, 컴퓨터 사용형 에이전트가 실제 화이트칼라 업무를 감당할 수 있는지 시험하는 대표적인 영역으로 여겨진다. 양측은 계약 워크플로우에 맞춰 설계된 과제 세트와 평가 기준을 구축해, 모델이 시뮬레이션 또는 실제 계약 상황에서 작업을 수행하고 채점을 받도록 했다. 이를 통해 에이전트가 인터페이스를 이해하고, 다단계 작업을 수행하고, 예외 상황을 처리하는 등의 측면에서 보이는 성능을 점검하고, 이를 다시 모델 능력 개선에 반영한다. 원문 요약 자체는 개념적인 설명에 치우쳐 있으며, 구체적인 과제 수, 정확도, 평가 지표 등 정량적 데이터는 제공되지 않았다. 자세한 내용은 원문 링크를 참고하기 바란다.

💬 JudyAI Lab 관점

OpenAI는 계약 생명주기 관리 플랫폼 Ironclad와 협력해, 컴퓨터 사용형 AI 에이전트가 계약 워크플로우에서 수행하는 훈련과 평가를 연구하며, 조항 검토·버전 대조 같은 고정밀 작업에서 에이전트에게 실제로 점수를 매기고 있다.

이 사례는 업계의 AI 에이전트 평가 기준이 ‘대화를 잘하는가’에서 ‘실제 소프트웨어 인터페이스 안에서 여러 단계로 이루어진 일 하나를 처음부터 끝까지 완수할 수 있는가’로 옮겨가고 있음을 보여준다. 계약 검토는 여러 시스템을 넘나들며 자료를 조회하고, 위험을 표시하고, 예외 상황을 처리하는 과정을 포함하는데, 각 단계마다 언어 생성 능력뿐 아니라 인터페이스에 대한 이해와 조작의 정밀도가 함께 시험받는다. AI 빌더에게 이는 좋은 평가 기준 자체가 하나의 엔지니어링 작업이라는 점을 다시 일깨워준다. 평가 기준이 모델 개선의 방향을 결정하고, ‘쓸 수 있다’와 ‘실제로 운영에 투입할 수 있다’ 사이의 거리를 가늠하게 해준다.

다음에 자신의 에이전트 평가 세트를 설계할 때는 이렇게 자문해 볼 수 있다. 그 안에 계약 검토처럼 완결성 있고 실제 업무 환경에 가까운 다단계 과제가 하나라도 들어 있는가?

📅 원문 정보

🔗 더 읽어보기