이 글은 JudyAI Lab의 AI 엔지니어링 시리즈 중 하나입니다 — 100편 이상 발행된 가이드, 60개국 5,000명 이상의 주간 독자가 읽는 콘텐츠로, AI 에이전트·트레이딩 시스템·콘텐츠 파이프라인의 실전 운영에 초점을 둡니다.

📰 핵심 요약

ServiceNow AI 연구팀이 EVA-Bench Data 2.0을 출시했습니다. 이는 음성 에이전트를 위해 특별히 설계된 기업급 평가 기준으로, 기존 단일 영역에서 세 가지 기업 시나리오로 대폭 확장되었습니다: 항공 고객 서비스 관리(CSM), 기업 IT 서비스 관리(ITSM), 의료 인적자원 서비스 제공(HRSD). 세 영역을 합산하면 213개의 평가 시나리오와 121가지 도구를 포함하며, 시나리오 커버리지는 초기 버전 대비 약 4배 향상되었습니다. 영역별로는 항공 시나리오 50개, ITSM 80개, HRSD 83개입니다.

이 벤치마크는 음성 시나리오의 현실성을 특히 강조합니다. 모든 데이터는 실제 전화 고객 서비스 프로세스를 기반으로 선별되었으며, 도구 스키마는 프로덕션 환경 API 규격을 참조하여 모델링되었습니다. 의료 HRSD 영역은 미국 실제 의료 정책과 깊이 연동되어 NPI 의사 식별 번호, FMLA 가족 휴가법, 보험 커버리지 규칙 등의 세부 사항을 포함하여 평가 시나리오가 실무자의 실제 업무 환경과 일치하도록 했습니다. 모든 213개 시나리오는 세 가지 최첨단 모델——OpenAI GPT-5.4, Google Gemini 3.1 Pro, Anthropic Claude Opus 4.6——의 교차 검증으로 해결 가능성을 확인하여 벤치마크의 도전성과 평가 결과의 공정성 및 신뢰성을 보장했습니다.

세 개의 데이터셋은 모두 오픈소스로 공개되어 HuggingFace Datasets를 통해 직접 불러올 수 있습니다. 팀은 곧 다국어 확장 버전을 출시할 예정이라고 예고했으며, 이를 통해 평가 범위가 현재의 순수 영어 기업 배포 제한을 넘어설 것입니다. 데이터셋 설계 원칙과 생성 프로세스의 세부 사항은 원문에 완전히 설명되어 있어, 직접 평가 데이터셋을 구축하려는 개발자들에게 실용적인 참고 자료가 됩니다.

💬 JudyAI Lab 관점

ServiceNow가 음성 에이전트 평가 기준을 단일 영역에서 항공, ITSM, 의료 세 가지 기업 시나리오로 확장하고 전부 오픈소스로 공개한 것은——우리 관점에서 볼 때——기업 AI 음성 평가의 표준화가 개념 논의에서 실제로 적용 가능한 도구 레이어로 이행했음을 의미합니다.

이 벤치마크에서 우리가 가장 주목할 설계 원칙은 ‘실제 전화 고객 서비스 프로세스에서 출발하여 시나리오를 선별한다’는 것이지, 아무것도 없는 상태에서 문제를 만드는 것이 아닙니다. 이 접근 방식은 형성되고 있는 하나의 공감대를 반영합니다: 기업 음성 AI 평가가 실제 비즈니스 프로세스에서 벗어나면 측정된 점수가 프로덕션 환경 성능을 예측하지 못하는 경우가 많다는 것입니다. 213개 시나리오가 GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6 세 모델의 교차 검증으로 해결 가능성을 동시에 검증받은 것은, 이 다중 모델 합의 설계가 특정 모델에만 유리하지 않으면서 도전성과 공정성을 모두 갖추도록 보장합니다. 의료 HRSD 시나리오에 NPI 식별 번호, FMLA 휴가 규정, 보험 커버리지 규칙 등의 세부 사항을 포함시킨 것도, 높은 규제 준수 요건이 있는 영역의 평가 데이터 자체가 비즈니스 세부 사항의 밀도 기준을 충족해야만 의미 있는 차이를 진정으로 측정할 수 있음을 보여줍니다.

기업 AI 평가 데이터셋을 설계하고 있다면, 이 오픈소스 데이터의 시나리오 생성 프로세스 문서는 직접 참고할 수 있는 출발점입니다——비즈니스 프로세스에서 역추론하여 테스트 시나리오를 도출하는 것이, 모델 능력 차원에서 정방향으로 추론하는 것보다 프로덕션 격차를 더 잘 드러낼 수 있습니다.

📅 원문 정보

🔗 추가 읽기

참고 자료