📰 핵심 요약

Piloting the world’s first double-blind AI evaluations

구글 딥마인드가 최근 독자적인 프론티어 AI 모델을 대상으로 한 세계 최초의 ‘이중맹검 평가’ 체계를 발표했다. 목적은 벤치마크 오염(benchmark contamination) 문제를 해결하는 것이다 — 즉 모델이 사전에 테스트 문제를 ‘본 적’이 있다면, 높은 점수를 받아도 참고할 가치가 없어진다는 것이다. 이번 협업에는 싱가포르 AI 안전 연구소(Singapore AI Safety Institute), OpenMined, AVERI, MLCommons가 참여했으며, 테스트 대상은 Gemini Flash Lite 모델이었다. 테스트 환경은 기밀 벤치마크 문제 은행을 사용했고, 프라이버시가 보호되는 환경에서 실행됐다.

기술의 핵심은 구글 클라우드 기밀 컴퓨팅(Confidential Computing) 제품군에 속한 Confidential Space를 활용해 암호화된 ‘박스’를 구축하는 것이다. 이를 통해 외부 평가 데이터와 독자적인 모델 가중치가 서로에게 동시에 보이지 않도록 한다: 평가 측은 Gemini의 모델 가중치를 볼 수 없고, 구글 역시 평가 측의 테스트 문제를 볼 수 없다. 이는 기존 외부 평가에 오랫동안 존재했던 딜레마를 해결한 것이다 — 평가 측은 테스트 문제를 모델 제공자에게 넘겨야 했고(문제 사전 유출 위험을 감수해야 했다), 아니면 모델 제공자가 모델 가중치를 넘겨야 했다(지적재산 유출 위험을 감수해야 했다). 과거에는 무기록 협약과 엄격한 계약으로 기밀성을 보장했지만, 이번이 암호화 수준의 기술적 보호 장치를 도입한 첫 사례다.

구글은 내부 테스트 외에도 전문 연구 기관, 시민사회 단체, 각국 AI 안전 연구소 등 외부 파트너와 지속적으로 협력해 모델의 잠재적 사각지대를 찾기 위한 스트레스 테스트를 진행하고 있다고 밝혔다. 자세한 기술 구현과 후속 적용 내용은 원문 링크를 참고하기 바란다.

💬 JudyAI Lab 관점

구글 딥마인드가 최근 프론티어 AI 모델을 대상으로 한 세계 최초의 ‘이중맹검 평가’ 체계를 선보였다. 목적은 벤치마크 오염 문제를 해결하는 것이다 — 모델이 사전에 시험 문제를 봤다면 높은 점수를 받아도 의미가 없다.

이번 협업 대상에는 싱가포르 AI 안전 연구소, OpenMined, AVERI, MLCommons가 포함됐으며, Gemini Flash Lite 모델을 테스트할 때 구글 클라우드의 Confidential Computing을 사용해 양방향으로 서로 보이지 않는 암호화 환경을 구축했다: 평가 측은 모델 가중치를 볼 수 없고, 구글도 문제 은행 내용을 볼 수 없다. 과거 외부 평가는 문제를 모델 측에 넘기거나(유출 위험 감수) 모델 측이 가중치를 넘겨야(IP 유출 위험 감수) 했고, 무기록 협약은 계약으로만 보장할 수 있었다. 이번에 암호화 수준의 기술적 수단으로 이 딜레마를 처음 해결한 것은, AI 빌더 입장에서 ‘신뢰’를 사람의 약속에서 검증 가능한 시스템 설계로 전환한 셈이다. 이런 접근 방식은 눈여겨볼 만하다 — 협업 양측 모두 공개할 수 없는 자산을 갖고 있을 때, 암호화 샌드박스가 계약 조항보다 더 신뢰할 만할 수 있다.

Confidential Space의 실제 적용 사례를 더 알고 싶다면 원문 링크의 후속 업데이트를 확인하면 된다.

📅 원문 정보

🔗 더 읽어보기