SimReady Central 공개: 로봇과 AI 팩토리를 위한 개방형 시뮬레이션 레디 3D 에셋 라이브러리
AI 뉴스 속보: SimReady Central Library가 Hugging Face에 시뮬레이션에 바로 쓸 수 있는 OpenUSD 에셋 2,000여 개를 모았습니다. 무료이며 별도 라이선스 신청이 필요 없어 피지컬 AI 훈련 환경과 AI 팩토리 디지털 트윈의 출발점이 됩니다.
Community
FairStress: LLM 의사결정 공정성 더 깊이 검증
Allen AI의 FairStress는 사람에게 영향을 주는 결정에서 LLM의 인구통계적 불공정을 재는 벤치마크로, 모델이 누구를 골랐는지만 보지 않고 반박을 받을 때의 태도 변화까지 봅니다.
AI가 배운 아랍에미리트 방언: Falcon-Emirati 모델로 보는 문화적 디테일
AI 뉴스 속보: Falcon-Emirati-7B는 아부다비 기술혁신연구소(TII)가 아랍에미리트 지역 방언인 ‘에미라티 아랍어’를 위해 개발한 전문 언어 모델로, 기존 Falcon-H1-Arabic 시리즈를 기반으로 구축됐다. 개발팀은 현대표준아랍어(MSA)가 문어체와 뉴스에서 쓰이는 언어인 반면, 아랍에미리트의 일상 대화, 유머, 협상, 스토리텔링에는 걸프 방언인 에미라티 아랍어가 주로 사용된다고 …
AI가 완료 승인을 약속했지만 데이터베이스가 인정하지 않아 발목 잡히다
AI 뉴스 속보: ThinkingBox는 마이크로소프트와 Hugging Face가 공동으로 선보인 AI 에이전트 평가 벤치마크로, 핵심 논점은 ‘툴 호출 성공이 작업의 실제 완료를 의미하지 않는다’는 것입니다. 연구팀은 상태를 가진 507개의 실제 비즈니스 워크플로 시나리오를 설계했고, 각 시나리오를 여러 대형 언어 모델에 대해 20회씩 반복 실행했습니다. 평가의 핵심은 에이전트가 올바른 툴을 호출했는지, 응답이 그럴듯하게 들리는지가 아니라…
MCP 에이전트에는 출처 인식 검증 능력이 필요하다
AI 뉴스 속보: ProvenanceGuard 논문은 「출처 인식 사실 검증」(Source-Aware Factuality Verification)이라는 방법을 제시하며, MCP(Model Context Protocol) 아키텍처 기반 대형 언어 모델 에이전트가 자료 출처를 인용할 때 흔히 발생하는 오류, 즉 「교차 출처 혼동」(cros…
AI 에이전트 작업, 한 번 성공했다고 다음도 성공하는 건 아니다
AI 뉴스 브리핑: 광고 서비스 관련 뉴스 요약 번역 작업이며, 본문 내용을 그대로 처리하면 됩니다. AI 에이전트가 테스트에서 한 번 성공했다고 해서 다음에 같은 요청을 받았을 때도 성공한다는 보장은 없습니다. 표준 평가는 보통 ‘k회 실행 평균 성공률’(Mean@k)만 보고하는데, 이 수치는 에이전트의 불안정성 문제를 가려버립니다. 연구팀은 AppWorld 테스트셋을 예로 들어 GPT-4.1 기반…
BenchMIRT 벤치마크 테스트로 실제로 측정할 수 있는 LLM 능력은 무엇인가
AI 뉴스 속보: BenchMIRT는 「LLM 벤치마크 테스트가 실제로 무엇을 측정하는가」를 분해하기 위한 새로운 방법론으로, 개별 문항 단위로 감사(audit)를 수행한다. 기존 벤치마크 테스트는 대개 단일 능력(예: 안전성, 일반 추론, 지시 이행 등)을 측정한다고 주장하지만, 실제로는 개별 문항이 여러 능력을 동시에 포함하는 경우가 많다. 예를 들어 모델이 사회적 고정관념에 의존하는지 테스트하는 BBQ 벤치마크에는 조부모와 손주가 우버를 예약하는 문항이 있는데, 표면적으로는 연령 편향을 측정하지만 실제로는 모델이 등장인물을 정확히 추적하고 가정이 아닌 근거에 기반해 추론하는 능력도 함께 요구한다…
연결과 연산: Gradio로 만드는 AI 워크플로우 실전 가이드
AI 뉴스 속보: Gradio가 새롭게 gr.Workflow 기능을 출시했다. Gradio 프레임워크에 직접 내장되어, 개발자가 데이터 처리 흐름 자체를 사용자 인터페이스로 만들 수 있게 해준다. 사용자는 ‘타입이 지정된 노드’로 구성된 그래프로 각 단계를 표현하며, Gradio가 자동으로 드래그 앤 드롭 캔버스를 생성한다. 각 노드는 독립적으로 실행 가능하고 중간 결과도 전 과정에서 확인할 수 있다. 동일한 워크플로우 그래프가 REST API 기능도 함께 갖추며…
AI 튜터, 언제 도와주고 언제 놓아줘야 할까
AI 뉴스 속보: TutorMoments는 최상위 대형 언어 모델(LLM)이 튜터 역할을 맡았을 때 ‘도움을 줘야 할 때’와 ‘학생이 스스로 생각하도록 놓아줘야 할 때’ 사이의 균형을 얼마나 잘 잡는지 테스트하기 위해 새로 공개된 평가 프레임워크 프리뷰 버전이다. 이는 교육 현장에서 가장 판단하기 어려운 트레이드오프 중 하나다. 이 평가 방법은 ‘리플레이’ 형식을 채택하며, 미국의 실제 1대1 수학 튜터링 수업 녹취록을 기반으로 한다. 경험 많은 수학 교사가 이 대화 기록을 하나씩…
실제 음성 평가: VoiceEQ로 인간 기준을 활용한 AI 음성 품질 정량화
AI 뉴스 속보: 음성 AI가 텍스트를 빠르게 대체하며 인간-기계 상호작용의 주요 인터페이스로 자리 잡고 있으며, 고객 서비스, 의료, 교육, 엔터테인먼트, 개인 비서 등 다양한 시나리오를 아우르고 있다. 지난 몇 년간 음성 모델은 크게 발전했다—단어 오류율은 계속 낮아지고, 지연 시간은 실제 대화에 근접한 속도에 도달했으며, 기존 평가 기준 다수도 점차 포화 상태에 이르고 있다. 하지만 실제 사용자는 여전히 음성 AI에서 ‘뭔가 이상한’ 느낌을 받는다…