정부 절차를 밟아 본 사람이라면 아마 공감할 겁니다. 가장 힘든 건 자료 조사가 아니라 ‘제출’ 버튼을 누르기 직전의 그 한 단계입니다. 서류 한 장이 빠지거나 칸 하나를 잘못 채우면 다시 한 번 헛걸음을 해야 하니까, 대부분은 처음부터 끝까지 직접 한 번 더 확인합니다.

OpenAI의 LifeVal 발표를 보고 제일 먼저 떠올린 게 바로 이 일이었습니다.

이 테스트는 정확히 무엇을 평가하나

LifeVal은 OpenAI가 11월 2일 공개한 새 평가로, AI가 보통 사람의 생활 잡무를 처리할 수 있는지 측정합니다. 어린이집 찾기, 장보기, 정부 복지 신청, 아픈 가족 돌보기처럼 한 단계씩 차근차근 처리해야 하는 일들입니다.

문제를 가져온 방식은 꽤 공을 들였다고 생각합니다. OpenAI는 미국과 여러 나라의 시간 사용 조사를 참고해 사람들이 하루 시간을 어디에 쓰는지 살폈고, 3995명에게 AI가 어떤 일을 가장 처리해 주면 좋겠는지 직접 물었습니다. 그래서 육아, 의료, 쇼핑, 재테크, 교육 같은 영역을 다룹니다. 시험 문제가 아니라 일상입니다.

80.6점, 하지만 곡선은 이미 평평해졌다

OpenAI 차트를 보면 GPT-5.2가 49.3점, GPT-5.4가 73.0점으로 뛰고, GPT-5.5가 77.4점, GPT-5.6이 80.0점, 최신 GPT-6 Astra가 80.6점입니다.

이 숫자들을 두 번 훑어봤습니다. GPT-5.2에서 5.4까지 24점 가까이 올랐습니다. 그 뒤 세 세대를 다 합쳐도 7.6점 오른 게 전부이고, 최신 세대는 직전 세대보다 겨우 0.6점 높습니다.

그러니 제목의 80.6점은 사실이지만, 그 숫자가 들려주는 이야기는 ‘AI가 살림을 점점 더 잘한다’가 아닙니다. ‘앞부분은 빨리 배웠고, 뒤로 갈수록 더 어려운 작은 영역에서 막히고 있다’에 가깝습니다.

100점 받은 집 구하기, 어디까지 한 걸까

공식 페이지에는 고득점 사례가 몇 가지 올라와 있습니다. BlockBeats 정리에 따르면, 한 가족의 집 구하기에서 100점을 받았을 때 AI는 예산과 통근 조건에 맞는 매물을 찾고, 부동산 거래세를 계산하고, 관련 서류를 장바구니에 담아 사용자 검토로 넘겼습니다. 이사 후 어린이집 고르기는 93.1점이었고, AI가 후보 학교 세 곳을 추려 입학 정보를 정리했습니다. (공식 페이지는 이번에 직접 읽지 못해, 이 사례의 세부 내용은 2차 정리를 기준으로 합니다.)

제가 눈여겨본 건 그 동사입니다. ‘장바구니에 담아 사용자 검토에 맡긴다.’

이 100점이 해낸 일은 ‘버튼만 누르면 되는 상태까지 전부 준비해 두는 것’입니다. 그런데 글 첫머리에서 말한 가장 힘든 부분이 하필 그 버튼을 누르기 직전에 있습니다. AI가 9할을 해 놓아도 선뜻 믿지 못해 처음부터 다시 확인해야 한다면, 아낀 시간은 점수가 보여 주는 만큼 크지 않습니다. 이 테스트는 ‘준비’는 점수에 넣었지만 ‘안심’은 점수 밖에 남겨 두었습니다.

직접 출제하고 직접 채점한다

한 가지는 분명히 짚어야 합니다. LifeVal은 OpenAI가 직접 설계하고 직접 판정하는 내부 테스트이고, 지난 1년간 모델 개선을 이끄는 데 이미 쓰였으며, 공개된 것도 자사 모델 점수뿐입니다.

과제가 모두 몇 개인지, 평균 점수를 어떻게 매겼는지, 고정된 채점 기준이 있는지, 실제 웹사이트에서 돌렸는지 테스트용 복제본에서 돌렸는지는 지금까지 공개되지 않았습니다. 또 공식적으로 여섯 개 과제는 GPT-6 Astra가 ‘가장 잘한 한 번’에 100점을 받았다고 하는데, 이는 최고 기록이지 평균이 아닙니다.

자기 문제로 자기 발전을 추적하는 건 내부 테스트라면 원래 해야 할 일입니다. 하지만 80.6점으로 ‘AI가 이제 우리 집 일을 도와줄 수 있나’를 판단하려는 거라면, 저는 일단 멈춰서 생각해 보겠습니다.

곡선이 평평해진 건 마지막 단계 때문일 것 같다

앞부분 곡선이 왜 평평해졌는지 공식적인 설명은 없고, 아래는 제 추측입니다. 앞에서 빠르게 익힌 건 아마 자료 조사, 비교, 정리 같은 ‘준비’ 작업일 겁니다. 뒤에서 막힌 건 되돌릴 수 없는 행동, 그리고 현실에 있는 규칙에 적히지 않은 예외들일 가능성이 큽니다. 이런 건 몇 차례 더 학습시켜도 점수가 오르지 않을 수 있습니다. 어려운 부분이 이미 정답을 아는 것이 아니고, 테스트가 100점을 줘도 현실의 마찰은 사라지지 않기 때문입니다.

직접 AI로 일을 시킨다면

자동화를 만들 때는 처음부터 끝까지 완전 자동을 노리기보다 일부러 ‘장바구니’를 하나 남겨 두는 편이 낫습니다.

AI가 자료 조사, 계산, 초안 작성을 모두 끝내 확인 대기 영역에 넣어 두되, 제출하는 순간만큼은 반드시 사람 손에서 멈추게 하는 겁니다. 조정의 핵심도 AI를 더 똑똑하게 만드는 게 아니라 검토를 더 빠르게 만드는 쪽입니다. 모든 결론에 출처 링크를 붙이고, 확실하지 않은 부분은 AI가 스스로 표시하게 하면 사람은 빨갛게 표시된 부분만 보면 됩니다.

자신의 작은 사업을 자동화하고 있다면 이것부터 생각해 보세요. 내 업무 흐름에서 누르는 순간 되돌릴 수 없는 단계는 어디인가? 그 단계 전까지는 AI가 100점을 받아도 상관없습니다.

LifeVal 점수에서 제가 보는 것은 바로 이 점입니다.