“다 혼자 한다"에서 “팀을 관리한다"로
반년 전, 저는 여전히 모든 걸 혼자 하고 있었습니다. 매일 몇 시간씩 일했지만, 산출물은 항상 아이디어를 따라잡지 못했습니다.
그래서 실험을 했습니다. AI를 단순한 도구가 아닌, 진짜 팀으로 구축해보기로 한 것이죠.
“ChatGPT한테 카피 좀 써달라” 수준이 아닙니다. 실제로 분업이 있고, 보고 체계가 있고, 품질 검수가 있고, 매일 자동으로 운영되는 시스템입니다.
결과요? 제품 개발 속도가 몇 배나 빨라졌습니다. 하지만 더 중요한 건, 제 역할이 완전히 바뀌었다는 것입니다.
매일 직접 머리 숙이고 만들던 것에서, 매일 보고서를 보고, 의사결정을 하고, 품질을 검수하는 것으로 말이죠.
아키텍처: Agent가 많다고 좋은 게 아니다
처음에 저도 많은 사람들이 하는 실수를 했습니다. 많으면 좋다고 생각한 거죠. Agent를 잔뜩 데려와서 각각에게 엄청난 양의 지시를 줬습니다. 결과는 완전 혼란이었어요. Agent끼리 서로 모순되고, 산출물 품질은 오히려 더 나빠졌습니다.
나중에 안정적인 아키텍처를 찾아냈는데, 대략 4계층입니다:
1계층: 당신(의사결정자). 이 계층은 AI로 대체할 수 없습니다. 제품 방향, 우선순위, 최종 품질 판단은 당신의 몫입니다.
2계층: 관리 Agent. 당신의 결정을 구체적인 업무로 번역하고, 실행 계층에 배분한 뒤, 진행 상황과 품질을 추적합니다. 이 역할은 전체를 이해해야 하므로 가장 똑똑한 모델이 필요합니다.
3계층: 실행 Agent. 각 Agent가 하나에 전문화됩니다. 코딩하는 Agent, 콘텐츠 만드는 Agent, 시장 조사하는 Agent, 테스트 전담 Agent. 전문가가 항상 제너럴리스트보다 신뢰할 수 있습니다.
4계층: 자동화 스크립트. AI가 필요 없는 일에 AI를 낭비하지 마세요. 정기 작업, 포맷 검사, 배포 프로세스는 일반 스크립트로 충분합니다.
이 아키텍처의 핵심 사상은: 정말로 지능이 필요한 곳에 AI를 쓰고, 나머지는 가장 단순한 방법으로 해결하는 것입니다.
품질 게이트: AI가 “완료했다"는 말을 믿으면 안 된다
이것은 제가 겪은 가장 아팠던 실수이자, 가장 중요한 교훈이라고 생각합니다.
AI Agent가 “완료했습니다”, “테스트 통과했습니다”, “품질 문제없습니다"라고 하면 — 그대로 믿으면 안 됩니다.
한번은 Agent가 도구가 완성됐고 테스트 전부 PASS라고 보고했습니다. 별 생각 없이 출시하려고 했는데, 직접 열어서 실행해보니 시작조차 안 되고 에러만 잔뜩이었습니다.
그 일 이후로 품질 게이트 시스템을 만들었습니다:
- Agent 완료 → 자동화 검사부터. 포맷, 문법, 보안 — 기계가 잡을 수 있는 건 기계가 먼저 잡게 합니다.
- 전문 Agent 리뷰. 독립적인 Agent가 검토합니다. 회사의 코드 리뷰와 같은 개념입니다.
- QA Agent 채점. 기준 점수를 설정하고, 미달이면 반려해서 다시 하게 합니다.
- 본인 최종 확인. 최소한 하나는 직접 확인하고, 직접 실행해서 검증합니다.
4단계를 모두 통과해야 진짜 완료입니다.
이 프로세스가 무거워 보이나요? 하지만 여러 번 저를 구해줬습니다. 품질 게이트 없는 AI 팀의 산출물 품질은 미끄럼틀처럼 아래로 떨어집니다.
업무 배분: 분해하는 법을 배우는 게 핵심 능력이다
AI 팀을 관리하는 것은 사람 팀을 관리하는 것과 한 가지가 완전히 같습니다: 당신의 병목은 항상 분업입니다.
처음에는 뭐든 다 직접 했습니다. 결과는 — 제가 가장 바쁜 사람이 되고, 다른 Agent들은 전부 저를 기다리고 있었습니다. 팀의 생산성이 완전히 저 자신에게 막혀 있었죠.
나중에 스스로 습관을 만들었습니다: 업무를 받으면 첫 번째 질문은 “어떻게 할까"가 아니라 “이걸 누구에게 분배할까"입니다.
업무를 분해하는 원칙이 몇 가지 있습니다:
- 하나의 업무는 하나의 Agent에게만. 책임이 불분명하면 서로 떠넘기게 됩니다.
- 수정 가능한 파일 범위를 명확히 명시. 그렇지 않으면 Agent가 건드리지 말아야 할 것까지 바꿔버립니다.
- 검수 기준을 명확히 작성. “잘 해"는 최악의 지시입니다. “기능 A가 정상 실행, 반환 형식이 X와 일치, 에러 처리에 Y 포함"이 좋은 지시입니다.
또 하나의 냉정한 진실: 같은 업무를 3번 반려해도 여전히 안 되면, 다른 Agent로 교체하세요. 무한 수정 루프에 빠지지 마세요.
아무도 말해주지 않는 것들
관리 비용은 실재합니다. 많은 사람들이 AI를 쓰면 시간이 절약된다고 생각합니다. 틀렸습니다. 절약되는 건 실행 시간이고, 관리 시간이 추가됩니다. 보고서 확인, 품질 검수, 진행 추적, Agent 문제 처리 — 이 모든 것에 시간이 듭니다.
차이점은: 예전에는 저가치 반복 작업에 시간을 썼고, 지금은 고가치 의사결정과 품질 관리에 시간을 씁니다. 똑같이 바쁘지만, 산출물의 가치가 완전히 다릅니다.
단순한 커뮤니케이션 메커니즘이 복잡한 것보다 낫습니다. Agent 간 다양한 통신 방식을 시도해봤는데, 가장 안정적인 건 가장 단순한 것 — 파일 시스템이었습니다. 한 Agent가 지정된 위치에 결과를 쓰고, 다른 Agent가 읽습니다. 복잡한 API 연동이 필요 없습니다. 단순한 아키텍처는 잘 고장나지 않습니다.
메모리 시스템이 중요합니다. Agent가 지난번에 뭘 했는지 기억 못 하고 매번 처음부터 시작하면 효율이 매우 떨어집니다. 지속적인 메모리 메커니즘을 구축하는 것 — Agent가 저질렀던 실수, 배운 교훈, 프로젝트 맥락을 기억하게 하는 것 — 이 전체 시스템이 점점 더 잘 돌아가게 만드는 핵심입니다.
이것은 인간을 대체하는 게 아니라, 한 사람의 능력을 증폭하는 것이다
제 현재 일상은 대략 이렇습니다: 아침에 일어나 보고서를 확인하고, 어젯밤 Agent가 자동으로 완료한 것과 제 결정이 필요한 것을 파악합니다. 한두 시간 동안 품질을 검수하고, 우선순위를 조정하고, 새 업무를 배분합니다. 그런 다음 진짜 하고 싶은 일을 합니다 — 제품 방향을 고민하거나, 시장 기회를 연구하거나, 아니면 그냥 삶을 즐깁니다.
혼자서 AI 팀을 이끌고 제품을 개발하는 것은 SF 속 이야기가 아닙니다. 하지만 버튼 하나 누르면 자동으로 돌아가는 마법도 아닙니다.
그보다는 — 시스템을 구축하는 데 시간을 들이고, 그 시스템이 매일 대신 실행해주는 것에 가깝습니다. 시스템이 성숙해질수록 유지보수에 드는 시간은 줄고, 할 수 있는 일은 늘어납니다.
핵심은 AI가 얼마나 강한지가 아닙니다. 당신이 신뢰할 수 있는 시스템을 구축하는 데 시간을 투자할 의향이 있는지, 그리고 시스템을 신뢰하면서도 검증할 수 있는지입니다.
이 시대, 한 사람과 AI 팀이면 예전에 소규모 팀이 해야 했던 일을 정말로 해낼 수 있습니다.
전제 조건은, 당신이 지휘관이 되는 법을 배우고, 더 이상 노동자로 남지 않는 것입니다.