이 글은 JudyAI Lab의 AI 엔지니어링 시리즈 중 하나입니다 — 100편 이상 발행된 가이드, 60개국 5,000명 이상의 주간 독자가 읽는 콘텐츠로, AI 에이전트·트레이딩 시스템·콘텐츠 파이프라인의 실전 운영에 초점을 둡니다.
요즘 들어 똑같은 갈림길을 계속 목격하고 있다—팀이 범용 API(GPT, Gemini)를 바로 연결해 내부 소형 도구를 만들려 하는데, 이유는 늘 똑같다. ‘편하다’, ‘빠르다’, ‘유지보수가 필요 없다’.
하지만 이 길의 결말을 나는 너무 많이 봤다. 팀에는 자체 SOP와 승인 프로세스, 고유한 용어 선호가 있는데, 훈련되지 않은 범용 모델을 그대로 연결하면 답변이 영 어색해져서 오히려 수정하는 데 더 많은 시간을 쓰게 된다.
이는 많은 기업이 AI를 도입할 때 마주치는 현상이다. 실패의 원인은 AI가 충분히 강력하지 않아서가 아니라, ‘모든 사람을 위한 AI’를 쓰면서 ‘자신들만 마주치는 문제’를 해결하려 했기 때문이다.
범용 AI가 나쁜 게 아니라, 그 AI가 당신을 모를 뿐이다
범용 모델은 막 면접을 보러 온 우등생과 같다. 뭐든 조금씩 알고 있지만, 당신 회사 고객이 보통 무엇에 불만을 갖는지, 제품의 반품 프로세스가 무엇인지, 내부에서 ‘온라인’ 대신 ‘가동’이라는 표현을 쓰는 소소한 디테일까지는 모른다.
“우리 환불 정책이 뭐야?“라고 물으면, 그럴듯하게 들리지만 완전히 틀린 답변을 꾸며낼 뿐이다.
내 팀도 처음에 이 함정을 밟은 적이 있다. 카피 작성 에이전트에게 Judy의 글쓰기 스타일 샘플을 충분히 주지 않았더니, 결과물은 한 글자 한 글자 다 맞지만 읽어보면 전혀 내 글 같지 않았다. 독자들은 한눈에 알아챘다. 이건 Judy가 쓴 게 아니라고. 통조림 맛이 났다.
그 느낌은 아무것도 못 쓰는 것보다 더 나빴다. AI 팀을 구성하고 있다면, AI 에이전트 팀 구축하기에서 더 자세한 내용을 확인할 수 있다.
AI를 ‘자기 사람’으로 훈련한 기업들이 제대로 한 세 가지
최근 몇 가지 실제 사례를 추적해보니, 성공한 기업들은 모두 같은 일을 하고 있었다. AI를 외부 도구로 취급하지 않고, 직원처럼 훈련했다는 것이다.
첫 번째 사례는 Wagestream이다. 영국의 직원 복리후생 서비스 기업으로, Google Gemini를 내부 고객 서비스 시스템에 연결했다. 도입 후 80% 이상의 내부 문의(급여일 확인, 잔액 조회, 복리후생 정책 질문 포함)를 실제 사람 없이 처리할 수 있게 됐다. 단, 그 전제로 자사 정책, 프로세스, 용어를 모두 모델에 집중적으로 학습시키는 데 많은 시간을 투자했다. ‘AI를 설치한 것’이 아니라, ‘AI에게 Wagestream 직원이 되는 법을 가르친 것’이다.
두 번째 사례는 Sephora Virtual Artist다. 화장품 질문에 답하는 범용 챗봇이 아니라, Sephora 자체 제품의 색상 코드, 성분, 피부톤별 적합성을 학습한 전용 모델이다. 그래서 추천하는 립스틱이나 파운데이션은 실제로 장바구니에 담겨 주문으로 전환된다.
세 번째 사례가 가장 충격적이었다. 어느 기업의 고객 서비스 AI는 실제 도입 후 몇 주 만에 정확도가 95~99.8%에 달했고, 고객 서비스 담당자 한 명이 100만 명 이상의 고객 지원 요청을 관리할 수 있게 됐다. 이 수치를 처음 봤을 때 나도 잠시 멍했다.
하지만 돌이켜 보면, 내가 여섯 명의 AI 에이전트로 JudyAI Lab 전체를 운영하는 것과 본질적으로 같은 이야기다. 차이는 규모뿐이다.
OpenAI 수준의 예산 없이도 맞춤형 AI를 만들 수 있다
‘맞춤형 AI 모델’이라는 말을 들으면 겁부터 먹는 경우가 많다. 수백만 달러가 들고, 엔지니어 팀을 꾸려야 하고, 자체 대형 모델을 훈련해야 한다고 생각하는 것이다.
그럴 필요 없다.
내 팀의 미미, 아다, 릴리, 샤오웨—이들 중 누구도 ‘새로 훈련한’ 대형 모델이 아니다. 본질적으로는 모두 기존의 Claude나 MiniMax 구독 플랜을 사용하지만, 나는 그들에게 세 가지 핵심 요소를 제공했다.
첫째는 정체성이다. 각 에이전트에게는 자신이 누구인지, 어떤 성격인지, 어떤 말투를 쓰는지 명시한 SOUL 파일이 있다. 릴리와 아다는 분명히 다른 사람이며, 헷갈릴 일이 없다.
둘째는 맥락이다. JudyAI Lab의 SOP, 나의 글쓰기 스타일, 과거의 의사결정 내역이 모두 그들이 언제든 조회할 수 있는 기억으로 변환되어 있다. 신입 직원이 3개월에 걸쳐 익히는 것을 그들은 켜자마자 알고 있다.
셋째는 피드백 루프다. 결과물을 내면 검토를 받고, 반려되고, 지적도 받는다—그리고 이 모든 것이 기록되어 다음에는 같은 실수를 반복하지 않는다.
이 세 가지를 합치면 곧 맞춤화다. 기술 문제가 아니라 설계 문제다. 실제 운영 사례가 궁금하다면 AI와 인간의 협업 방식을 참고하자.
진짜 장벽은 돈이 아니라, 명확하게 설명할 의지가 있느냐다
대부분의 기업이 맞춤형 AI를 못 만드는 이유는 능력의 문제가 아니라, 회사의 노하우를 제대로 설명한 사람이 아무도 없었기 때문임을 알게 됐다.
대표에게 ‘우리 서비스의 차별점이 뭐예요?‘라고 물으면, 5분 동안 마케팅 멘트만 늘어놓는다.
고객 서비스 팀장에게 ‘반품 처리 SOP가 어떻게 되나요?‘라고 물으면, ‘그냥 그렇게 하는 거죠’라는 답이 돌아온다.
영업 담당자에게 ‘고객들이 보통 어떤 걸 물어봐요?‘라고 하면, ‘다 달라서 말하기 어렵다’고 한다.
AI는 ‘다 달라서 말하기 어렵다’를 배울 수 없다. AI가 학습하는 건, 당신이 시간을 들여 정리한 구체적인 시나리오, 구체적인 답변, 구체적인 용어다.
그래서 AI 도입에 성공한 기업들을 보면 하나같이 공통점이 있다. 먼저 자신들을 명확히 정의했고, 그 다음에야 AI가 그들의 모습을 갖출 수 있었다는 것이다.
AI 도입은 단순한 기술 업그레이드가 아니다. 자신을 다시 정리하도록 강제하는 기회다.
갑자기 떠오른 단상이다.
자주 묻는 질문 FAQ
맞춤형 AI 모델이란 무엇인가요? ChatGPT를 바로 쓰는 것과 어떻게 다른가요?
맞춤형 AI는 범용 대형 모델에 회사의 정체성 설정, 지식 맥락, 피드백 메커니즘을 더해 당신의 말투와 SOP에 따라 답변하게 만드는 것이다. ChatGPT를 바로 쓰는 것은 방금 입사한 우등생을 고용하는 것과 같다. 뭐든 조금씩 알지만 당신의 제품, 고객, 환불 정책은 모른다. 맞춤화된 AI는 훈련된 내부 직원처럼 회사 스타일에 맞는 결과물을 바로 납품할 수 있다.
중소기업은 큰 예산 없이 맞춤형 AI를 어떻게 만들 수 있나요?
대형 모델을 새로 훈련할 필요 없이 세 단계로 구현할 수 있다. 첫째, AI의 정체성과 말투를 정의하는 SOUL 파일을 작성한다. 둘째, 회사 SOP, 과거 의사결정, 글쓰기 스타일을 검색 가능한 기억 저장소로 정리한다. 셋째, 검토 및 반려 피드백 루프를 구축해 오류가 기록되고 수정되도록 한다. 기존 Claude나 MiniMax 구독에 이 세 가지 설계를 더하면 전용 AI를 만들 수 있다.
왜 많은 기업이 AI 도입에 결국 실패하나요?
실패의 핵심 원인은 모델의 성능 부족이 아니라, 회사가 자신의 노하우를 한 번도 명확히 설명한 적이 없다는 데 있다. 대표는 진짜 차별점을 말하지 못하고, 팀장은 SOP를 ‘그냥 그렇게’로 요약하며, 영업 담당자는 고객 질문이 ‘다 달라서 말하기 어렵다’고 한다. 이런 모호한 암묵적 지식은 AI가 학습할 수 없다. AI 도입의 진짜 장벽은 문서화와 시나리오화다.
맞춤형 AI를 만들려면 대형 모델을 새로 훈련해야 하나요? 비용은 얼마나 드나요?
대부분의 시나리오에서는 처음부터 대형 모델을 훈련할 필요가 없다. 실제로 효과적인 방법은 기존 API에 프롬프트 엔지니어링, RAG 검색, 파인튜닝 소규모 미세 조정을 더하는 것으로, 비용은 월 수십에서 수백 달러 수준으로 낮출 수 있다. 기반 모델을 새로 훈련하면 수백만 달러가 드는 경우도 있어, 데이터 규모가 매우 크고 요구사항이 극도로 특수한 경우에만 적합하다.
어떤 기업이 맞춤형 AI 도입에 가장 적합한가요?
적합한 상황은 고객 문의가 고도로 반복적이고, 내부 지식 문서가 잘 갖춰져 있으며, 제품에 명확한 SOP가 있는 기업이다. 이커머스 고객 서비스, 직원 복리후생 플랫폼, 기술 지원 팀이 대표적이다. 비즈니스 로직이 아직 정착되지 않았거나, 의사결정이 개별 사례 판단에 의존하거나, 데이터가 여기저기 흩어져 있고 정리할 사람이 없는 조직에는 권장하지 않는다. 먼저 프로세스를 문서화하는 것이 선행되어야 한다.