이 글은 JudyAI Lab의 AI 엔지니어링 시리즈 중 하나입니다 — 100편 이상 발행된 가이드, 60개국 5,000명 이상의 주간 독자가 읽는 콘텐츠로, AI 에이전트·트레이딩 시스템·콘텐츠 파이프라인의 실전 운영에 초점을 둡니다.
백테스팅 승률 86%, 30일 샘플——우리 trading pipeline이 이 단계에서 수치는 아름답습니다. 하지만 이런 리포트를 볼 때마다 첫 번째 생각은 “실전 준비 완료"가 아니라 “서두르지 말고 실거래로 확인하자"입니다.
몇 달째 같은 일을 반복하고 있습니다. AI가 전략에서 멋진 수치를 뽑아내고, 그다음 정작 어려운 부분에서는 AI가 그 자리에 멈춰 서 있고 내가 혼자 앞으로 나아가야 합니다.
아이디어에서 전략으로 가는 길, 그 사이에는 깊은 골짜기가 있다
처음 시작했을 때를 기억합니다. RSI에 대한 이해는 교과서 수준이었습니다: 과매수·과매도, 70 돌파 시 공매도·30 이탈 시 매수. 이게 너무 단순하다는 건 알았지만, ‘복잡하게 만드는’ 방향이 어디여야 하는지 몰랐습니다.
여기서 많은 사람들이 인식하지 못하는 단절이 있습니다: “이 시장 상태에서는 이렇게 움직일 것 같다"는 감각을 “프로그램이 실행할 수 있는 로직"으로 바꾸는 과정은 기술적 문제가 아니라 사고의 문제입니다.
“RSI와 추세 조합"이라고 말할 때, 프로그램은 ‘추세’를 어떻게 정의해야 할까요? 이동평균? 어떤 기간? 레짐 탐지? 전환 기준은? 구어적 표현 하나하나 뒤에는 정확히 정의해야 할 변수가 세 개씩 있습니다.
AI는 이 단계에서 실제로 도움이 됐습니다. 아이디어를 J(우리 팀 내부 AI 협업자)에게 던지면, J가 이렇게 분해해 줍니다: “말씀하신 것에는 세 가지 가능한 구현 방법이 있는데, 어떤 쪽을 원하시나요?” 코드를 짜는 게 아니라, 막연한 직관을 테스트 가능한 가설로 바꿔주는 역할입니다.
하지만 “이 시장 상태에서 어떻게 해야 하는가"라는 판단은 J가 대신할 수 없습니다. 그 판단은 내가 차트를 얼마나 오래 봤는지, 얼마나 많이 손실을 봤는지, 시장 구조에 대해 어떤 직관을 쌓았는지에서 나옵니다——이 부분은 AI가 채울 수 없습니다. AI와 인간 협업의 본질 글에서도 반복적으로 검증한 것과 같은 이야기입니다.
AI가 실제로 유용한 세 가지 구간
명확히 한 뒤, AI가 실제로 많은 시간을 절약해 준 부분을 이야기하겠습니다.
첫째, 신호 설계 구간에서 J의 속도는 놀라울 정도입니다. “RSI와 거래량 급증 조합을 보고 싶다, 변동성 환경별로 성과 차이가 있는지 보자"고 말하면, 약 10분 만에 초안 레짐 분류 로직을 줍니다. 시장 상태를 저변동·중변동·고변동 세 가지로 나누고, 각 상태에서 RSI 신호 발동 조건을 다르게 설정하는 식입니다.
제가 직접 짰다면 오후 내내 걸렸을 테고, 제대로 됐다는 보장도 없었을 겁니다.
둘째, 파라미터 스캔은 AI가 내 업무 방식 자체를 바꿔놓았습니다. 예전엔 “RSI는 14기간, 다들 그러니까"였습니다. 이제는 그리드 스캔을 돌립니다——RSI 기간을 7에서 21까지, 각 레짐별 진입 조건 임계값을 하나씩 테스트하고, 어떤 조합이 가장 높은 샤프 비율과 최소 드로다운을 보이는지 확인합니다. 이 작업을 수작업으로 하면 며칠이 걸립니다. J가 하룻밤 돌리면 아침에 데이터가 모두 나와 있습니다.
셋째, 이상 디버깅도 마찬가지입니다. 한번은 백테스팅 결과가 갑자기 치솟아 승률이 60%에서 92%로 뛰었습니다. 첫 반응은: “어딘가 문제가 있다.” J가 확인해 보니 look-ahead bias——미래 데이터를 사용하고 있었던 겁니다. 이런 버그는 코드에서 직접 찾기가 매우 어렵지만, J는 10분 만에 찾아냈습니다.
지표 자체의 유효성 한계에 대해서는 이전에 Bitcoin 볼린저 밴드의 현실 검증에서 다뤘습니다——아무리 좋은 지표도 레짐 없이는 노이즈일 뿐입니다.
하지만 AI가 정말로 못 도와주는 것들
이게 제가 실제로 하고 싶은 이야기입니다.
전략 철학은 외주를 줄 수 없습니다.
전략 철학이란 무엇인가요? 전략을 설계할 때 시장의 본질에 대해 자신이 믿는 것입니다. 시장이 평균 회귀적인지 추세 지속적인지? RSI 과매도가 기회인지 함정인지? 전략 전체의 논리가 어떤 핵심 가설 위에 세워져 있는지?
이 질문에 AI가 답을 줄 수 없는 이유는, 시장에 대한 본인의 판단이 필요하기 때문입니다. J는 “평균 회귀 가설이라면 전략이 어떻게 되는지” 테스트할 수 있지만, 어떤 가설이 맞는지는 말해줄 수 없습니다.
리스크 경계도 마찬가지입니다.
우리 규칙은: 단건 최대 손실 2%, 연속 손실이 일정 횟수를 넘으면 포지션 축소, 월 드로다운이 임계값을 초과하면 즉시 중단. 이 숫자들은 구체적으로 보이지만, 배경에는 내가 얼마나 많은 고통을 감당할 수 있는가의 문제가 있습니다. J가 다양한 리스크 컨트롤 파라미터 하에서 최악의 시나리오를 시뮬레이션해 줄 수는 있지만, 내가 어떤 최악의 상황을 견딜 수 있는지는 말해줄 수 없습니다. 동적 리스크 조정 로직에 대해서는 적응형 리스크 컨트롤 메커니즘에서 더 자세히 다뤘습니다.
그리고 실거래 시작 그 관문.
가장 설명하기 어려운 부분입니다. 백테스팅 86% 승률, 페이퍼 트레이딩 30일——수치는 모두 괜찮다고 합니다. 그런데 실거래 버튼을 누르는 그 순간, 감각이 완전히 다릅니다. 이성적으로 리스크가 있다는 게 아니라, “이건 진짜 돈"이라는 원초적인 감각입니다.
AI는 이 관문을 넘어서는 데 도움을 줄 수 없습니다. 이 관문은 당신 자신의 것입니다.
5라인 아키텍처는 설계된 게 아니라 시행착오로 만들어졌다
현재 설계는: 라인3에서 백테스팅 검증, 라인1에서 실전 테스트(소규모 포지션), 라인5에서 실거래. 이건 처음부터 생각해낸 구조가 아니라, 몇 번의 시행착오를 겪으면서 서서히 형성됐습니다.
한번은 전략이 백테스팅에서 훌륭했는데, 라인1 테스트에서 문제가 생기기 시작했습니다: 슬리피지가 예상보다 훨씬 크고, 특정 시장 상황에서는 신호를 놓치는 경우도 있었습니다. 실거래로 바로 넘어갔다면 결과는 생각하기 싫습니다. 그때부터 규칙을 확립했습니다: 어떤 전략이든 실거래로 넘어가기 전에, 라인1에서 최소 30일, 승률 ≥ 80%를 달성해야 통과.
폐쇄 루프의 개념도 그때 명확해졌습니다. 실거래에서 손실이 나도 전략을 바로 폐기하지 않습니다. 라인3으로 돌아가 재연구합니다——현재 시장 환경에서 어떤 가설이 실패했는지 찾아내고, 수정 후 전체 과정을 다시 밟습니다. 영원히 나쁜 전략은 없고, 현재 레짐에 맞지 않는 전략만 있을 뿐입니다.
이 전체 아키텍처에서 AI는 매우 중요한 가속기입니다. 하지만 아키텍처 자체는 사람이 설계했고, “이건 아니다, 방향을 바꾸자"는 판단도 사람이 합니다.
AI 보조 트레이딩 개발에 대한 지금의 이해는 이렇습니다: AI는 더 많은 가설을 더 빠르게 테스트할 수 있게 해줍니다. 하지만 그러려면 내가 더 명확한 가설을 가져와야 합니다. 내 생각이 막연하다면, AI는 그것이 막연하다는 것을 더 빠르게 확인해 줄 뿐입니다.
이 주제에 대해 자주 질문을 받아서 정리해 봤습니다.
Judy AI Lab에서 우리는 AI를 가속기로 활용합니다. 진짜 전략 철학, 리스크 경계, 실거래 그 관문은 결국 우리 스스로 통과해야 합니다.
자주 묻는 질문 FAQ
Q1: 트레이딩 아이디어에서 실전 운용까지의 전체 흐름은 무엇인가요?
먼저 라인3에서 백테스팅으로 전략 가설을 검증하고, 통과 후 라인1에서 실전 테스트(소규모 포지션)를 최소 30일 이상, 승률 ≥ 80%로 진행합니다. 그 다음에야 라인5 실거래로 넘어갑니다. 어느 단계에서 실패해도 라인3으로 돌아가 재연구하며 폐쇄 루프를 형성합니다.
Q2: AI가 전략 개발에서 가장 가치 있는 세 가지 구간은 무엇인가요?
첫째는 신호 설계(10분 안에 레짐 분류 로직 도출), 둘째는 파라미터 스캔(그리드 서치 자동 하룻밤 실행), 셋째는 이상 디버깅(look-ahead bias 등 깊은 버그 신속 포착). 이 세 구간에서 절약되는 시간은 며칠에서 몇 시간으로 단축됩니다.
Q3: AI가 전략 철학의 판단을 대체할 수 없는 이유는 무엇인가요?
전략 철학은 시장의 본질에 대한 자신의 믿음입니다——평균 회귀인지 추세 지속인지, RSI 과매도가 기회인지 함정인지. AI는 각 가설의 결과를 테스트할 수 있지만, 어떤 가설을 믿을지 선택하는 것은 트레이더 본인의 시장 이해와 직관적 경험이 필요합니다.
Q4: 실거래 시작 전 가장 어려운 심리적 관문은 무엇인가요?
백테스팅 수치가 아무리 좋고 페이퍼 트레이딩이 아무리 순조로워도, 실거래 버튼을 누르는 순간의 감각은 완전히 다릅니다. “이건 진짜 돈"이라는 원초적인 심리적 압박이며, AI는 이 관문을 넘는 데 도움을 줄 수 없습니다. 반드시 스스로 마주해야 합니다.
Q5: 5라인 트레이딩 아키텍처는 어떻게 형성됐나요?
처음부터 설계된 것이 아니라, 시행착오를 거치며 서서히 형성됐습니다. 전략이 백테스팅에서는 훌륭했지만 라인1 테스트에서 슬리피지와 신호 누락 문제가 발생하면서 단계별 검증 규칙이 확립됐습니다. 라인3 백테스팅 → 라인1 실전 테스트 → 라인5 실거래, 각 단계마다 명확한 통과 기준이 있으며, 실거래에서 손실이 나면 라인3으로 돌아가 재연구합니다.