과적합

Almanak가 Agentic DeFi 플랫폼을 출시했다. 한 마디 말이면 AI 에이전트 무리가 감사 가능하고 백테스트 가능하며 온체인에 배포 가능한 퀀트 전략을 만들어낸다. 하지만 저자는 직접 에이전트 트레이딩 시스템을 실전 운영해본 경험을 바탕으로, 권한 보안이 곧 전략 보안은 아니며 백테스트가 아름답다고 실제 돈을 벌어준다는 보장도 없다고 지적한다. 진짜 위험은 과적합과 멀티 에이전트 협업의 숨은 비용에 숨어 있다.

장부상 승률 87.5%의 페이퍼 트레이딩 전략이 Z-score 통계 검증 결과 p값이 0.24에 달해 동전 던지기와 통계적 차이가 없었다. 베이지안 조정과 과적합 지수(OFI)를 통해 33건의 실거래 데이터로 전략 판정 로직을 구축하고, 소표본 고승률의 착각 함정을 피하는 방법을 소개한다.

평균 회귀 전략을 개발했습니다. 백테스팅에서 8개 조합 중 3개가 100% 승률을 기록했죠. 그런데 아웃오브샘플 검증을 돌렸더니, 100%가 25%로 폭락했습니다. 무슨 일이 벌어졌는지 들려드립니다.