백테스트가 실제보다 좋아 보이는 5가지 이유

백테스트에서 잘 나온 전략이 실계좌에서 무너지는 일은 예외가 아니라 기본값에 가깝습니다. 대부분 아래 다섯 가지 중 하나 이상 때문입니다.

1. 과최적화 (커브 피팅)

가장 흔하고 가장 알아채기 어렵습니다.

파라미터를 이리저리 바꿔가며 제일 좋은 조합을 찾는 순간, 여러분은 전략을 만든 게 아니라 과거 데이터의 우연한 요철에 맞는 모양을 깎은 것입니다. 매수 트리거를 −1.0%에서 −1.1%로 바꿨더니 수익률이 확 올랐다면, 그건 발견이 아니라 소음입니다.

증상은 이렇습니다.

건강한 전략은 파라미터 주변에서 완만한 고원을 만듭니다. −1.0%가 좋으면 −0.9%와 −1.1%도 비슷하게 좋아야 합니다. 뾰족한 봉우리 하나만 튀어나와 있으면 그 값은 미래에 재현되지 않습니다.

확인 방법은 파라미터를 ±20% 흔들어보는 겁니다. 결과가 반토막 나면 그 전략은 쓸 수 없습니다.

그날 종가를 보고 그날 시가에 샀다고 계산하는 식의 오류입니다. 명백해 보이지만 실제 코드에서는 훨씬 교묘하게 숨습니다.

원칙은 하나입니다. 판단에 쓰는 값은 판단 시점에 확정돼 있어야 합니다. 전일 종가로 판단하고 당일 종가에 체결하는 방식이 가장 안전합니다.

미래참조가 있으면 백테스트 수익률이 비현실적으로 좋게 나옵니다. 연 수익률이 100%를 넘는다면 전략이 천재적인 게 아니라 코드에 미래참조가 있을 가능성이 훨씬 높습니다.

지금 존재하는 종목만 가지고 과거를 테스트하면, 이미 망해서 상장폐지된 종목들이 표본에서 빠집니다. 결과가 좋게 나오는 게 당연합니다.

레버리지 ETF에서는 형태가 조금 다릅니다. 상품 자체가 언제 생겼는지를 봐야 합니다.

즉 이 상품들로는 2008년 금융위기를 테스트할 수 없습니다. 데이터가 없습니다. "20년 백테스트"라고 해놓고 실제로는 2010년 이후 강세장만 본 것일 수 있습니다. 그리고 2010년 이후는 역사적으로 유례없이 좋았던 구간입니다.

기초 지수로 합성 데이터를 만들어 더 긴 기간을 테스트하는 방법도 있지만, 그 경우 운용보수와 일간 리밸런싱 비용을 반영해야 하고, 결과의 신뢰도는 그만큼 떨어집니다.

백테스트는 원하는 가격에 원하는 수량이 항상 체결된다고 가정합니다. 실제로는 아닙니다.

슬리피지. 종가에 사겠다고 했지만 실제 체결가는 조금 위입니다. 매매가 잦은 전략일수록 이게 누적됩니다. 하루에 한 번 매매하는 전략이라면 왕복 0.1%만 밀려도 연간 수십 %가 사라질 수 있습니다.

수수료와 세금. 미국 주식은 매도 시 증권거래세가 없지만 양도소득세가 있습니다. 분할매수 전략처럼 회전율이 높으면 세후 수익률이 크게 달라집니다. 백테스트 숫자는 대부분 세전입니다.

호가 공백. 급락장에서는 원하는 가격에 물량이 없습니다. 정작 전략이 사야 한다고 말하는 그 순간이 가장 체결이 어려운 순간입니다.

간단한 점검: 수수료율을 0.1%에서 0.3%로 올려보세요. 수익이 사라진다면 그 전략은 거래 비용에 잡아먹히는 전략입니다.

가장 근본적인 문제입니다. 전략은 특정 시장 환경에서 작동하도록 만들어지는데, 백테스트 기간이 그 환경 하나만 담고 있으면 성능을 검증한 게 아닙니다.

분할매수 전략은 오르내리다 회복하는 시장에서 강합니다. 떨어질 때 사서 반등에 파니까요. 반대로 회복 없이 계속 흘러내리는 시장에서는 물량만 계속 늘어납니다.

2010~2021년만 테스트하면 이 약점이 드러나지 않습니다. 그 기간은 조정이 오면 대체로 빠르게 회복됐기 때문입니다. 2022년처럼 1년 내내 흘러내린 해를 반드시 포함시켜야 합니다.

포함시켜야 하는 구간들입니다.

연도별로 나눠보면 전략의 성격이 드러납니다. 좋은 해와 나쁜 해가 골고루 섞여 있어야 하고, 한 해가 전체 수익을 다 만들었다면 다시 봐야 합니다.

백테스트로 알 수 있는 건 "이 전략이 미래에 얼마나 벌까"가 아닙니다. "이 전략이 과거의 특정 상황에서 어떻게 행동했는가"입니다. 그것만으로도 충분히 가치가 있지만, 그 이상을 기대하면 안 됩니다.