帳面數字會騙人
我們的 Paper Trading 系統跑了一個月,帳面上看起來漂亮極了:
勝率 87.5%,7 勝 1 負 2 平
看到這數字,一般人的反應是「太棒了,可以上真錢了!」
我們的反應是:「等等,先讓數學說話。」
什麼是 Z-score?
Z-score 本質上就是一個問題:你的成績,跟猜硬幣比,差多少?
$$Z = \frac{\hat{p} - 0.5}{\sqrt{0.5 \times 0.5 / n}}$$
- $\hat{p}$ 是你的勝率
- $n$ 是交易筆數
- 如果 Z > 1.65,代表 95% 信心你比猜硬幣好(p < 0.05)
聽起來很簡單,但大多數交易者從不做這個檢驗。他們看到 70% 勝率就直接上真錢,然後虧光才來問「回測明明很好啊」。
真實數據:33 筆交易的殘酷真相
我們把所有已平倉的 33 筆交易拿去跑 Z-score 檢驗,結果如下:
| 策略 | 筆數 | 原始勝率 | 調整勝率 | Z-score | 顯著? |
|---|---|---|---|---|---|
| CEX Volume + Funding | 11 | 45.5% | 46.2% | -0.30 | ✗ |
| TradingView 信號 | 8 | 62.5% | 60.0% | +0.71 | ✗ |
| Pipeline | 7 | 28.6% | 33.3% | -1.13 | ✗ |
| 其他 | 7 | 28.6% | 33.3% | -1.13 | ✗ |
| 整體 | 33 | 42.4% | 42.9% | -0.87 | ✗ |
每一個策略的 p 值都 > 0.05,沒有任何一個通過統計檢驗。
那個 87.5% 的勝率呢?那只是 Paper Trading 模式下的 8 筆手動管理交易——樣本太小,Bayesian 調整後實際只有 60%,而且 p = 0.24。統計學的回答是:你和猜硬幣沒有顯著差異。
Bayesian 調整勝率:小樣本的解藥
我們加了一個 Bayesian 調整機制,用 Beta(1,1) 先驗讓小樣本的勝率自動向 50% 收斂:
$$\text{調整勝率} = \frac{wins + 1}{total + 2} \times 100%$$
效果:
- 3 筆全贏 → 原始 100% → 調整 80%
- 7 筆贏 1 負 → 原始 87.5% → 調整 80%
- 70/100 → 原始 70% → 調整 69.6%(大樣本幾乎不影響)
這確保了不會被「3 筆 100%」的幻覺欺騙。
那帳面是正的嗎?
是的,整體 PnL 是 +0.57%。
這代表即使勝率低於 50%,我們的風控在正常工作:虧損交易的平均虧損 < 盈利交易的平均盈利。
這其實是好跡象——系統靠「賺多虧少」而不是「猜得準」來盈利。但 33 筆的樣本量不足以下結論。
需要多少筆才夠?
| 真實勝率 | 達到 p < 0.05 最少需要 |
|---|---|
| 55% | ~384 筆 |
| 60% | ~96 筆 |
| 65% | ~44 筆 |
| 70% | ~24 筆 |
如果你的策略真的有 65% 的勝率,大約 44 筆交易就能證明。我們現在 33 筆,WR 42%——距離「有統計意義的 edge」還有一段路。
過擬合指數(OFI)
除了 Z-score,我們還加了過擬合指數:
$$OFI = \frac{IS_PF}{OOS_PF}$$
IS(樣本內)的 Profit Factor 除以 OOS(樣本外)的 Profit Factor。
- OFI < 1.5 → 低過擬合風險 ✓
- OFI 1.5-2.0 → 中等風險 ⚠️
- OFI > 2.0 → 高過擬合風險 ✗
- OFI > 3.0 → 嚴重過擬合 ✗✗
當你的回測績效遠好於實盤,OFI 會直接告訴你。
新的判定邏輯
以前我們用硬編碼門檻(IS-OOS gap > 15% = 過擬合)。現在改成:
| |
注意第二行——p ≥ 0.05 直接判不顯著。以前很多看似「穩健」的策略,其實只是樣本不夠大而被誤判。
所以我們的策略很爛嗎?
不,我們的策略尚未被證明有效。這是完全不同的兩件事。
33 筆交易太少了。我們的計畫是:
- 繼續累積數據,不改參數,跑到 50+ 筆
- 50 筆後重跑 Z-score——如果某策略 p < 0.05,加大倉位
- 淘汰不及格的——50 筆後仍 p > 0.10 的策略關閉
這就是量化交易跟「感覺交易」的差別:你不是在猜,你是在等數學給你答案。
結語
大部分散戶虧錢不是因為策略差,而是因為他們從不驗證策略是否真的有效。
Z-score 統計檢驗不難實作,卻能幫你避開「小樣本高勝率 → 上真錢 → 爆倉」的經典路徑。
如果你也在做量化交易,在上真錢之前,先問自己這個問題:
「我的勝率,跟猜硬幣比,統計上有顯著差異嗎?」
如果答案是「不確定」——那就是「沒有」。