試100種牌路找到神準方法？多重測試與事後挑選的陷阱

最好的一個，可能只是挑出來的

同一份紀錄試了100種牌路，最後只拿最準的一種出來，結果當然比較好看。問題是，你看到的是100次挑選後的冠軍，還是事前就決定要測的規則？兩者的可信程度差很多。

而且『100種』未必是全部。只要改起算點、連續幾局才算、是否排除和局，或換一段期間，就可能又試了一個版本。最後只公布一套，並不表示只嘗試過一套。

先認識「假陽性」：實際沒有差異，檢定卻把結果判成有差異。假設有100個彼此獨立的檢定，全部實際沒有差異，每個的假陽性率均為5%，而且尚未作多重比較調整。全部沒有假陽性的機率為0.95的100次方；至少出現一次假陽性為1−0.95¹⁰⁰，約99.4%。

這個數字依賴獨立與全部無真差異等假設，並非「100種牌路有99.4%會成功」。牌路版本通常使用重疊資料，彼此並不獨立；不能直接把99.4%套到真實回測。它只展示單次標準與整批搜尋不是同一回事。

理想化檢定算例；99.4%不是牌路成功率，不能直接套用到重疊回測。

NIST的多重比較說明指出，反覆比較的整體錯誤風險不同於單次檢定。研究應交代比較範圍，必要時以適當方法處理多重比較；不能只保留一個看起來最顯著或命中率最高的結果。

讀這類報告，可以直接問：總共試了幾個版本？每個版本怎麼定義？沒被選中的結果呢？如果是看完資料才挑出的最好成績，就先把它當成待驗證的發現。

選出候選後，才固定規則並用尚未參與挑選的新資料評估，可避免在同一批資料反覆迎合結果。新資料也要完整保留，不能測到失敗就換規則再把最好一段留下。

即使新資料有較高命中率，也仍需看樣本量、派彩成本與不確定性。統計上突出不等於能盈利，更不構成提高下注金額的理由。