
換個起點,數字真的會變
「最近很準」要先問:最近是從哪一筆開始?同一份完整紀錄,只挑最後幾次,和從第一筆算起,可能得到差很多的比例。數字可以都算對,卻描述不同期間。
把完整紀錄攤開,標出從哪一筆算到哪一筆,就比較容易看出差別。下面用同一段10次結果,對照全段與最後5次的比例。
同一段10次,最後5次看起來特別好
用「中」與「未中」做一段假設紀錄,依發生順序是:未中、未中、中、未中、未中、中、中、中、中、未中。全部10次命中5次,比例50%。如果只看第6至第10次,則是5次中4次,比例80%。
80%沒有算錯,但它省略了前半段。若看完結果後才決定「就從第6次開始」,讀者看到的是被選中的窗口。說明時應一併列出完整10次的結果,而不是把最近5次當作全部表現。

先定期間,別看完才找漂亮起點
整理既有紀錄時,可以先固定「本月全部已結算紀錄」或「檔案第1至第100筆」等範圍,再算摘要。起訖、採用的時間欄位與排除條件一起寫下,之後別為了讓比例好看而悄悄移動。
如果確實需要比較不同時段,就把各段都列出,解釋為什麼這樣分。拿最近5次和全年總數比較時,也要明說它們回答不同時間範圍的問題,不能只留對自己有利的那段。
滑動窗口,不等於每次都有一批新證據
第1至第5次是一個窗口,第2至第6次是下一個;兩者有4筆相同。連續算出很多窗口,看起來像很多份報告,其實大部分資料一直被重用,不能當成彼此獨立的多次驗證。
我看這類摘要時,會先找完整序列,再看選了哪段。先弄清楚「80%從哪裡來」,比急著解讀「最近是不是變準」更實在。過去某段較好,也不能保證下一個窗口延續相同表現。
資料參考:OpenStax:抽樣與資料變異。
