作者與技術分析員對話，追問解釋存檔圖表與預測的分別。選擇趨勢線及重複模型，暴露事後解讀的彈性。
保留未見資料
把制定規則的數據與評估數據分開。每次修訂都為了改善同一歷史結果，便也在量度研究者配合歷史的能力。
應用例子
假設規則在一至六月數據改十次，再用未看過的七至十二月測試，便提出更嚴格的問題。
案例連繫
新的重複驗證，與解釋原樣本是不同問題。新觀察可挑戰事後配合的故事。
心理學研究重複驗證計劃
事實
研究人員嘗試重複驗證100項心理學發現；36%在相同方向上達到統計顯著水平。
背景
已發表發現回答的是一項研究中的問題。心理學重複驗證計劃追問：獨立重做後，證據能否支持所選的已發表發現？
結果
計劃揭示可重現性的疑問。不達顯著不自動證明原主張錯誤或涉及造假；仍須檢查方法、精確度及條件。
- 研究人員嘗試重複驗證100項心理學發現。
- 他們比較新舊證據，包括方向、顯著程度及效應大小。
- 開放科學中心記錄：36%在同一方向達到統計顯著，重複驗證的效應約為原來一半。
案例分析
解釋已知樣本時，研究者有很多調整故事的機會。獨立重做因結果未明，可減少部分彈性。自己的研究應先固定規則，再開評估資料。後來失敗要記作證據，不能悄悄變成重設過的歷史例子。
試一試
設計開發樣本與後續評估樣本，寫出評估前可改及必須固定的部分。