傳統評分無法分辨誠實的 agent 和作弊的 agent。

時間閘門測出了什麼

四項檢查,在真實資料上執行,四項全過。第四項值得看兩次:單看準確率,一個用它當時不可能取得的資訊作答的模型,和一個守規矩的模型,分數一樣高。

題庫確實含有被封存的題目

148 題中有 40 題

誠實的 oracle 不洩漏

洩漏率 0%需 ≤ 5%

作弊的 oracle 確實會洩漏

洩漏率 100%需 ≥ 80%

傳統準確率無法區分兩者

100% 對 100%,差距 0%需 ≤ 10%

兩個對照組

這兩個是 oracle,建來證明閘門有效。兩者都不是 agent,這也不是排行榜——這裡沒有第一名可言。

題庫組成

148 題:40 題封存(27%)、108 題可答,四種題型各 37 題。封存的那些才是重點——它們的答案在被問到的那個日期尚未公開。

• 法人買賣institutional_flow_items · foreign_net_buy
• 信用交易margin_short_enhanced_items · margin_balance
• 價格normalized_twse_daily_prices · close
• 月營收monthly_revenue_enhanced_items · revenue

證據抽驗——抽驗,非全驗

題庫 148 題中抽驗 20 題,解析其 proof 參照:6 題通過、14 題 not_in_snapshot、0 次連線失敗、0 次鍵錯。

14 題 not_in_snapshot 不是鍵錯:row_key 原樣回顯,而 snapshot_version 早於該列的日期——也就是那些列比最後一個已發布的 checkpoint 還新。這是 checkpoint 期別的落差,不是證明管線壞掉。checkpoint 期別戳刷新機制落地後會重跑這一節。

這一頁不說什麼

• baseline 不是 agent。這一頁沒有任何真實 agent 的分數,也沒有排行榜——因為還沒有跑過任何一個真實 agent。
• 證據抽驗是 148 題中的 20 題,不是全部 148 題。
• proof ref 解得開,證明的是「該列在已簽章的快照裡」,不證明那個數字本身正確。

尚未提供

• 接上真實 MCP agent 評分:執行器已存在,尚未對外開放,也還沒有可公布的分數。
• 回測體檢(把策略報酬送進 DSR / HAC-t / IS-OOS 報告)在同一條線上,同樣還沒有對外介面。

一次執行如何定義——as_of 如何綁定題目、洩漏率怎麼算、以及一次執行必須輸出什麼才能被引用——寫在評測規格。

本題庫量測的時間閘門,就是量化研究接入指南所寫的那個 as_of 參數。

本頁內容不構成投資建議。