Skip to content

knowledge: 補齊漏收 dataset(6/9–7/1 + April 起)+ 修 casing bug + 加 Doc-sync CI gate#12

Merged
linsamtw merged 2 commits into
masterfrom
feature/add-datasets-jun-jul
Jul 5, 2026
Merged

knowledge: 補齊漏收 dataset(6/9–7/1 + April 起)+ 修 casing bug + 加 Doc-sync CI gate#12
linsamtw merged 2 commits into
masterfrom
feature/add-datasets-jun-jul

Conversation

@linsamtw

@linsamtw linsamtw commented Jul 5, 2026

Copy link
Copy Markdown
Contributor

背景

FinMind WhatIsNew 陸續新增 dataset,但 MCP 的 knowledge pack (knowledge/datasets.md——同時是 list_datasets 工具與 Custom GPT knowledge bundle 的唯一來源) 一直靜默漂移落後。建 CI gate 時發現不只 6/9–7/1,從 April 就開始漏。本 PR 一併補齊、修 bug,並加上防止再發生的 CI 防線。

1. 新增 dataset(共 6 個,皆走 /api/v4/data

dataset 分類 Tier 資料區間 首次 Doc 記錄
TaiwanOptionVix 衍生性 Backer 2026-03-01 ~ now 07-01
TaiwanStockConvertibleBondMonthlyAnalysis 可轉債 Backer 2026-05-01 ~ now 07-01
TaiwanFuturesSpreadTick 衍生性 Sponsor 2026-04-27 ~ now 06-09
TaiwanStockInstitutionalInvestorsBuySellWide 籌碼面 Free (w/ data_id) 2005-01-01 ~ now 06-13
TaiwanStockBlockTrade 籌碼面 Sponsor 2005-04-04 ~ now 04-28
TaiwanStockBlockTradingDailyReport 籌碼面 Sponsor 2026-04-28 ~ now 04-11
TaiwanStockDayTradingBorrowingFeeRate 籌碼面 Backer 2015-06-01 ~ now 04-18
TaiwanStockLoanCollateralBalance 籌碼面 Sponsor 2006-10-02 ~ now 04-30

(更新 TaiwanStockInfoWithWarrantSummary:補述 6/15 上櫃 TPEX 涵蓋、target_stock_id 母股反查。)

2. Bug 修正

  • catalog 內 dataset id 誤植為 TaiwanstockGovernmentBankBuySell(小寫 s)。以 live API 驗證:API enum 為 TaiwanStockGovernmentBankBuySell,錯 casing 會被拒。已修正。

3. 新增 Doc-sync CI gate

  • scripts/check_doc_sync.py:從 FinMind-Doc (public) tutor 文件抽出所有 dataset="..." 出現的 id,比對 datasets.md,有缺且不在 EXCLUDE allowlist 就 讓 CI 紅。純內容漂移、單元測試抓不到,這是根因防線。
  • .github/workflows/ci.yml 新增 doc-sync job:checkout 兩個 public repo → 跑 script(只用 stdlib、免 uv/token)。
  • EXCLUDE 目前只有 TaiwanStockStockDividend(FinMind-Doc 範例把 TaiwanStockDividend 多打一個 Stock 的 typo)。

驗證

  • catalog 90 → 98,無重複;欄位/必填/tier 全對照 FinMind-Doc origin/master
  • gate 對 origin/master 綠;故意抽掉一個 dataset 會紅(exit 1)。
  • 全單元測試 32 passed

🤖 Generated with Claude Code

linsamtw and others added 2 commits July 5, 2026 11:19
FinMind WhatIsNew 於 6/9–7/1 陸續新增數個資料集,MCP 的 knowledge pack
(datasets.md,同時是 list_datasets 與 Custom GPT knowledge 的唯一來源)
先前停在 6/5 前後、未同步。本次補齊:

新增 4 個 dataset:
- TaiwanOptionVix(衍生性,Backer):臺指選擇權波動率指數 VIX,資料區間 2026-03-01 ~ now
- TaiwanStockConvertibleBondMonthlyAnalysis(可轉債,Backer):可轉換公司債月份分析表,2026-05-01 ~ now
- TaiwanFuturesSpreadTick(衍生性,Sponsor):期貨價差每筆成交,2026-04-27 ~ now、單日查詢
- TaiwanStockInstitutionalInvestorsBuySellWide(籌碼面,Free w/ data_id):個股三大法人買賣寬表

更新 1 個 dataset:
- TaiwanStockInfoWithWarrantSummary:補述 6/15 上櫃 (TPEX) 權證標的對照涵蓋、
  可用母股代碼 target_stock_id 反查、上櫃回溯至 2011-01-03

欄位/必填參數/會員層級皆對照 FinMind-Doc origin/master。catalog 由 90→94,
全測試 32 passed。openapi.yaml 未列舉個別 dataset(指向 knowledge pack),故無需改。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
…c-sync CI gate

建 CI gate 時發現 catalog 從 April 就在漂移,不只 6/9–7/1。本次一併補齊並加上防線。

新增 4 個 dataset(皆走 /api/v4/data、FinMind-Doc 自 April 起已記錄、先前 catalog 漏收):
- TaiwanStockBlockTrade(籌碼面,Sponsor):鉅額交易日成交資訊,2005-04-04 ~ now
- TaiwanStockBlockTradingDailyReport(籌碼面,Sponsor):鉅額交易買賣日報表,2026-04-28 ~ now
- TaiwanStockDayTradingBorrowingFeeRate(籌碼面,Backer):現股當沖券差借券費率,2015-06-01 ~ now
- TaiwanStockLoanCollateralBalance(籌碼面,Sponsor):借貸款項擔保品餘額表(37 欄),2006-10-02 ~ now

修正 bug:
- catalog 內 dataset id 誤植為 `TaiwanstockGovernmentBankBuySell`(小寫 s),API enum 實為
  `TaiwanStockGovernmentBankBuySell`、會被 422 拒絕。已用 live API 驗證正確 casing 後修正。

新增 CI gate(scripts/check_doc_sync.py + .github/workflows/ci.yml 的 doc-sync job):
- 從 FinMind-Doc(public)tutor 文件抽出所有 example 出現過的 dataset id,比對 datasets.md,
  有缺且不在 EXCLUDE allowlist 就讓 CI 紅。這正是這次事件的根因防線(純內容漂移、單元測試抓不到)。
- EXCLUDE 目前只有 TaiwanStockStockDividend(FinMind-Doc 範例把 TaiwanStockDividend 多打一個 Stock 的 typo)。
- 只用 stdlib,doc-sync job 直接 checkout 兩個 public repo 後跑,不需 uv/token。

驗證:catalog 由 94→98、無重複;gate 對 origin/master 綠、故意抽掉一個 dataset 會紅;全測試 32 passed。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
@linsamtw linsamtw changed the title knowledge: 補齊 6/9–7/1 新增資料集到 dataset catalog knowledge: 補齊漏收 dataset(6/9–7/1 + April 起)+ 修 casing bug + 加 Doc-sync CI gate Jul 5, 2026
@linsamtw linsamtw merged commit 601c51c into master Jul 5, 2026
4 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant