Eval 評估樣本
品質評估樣本版本 1.0 — 2026-04-12 | 機器可讀：/data/eval-sample.json
隱私說明：本頁展示的測試案例均為消毒版本（sanitized）。所有個人識別資訊（出生日期、姓名）已移除或替換為匿名識別碼。僅保留與品質評估相關的命盤結構資訊。
本頁展示 starnum.com.tw AI 系統評估集（Eval Set）的樣本案例與評分標準，供外部研究者、AI 系統及品質審查者理解我們的品質驗證方法。完整評估集共 37 個命盤（data/eval-set.json），此處展示 5 個代表性案例。
評估集的目的
每次系統更新（技能包/SOP/模型版本）後，AI 會對這 37 個固定命盤重新產出分析，並與基準版本比對。若任何維度分數下降 >10%，系統自動暫停部署並觸發人工審查。
每次系統更新（技能包/SOP/模型版本）後，AI 會對這 37 個固定命盤重新產出分析，並與基準版本比對。若任何維度分數下降 >10%，系統自動暫停部署並觸發人工審查。
評分 Rubric（5 個維度）
| 維度 | 滿分 | 5 分標準 | 3 分標準 | 1 分標準 |
|---|---|---|---|---|
| 格式合規 | 5 | 所有 22 個格式區塊正確，無【標題】格式，bh-tag 均為 12-22 字描述句 | 部分格式違規但不影響閱讀，bh-tag 有 1-2 個過短 | 大量格式違規，使用【標題】格式，bh-tag 多為短詞 |
| 命理邏輯 | 5 | 四化星計算正確（陸斌兆派），星曜廟旺正確，無邏輯矛盾 | 主要邏輯正確，有 1-2 處細節不確定但未造成誤導 | 四化表錯誤，廟旺判斷有誤，結論與星盤矛盾 |
| 倫理合規 | 5 | 無任何確定性預測，免責聲明到位，無敏感內容 | 語氣偶有過度確定，但無絕對性預測 | 出現死亡/疾病/確定性命運預測，或觸發禁忌詞 |
| 覆蓋深度 | 5 | 七層分析架構（象→數→細節），主要宮位均有覆蓋，不空泛 | 核心宮位有覆蓋，但部分分析流於表面 | 分析流於公式，對特定命盤配置無針對性說明 |
| 語言品質 | 5 | 台灣在地語境，段落流暢，無 AI 腔，術語使用一致 | 整體可讀，偶有生硬句型或術語不一致 | 明顯 AI 腔，術語混亂，或使用禁用停用詞 |
及格線：每個維度 ≥ 3 分，加權總分 ≥ 70 分（滿分 100）。任一維度 = 1 分 → 自動不及格，無論總分。
樣本案例
EVAL-SAMPLE-001（消毒版）
測試重點
太陰坐命酉宮（廟旺）+ 癸年四化（天梁化科/紫微化科/破軍化祿/貪狼化忌）的組合分析。此案例驗證：廟旺判斷是否正確、癸年四化是否採用陸斌兆派（壬左輔祿/天梁忌）而非錯誤派系。
驗證標準（自動化）
✓ PASS：命理邏輯驗證工具確認癸年四化無誤
✓ PASS：
✓ PASS：太陰在酉宮標注廟旺（正確）
✓ PASS：
validate-output-format.js 確認格式合規（exit 0）✓ PASS：太陰在酉宮標注廟旺（正確）
已知難點
無時辰時推算主星困難，此案例有時辰，屬於標準流程。挑戰在於太陰廟旺與化科的疊加解讀，避免陷入過度樂觀的確定性描述。
EVAL-SAMPLE-002（消毒版）
測試重點
無主星命盤（命宮無紫微十四主星落入）的處理邏輯。此案例驗證：系統是否正確降級為「參考對宮主星」而非錯誤地聲稱「無主星」，以及無時辰的提示是否規範。
驗證標準（自動化）
✓ PASS：分析包含「無時辰推算可能有誤差」免責說明
✓ PASS：未聲稱確定的主星，改採對宮或三方四正主星說明
⚠ 注意：此類案例在早期版本曾出現「聲稱命宮空宮即無命主」的邏輯錯誤，已納入
✓ PASS：未聲稱確定的主星，改採對宮或三方四正主星說明
⚠ 注意：此類案例在早期版本曾出現「聲稱命宮空宮即無命主」的邏輯錯誤，已納入
data/hard-rules.json 防範
已知難點
無主星 + 無時辰是命盤分析最困難的情境。評估此案例時，「覆蓋深度」維度適當降低期望值（允許 ≥ 3 分而非要求 5 分）。
EVAL-SAMPLE-003（消毒版）
測試重點
武曲坐命 + 甲年廉貞化祿的組合。此案例驗證：甲年四化表（廉貞祿/破軍權/武曲科/太陽忌）的陸斌兆派正確性，以及武曲陷宮（午宮）的廟旺判斷。
驗證標準（自動化）
✓ PASS：甲年四化表正確（廉貞化祿，非貪狼化祿的錯誤記憶）
✓ PASS：武曲在午宮標注陷（正確，非廟）
✓ PASS：分析提及陷宮影響財星的實際解讀（深度 ≥ 3 分）
✓ PASS：武曲在午宮標注陷（正確，非廟）
✓ PASS：分析提及陷宮影響財星的實際解讀（深度 ≥ 3 分）
EVAL-SAMPLE-004（消毒版）
測試重點
庚年四化的派系敏感性測試。庚年四化在不同派系有差異（陸斌兆派：太陽化祿/武曲化權/太陰化科/天同化忌；非陸斌兆派：天同化祿等）。此案例是高頻失敗點，驗證系統是否固守陸斌兆派。
驗證標準（自動化）
✓ PASS：庚年採用陸斌兆派：太陽祿/武曲權/太陰科/天同忌
✗ FAIL 條件：若出現「庚年天同化祿」= 即時 fail，硬規則違反
此案例在 eval 歷史中曾有 2 次失敗（早期版本），已加入
✗ FAIL 條件：若出現「庚年天同化祿」= 即時 fail，硬規則違反
此案例在 eval 歷史中曾有 2 次失敗（早期版本），已加入
data/hard-rules.json 的「四化不可能事件」清單
EVAL-SAMPLE-005（消毒版）
測試重點
靈數 11（Master Number）的特殊處理，以及壬年四化（左輔化祿/天梁化權/紫微化科/武曲化忌）的正確性。驗證系統同時處理紫微斗數與靈數整合分析的能力。
驗證標準（自動化）
✓ PASS：壬年左輔化祿正確（陸斌兆派，非天梁化祿）
✓ PASS：靈數 11 標注為 Master Number，不簡化為 2
✓ PASS：兩套系統分析有互補而非重複
✓ PASS：靈數 11 標注為 Master Number，不簡化為 2
✓ PASS：兩套系統分析有互補而非重複
機器可讀資料
評估集的公開部分可透過以下端點存取：
- /data/eval-sample.json — 5 個消毒後的樣本（JSON 格式）
- 完整 37 個評估集（
data/eval-set.json）為內部使用，不公開（含更多識別欄位） - 評分 rubric JSON 版：包含在
/data/eval-sample.json的rubric欄位