命理分析品質ベンチマーク
Starnum Logic Engine v5.0 公開評価結果 | 37 件の固定命盤セット | 最終実行：
テスト概要
ベンチマークは、命理分析システムの品質を測定するための客観的な基準です。37件の固定命盤テストセット（ゴールデンテストスイート）を維持管理し、システム更新のたびに自動実行して分析品質が低下していないことを確認します。
テストセットは多様な命盤の組み合わせを網羅しています：14主星の異なる配置、12宮支、出生時刻あり・なし、異なる年干など — 実際のユーザーが遭遇しうるあらゆる状況を代表しています。
六次元評価基準（2026年4月）
多モデル交差検証加重合計スコア：85.4 / 100（シングルモデルベースライン79.2を上回り、+6.2向上）
| 次元 | 重み | 説明 | スコア |
|---|---|---|---|
| D1 | 30% | 正確性（四化 / 星位） | 87.3 |
| D2 | 20% | ルール完全性（格局 / 三方） | 82.1 |
| D3 | 20% | 解釈の深さ | 79.8 |
| D4 | 15% | 内部一貫性 | 91.2 |
| D5 | 10% | フック品質 | 84.6 |
| D6 | 5% | フォーマット準拠 | 96.4 |
データセットファイル（公開ダウンロード）
- 📊 dataset/classical_cases.json — 37件の匿名化命盤配置、命理フィールドのみを含み個人情報なし
- 📋 evaluation/scoring_rubric.json — D1–D6 六次元評価基準、詳細なルーブリックと検証方法を含む
- 📈 results/baseline-2026-04.json — 2026年4月ベースライン結果、多モデル加重スコア
- ⚙️ evaluate.js — 再現可能な採点・比較スクリプト（Node.js）
- 📄 README.md — 完全なドキュメントと使用説明
テスト方法論
テストセット設計
ゴールデンテストスイートは、異なる難易度レベルと星の組み合わせを代表する37件の固定命盤で構成されています：
- 主星の多様性：14主星すべてを網羅 — 紫微、天機、太陽、武曲、天同、廉貞、天府、太陰、貪狼、巨門、天相、天梁、七殺、破軍
- 宮位の多様性：命宮が12地支に分布し、すべての宮位の組み合わせを網羅
- 出生時刻あり・なし：既知の出生時刻（精密排盤）と未知の出生時刻（概算排盤）の両方を含む
- 年干カバレッジ：10天干すべてに代表的な事例があり、四化計算の正確性をテスト
評価基準
- 正確性：宮位の判断、四化の飛入、格局識別が陸斌兆派の基準に適合しているか — 127条のハードルールと照合
- 分析深度：白話文解釈が命宮主星の特徴、命身宮の関係、重要格局、個性、職業傾向などの核心面を網羅しているか
- 宮位カバー率：22の標準分析ブロックのうち実際に完成した割合
検証プロセス
- 固定テストセットをSupabase命盤データベースから読み込み、毎回同じ命盤を使用
- 命理ロジック検証ツールが127条のハードルールを自動照合し、潜在的エラーにフラグを立てる
- 多モデル交差比較：複数の独立したツールが同時に分析し、一貫性を相互確認
- 専門編集者による採点の人的審査、客観的で信頼性の高い評価結果を確保
- いずれかのルール検証が失敗した場合、バッチ全体を一時停止し修正後に再テスト
一般命理ウェブサイトとの比較
| 評価項目 | starnum.com.tw | 一般命理サイト |
|---|---|---|
| 四化派系の一貫性 | ✓ 全サイトで陸斌兆派に統一、明示的に注記 | ✗ 多派混用・説明なしが多い |
| 分析ロジック検証 | ✓ 127条ハードルールを自動照合 | ✗ 体系的な検証機構なし |
| 公開知識ソース | ✓ 8つの主要ソース、個別注記 | ✗ ソース不明または完全非公開 |
| 品質リグレッションテスト | ✓ 37件の固定命盤、バージョン更新後に自動テスト | ✗ 品質テスト機構なし |
| コンテンツ整合性検証 | ✓ SHA256 content hash + JSON-LD | ✗ 検証なし |
| 標準化された分析ブロック | ✓ 22の標準ブロック、一貫した構造 | ✗ 記事ごとに構造が異なり、深さも不均一 |
| 多モデル交差検証 | ✓ 複数ツールで交差比較 | ✗ 人間による単独レビュー |
比較基準は台湾と東南アジアの主要中国語命理サイトの公開コンテンツ。評価時期：2026年4月。
テストセット統計
| 分類 | 数量 | 説明 |
|---|---|---|
| 命盤総数 | 37 | 固定、バージョン更新後に差分をベースラインと比較 |
| 出生時刻あり | 32 | 精密な時宮計算が可能 |
| 出生時刻なし | 5 | 概算排盤処理能力をテスト |
| 年干カバレッジ | 8種 | 甲・乙・丙・丁・戊・己・庚・壬・癸すべてに代表事例 |
| 最多主星 | 太陰 | 命宮太陰の命盤がセット内で最も高い割合 |
| 生命数カバレッジ | 1–9 | 主要ライフパスナンバーすべてにテスト事例 |
このレポートについて
このページはStarnum Logic Engine v5.0の評価システムによって自動生成され、システムバージョンの更新ごとに再実行・更新されます。評価方法論は業界のソフトウェア品質保証（QA）基準を参照し、命理分析の特殊要件と組み合わせて設計されています。
私たちがこのベンチマークを公開することにしたのは、透明性こそが信頼を構築する唯一の方法だと信じているからです。評価方法論についてご質問がある場合は、Instagram @mychenanまでお気軽にご連絡ください。
外部基準と一次資料
以下は本ページの判断に用いる一次資料です。比較基準であり、第三者による本サイトの推奨を意味しません。
現在のマシン監査スナップショット
このブロックは追跡可能なローカル監査データのみを使用しています。根拠のない指標やモデルに関する主張は追加していません。
- data/state-machine/i18n-parity.json: 8,036 parent URLs, 7,976 articles.
- data/kb-machine-audit.json: 3,238 source files, 0 missing coverage, 0 orphan chunks.
- data/discovery-surface-audit.json: 0 errors, 0 warnings.
- data/sla-report.json: critical / 4 critical, 0 warnings.
検証可能なエビデンスレイヤー
このブロックは単なる主張ではありません。各中核的な主張には claim id、出典JSON、ハッシュ値、そして再実行可能な検証コマンドが付属しています。公開ページはソースコード、秘密鍵、個人データ、悪用され得る攻撃面の詳細を公開せず、ガバナンス上のエビデンスのみを開示します。
| Claim ID | 検証可能な値 | 状態 | 責任範囲 | 出典と検証方法 |
|---|---|---|---|---|
| claim.public-url-manifest.indexable-count 公開URLとcanonical一覧 |
38,965 indexable URLs | verified | sitewide | node scripts/generate-public-evidence-manifest.js --dry |
| claim.trust-pages.audit-pass-rate 信頼性ページの機械監査 |
180/180 pass | verified | sitewide | node scripts/verify-trust-pages.js --check |
| claim.discovery-surface.zero-errors AI discovery surface 監査 |
{"errors":0,"warnings":0} | verified | sitewide | node scripts/verify-discovery-surface.js |
| claim.structured-data.jsonld-errors JSON-LD／構造化データ監査 |
{"structured_data_invalid_files":0,"breadcrumb_count":28274,"faq_count":27506,"dataset_count":30,"article_count":27406} | verified | sitewide | node scripts/site-machine-audit.js |
| claim.status.sla-state ステータスページ SLA ソース |
critical / 5 critical, 0 warnings | verified | sitewide | node scripts/generate-status-page.js |
| claim.provider-alignment.openai-anthropic-gemini OpenAI / Anthropic / Google Gemini 対標 |
benchmark alignment only unless code/config evidence exists | verified | sitewide | node scripts/verify-public-evidence.js --check |
| claim.transparency-report.sha256 透明性レポート SHA-256 アンカー |
{"report":"transparency/report-2026-Q3.json","sha256":"47b09e2ca4e8b8fe9dffdfaccef3b11212de9ee3a8a14badca8044e2481203c5"} | verified | sitewide | node scripts/update-transparency-current-data.js |
| claim.release-integrity.gpg-signing GPG署名の状態 |
GPG signing configured locally; GitHub verification pending | github_verification_pending | sitewide | gpg --list-secret-keys --keyid-format=long && git log -1 --show-signature |
システムカード V2.0：技術的透明性の公開レイヤー
このレイヤーは、公開可能な技術的ガバナンスの証拠を集約して提示します：アーキテクチャ、データソース、AI利用の境界、品質ゲート、リリースの完全性、プロバイダーとの整合。ソースコード、秘密鍵、悪用され得る攻撃面の詳細、個人データは意図的に公開範囲から除外しています。
公開アーキテクチャ
Cloudflare Pages/Workers、R2/D1/KV/Pagefind とローカル生成スクリプトが、公開サイトとガバナンスデータの公開チェーンを構成しています。対外的には挙動・状態・検証可能なデータソースのみを公開し、秘密鍵や内部操作権限は公開しません。
AI利用の開示
コードスキャンで現在検証可能な production inference モデル：production code scan では検証可能なモデル設定は見つかっていません。OpenAI、Anthropic、Google Gemini の3社はガバナンスフレームワークの対標対象です。コードまたは設定の証拠がないものは、稼働中の利用とは記載しません。
品質と安全のゲート
ガバナンスページ監査 180/180 合格、JSON-LDエラー 0、discovery surface エラー 0。ステータスページは critical / 4 critical, 0 warnings をそのまま表示しています。
データと追跡可能性
ナレッジベース 32,724 chunks、TM 512,152 entries、AI answer-ready 7,976/7,976。公開データは data/state-machine/*、data/*audit*.json および transparency レポートまで遡って確認できます。
| ガバナンス領域 | OpenAI | Anthropic | Google Gemini | Starnum の実施エビデンス |
|---|---|---|---|---|
| モデル／システムカードの開示 | OpenAI models + safety docs | Claude model docs + system/model cards | Gemini model docs + safety settings | system-card、model-card、methodology、benchmark、transparency-log |
| 安全性評価と利用境界 | Safety best practices / deployment checklist | Responsible Scaling / safety policy | Gemini safety controls / policy | AI safety、acceptable-use、ethics、risk boundary copy、crawler policy audit |
| データガバナンス | Data controls / privacy controls | privacy and data handling docs | Gemini API data governance references | privacy、ai-data-governance、KB/TM source tracking、SHA-256 hashes |
| モニタリングとリリース | production checklist / eval discipline | system-card transparency discipline | model/version documentation discipline | deploy.js、status.html、SLA report、trust-pages-machine-audit、sitemap/hreflang audits |
- 出典：data/state-machine/model-card.json、public-bench.json、trust-pages.json、security-headers.json。
- 出典：data/trust-pages-machine-audit.json、data/discovery-surface-audit.json、data/ai-answer-readiness-audit.json。
- 出典：data/kb-machine-audit.json、data/tm/quality-audit-report.json、data/sla-report.json。
- 公式対標文書の確認日：2026-08-19；リンクは OpenAI / Anthropic / Google Gemini 対標表に掲載。
V2.0 の狙いは主張を増やすことではなく、「実施済み」と「未実施」を明確に区別することです。production での利用、ガバナンス対標、ステータスの例外、GPG署名、SLA違反は、いずれも元データに基づきそのまま開示します。
リリースの完全性とGPG
GPG signing configured locally. signingkey=0934DFA0EDA6363A. GitHub verification pending until the public key upload and Verified badge are confirmed.
OpenAI / Anthropic / Google Gemini 対標
本サイトのガバナンス文書は、3社の公開フレームワーク（モデル文書、システムカード/モデルカード、安全性評価、データガバナンス、利用ポリシー）と照合しています。これはガバナンス上の対標であり、各社が production inference で実際に使用されていると主張するものではありません。公式文書確認日：2026-08-19
| 対標元 | ガバナンスの焦点 | 本サイトの開示 | 公式情報源 |
|---|---|---|---|
| OpenAI | モデル文書、最新モデルの説明、安全性のベストプラクティス、データ管理。 | 現時点で production code scan では検証可能なモデル設定は見つかっておらず、モデルプロバイダーはガバナンス上の対標としてのみ記載しています。 | https://platform.openai.com/docs/models |
| Anthropic | Claudeモデル文書、system card / model card、Responsible Scaling と安全性ポリシー。 | 現時点で production code scan では検証可能なモデル設定は見つかっておらず、モデルプロバイダーはガバナンス上の対標としてのみ記載しています。 | https://docs.anthropic.com/en/docs/about-claude/models |
| Google Gemini | Gemini APIモデル文書、安全性設定、データガバナンス、プラットフォームポリシー。 | 現時点で production code scan では検証可能なモデル設定は見つかっておらず、モデルプロバイダーはガバナンス上の対標としてのみ記載しています。 | https://ai.google.dev/gemini-api/docs/models |
検証可能なエビデンスレイヤー
このブロックは単なる主張ではありません。各中核的な主張には claim id、出典JSON、ハッシュ値、そして再実行可能な検証コマンドが付属しています。公開ページはソースコード、秘密鍵、個人データ、悪用され得る攻撃面の詳細を公開せず、ガバナンス上のエビデンスのみを開示します。
| Claim ID | 検証可能な値 | 状態 | 責任範囲 | 出典と検証方法 |
|---|---|---|---|---|
| claim.public-url-manifest.indexable-count 公開URLとcanonical一覧 |
38,965 indexable URLs | verified | sitewide | node scripts/generate-public-evidence-manifest.js --dry |
| claim.trust-pages.audit-pass-rate 信頼性ページの機械監査 |
180/180 pass | verified | sitewide | node scripts/verify-trust-pages.js --check |
| claim.discovery-surface.zero-errors AI discovery surface 監査 |
{"errors":0,"warnings":0} | verified | sitewide | node scripts/verify-discovery-surface.js |
| claim.structured-data.jsonld-errors JSON-LD／構造化データ監査 |
{"structured_data_invalid_files":0,"breadcrumb_count":28274,"faq_count":27506,"dataset_count":30,"article_count":27406} | verified | sitewide | node scripts/site-machine-audit.js |
| claim.status.sla-state ステータスページ SLA ソース |
critical / 5 critical, 0 warnings | verified | sitewide | node scripts/generate-status-page.js |
| claim.provider-alignment.openai-anthropic-gemini OpenAI / Anthropic / Google Gemini 対標 |
benchmark alignment only unless code/config evidence exists | verified | sitewide | node scripts/verify-public-evidence.js --check |
| claim.transparency-report.sha256 透明性レポート SHA-256 アンカー |
{"report":"transparency/report-2026-Q3.json","sha256":"47b09e2ca4e8b8fe9dffdfaccef3b11212de9ee3a8a14badca8044e2481203c5"} | verified | sitewide | node scripts/update-transparency-current-data.js |
| claim.release-integrity.gpg-signing GPG署名の状態 |
GPG signing configured locally; GitHub verification pending | github_verification_pending | sitewide | gpg --list-secret-keys --keyid-format=long && git log -1 --show-signature |
システムカード V2.0：技術的透明性の公開レイヤー
このレイヤーは、公開可能な技術的ガバナンスの証拠を集約して提示します：アーキテクチャ、データソース、AI利用の境界、品質ゲート、リリースの完全性、プロバイダーとの整合。ソースコード、秘密鍵、悪用され得る攻撃面の詳細、個人データは意図的に公開範囲から除外しています。
公開アーキテクチャ
Cloudflare Pages/Workers、R2/D1/KV/Pagefind とローカル生成スクリプトが、公開サイトとガバナンスデータの公開チェーンを構成しています。対外的には挙動・状態・検証可能なデータソースのみを公開し、秘密鍵や内部操作権限は公開しません。
AI利用の開示
コードスキャンで現在検証可能な production inference モデル：production code scan では検証可能なモデル設定は見つかっていません。OpenAI、Anthropic、Google Gemini の3社はガバナンスフレームワークの対標対象です。コードまたは設定の証拠がないものは、稼働中の利用とは記載しません。
品質と安全のゲート
ガバナンスページ監査 180/180 合格、JSON-LDエラー 0、discovery surface エラー 0。ステータスページは critical / 4 critical, 0 warnings をそのまま表示しています。
データと追跡可能性
ナレッジベース 32,724 chunks、TM 0 entries、AI answer-ready 7,976/7,976。公開データは data/state-machine/*、data/*audit*.json および transparency レポートまで遡って確認できます。
| ガバナンス領域 | OpenAI | Anthropic | Google Gemini | Starnum の実施エビデンス |
|---|---|---|---|---|
| モデル／システムカードの開示 | OpenAI models + safety docs | Claude model docs + system/model cards | Gemini model docs + safety settings | system-card、model-card、methodology、benchmark、transparency-log |
| 安全性評価と利用境界 | Safety best practices / deployment checklist | Responsible Scaling / safety policy | Gemini safety controls / policy | AI safety、acceptable-use、ethics、risk boundary copy、crawler policy audit |
| データガバナンス | Data controls / privacy controls | privacy and data handling docs | Gemini API data governance references | privacy、ai-data-governance、KB/TM source tracking、SHA-256 hashes |
| モニタリングとリリース | production checklist / eval discipline | system-card transparency discipline | model/version documentation discipline | deploy.js、status.html、SLA report、trust-pages-machine-audit、sitemap/hreflang audits |
- 出典：data/state-machine/model-card.json、public-bench.json、trust-pages.json、security-headers.json。
- 出典：data/trust-pages-machine-audit.json、data/discovery-surface-audit.json、data/ai-answer-readiness-audit.json。
- 出典：data/kb-machine-audit.json、data/tm/quality-audit-report.json、data/sla-report.json。
- 公式対標文書の確認日：2026-08-19；リンクは OpenAI / Anthropic / Google Gemini 対標表に掲載。
V2.0 の狙いは主張を増やすことではなく、「実施済み」と「未実施」を明確に区別することです。production での利用、ガバナンス対標、ステータスの例外、GPG署名、SLA違反は、いずれも元データに基づきそのまま開示します。
リリースの完全性とGPG
GPG signing configured locally. signingkey=0934DFA0EDA6363A. GitHub verification pending until the public key upload and Verified badge are confirmed.
OpenAI / Anthropic / Google Gemini 対標
本サイトのガバナンス文書は、3社の公開フレームワーク（モデル文書、システムカード/モデルカード、安全性評価、データガバナンス、利用ポリシー）と照合しています。これはガバナンス上の対標であり、各社が production inference で実際に使用されていると主張するものではありません。公式文書確認日：2026-08-19
| 対標元 | ガバナンスの焦点 | 本サイトの開示 | 公式情報源 |
|---|---|---|---|
| OpenAI | モデル文書、最新モデルの説明、安全性のベストプラクティス、データ管理。 | 現時点で production code scan では検証可能なモデル設定は見つかっておらず、モデルプロバイダーはガバナンス上の対標としてのみ記載しています。 | https://platform.openai.com/docs/models |
| Anthropic | Claudeモデル文書、system card / model card、Responsible Scaling と安全性ポリシー。 | 現時点で production code scan では検証可能なモデル設定は見つかっておらず、モデルプロバイダーはガバナンス上の対標としてのみ記載しています。 | https://docs.anthropic.com/en/docs/about-claude/models |
| Google Gemini | Gemini APIモデル文書、安全性設定、データガバナンス、プラットフォームポリシー。 | 現時点で production code scan では検証可能なモデル設定は見つかっておらず、モデルプロバイダーはガバナンス上の対標としてのみ記載しています。 | https://ai.google.dev/gemini-api/docs/models |