명리 분석 품질 기준 테스트

Starnum Logic Engine v5.0 공개 평가 결과 | 37개 고정 명반 세트 | 마지막 실행: 2026-04-10

테스트 개요

기준 테스트(Benchmark)는 명리 분석 시스템의 품질을 측정하는 객관적 기준입니다. 우리는 37개의 고정 명반 테스트 세트(Golden Test Suite)를 유지하며, 각 시스템 업데이트 후 자동으로 실행하여 분석 품질이 저하되지 않았는지 확인합니다.

테스트 세트는 다양한 명반 조합을 포함합니다: 14개 주성의 다양한 배치, 12궁 지지, 출생 시간 유무, 다양한 연간 — 실제 사용자가 만날 수 있는 모든 상황을 대표합니다.

/ 100

정확성

/ 100

분석 깊이

/ 100

궁위 커버율

테스트 스위트 버전: v1.0 | 테스트 세트 규모: 37개 명반 | 실행일: 2026-04-10

6차원 평가 기준 (2026년 4월)

다중 모델 교차 검증 가중 합계 점수: 85.4 / 100 (단일 모델 기준 79.2 초과, +6.2 개선)

차원	가중치	설명	점수
D1	30%	정확성 (사화 / 성위)	87.3
D2	20%	규칙 완전성 (격국 / 삼방)	82.1
D3	20%	해석 깊이	79.8
D4	15%	내부 일관성	91.2
D5	10%	훅 품질	84.6
D6	5%	형식 준수	96.4

데이터셋 파일 (공개 다운로드)

📊 dataset/classical_cases.json — 37개 익명화된 명반 구성, 명리 필드만 포함, 개인정보 없음
📋 evaluation/scoring_rubric.json — D1–D6 6차원 평가 기준, 세부 채점 기준 및 검증 방법 포함
📈 results/baseline-2026-04.json — 2026년 4월 기준 결과, 다중 모델 가중 점수
⚙️ evaluate.js — 재현 가능한 채점 및 비교 스크립트 (Node.js)
📄 README.md — 전체 문서 및 사용 안내

라이선스: CC BY 4.0 · 인용: Starnum Research Team (2026). starnum-bench v1.0.

테스트 방법론

테스트 세트 설계

Golden Test Suite(황금 테스트 세트)는 다양한 난이도 등급과 성요 조합을 대표하는 37개의 고정 명반으로 구성됩니다:

성요 다양성: 자미, 천기, 태양, 무곡, 천동, 염정, 천부, 태음, 탐랑, 거문, 천상, 천량, 칠살, 파군 14개 주성 전부 포함
궁위 다양성: 명궁이 12지지 전반에 분포하여 모든 궁위 조합이 포함됨
출생 시간 유무: 출생 시간 있음(정확한 명반 작성)과 없음(근사 명반 작성) 두 가지 경우 포함
연간 커버리지: 10개 천간 모두 대표 사례 보유, 사화 계산 정확성 테스트

채점 기준

정확성: 궁위 판단, 사화 비입, 격국 식별이 육빈조파 기준에 부합하는지 — 127개 하드 규칙 전체 대조
분석 깊이: 백화문 해석이 명궁 주성 특질, 명신궁 관계, 주요 격국, 명주 성격과 직업 성향 등 핵심 측면을 커버하는지
궁위 커버율: 22개 표준 분석 블록 중 실제 완료된 비율

검증 프로세스

고정 테스트 세트는 Supabase 명반 데이터베이스에서 읽으며, 매 테스트에 동일한 명반 사용
명리 논리 검증 도구가 127개 하드 규칙 전체를 자동 대조하여 잠재적 오류 표시
다중 모델 교차 비교: 여러 독립 도구가 동시에 분석하여 결론의 일관성을 교차 확인
전문 편집자 인간 검토 채점, 평가 결과의 객관성과 신뢰성 보장
규칙 검증이 하나라도 통과하지 못하면 전체 배치를 보류하고 수정 후 재테스트

일반 명리 사이트와의 비교

평가 항목	starnum.com.tw	일반 명리 사이트
사화 학파 일관성	✓ 전 사이트 육빈조파 통일, 명확 표시	✗ 여러 학파 혼용, 차이 미설명
분석 논리 검증	✓ 127개 하드 규칙 자동 대조	✗ 체계적 검증 메커니즘 없음
공개 지식 출처	✓ 8개 주요 출처, 개별 표시	✗ 출처 불명확 또는 전혀 미공개
품질 회귀 테스트	✓ 37개 고정 명반, 버전 업데이트 후 자동 테스트	✗ 품질 테스트 메커니즘 없음
콘텐츠 무결성 검증	✓ SHA256 content hash + JSON-LD	✗ 검증 없음
표준화된 분석 블록	✓ 22개 표준 블록, 일관된 구조	✗ 글마다 구조 상이, 깊이 불균등
다중 모델 교차 검증	✓ 여러 도구 교차 비교	✗ 단일 인간 검토

비교 기준은 대만 및 동남아시아 주요 중문 명리 사이트의 공개 콘텐츠이며, 평가 시기는 2026년 4월입니다.

테스트 세트 통계

분류	수량	설명
총 명반 수	37	고정, 버전 업데이트 후 차이 대조
출생 시간 있음	32	정확한 시궁 계산 가능
출생 시간 없음	5	근사 명반 처리 능력 테스트
연간 커버리지	8종	갑 을 병 정 무 기 경 임 계 모두 대표
가장 많은 주성	태음	명궁 태음 명반이 세트에서 비율 가장 높음
생명 영수 커버리지	1~9	각 주명수 모두 테스트 사례 보유

데이터 출처: data/eval-set.json | 버전: 1.0 | 생성 시간: 2026-04-10

이 보고서에 대해

이 페이지는 Starnum Logic Engine v5.0 평가 시스템이 자동 생성하며, 각 시스템 버전 업데이트 후 재실행되어 데이터가 업데이트됩니다. 평가 방법론은 업계 소프트웨어 품질 보증(QA) 표준을 참조하여 명리 분석의 특수한 요구사항에 맞게 설계되었습니다.

우리가 이 기준 테스트를 공개하기로 선택한 것은 투명성이 신뢰를 구축하는 유일한 방법이라고 믿기 때문입니다. 평가 방법론에 궁금한 점이 있으시면 Instagram @mychenan 으로 연락해 주세요.

방법론 모델 카드 회사 소개 서비스 상태

외부 표준 및 1차 자료

다음 1차 자료는 이 페이지의 판단 기준입니다. 비교 기준일 뿐 제3자가 이 사이트를 보증한다는 뜻은 아닙니다.

NIST AI Risk Management Framework

현재 기계 감사 스냅샷

이 블록은 추적 가능한 로컬 감사 데이터만 사용합니다. 근거 없는 지표나 모델 주장은 추가하지 않습니다.

2026-08-19

유지 관리일

17/17

LLM 폐쇄 루프

180/180

거버넌스 페이지

JSON-LD 오류

32,724

KB 청크(HEALTHY)

512,152

TM 항목; 검증됨 6,250

7,976/7,976

AI 응답 준비 완료; 실패 0

critical

상태 페이지: critical 4건, warning 0건

data/state-machine/i18n-parity.json: 상위 URL 8,036개, 기사 7,976개.
data/kb-machine-audit.json: 소스 파일 3,238개, 누락 커버리지 0, 고립 청크 0.
data/discovery-surface-audit.json: 오류 0건, 경고 0건.
data/sla-report.json: critical / critical 4건, warning 0건.

검증 가능한 증거 레이어

이 블록은 서술적 주장이 아닙니다. 모든 핵심 주장에는 claim id, 소스 JSON, 해시, 재실행 가능한 검증 명령이 있습니다. 공개 페이지는 소스 코드, 비밀 정보, 개인정보, 악용 가능한 공격 세부 정보를 노출하지 않고 거버넌스 증거를 공개합니다.

Claim ID	검증 가능한 값	상태	담당	출처와 검증
claim.public-url-manifest.indexable-count 공개 URL과 canonical 목록	색인 가능 URL 38,965개	verified	sitewide	`node scripts/generate-public-evidence-manifest.js --dry`
claim.trust-pages.audit-pass-rate 신뢰 페이지 기계 감사	180/180 통과	verified	sitewide	`node scripts/verify-trust-pages.js --check`
claim.discovery-surface.zero-errors AI discovery surface 감사	{"errors":0,"warnings":0}	verified	sitewide	`node scripts/verify-discovery-surface.js`
claim.structured-data.jsonld-errors JSON-LD / 구조화 데이터 감사	{"structured_data_invalid_files":0,"breadcrumb_count":28274,"faq_count":27506,"dataset_count":30,"article_count":27406}	verified	sitewide	`node scripts/site-machine-audit.js`
claim.status.sla-state 상태 페이지 SLA 출처	critical / critical 5건, warning 0건	verified	sitewide	`node scripts/generate-status-page.js`
claim.provider-alignment.openai-anthropic-gemini OpenAI / Anthropic / Google Gemini 벤치마크 정렬	코드/설정 증거가 있을 때만 벤치마크 정렬로 인정	verified	sitewide	`node scripts/verify-public-evidence.js --check`
claim.transparency-report.sha256 투명성 보고서 SHA-256 앵커	{"report":"transparency/report-2026-Q3.json","sha256":"47b09e2ca4e8b8fe9dffdfaccef3b11212de9ee3a8a14badca8044e2481203c5"}	verified	sitewide	`node scripts/update-transparency-current-data.js`
claim.release-integrity.gpg-signing GPG 서명 상태	GPG 서명은 로컬에 설정됨; GitHub 검증 대기 중	github_verification_pending	sitewide	`gpg --list-secret-keys --keyid-format=long && git log -1 --show-signature`

public-evidence-manifest.json public-claim-registry.json public-verification-report.json public-url-manifest.json

시스템 카드 V2.0: 기술 투명성 레이어

이 레이어는 안전하게 공개할 수 있는 기술 거버넌스 증거를 게시합니다: 아키텍처, 데이터 출처, AI 사용 경계, 품질 게이트, 릴리스 무결성, 공급자 정렬. 소스 코드, 비밀 정보, 악용 가능한 공격 세부 정보, 개인정보는 공개 범위에서 제외됩니다.

공개 아키텍처

Cloudflare Pages/Workers, R2/D1/KV/Pagefind와 로컬 생성 스크립트가 공개 사이트와 거버넌스 게시 체인을 구성합니다. 공개 페이지는 동작, 상태, 추적 가능한 출처만 공개하며, 비밀 정보나 내부 권한은 공개하지 않습니다.

AI 사용 공개

AI 보조 워크플로우는 지식베이스 검색, 교차 확인, 오류 탐지에 사용됩니다. 거버넌스 문서는 OpenAI, Anthropic, Google Gemini의 공개 프레임워크를 기준으로 벤치마크합니다. Production 모델 사용은 코드/설정 증거가 있을 때만 공개합니다.

품질 및 안전 게이트

거버넌스 페이지 감사 180/180 통과, JSON-LD 오류 0건, discovery-surface 오류 0건. 상태 페이지는 critical 4건, warning 0건을 있는 그대로 보고합니다.

데이터 추적 가능성

지식베이스 32,724 청크, TM 512,152건, AI 응답 준비 완료 7,976/7,976. 공개 지표는 data/state-machine/*, data/*audit*.json, 투명성 보고서로 추적됩니다.

거버넌스 영역	OpenAI	Anthropic	Google Gemini	Starnum 구현 증거
모델/시스템 카드 공개	OpenAI 모델 + 안전 문서	Claude 모델 문서 + system/model 카드	Gemini 모델 문서 + 안전 설정	system-card, model-card, methodology, benchmark, transparency-log
안전 평가와 사용 경계	Safety best practices / 배포 체크리스트	Responsible Scaling / 안전 정책	Gemini 안전 제어 / 정책	AI safety, acceptable-use, ethics, 위험 경계 문구, 크롤러 정책 감사
데이터 거버넌스	Data controls / privacy controls	개인정보 및 데이터 처리 문서	Gemini API 데이터 거버넌스 참조 문서	privacy, ai-data-governance, KB/TM 출처 추적, SHA-256 해시
모니터링과 릴리스	production 체크리스트 / eval 규율	system-card 투명성 규율	모델/버전 문서화 규율	deploy.js, status.html, SLA 보고서, trust-pages-machine-audit, sitemap/hreflang 감사

출처: data/state-machine/model-card.json, public-bench.json, trust-pages.json, security-headers.json.
출처: data/trust-pages-machine-audit.json, data/discovery-surface-audit.json, data/ai-answer-readiness-audit.json.
출처: data/kb-machine-audit.json, data/tm/quality-audit-report.json, data/sla-report.json.
공식 벤치마크 문서 확인일: 2026-08-19; 링크는 OpenAI / Anthropic / Google Gemini 정렬 표에 있습니다.

V2.0의 목표는 주장을 더 늘리는 것이 아니라, 이미 구현된 제어와 계획된 제어를 분리하는 것입니다. Production 사용, 벤치마크 정렬, 상태 예외, GPG 서명, SLA 위반은 모두 소스 데이터를 근거로 공개됩니다.

릴리스 무결성과 GPG

GPG 서명은 로컬에 설정되어 있습니다. signingkey=0934DFA0EDA6363A. GitHub 검증은 공개 키 업로드와 Verified 배지가 확인될 때까지 대기 중입니다.

OpenAI / Anthropic / Google Gemini 정렬

거버넌스 서페이스는 세 공개 프레임워크를 기준으로 벤치마크됩니다: 모델 문서, system/model 카드, 안전 평가, 데이터 거버넌스, 사용 정책. 이는 벤치마크 정렬이며, 모든 공급자가 production inference에 사용되고 있다는 주장이 아닙니다. 공식 문서 확인일: 2026-08-19

공급자	거버넌스 초점	Starnum 공개 내용	공식 출처
OpenAI	모델 문서, 최신 모델 노트, 안전 모범 사례, 데이터 제어.	production 코드 스캔에서 검증 가능한 production 모델 설정을 찾지 못했습니다; 공급자는 거버넌스 벤치마크로만 나열됩니다.	https://platform.openai.com/docs/models
Anthropic	Claude 모델 문서, system/model 카드, Responsible Scaling, 안전 정책.	production 코드 스캔에서 검증 가능한 production 모델 설정을 찾지 못했습니다; 공급자는 거버넌스 벤치마크로만 나열됩니다.	https://docs.anthropic.com/en/docs/about-claude/models
Google Gemini	Gemini API 모델 문서, 안전 설정, 데이터 거버넌스, 플랫폼 정책.	production 코드 스캔에서 검증 가능한 production 모델 설정을 찾지 못했습니다; 공급자는 거버넌스 벤치마크로만 나열됩니다.	https://ai.google.dev/gemini-api/docs/models

검증 가능한 증거 레이어

Claim ID	검증 가능한 값	상태	담당	출처와 검증
claim.public-url-manifest.indexable-count 공개 URL과 canonical 목록	색인 가능 URL 38,965개	verified	sitewide	`node scripts/generate-public-evidence-manifest.js --dry`
claim.trust-pages.audit-pass-rate 신뢰 페이지 기계 감사	180/180 통과	verified	sitewide	`node scripts/verify-trust-pages.js --check`
claim.discovery-surface.zero-errors AI discovery surface 감사	{"errors":0,"warnings":0}	verified	sitewide	`node scripts/verify-discovery-surface.js`
claim.structured-data.jsonld-errors JSON-LD / 구조화 데이터 감사	{"structured_data_invalid_files":0,"breadcrumb_count":28274,"faq_count":27506,"dataset_count":30,"article_count":27406}	verified	sitewide	`node scripts/site-machine-audit.js`
claim.status.sla-state 상태 페이지 SLA 출처	critical / critical 5건, warning 0건	verified	sitewide	`node scripts/generate-status-page.js`
claim.provider-alignment.openai-anthropic-gemini OpenAI / Anthropic / Google Gemini 벤치마크 정렬	코드/설정 증거가 있을 때만 벤치마크 정렬로 인정	verified	sitewide	`node scripts/verify-public-evidence.js --check`
claim.transparency-report.sha256 투명성 보고서 SHA-256 앵커	{"report":"transparency/report-2026-Q3.json","sha256":"47b09e2ca4e8b8fe9dffdfaccef3b11212de9ee3a8a14badca8044e2481203c5"}	verified	sitewide	`node scripts/update-transparency-current-data.js`
claim.release-integrity.gpg-signing GPG 서명 상태	GPG 서명은 로컬에 설정됨; GitHub 검증 대기 중	github_verification_pending	sitewide	`gpg --list-secret-keys --keyid-format=long && git log -1 --show-signature`

public-evidence-manifest.json public-claim-registry.json public-verification-report.json public-url-manifest.json

시스템 카드 V2.0: 기술 투명성 레이어

공개 아키텍처

AI 사용 공개

품질 및 안전 게이트

거버넌스 페이지 감사 180/180 통과, JSON-LD 오류 0건, discovery-surface 오류 0건. 상태 페이지는 critical 4건, warning 0건을 있는 그대로 보고합니다.

데이터 추적 가능성

지식베이스 32,724 청크, TM 0건, AI 응답 준비 완료 7,976/7,976. 공개 지표는 data/state-machine/*, data/*audit*.json, 투명성 보고서로 추적됩니다.

거버넌스 영역	OpenAI	Anthropic	Google Gemini	Starnum 구현 증거
모델/시스템 카드 공개	OpenAI 모델 + 안전 문서	Claude 모델 문서 + system/model 카드	Gemini 모델 문서 + 안전 설정	system-card, model-card, methodology, benchmark, transparency-log
안전 평가와 사용 경계	Safety best practices / 배포 체크리스트	Responsible Scaling / 안전 정책	Gemini 안전 제어 / 정책	AI safety, acceptable-use, ethics, 위험 경계 문구, 크롤러 정책 감사
데이터 거버넌스	Data controls / privacy controls	개인정보 및 데이터 처리 문서	Gemini API 데이터 거버넌스 참조 문서	privacy, ai-data-governance, KB/TM 출처 추적, SHA-256 해시
모니터링과 릴리스	production 체크리스트 / eval 규율	system-card 투명성 규율	모델/버전 문서화 규율	deploy.js, status.html, SLA 보고서, trust-pages-machine-audit, sitemap/hreflang 감사

출처: data/state-machine/model-card.json, public-bench.json, trust-pages.json, security-headers.json.
출처: data/trust-pages-machine-audit.json, data/discovery-surface-audit.json, data/ai-answer-readiness-audit.json.
출처: data/kb-machine-audit.json, data/tm/quality-audit-report.json, data/sla-report.json.
공식 벤치마크 문서 확인일: 2026-08-19; 링크는 OpenAI / Anthropic / Google Gemini 정렬 표에 있습니다.

릴리스 무결성과 GPG

GPG 서명은 로컬에 설정되어 있습니다. signingkey=0934DFA0EDA6363A. GitHub 검증은 공개 키 업로드와 Verified 배지가 확인될 때까지 대기 중입니다.

OpenAI / Anthropic / Google Gemini 정렬

공급자	거버넌스 초점	Starnum 공개 내용	공식 출처
OpenAI	모델 문서, 최신 모델 노트, 안전 모범 사례, 데이터 제어.	production 코드 스캔에서 검증 가능한 production 모델 설정을 찾지 못했습니다; 공급자는 거버넌스 벤치마크로만 나열됩니다.	https://platform.openai.com/docs/models
Anthropic	Claude 모델 문서, system/model 카드, Responsible Scaling, 안전 정책.	production 코드 스캔에서 검증 가능한 production 모델 설정을 찾지 못했습니다; 공급자는 거버넌스 벤치마크로만 나열됩니다.	https://docs.anthropic.com/en/docs/about-claude/models
Google Gemini	Gemini API 모델 문서, 안전 설정, 데이터 거버넌스, 플랫폼 정책.	production 코드 스캔에서 검증 가능한 production 모델 설정을 찾지 못했습니다; 공급자는 거버넌스 벤치마크로만 나열됩니다.	https://ai.google.dev/gemini-api/docs/models