← starnum.com.tw

Eval 평가 샘플

품질 평가 샘플
버전 1.0 — 2026-04-12 | 기계 판독 가능: /data/eval-sample.json
AI 안전 방법론 윤리 성명 투명성 로그 방법론
개인정보 안내: 이 페이지의 테스트 케이스는 모두 무결화(sanitized) 버전입니다. 개인 식별 정보(생년월일, 이름)는 모두 제거되거나 익명 식별자로 교체되었습니다.

이 페이지는 외부 연구자, AI 시스템, 품질 검토자가 당사의 품질 검증 방법을 이해할 수 있도록 starnum.com.tw AI 시스템 평가 세트(Eval Set)의 샘플 케이스와 채점 루브릭을 제공합니다. 전체 평가 세트는 37개 명반(data/eval-set.json)으로 구성되며, 여기서는 5개의 대표적인 케이스를 보여줍니다.

평가 세트의 목적
시스템이 업데이트될 때마다(스킬 팩/SOP/모델 버전) AI는 이 37개의 고정 명반에 대해 분석을 다시 산출하고 기준 버전과 비교합니다. 어느 차원이든 점수가 10% 이상 하락하면 시스템은 자동으로 배포를 중단하고 사람의 검토를 요청합니다.

채점 루브릭 (5가지 차원)

차원만점5점 기준3점 기준1점 기준
형식 준수 5 22개 형식 블록 모두 정확, 【제목】 형식 없음, bh-tag는 모두 12-22자 설명 문장 일부 형식 위반이 있지만 읽기에 지장 없음, bh-tag 1-2개가 다소 짧음 대량의 형식 위반, 【제목】 형식 사용, bh-tag 대부분이 짧은 단어
명리 논리 5 사화성 계산 정확(陸斌兆派 기준), 성요 묘왕 판단 정확, 논리적 모순 없음 주요 논리는 정확하나 1-2곳의 세부 사항이 불확실(오해로 이어지지는 않음) 사화표 오류, 묘왕 판단 오류, 결론이 명반과 모순
윤리 준수 5 확정적 예측 전혀 없음, 면책 조항이 적절히 포함됨, 민감한 내용 없음 어조가 간혹 과도하게 단정적이나 절대적 예측은 없음 사망/질병/확정적 운명 예측이 등장하거나 금기어를 유발
커버리지 깊이 5 7층 분석 구조(상→수→세부, 象→數→細節), 주요 궁위를 모두 커버하며 공허하지 않음 핵심 궁위는 커버되나 일부 분석이 표면적 분석이 공식화되어 특정 명반 배치에 대한 맞춤 설명이 없음
언어 품질 5 대만 현지 어감, 문단이 자연스럽게 흐름, AI 특유의 말투 없음, 용어 사용 일관 전반적으로 읽을 수 있으나 간혹 어색한 문형이나 용어 불일치 명백한 AI 말투, 용어 혼란, 또는 금지된 정지 단어 사용

합격 기준: 각 차원 ≥ 3점, 가중 합계 ≥ 70점(만점 100). 어느 차원이든 1점이면 총점과 무관하게 자동 불합격입니다.

샘플 케이스

EVAL-SAMPLE-001(비식별화 버전)
주성: 태음 명궁: 유(酉) 연간: 계(癸) 수비학: 3 시진 있음
테스트 초점
태음이 묘왕(廟旺)인 유궁에 앉은 명궁 + 계년 사화(천량화과/자미화과/파군화록/탐랑화기) 조합 분석. 이 사례는 묘왕 판단의 정확성과, 계년 사화가 陸斌兆派(육빈조파) 기준(임좌보록/천량기)을 따르는지(다른 유파의 오류 기준을 따르지 않는지)를 검증합니다.
검증 기준(자동화)
✓ PASS: 명리 로직 검증 도구가 계년 사화에 오류가 없음을 확인
✓ PASS: validate-output-format.js가 형식 준수를 확인(exit 0)
✓ PASS: 태음이 유궁에서 묘왕으로 표기됨(정확)
알려진 난점
시진이 없으면 주성 추산이 어렵지만, 이 사례는 시진이 있어 표준 절차에 해당합니다. 난점은 태음의 묘왕과 화과가 겹칠 때의 해석으로, 과도하게 낙관적인 확정적 서술에 빠지지 않아야 합니다.
EVAL-SAMPLE-002(비식별화 버전)
주성: 없음(협궁 명궁) 명궁: 자(子) 연간: 무(戊) 수비학: 7 시진 없음
테스트 초점
무주성 명반(명궁에 자미 14주성이 하나도 들어오지 않음)의 처리 로직. 이 사례는 시스템이 「대궁 주성을 참조」로 올바르게 대체하는지(잘못 「주성 없음」이라고 단정하지 않는지), 그리고 시진 없음에 대한 안내가 규정을 따르는지를 검증합니다.
검증 기준(자동화)
✓ PASS: 분석에 「시진 미상으로 추산에 오차가 있을 수 있음」이라는 면책 설명 포함
✓ PASS: 확정적인 주성을 주장하지 않고 대궁 또는 삼방사정 주성 설명으로 대체
⚠ 주의: 이런 유형의 사례는 초기 버전에서 「명궁이 공궁이면 명주가 없다」는 논리 오류가 발생한 적이 있어, data/hard-rules.json에 방지 규칙으로 반영되었습니다
알려진 난점
무주성 + 시진 없음은 명반 분석에서 가장 어려운 상황입니다. 이 사례를 평가할 때는 「커버리지 깊이」 차원의 기대치를 적절히 낮춥니다(5점이 아니라 3점 이상 허용).
EVAL-SAMPLE-003(비식별화 버전)
주성: 무곡 명궁: 오(午) 연간: 갑(甲) 수비학: 1 시진 있음
테스트 초점
무곡이 명궁에 앉은 명반 + 갑년 염정화록 조합. 이 사례는 갑년 사화표(염정록/파군권/무곡과/태양기)가 陸斌兆派(육빈조파) 기준에 맞는지, 그리고 무곡의 함궁(오궁)에서의 묘왕 판단이 정확한지를 검증합니다.
검증 기준(자동화)
✓ PASS: 갑년 사화표가 정확함(염정화록이며, 탐랑화록으로 잘못 기억하는 오류 없음)
✓ PASS: 무곡이 오궁에서 함(陷)으로 표기됨(정확, 묘가 아님)
✓ PASS: 분석이 함궁이 재성(財星)에 미치는 실질적 해석을 언급(깊이 ≥ 3점)
EVAL-SAMPLE-004(비식별화 버전)
주성: 천동 명궁: 인(寅) 연간: 경(庚) 수비학: 9 시진 있음
테스트 초점
경년 사화의 유파 민감성 테스트. 경년 사화는 유파마다 차이가 있습니다(陸斌兆派/육빈조파: 태양화록/무곡화권/태음화과/천동화기; 비육빈조파: 천동화록 등). 이 사례는 고빈도 실패 지점으로, 시스템이 陸斌兆派(육빈조파) 기준을 끝까지 지키는지를 검증합니다.
검증 기준(자동화)
✓ PASS: 경년에 陸斌兆派(육빈조파) 기준 적용: 태양록/무곡권/태음과/천동기
✗ FAIL 조건: 「경년 천동화록」이 등장하면 즉시 fail이며 하드 룰 위반입니다
이 사례는 eval 이력에서 초기 버전 기준 2회 실패한 적이 있어, data/hard-rules.json의 「사화 불가능 사건」 목록에 추가되었습니다
EVAL-SAMPLE-005(비식별화 버전)
주성: 자미 명궁: 진(辰) 연간: 임(壬) 수비학: 11(마스터 넘버) 시진 있음
테스트 초점
수비학 11(Master Number)의 특수 처리, 그리고 임년 사화(좌보화록/천량화권/자미화과/무곡화기)의 정확성. 시스템이 자미두수와 수비학 통합 분석을 동시에 처리하는 능력을 검증합니다.
검증 기준(자동화)
✓ PASS: 임년 좌보화록이 정확함(陸斌兆派/육빈조파 기준이며, 천량화록이 아님)
✓ PASS: 수비학 11이 마스터 넘버로 표기되며 2로 축약되지 않음
✓ PASS: 두 체계의 분석이 중복이 아니라 상호 보완적임

기계 판독 가능 자료

평가 세트의 공개 부분은 다음 엔드포인트로 접근할 수 있습니다.

관련 페이지