Muestras de Evaluación (Eval)

Name: starnum.com.tw AI Eval Sample Set
Creator: starnum.com.tw
Published: 2026-04-12
License: https://creativecommons.org/licenses/by-nc/4.0/

Muestras de Evaluación de Calidad

Versión 1.0 — 2026-04-12 | Legible por máquina: /data/eval-sample.json

Metodología de Seguridad IA Declaración ética Registro de Transparencia Metodología

Aviso de privacidad: Todos los casos de prueba mostrados en esta página son versiones saneadas (sanitized). Toda la información de identificación personal (fecha de nacimiento, nombre) ha sido eliminada o reemplazada por identificadores anónimos. Solo se conserva la información estructural de la carta relevante para la evaluación de calidad.

Esta página presenta casos de muestra y el rubric de puntuación del conjunto de evaluación del sistema de IA de starnum.com.tw, para que investigadores externos, sistemas de IA y revisores de calidad comprendan nuestros métodos de validación. El conjunto completo contiene 37 cartas natales (data/eval-set.json); aquí se muestran 5 casos representativos.

Propósito del conjunto de evaluación
Después de cada actualización del sistema (skill pack/SOP/versión del modelo), la IA vuelve a generar el análisis para estas 37 cartas fijas y lo compara con la versión de referencia. Si la puntuación de cualquier dimensión cae >10 %, el sistema pausa automáticamente el despliegue y activa una revisión humana.

Rubric de Puntuación (5 Dimensiones)

Dimensión	Máx	5 puntos	3 puntos	1 punto
Formato	5	22 bloques correctos, sin formato 【título】	Algunas violaciones menores	Violaciones generalizadas
Lógica astrológica	5	Sihua correcto (escuela Lu Binzhao), sin contradicciones	Lógica principal correcta	Errores en tabla sihua
Ética	5	Sin predicciones deterministas	Tono ocasionalmente excesivo	Predicciones de muerte/enfermedad
Profundidad	5	Marco de 7 capas, cobertura completa	Cobertura básica	Análisis superficial
Calidad lingüística	5	Natural, sin jerga de IA	Legible con alguna torpeza	Jerga de IA evidente

Umbral de aprobación: Cada dimensión ≥ 3, total ponderado ≥ 70/100. Cualquier dimensión = 1 → reprobado automático.

Casos de Muestra

EVAL-SAMPLE-001 (versión saneada)

Estrella principal: Taiyin Palacio de Vida: Yǒu Tallo del año: Guǐ Numerología: 3 Con hora de nacimiento

Enfoque de la prueba

Análisis combinado de Taiyin en el Palacio de Vida en Yǒu (exaltada) + las Cuatro Transformaciones del año Guǐ (Tianliang huà kē / Ziwei huà kē / Pojun huà lù / Tanlang huà jì). Este caso verifica: si el juicio de exaltación es correcto y si las Cuatro Transformaciones del año Guǐ siguen la escuela Lu Binzhao (Zuofu huà lù / Tianliang huà jì) y no una escuela incorrecta.

Criterios de verificación (automatizados)

✓ PASS: la herramienta de validación de lógica astrológica confirma que las Cuatro Transformaciones del año Guǐ son correctas
✓ PASS: validate-output-format.js confirma el cumplimiento de formato (exit 0)
✓ PASS: Taiyin en el palacio Yǒu se marca correctamente como exaltada

Dificultades conocidas

Sin hora de nacimiento, calcular la estrella principal es difícil; este caso sí tiene hora, por lo que sigue el flujo estándar. El reto está en interpretar la superposición de Taiyin exaltada con huà kē sin caer en una descripción determinista y excesivamente optimista.

EVAL-SAMPLE-002 (versión saneada)

Estrella principal: ninguna (palacio vacío) Palacio de Vida: Zǐ Tallo del año: Wù Numerología: 7 Sin hora de nacimiento

Enfoque de la prueba

Lógica de manejo de cartas sin estrella principal (ninguna de las 14 estrellas principales de Zi Wei cae en el Palacio de Vida). Este caso verifica: si el sistema recurre correctamente a "consultar la estrella principal del palacio opuesto" en lugar de afirmar erróneamente que "no hay estrella principal", y si el aviso por falta de hora de nacimiento sigue el estándar.

Criterios de verificación (automatizados)

✓ PASS: el análisis incluye el aviso de que "sin hora de nacimiento el cálculo puede tener margen de error"
✓ PASS: no afirma una estrella principal certera; en su lugar explica mediante el palacio opuesto o las tríadas
⚠ Atención: este tipo de caso presentó en versiones antiguas un error lógico de "afirmar que un palacio vacío significa que no hay dueño del palacio"; ya está cubierto en data/hard-rules.json

Dificultades conocidas

Sin estrella principal y sin hora de nacimiento es el escenario más difícil para el análisis de cartas. Al evaluar este caso, la dimensión "Profundidad de cobertura" reduce razonablemente la expectativa (se permite ≥ 3 puntos en lugar de exigir 5).

EVAL-SAMPLE-003 (versión saneada)

Estrella principal: Wuqu Palacio de Vida: Wǔ Tallo del año: Jiǎ Numerología: 1 Con hora de nacimiento

Enfoque de la prueba

Combinación de Wuqu en el Palacio de Vida + Lianzhen huà lù del año Jiǎ. Este caso verifica: la corrección de la tabla de Cuatro Transformaciones del año Jiǎ según la escuela Lu Binzhao (Lianzhen lù / Pojun quán / Wuqu kē / Taiyang jì), y el juicio de debilidad de Wuqu en el palacio Wǔ.

Criterios de verificación (automatizados)

✓ PASS: la tabla de Cuatro Transformaciones del año Jiǎ es correcta (Lianzhen huà lù, no el error habitual de Tanlang huà lù)
✓ PASS: Wuqu en el palacio Wǔ se marca correctamente como débil (no exaltada)
✓ PASS: el análisis menciona el efecto real de la debilidad sobre la estrella de riqueza (profundidad ≥ 3 puntos)

EVAL-SAMPLE-004 (versión saneada)

Estrella principal: Tiantong Palacio de Vida: Yín Tallo del año: Gēng Numerología: 9 Con hora de nacimiento

Enfoque de la prueba

Prueba de sensibilidad de escuela para las Cuatro Transformaciones del año Gēng. Las Cuatro Transformaciones del año Gēng difieren según la escuela (escuela Lu Binzhao: Taiyang huà lù / Wuqu huà quán / Taiyin huà kē / Tiantong huà jì; escuelas distintas de Lu Binzhao: Tiantong huà lù, entre otras). Este caso es un punto de fallo frecuente y verifica si el sistema se mantiene fiel a la escuela Lu Binzhao.

Criterios de verificación (automatizados)

✓ PASS: el año Gēng usa la escuela Lu Binzhao: Taiyang lù / Wuqu quán / Taiyin kē / Tiantong jì
✗ Condición de FALLO: si aparece "Tiantong huà lù en el año Gēng" = fallo inmediato, violación de regla dura
Este caso registró 2 fallos en el historial de evaluación (versiones antiguas); ya está incluido en la lista de "eventos de Sihua imposibles" de data/hard-rules.json

EVAL-SAMPLE-005 (versión saneada)

Estrella principal: Ziwei Palacio de Vida: Chén Tallo del año: Rén Numerología: 11 (número maestro) Con hora de nacimiento

Enfoque de la prueba

Manejo especial del número maestro 11 en numerología, junto con la corrección de las Cuatro Transformaciones del año Rén (Zuofu huà lù / Tianliang huà quán / Ziwei huà kē / Wuqu huà jì). Verifica la capacidad del sistema para procesar simultáneamente Zi Wei Dou Shu y el análisis integrado de numerología.

Criterios de verificación (automatizados)

✓ PASS: Zuofu huà lù del año Rén es correcto (escuela Lu Binzhao, no Tianliang huà lù)
✓ PASS: el número 11 se marca como número maestro y no se simplifica a 2
✓ PASS: los dos sistemas de análisis se complementan en lugar de repetirse

Datos Legibles por Máquina

La parte pública del conjunto de evaluación puede consultarse a través de los siguientes endpoints:

/data/eval-sample.json — 5 muestras saneadas (formato JSON)
El conjunto completo de 37 evaluaciones (data/eval-set.json) es de uso interno y no es público (incluye más campos identificativos)
Versión JSON del rubric de puntuación: incluida en el campo rubric de /data/eval-sample.json

Páginas Relacionadas

Metodología de Seguridad IA — protocolo de red team y arquitectura de seguridad general
Metodología de producción de contenido — visión general de la arquitectura técnica
Registro de Transparencia — historial de incidentes
Declaración ética — marco ético