john/ember-memory-test
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

feat(episode): DEPURA_la-historia-detrs-de-la-pregunta-del-go_S20260705.R99_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD

Browse source 
Skill: NONE | Type: troubleshooting
Summary: EPISODIO 165 — BLINDADA: 📖 La historia detrás de la pregunta del *golden set*
This commit is contained in:
Ember 2026-07-12 16:19:47 +00:00
parent d7b44da591
commit 0fb84647be
1 changed files with 37 additions and 0 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

37
episodes/DEPURA_la-historia-detrs-de-la-pregunta-del-go_S20260705.R99_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD.md Normal file
View file

@ -0,0 +1,37 @@
---
episode_id: "37507e5c-16ad-4d9c-8528-823196cc1f5f"
puente_flat: "DEPURA_la-historia-detrs-de-la-pregunta-del-go_S20260705.R99_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD"
session_code: "S20260705.EVAL_INSTRUMENT_FORGE_SKILL"
acto_dialogico: "informar"
actor_flujo: "multi_actor"
criticidad_aegis: "low"
skill_dominante: "NONE"
fase_proyecto: "operations"
tipo_semantico: "troubleshooting"
summary_one_line: "EPISODIO 165 — BLINDADA: 📖 La historia detrás de la pregunta del *golden set*"
source_type: "claude_code"
trust_boundary: "internal"
created_at: "2026-07-12T16:16:36.922519+00:00"
relectura_tagged: false
forgejo_commit_sha: "pending"
---
Tienes razón en pedir la historia antes de la pregunta (PRÓLOGO). Como estás revisando la SPEC, te dejo **una sola** decisión bien enmarcada — la más consecuente de las dos abiertas — y la otra queda en cola. **Sin prisa: respóndela cuando termines de leer.**
## 📖 La historia detrás de la pregunta del *golden set*
**Reframe:** no es "¿de dónde saco datos de prueba?" — es **"¿cómo evito que el primer instrumento del skill mida un espejo?"** El instrumento insignia de v1.0 es la ablation de RELOJERO (¿aportan señal sus 3 artefactos?). El oráculo (mutation-score con `mutmut`) es objetivo… pero **si Ember elige las 10 tareas de coding, puede — sin querer — elegir tareas donde RELOJERO luce bien o mal**, y el veredicto mediría la selección, no el protocolo. Eso es exactamente el riesgo residual **RR3** que PROBATOR levantó, y es la sombra del AB-LAB que ya tienes (commits `61639c4`/`5b29739`).
**Los tres caminos y lo que cuesta cada uno:**
| Camino | Cierra RR3 | Costo real para ti |
|---|---|---|
| **A — set externo** (SWE-bench Verified / repos públicos post-cutoff) | ✅ del todo | Más setup; las tareas pueden no parecerse a tu trabajo real |
| **B — set curado por John** | 🟡 parcial (representativo, pero tú y Ember pueden compartir sesgos) | Tu tiempo curándolo |
| **C — set generado por Ember** (declarado con `construct_validity`) | ❌ abierto | Rápido, pero el veredicto sale con asterisco |
**Mi inclinación:** **A para el instrumento insignia**, porque el propósito del skill es darte *evidencia creíble* sobre si RELOJERO/CONCILIO valen la pena — y evidencia con sesgo de auto-selección no cierra tu duda original. B como complemento representativo de tu dominio. Lo que me haría cambiar: si me dices que no tienes tiempo para (A) y prefieres un veredicto rápido con asterisco honesto (C) para arrancar el dogfooding.
**La pregunta esencial (lo único que solo tú pones):** ¿**fuente externa** de tareas de coding, **curas tú** un set, o **aceptas el asterisco** de uno generado por Ember?
*(En cola, para después: confirmar el alcance v1.0 — una decisión a la vez.)*