john/ember-memory-test
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

feat(episode): TRAZA_lo-que-ya-sabemos-y-por-qu-importa-tanto_S20260831.R1_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD

Browse source 
Skill: NONE | Type: troubleshooting
Summary: EPISODIO 1 — MEMORIA: Lo que ya sabemos, y por qué importa tanto
This commit is contained in:
Ember 2026-09-02 18:31:18 +00:00
parent 2f8c3e310f
commit fd983c9eeb
1 changed files with 31 additions and 0 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

31
episodes/TRAZA_lo-que-ya-sabemos-y-por-qu-importa-tanto_S20260831.R1_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD.md Normal file
View file

@ -0,0 +1,31 @@
---
episode_id: "97bb11e6-1b23-41f1-b144-5f6348ab0d43"
puente_flat: "TRAZA_lo-que-ya-sabemos-y-por-qu-importa-tanto_S20260831.R1_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD"
session_code: "S20260831.SID4EC5B030F7F0"
acto_dialogico: "informar"
actor_flujo: "multi_actor"
criticidad_aegis: "low"
skill_dominante: "NONE"
fase_proyecto: "operations"
tipo_semantico: "troubleshooting"
summary_one_line: "EPISODIO 1 — MEMORIA: Lo que ya sabemos, y por qué importa tanto"
source_type: "claude_code"
trust_boundary: "internal"
created_at: "2026-09-02T18:31:18.019353+00:00"
relectura_tagged: false
forgejo_commit_sha: "pending"
---
Medición en vuelo y vigilada — te aviso en cuanto aterrice el veredicto.
## Lo que ya sabemos, y por qué importa tanto
El instrumento está construido, **probado con 8 controles (30 checks, todos verdes)** y desplegado. Su test hace algo que casi ningún medidor de mejoras hace: se probó contra un reordenador que **no reordena** (debe dar delta exactamente 0), contra uno **perfecto** (recall@1 = 1,0) y contra uno **adversario** (recall@1 = 0,0 + hallazgo mayor declarado). Sin esos tres, cualquier número que saque no probaría nada.
Y el humo de 12 preguntas ya trae una señal que no esperaba: **el reordenador empeora el acierto sobre el examen sano**. No es un fallo del instrumento — el reordenador se ejecuta bien (12 de 12 `ok`, cero fail-open) y el pareo está intacto. Está reordenando de verdad, y reordenando mal: con K=20 llega a empujar aciertos correctos fuera del top-5.
`★ Insight ─────────────────────────────────────`
**El mecanismo probable, y es elegante en su ironía:** el reordenador juzga **solo por títulos** (decisión DC-9, tomada porque el contenido "empeoraba"). El banco V2 es **ciego al título por construcción** (solape 0,048). Le estamos pidiendo emparejar preguntas contra títulos que casi no comparten vocabulario con ellas. En el banco viejo parecía brillante porque **los títulos llevaban la respuesta dentro** — el mismo sesgo que inflaba el examen inflaba a su reordenador.
`─────────────────────────────────────────────────`
Si eso se confirma con n=309, no es una mala noticia: es **exactamente el hallazgo que justifica todo el trabajo del banco V2**, y reabre una decisión que creíamos cerrada (DC-9, "solo títulos") porque fue calibrada con el examen sesgado. Con n=12 y p≈0,4 no afirmo nada todavía — por eso corre la medición completa.