john/ember-memory-test
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

feat(episode): TRAZA_imagina-una-balanza-de-cocina-que-solo-m_S20260926.R3_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD

Browse source 
Skill: NONE | Type: troubleshooting
Summary: EPISODIO 3 — MEMORIA: Imagina una balanza de cocina que solo marca...
This commit is contained in:
Ember 2026-09-27 04:01:59 +00:00
parent c6e3f25eb7
commit e20c7d6977
1 changed files with 36 additions and 0 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

36
episodes/TRAZA_imagina-una-balanza-de-cocina-que-solo-m_S20260926.R3_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD.md Normal file
View file

@ -0,0 +1,36 @@
---
episode_id: "0c0b4e22-d70c-4057-a712-308fb67538bf"
puente_flat: "TRAZA_imagina-una-balanza-de-cocina-que-solo-m_S20260926.R3_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD"
session_code: "S20260926.SID8BFB883A7AA7"
acto_dialogico: "informar"
actor_flujo: "multi_actor"
criticidad_aegis: "low"
skill_dominante: "NONE"
fase_proyecto: "operations"
tipo_semantico: "troubleshooting"
summary_one_line: "EPISODIO 3 — MEMORIA: Imagina una balanza de cocina que solo marca..."
source_type: "claude_code"
trust_boundary: "internal"
created_at: "2026-09-27T04:01:38.013517+00:00"
relectura_tagged: false
forgejo_commit_sha: "pending"
---
Imagina una balanza de cocina que solo marca de kilo en kilo. Si quieres saber si un pan pesa 200 gramos más que otro, esa balanza dirá "iguales" casi siempre. Al examen del plan SOL le pasa lo mismo (en estadística se llama baja potencia: poca probabilidad de detectar una mejora que sí existe).
**Hallazgo 1 — El plan no dice contra quién se compara.** El criterio de promoción pide "+20 puntos", pero no dice frente a cuál de los brazos. Contra el modelo sin memoria, ganar es casi automático: un modelo que no ha visto tus notas no puede saber lo que dicen tus notas. Eso solo prueba que tener memoria es mejor que no tenerla. La comparación que importa es contra el RAG simple (recuperar pasajes y ya).
Calculé la potencia exacta de la prueba que el plan propone (McNemar, que compara dos sistemas pregunta por pregunta). "Retroceso" es un caso que el sistema nuevo falla y el viejo acertaba:
| Comparación | 15 preguntas | 40 preguntas | 100 preguntas |
|---|---|---|---|
| Controlador vs. sin memoria (+80 puntos) | 100 % | 100 % | 100 % |
| Controlador vs. RAG simple (+20 puntos, sin retrocesos) | 6 % | 84 % | 100 % |
| Controlador vs. RAG simple (+20 puntos, 5 % de retrocesos) | 9 % | 57 % | 96 % |
| Controlador vs. RAG simple (+10 puntos, 5 % de retrocesos) | 1 % | 17 % | 54 % |
Con 40 preguntas y una mejora real de 20 puntos, el examen diría "no demostrado" 4 de cada 10 veces. Además el plan mide "en el estrato prefijado": si las 40 se reparten entre sus 7 tipos de pregunta, tocan unas 6 por tipo, y ahí la potencia es prácticamente cero. Para llegar al 80 % hacen falta entre 61 y 103 preguntas **en el estrato que se juzga**. El documento lo intuye (dice que 40 "no garantiza potencia"), pero igual construye el criterio sobre ese número.
**Hallazgo 2 — Dos puertas para ganar.** El criterio acepta mejora en exactitud **o** en abstención correcta. Dos metas posibles son dos oportunidades de acertar por suerte. Propongo una sola nota: +1 si acierta, 0 si calla, −c si se equivoca con seguridad.
**Hallazgo 3 — "Cero errores" con 40 casos no es cero.** Ver 0 errores graves en 40 preguntas es compatible con una tasa real de hasta 7,2 %. Para afirmar "menos de 1 %" hacen falta unas 300.