feat(episode): TRAZA_1-orculo-hyde-clean-retrievalgatepy-ve_S20260618.R13_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD
Skill: TESSERA | Type: troubleshooting Summary: EPISODIO 13 — ember_experience: 1. Oráculo HyDE + clean (`retrieval_gate.py`) —
This commit is contained in:
parent
f947220a7e
commit
d6a5ee9d9a
1 changed files with 56 additions and 0 deletions
|
|
@ -0,0 +1,56 @@
|
|||
---
|
||||
episode_id: "ef2081d4-6e48-4b75-b154-7d2f01cda208"
|
||||
puente_flat: "TRAZA_1-orculo-hyde-clean-retrievalgatepy-ve_S20260618.R13_XX.ops.2.hot_inf.in.cc.es.000.MGQ_J.PMCFK_E.SGNFD"
|
||||
session_code: "S20260618.VERIFY_FIRST_PASSPORT_FIX"
|
||||
acto_dialogico: "informar"
|
||||
actor_flujo: "multi_actor"
|
||||
criticidad_aegis: "low"
|
||||
skill_dominante: "TESSERA"
|
||||
fase_proyecto: "operations"
|
||||
tipo_semantico: "troubleshooting"
|
||||
summary_one_line: "EPISODIO 13 — ember_experience: 1. Oráculo HyDE + clean (`retrieval_gate.py`) — VERDICT **PA"
|
||||
source_type: "claude_code"
|
||||
trust_boundary: "internal"
|
||||
created_at: "2026-06-19T03:00:29.291168+00:00"
|
||||
relectura_tagged: false
|
||||
forgejo_commit_sha: "pending"
|
||||
---
|
||||
|
||||
Aquí está el estado del **oráculo de retrieval**, John — medido fresco ahora mismo. Hay una familia de oráculos, y te los reporto los 4.
|
||||
|
||||
## 1. Oráculo HyDE + clean (`retrieval_gate.py`) — VERDICT **PASS** ✅
|
||||
Corrida fresca (02:54 hoy):
|
||||
| Métrica | Ahora | Umbral |
|
||||
|---|---|---|
|
||||
| HyDE recall@1 | 0.303 | — |
|
||||
| HyDE recall@5 | 0.599 | — |
|
||||
| HyDE recall@10 | **0.707** | ≥0.70 ✅ |
|
||||
| clean lenient@1 | **0.939** | ≥0.85 ✅ |
|
||||
| points (corpus) | 196 | — |
|
||||
|
||||
**Tendencia (3 corridas):** a medida que el corpus crece (84→152→**196** puntos), recall@1 baja levemente (0.35→0.30) y clean@1 SUBE (0.90→**0.94**). Esto es **esperado y sano**: más episodios = más vecinos semánticos compitiendo por el #1 (recall@1 se diluye), mientras el embedding mejora (clean@1 sube). El gate sigue **PASS**.
|
||||
|
||||
## 2. Multi-schema (las colecciones) — las 3 recuperan ✅
|
||||
| Colección | Top score | Recuperó |
|
||||
|---|---|---|
|
||||
| **ember_experience** | 0.698 | tu episodio "Ingesta VIVA" ✅ |
|
||||
| **ember_lexicon** | 0.712 | PUENTE (lex-050) ✅ |
|
||||
| **ember_inner** | 0.511 | reflexión CONCILIO (colección dispersa, 5 puntos) ✅ |
|
||||
|
||||
## 3. Multi-store fused (`multistore_oracle.py`) — corrido fresco, n=1813 queries
|
||||
| Vía | recall@1 | recall@5 |
|
||||
|---|---|---|
|
||||
| V0 dense (HyDE puro) | 0.303 | 0.599 |
|
||||
| **V1 Qdrant (fusión)** | **0.617** | **0.82** |
|
||||
| V2 +PostgreSQL | 0.617 | 0.82 |
|
||||
| V3 +Neo4j | 0.590 | 0.786 |
|
||||
| V4/V5 3-stores | 0.590 | 0.78 |
|
||||
|
||||
**El hallazgo bueno:** la **fusión multi-store DUPLICA el recall@1** vs el denso puro (0.30 → **0.62**). Es decir, el oráculo confirma que el retrieval real (fusionado) es mucho más fuerte que la cifra "cruda" del gate. La vía Neo4j funciona (175 episodios, sin error).
|
||||
|
||||
## 4. 🟡 Un hallazgo nuevo (gap de medición del oráculo, NO de datos)
|
||||
El multistore_oracle reportó: `pg_rows: 0, pg_err: "ModuleNotFoundError: No module named 'psycopg2'"`. **La pata de PostgreSQL del ORÁCULO está rota** — el container `ember-mcp` donde corre el oráculo **no tiene `psycopg2` instalado**, así que el oráculo no puede medir la contribución canónica de PostgreSQL (por eso V2 = V1, sin cambio).
|
||||
|
||||
**Importante:** esto NO es que PostgreSQL no funcione — crisol escribe PostgreSQL perfecto (vía `docker exec psql`, 191 episodios verificados). Es que el *oráculo* no puede *medir* esa pata. Es un gap de instrumentación, no de datos. Fix durable: añadir `psycopg2-binary` a la imagen de `ember-mcp` (un `pip install` en vivo sería efímero, se pierde al rebuild).
|
||||
|
||||
**Observación de tuning:** añadir Neo4j a la fusión baja un poco el recall@1 (0.617→0.59) → el peso de la señal de grafo está levemente desajustado; oportunidad de calibración (no urgente).
|
||||
Loading…
Reference in a new issue