Quién escribe los 571 criterios
Harvey puntúa a sus agentes contra 571 criterios por expediente y no dice quién los escribió. Ramp sí. Esa línea decide si tu eval mide tu dominio.
Blog
Notas de trabajo real de ingeniería — Forward Deployed Engineering, SaaS vertical AI-native, inmersión en dominio (contabilidad, finanzas), y los trade-offs que no solemos escribir.
Harvey puntúa a sus agentes contra 571 criterios por expediente y no dice quién los escribió. Ramp sí. Esa línea decide si tu eval mide tu dominio.
Cuatro fallos medidos operando una agent box 24/7: credenciales que se pisan, errores que el móvil no enseña, el OOM-killer y la doctrina ganado-no-mascotas.
El loop engineering necesita un sitio donde vivir: una agent box en tu servidor — demonio saliente, motor de worktrees propio y acceso sin abrir un solo puerto.
Prototipador, constructor, barrendero, cultivador, mantenedor. Cuando el agente absorbe la ejecución, te define tu postura en el ciclo de vida, no tu puesto.
Loop engineering no es 'diseña loops, no prompts'. Son tres decisiones: cuándo subir o bajar un bucle, cómo soltarlo, y qué tool le falta para cerrarse.
Generar código es casi gratis; verificarlo no. Seis niveles de verificación, del tipo al juicio humano, para que cada afirmación la compruebe el más barato.
Ramp evalúa su agente contable con 237 tareas y 3.469 criterios escritos por contables. Por qué el benchmark privado de dominio decide más que el modelo.
Un agente que concilia facturas y postea al libro mayor sostiene las llaves de tu banco. Las cuatro fronteras que deciden si una inyección puede mover dinero.
El pass@1 cae de 76% a 52% según la tarea se alarga. En un agente que postea al libro mayor, ese hueco son asientos mal puestos. Capacidad no es fiabilidad.
Phil Schmid publica en 22 días tres deep-dives — skills, MCP, subagents — que leidos juntos son el manual no escrito de cómo se monta un agente serio en 2026.
Firefox encontró 13x más bugs, Zenith ganó 5 de 8 tareas a 43% del coste, Eugene Yan publicó su workflow. La señal: invierte en harness, no en el modelo.