Revisi贸n documental: 10 de octubre de 2026. Fuente: BC-Bench 0.15.0, commit
c84b793a8a9b7422af9512dfe67baeb2bc666d95. No se han ejecutado instalaciones, agentes, contenedores ni benchmarks en esta actualizaci贸n.
Usa la plantilla de informe. Registra commit del benchmark, dataset y categor铆a, versi贸n de BC, harness/modelo, plugins y sus SHA, instrucciones, herramientas, configuraci贸n y logs.
| Observaci贸n | Conclusi贸n permitida |
|---|---|
| El plugin est谩 configurado | Se ha declarado una intenci贸n. |
| El host descubre y carga la skill | Est谩 disponible en ese contexto. |
| La skill devuelve un resultado | Se ha ejecutado para esos inputs. |
| El agente produce un parche | Hay un cambio que evaluar. |
| El evaluador completa su contrato | Existe un resultado de esa categor铆a. |
Un reporte BCQuality partial o failed no es una revisi贸n limpia. La ausencia de findings en una revisi贸n completada solo describe su alcance. La revisi贸n est谩tica tampoco sustituye compilaci贸n, analizadores o pruebas.
Compara brazos sobre las mismas tareas y categor铆a. Identifica errores de infraestructura, resultados ausentes y fallos del agente de acuerdo con el scorer, sin retirarlos de la muestra a conveniencia. Conserva denominadores, repeticiones y configuraci贸n del juez cuando exista.
Las m茅tricas dependen de la categor铆a. No mezcles resoluci贸n de bugs con puntuaci贸n de revisi贸n de c贸digo ni publiques pass@k sin documentar c贸mo se calcul贸. Un 煤nico resultado no demuestra superioridad estable.
Usa notebooks y flujo de revisi贸n y pol铆tica de versiones. Esta gu铆a no publica mediciones nuevas.