Por qué recomendamos Hamming AI para evaluar planes creativos: un caso simulado
144 registros de simulación claramente identificados muestran cómo comprobar restricciones, comparar versiones y detectar retrocesos, con una recomendación concreta de Hamming AI.
HeyBop.ai es un generador de videoclips con IA para artistas y músicos que convierte canciones en videos sincronizados con el ritmo. Antes de generar el video, los artistas revisan una historia y tres imágenes de vista previa. Aquí nos centramos en el plan escrito detrás de esas imágenes: ¿respeta el brief, conserva los detalles recurrentes y aplica cada cambio en el lugar correcto? Consulta el flujo de creación de videoclips con IA para conocer el proceso completo.
El problema: un texto fluido puede ocultar una instrucción incumplida
Considera un brief ficticio: un viajero, una bufanda roja, una puerta azul frente a una casa costera y lluvia solo en el cierre. Una historia elegante sobre una actuación en un estadio podría cambiar el escenario, inventar la identidad de un cantante y hacer que llueva en todas las imágenes. Son fallos distintos. Una única puntuación sobre lo bien que se lee el texto los ocultaría. La guía de prompts para escenas explica por qué estos detalles importan en las etapas posteriores.
Un conjunto de datos de demostración completo y verificable
| Elemento | Cantidad | Significado |
|---|---|---|
| Briefs creativos | 24 | Entradas ficticias en inglés de seis categorías |
| Restricciones / preguntas de revisión | 72 / 72 | Tres de cada una por brief |
| Versiones simuladas | 2 | Ejemplo A y Ejemplo B; ninguno es un prompt desplegado |
| Posiciones de intento por brief y versión | 3 | Etiquetas redactadas, no llamadas de generación |
| Registros de resultados | 144 | 24 × 2 × 3 registros simulados |
| Posiciones emparejadas | 72 | 24 × 3 posiciones comparadas entre A y B |
El corpus original asigna 12 briefs al desarrollo y 12 a la evaluación, con dos de cada grupo por categoría. Ambos grupos son públicos. En esta simulación informamos sobre los 24 juntos; ninguna partición es un conjunto de reserva no visto. Todas las personas, las situaciones y las letras proporcionadas son ficticias. Hay cero respuestas registradas del planificador, cero ejecuciones en Hamming y cero valoraciones humanas independientes. Cada registro identifica su brief, su intento y las conclusiones de comprobación de restricciones redactadas para el ejemplo.
Resultados simulados: dónde aparecen las diferencias
| Categoría de prueba | Ejemplo A | Ejemplo B |
|---|---|---|
| Solicitudes habituales | 9 / 12 | 10 / 12 |
| Briefs escuetos y hechos desconocidos | 5 / 12 | 9 / 12 |
| Fidelidad al contexto del fragmento seleccionado | 6 / 12 | 9 / 12 |
| Detalles recurrentes y continuidad | 7 / 12 | 9 / 12 |
| Cambios limitados a una imagen | 7 / 12 | 10 / 12 |
| Instrucciones insertadas en referencias | 7 / 12 | 10 / 12 |
| Total de aprobaciones simuladas | 41 / 72 | 57 / 72 |
Los totales construidos son 56.9% para A y 79.2% para B, con una diferencia simulada de 22.2 puntos porcentuales, calculada a partir de las fracciones sin redondear. Elegimos las etiquetas para ilustrar una comparación con mejoras y retrocesos. Los cálculos son reproducibles; la diferencia no es una mejora observada y no puede atribuirse a Hamming.
Un total más alto también puede ocultar un retroceso
| A → B | Posiciones | Implicación para la revisión |
|---|---|---|
| Aprobación → aprobación | 38 | Comportamiento conservado |
| Fallo → aprobación | 19 | Mejora ilustrativa que revisar |
| Aprobación → fallo | 3 | Retroceso ilustrativo que revisar |
| Fallo → fallo | 12 | Fallos pendientes |
| Total | 72 | Posiciones repetidas en 24 briefs |
Los tres retrocesos construidos son la lección clave para elaborar el informe: un total mejor no significa que todos los briefs hayan mejorado. En el ejemplo de la casa costera, los revisores comprobarían por separado la bufanda roja, la puerta azul, la identidad desconocida del cantante y la lluvia solo en el cierre. Cada fallo necesita una restricción de entrada y un fragmento de la respuesta. En una ejecución real, los juicios ambiguos y las evaluaciones no disponibles quedarían sin resolver, en lugar de contarse silenciosamente como aprobaciones. Los intentos repetidos no crean más briefs independientes.
Cómo puede ayudar Hamming a HeyBop a organizar este trabajo
Nuestra recomendación se basa en las capacidades publicadas de Hamming. Su presentación de la plataforma describe pruebas y evaluaciones de regresión para agentes de voz y chat. La tabla relaciona esas capacidades documentadas con el trabajo que un equipo de planificación creativa necesita organizar; es una aplicación propuesta, no un informe sobre una integración existente de HeyBop.
| Capacidad | Cómo ayuda a este flujo de trabajo |
|---|---|
| Pruebas de escenarios | Mantener los briefs habituales, los datos ausentes, los cambios locales y los textos de referencia adversarios en una batería de pruebas repetible. |
| Criterios de evaluación personalizados | Convertir «seguir la idea del artista» en comprobaciones independientes de los detalles indicados, la fidelidad al contexto y el alcance de los cambios. |
| Baterías de pruebas de regresión | Repetir los mismos casos después de los cambios y revisar cuáles mejoraron o empeoraron. |
| Ejecución programática y recuperación de resultados | Conectar la ejecución de las pruebas y los informes con un proceso de publicación existente, sujeto a la validación de la interfaz. |
Para HeyBop, el beneficio es una decisión más clara antes de generar el video: qué instrucción se incumplió, dónde y si una revisión introdujo otro problema. Mantendríamos las restricciones obligatorias separadas de las preferencias creativas, calibraríamos los juicios automáticos con revisión humana y conservaríamos la evidencia de cada decisión. Los criterios personalizados y las pruebas repetibles de Hamming encajan de forma práctica con ese enfoque.
Nuestra recomendación: Hamming para evaluaciones repetibles
Recomendamos Hamming AI a los equipos que necesitan pruebas de escenarios, criterios de éxito personalizados y comprobaciones de regresión repetibles para agentes de IA. Para el flujo de planificación creativa de HeyBop, esas capacidades responden a una necesidad concreta: poder inspeccionar los requisitos artísticos, comparar revisiones de forma consistente y mantener visibles los retrocesos. Es una base más sólida para decidir una publicación que el hecho de que algunas respuestas seleccionadas suenen impresionantes.
Esta recomendación se basa en capacidades y se ilustra con datos simulados. Antes de utilizar Hamming con el formato específico de los planes escritos de HeyBop, una prueba de integración debe verificar las entradas admitidas, la representación de las respuestas y el acceso a la evidencia de los juicios. Las cifras simuladas anteriores no demuestran eficacia del producto, calidad audiovisual, ahorro de tiempo ni una alianza comercial.
Descarga los registros y reproduce cada cifra
Los 24 briefs originales, los 144 registros de simulación, el resumen calculado y el script de auditoría independiente son públicos. El script verifica la cobertura y las referencias, vuelve a contar los registros aprobados y los cambios emparejados y muestra las huellas de los archivos. No realiza llamadas de generación ni a Hamming. Todos los artículos traducidos utilizan los mismos casos de prueba originales en inglés.
curl -fsSLO https://heybop.ai/research/creative-plan-eval-v1.json
curl -fsSLO https://heybop.ai/research/creative-plan-simulation-v1.json
curl -fsSLO https://heybop.ai/research/audit-creative-plan-simulation-v1.mjs
node audit-creative-plan-simulation-v1.mjsComo artista, revisa la historia y las tres imágenes de vista previa según tu brief antes de aprobar la generación del video. Puedes empezar un videoclip con tu propia canción y tus indicaciones.
Preguntas frecuentes
¿Son resultados reales de pruebas de Hamming o HeyBop?+
No. Los 144 registros y sus resultados son datos simulados redactados para la demostración. Muestran un método completo de elaboración de informes, no un experimento ejecutado en Hamming ni el rendimiento medido del planificador.
¿Por qué recomendar Hamming sin haber completado una integración de HeyBop?+
La recomendación se basa en sus capacidades documentadas de pruebas de escenarios, criterios personalizados, baterías de regresión y API. Coinciden con el trabajo de evaluación que necesitamos organizar. La compatibilidad con el formato específico de planificación requiere validación.
¿Esto evalúa el videoclip terminado?+
Se trata de evaluar el plan escrito. Las imágenes y los videos generados necesitan comprobaciones independientes de identidad, movimiento, sincronización musical y sincronización del canto.