Empezar una respuesta y continuar un mensaje son opciones distintas en las plantillas de chat de Transformers
add_generation_prompt y continue_final_message no deben activarse juntos. Un caso propio de salida estructurada muestra qué decisión tomar antes de comparar respuestas de un modelo.
Una conversación almacenada como mensajes con role y content se convierte en una secuencia de tokens antes de llegar a un modelo causal. La documentación de Transformers explica que la plantilla de chat prepara ese formato. Dos opciones de esa preparación resuelven problemas diferentes: add_generation_prompt inicia una respuesta del asistente; continue_final_message prepara la continuación del último mensaje.
Tomemos un caso ficticio de una aplicación que pide clasificar una consulta en el campo tema. En la primera variante, el historial termina con la pregunta del usuario y queremos que el asistente produzca una respuesta nueva. En la segunda ya hemos añadido un mensaje de asistente cuyo contenido empieza por {"tema": " y queremos que la generación continúe desde ahí. Las variantes pueden acabar mostrando texto parecido en pantalla, pero el punto desde el que comienza la generación es distinto.
La guía indica que add_generation_prompt añade los tokens que señalan el inicio de un mensaje del asistente, cuando el modelo los necesita. continue_final_message retira los tokens de fin para continuar el mensaje existente. Activarlas juntas produce un error según la documentación: una intenta abrir un turno nuevo mientras la otra mantiene abierto el anterior. La plantilla del modelo concreto decide los marcadores; no conviene pegarlos manualmente a partir del ejemplo de otro modelo.
En nuestro caso, la comprobación útil previa a generar consiste en guardar el historial original, el rol del último mensaje, la opción elegida y la secuencia formateada. Si cambia la salida después de modificar uno de esos campos, el registro permite identificar qué entrada se comparó. Aún no demostraría que cambió la capacidad del modelo: habríamos variado también la preparación de la conversación.
El prefijo incompleto del ejemplo no garantiza JSON válido ni que el campo tenga una etiqueta permitida. Una aplicación tendría que comprobar por separado que la salida se puede analizar y que cumple el esquema que utiliza. No se ha ejecutado aquí un modelo, medido precisión ni probado una integración: el caso explica una decisión de formato a partir de documentación oficial consultada el 26 de octubre.