La principal diferencia está en el equilibrio entre la automatización y el control detallado.

La Video Agent API toma un único prompt de texto y activa la orquestación autónoma de la creación de avatares, la redacción del guion y la creación y el diseño de recursos visuales. Ofrece un rango completo de control preciso y, al mismo tiempo, permite total libertad creativa. Ideal para explorar grandes volúmenes de contenido, crear videos internos y automatizar procesos. Es una propuesta realmente única en toda la industria.

En comparación, las APIs estándar de generación de video tienen 2 partes principales: 1) generación de videos con avatar y 2) generación de videos con plantillas. Les desarrolladores crean avatares y plantillas de video usando la plataforma web de HeyGen, que después pueden ser usados por la API. Aunque requiere más configuración, estas APIs brindan el control preciso que se necesita para crear recursos con alta calidad de producción y consistentes con la marca. Clientes enterprise ya crearon millones de videos con ellas para automatizar sus flujos de contenido.

Sí, acá tenés los pasos para usar la API de Photo Avatar

1. Subí fotos existentes (a través de Upload Asset API)
2. Creá un grupo de avatares: Creá un grupo de avatares agrupando fotos de la misma persona.
3. (opcional) Entrená el grupo de avatares: una vez que tu grupo de avatares esté creado, podés entrenar el modelo para que reconozca las características únicas del sujeto, sus expresiones y otros elementos, y así asegurarte de que genere avatares realistas.
4. Si querés usar la generación de videos con plantilla para crear videos “personalizados” a escala, podés usar o reemplazar el avatar siguiendo esta guía.

Si querés usar la generación de videos con avatar, podés usar / conectar el avatar siguiendo esta guía.

Sí, la API admite la generación pura de texto a avatar a través de un marco descriptivo estructurado que elimina la necesidad de usar imágenes externas. Al proporcionar parámetros específicos en ocho campos obligatorios —incluida la edad, el género, la etnia y el estilo— la IA sintetiza una persona única en alta resolución. Por ejemplo, si seleccionás la etnia "Este asiático" con un estilo "Profesional" e iluminación "Cinemática", el motor va a devolver una selección de Avatars y Looks únicos, lo que les permite a las empresas escalar bibliotecas de elencos diversos que no existen en el mundo real.

Podés seguir la guía acá para prompt-to-avatar.

El sistema de plantillas está diseñado para una producción de videos tipo "mail-merge" de alta eficiencia, donde un diseño maestro funciona como contenedor de datos dinámicos. Primero, las personas crean o seleccionan una plantilla desde el Dashboard o mediante la API y luego definen marcadores específicos para texto, imágenes o audio. Al enviar una única solicitud POST al endpoint de generación de la plantilla con un payload JSON de variables, el sistema renderiza automáticamente archivos de video únicos para cada destinatario, convirtiéndose en el estándar de la industria para campañas de ventas personalizadas y procesos de onboarding de clientes a gran escala.

Para garantizar el máximo nivel de realismo y precisión en la sincronización labial, el "Golden Path" recomendado es recuperar de forma programática y usar el default_voice_id asociado a un avatar específico. Este método asegura que las características de la voz —como género, tono y acento regional— ya estén optimizadas para la personalidad visual de ese avatar, lo que reduce significativamente el riesgo de efectos de "valle inquietante". Si se necesita una voz personalizada, los desarrolladores siempre deberían filtrar la lista v2/voices para que coincida con los metadatos del avatar y así mantener la coherencia audiovisual.

Como el renderizado de videos con IA de alta fidelidad es un proceso que consume muchos recursos y puede llevar varios minutos, la API está diseñada para usarse con una arquitectura asíncrona basada en eventos mediante Webhooks. En lugar de mantener una conexión abierta (lo que genera timeouts), tu aplicación debería registrar una URL de webhook para recibir una notificación automática de "push" cuando se dispare el evento avatar_video.success. Esto permite que tu backend se mantenga con buen rendimiento y solo procese el video —a través del video_url provisto— en el momento en que esté disponible.

La API ofrece un alcance global enorme, con soporte para más de 40 idiomas y una biblioteca de más de 300 voces diversas, lo que permite una comunicación fluida entre países. Más allá del simple texto a voz en distintos idiomas, la plataforma ofrece funciones de "Video Translation" que pueden tomar un video existente y traducir el audio mientras vuelven a sincronizar en simultáneo los movimientos labiales del avatar con el nuevo idioma. Esto garantiza que la interpretación visual se vea tan auténtica en español o japonés como en la grabación original en inglés.

HeyGen Video Translation puede soportar 175 idiomas y dialectos (según lo indicado acá).