Tavus utiliza IA generativa para impulsar videos personalizados con clonación de voz y rostro

La IA generativa ya parece la gran tendencia tecnológica de 2023. La capacidad de generar contenido nuevo a través de algoritmos ha sido puesta en conocimiento del público por ChatGPT, una tecnología de estilo chatbot entrenada en modelos de lenguaje grande (LLM), que produce ensayos, poemas, letras de canciones, artículos de noticias e incluso programas de computadora. Y luego está DALL-E del mismo OpenAI respaldado por Microsoft que generó ChatGPT, que tiene un propósito similar pero es para creaciones visuales.

Si bien algunos han argumentado que ChatGPT señala la llegada de la IA a la corriente principal, la verdad es que solo estamos en los albores de una nueva era de aplicaciones impulsadas por IA que transformarán casi todos los aspectos de la industria, desde la búsqueda del consumidor hasta las acciones. fotografía sobre bienes raíces y marketing de contenidos.

Y con eso en mente, una nueva empresa llamada Tavus está tratando de hacerse un nombre al permitir que las empresas creen videos "únicos en su clase", adaptados para una persona específica pero basados ​​​​completamente en una sola toma inicial.

La idea es que, por ejemplo, un equipo de ventas y marketing pueda enviar un flujo interminable de lanzamientos en video a los prospectos, posiblemente basados ​​en datos de texto que el prospecto envió a través de un formulario en línea. O tal vez un cazatalentos use la plataforma para enviar múltiples videos personalizados a candidatos potenciales, usando datos de sus perfiles de LinkedIn.

Fundado en 2020 por el CEO Hassaan Raza y Quinn Favret en San Francisco, el alumno de Y Combinator (YC), Tavus, anunció hoy que ha recaudado $ 6.1 millones en una ronda de financiación inicial dirigida por el inversionista de Silicon Valley, Sequoia. seguidores de perfil, incluidos Accel Partners, Index Ventures, Lightspeed Ventures y YC Continuity.

Cómo funciona

Cualquier empresa que busque crear múltiples videos personalizados sabe que es un proceso repetitivo que consume mucho tiempo: grabar el mismo mensaje con esencialmente el mismo contenido, pero optimizado para diferentes clientes o candidatos. Y eso es exactamente lo que Tavus pretende abordar al permitir que los usuarios creen sus propias plantillas de video de IA en minutos y luego generen una cantidad ilimitada de versiones de un video a partir de esa fuente original.

El proceso de incorporación inicial requiere que el usuario, como un reclutador o un gerente de ventas, grabe un video de 15 minutos basado en un guión proporcionado por Tavus, que se usa para entrenar la IA. Luego, el usuario registra una plantilla para cada campaña que desea crear.

Tavus: Lectura de un guión para crear una plantilla base autor de la foto: Tavus

Usando un editor basado en la web, los usuarios pueden elegir qué elementos del video personalizar especificando cada variable (por ejemplo, empresa, nombre del ejecutivo o ubicación), agregando llamadas a la acción, etc.

Tavus: Script de personalización con variables autor de la foto: Tavus

Tavus también admite variables más largas a través de fragmentos basados ​​en ChatGPT para presentaciones más personalizadas, que, según Favret, ha sido muy solicitada por sus usuarios. Por ejemplo, el guión base en el que se crea un video se puede configurar para incluir una introducción de una oración generada a partir del perfil de LinkedIn de una persona específica.

Tavus: Generando contenido personalizado autor de la foto: Tavus

Esencialmente, Tavus se esfuerza por replicar lo que el software de marketing masivo ha estado haciendo en el correo electrónico durante años y llevarlo al mundo del video, más atractivo visualmente. En verdad, esto podría generar algunas señales de alerta para algunos: ¿serán las personas demasiado receptivas a un argumento de venta personalizado cuando se den cuenta de que el remitente no lo ha hecho? En realidad ¿Te molestaste en hacer un video solo para ella? Pero más allá de eso, puede haber algo espeluznante en un video generado por IA que usa información personal extraída de una base de datos, lo que significa que algo está diseñado de esa manera. personal podría terminar siendo increíble impersonal cuando el usuario se entera de cómo se hizo.

Las preguntas planteadas por tales escenarios continuarán a medida que la IA invada cada vez más nuestra vida cotidiana. y Favret se apresura a señalar que, si bien las ventas y el marketing son casos de uso obvios para su tecnología, este no es el caso puro En términos de esas industrias, está siendo adoptado por "un grupo diverso de usuarios", incluidos reclutadores, decanos universitarios y ejecutivos de nivel C.

"Hay una idea errónea común de que Tavus solo trabaja con equipos de ventas y marketing", dijo Favret. “Si bien este es nuestro enfoque, tenemos usuarios que aplican Tavus de formas innovadoras y poderosas a lo largo del viaje del cliente. Muchos de nuestros usuarios avanzados aplican Tavus en toda su organización, incluido el éxito del cliente, el producto, el reclutamiento y otras funciones relacionadas con la comercialización”.

Y OMS exactamente, se presenta a la clonación?

"Por lo general, el usuario se clona a sí mismo, pero también es común que las empresas tengan una persona clave, como un ejecutivo o un vocero, que grabe los videos para tener una imagen coherente de la empresa", agregó Favret. "Tavus está diseñado para que todo tipo de usuarios puedan clonarse a sí mismos en minutos".

Debajo del capó, Tavus dice que utiliza el aprendizaje automático para entrenar a un modelo en los gestos faciales y los movimientos de los labios, creando un sistema que imita de manera realista esos movimientos en sincronización con el audio sintetizado.

En términos de implementación, las organizaciones pueden acceder a Tavus de dos maneras. La mitad de los usuarios lo hacen a través del panel web, mientras que el resto integra Tavus en sus propios sistemas a través de API o lo integra de forma nativa.

"A menudo vemos equipos de ventas que consumen e implementan Tavus directamente desde la plataforma debido a su capacidad para crear eficientemente grandes lotes de videos para campañas planificadas", dijo Favret. “Otros equipos utilizarán Tavus de manera más programática y lo integrarán directamente en sus sistemas. Esto permite a los usuarios crear flujos de trabajo "impulsados ​​por eventos" en los que se puede generar y enviar un video de Tavus después de un disparador".

Un ejemplo "basado en eventos": si un cliente potencial completó un formulario en el sitio web de una empresa, la empresa podría crear y enviar automáticamente un video de Tavus personalizado a ese cliente potencial, utilizando los datos que el cliente potencial ingresa por sí mismo.

"Esto permite a las empresas aprovechar el momento adecuado para obtener el máximo de conversiones sin tener que esperar a que un miembro del equipo grabe el video", continuó Favret.

abuso

En el extremo superior del espectro de la IA generativa, vemos empresas como Microsoft y Google preocupadas por quién puede poner su inteligencia respectiva en manos de empresas y consumidores más rápido, una batalla que Microsoft parece estar ganando en la actualidad. Al mismo tiempo, estamos viendo una gran cantidad de empresas emergentes de inteligencia artificial generativa, como GlossAi, que usa inteligencia artificial para ayudar a las empresas a crear fácilmente bocetos de marketing que se pueden compartir, mientras que Typeface hace algo similar para la generación de imágenes y copias de marketing en la empresa. .

Para Tavus en particular, ha habido empresas comparables como Windsor durante varios años, que hace algo similar, aunque con un fuerte enfoque en el comercio electrónico. Y luego está Synthesia, con sede en Londres, que cuenta con el respaldo de una serie de inversores de alto perfil y está más interesada en crear avatares digitales a partir de texto para usar en videos instructivos y de capacitación.

Entonces, está claro que incluso antes de todo el bombo publicitario de la IA generativa de los últimos meses, hubo un movimiento creciente en esta dirección desde el mundo de las empresas emergentes, algo que Tavus ahora quiere capitalizar. De hecho, en su corta existencia hasta el momento, Tavus ya ha conseguido algunos clientes bastante importantes, como la empresa de datos inmobiliarios CoStar y la escala tecnológica francesa AB Tasty.

Sin embargo, vale la pena considerar el posible mal uso de este tipo de tecnología. Por ejemplo, ¿hay algo que impida que alguien cargue un video de otra persona hablando y luego cree nuevos videos a partir de esa plantilla? Ciertamente, no hay escasez de ejemplos de acoso deepfake en todo el espectro de video y voz. Y algunas empresas, como la startup Deep Voodoo de los creadores de South Park, ya están recaudando dinero de capital de riesgo para sus esfuerzos de falsificación profunda. A medida que este tipo de tecnología se arraigue y se normalice en la sociedad, surgirán más preguntas sobre las implicaciones éticas de todo esto, incluso si las intenciones subyacentes son bien intencionadas.

Según Favret, Tavus tiene una función integrada que hace que sea más difícil engañar al sistema al requerir que los usuarios realicen una verificación de voz y graben en vivo en la plataforma Tavus.

“Esto significa que los usuarios no pueden subir videos donde otros hablan”, dijo Favret. “Además, los usuarios tienen todos los derechos sobre sus datos e imagen, por lo que pueden borrar o eliminar sus videos en cualquier momento. También prestamos mucha atención a cómo se usa Tavus: revisamos cada caso de uso antes de que un usuario comience a usar Tavus y nos aseguramos de que el caso de uso siga las pautas de nuestra comunidad y sea ético. La seguridad y la ética son increíblemente importantes para nosotros, especialmente dada la juventud de esta tecnología en la sociedad”.

Muéstrame el dinero

En términos de modelo comercial, Tavus ofrece un plan introductorio básico dirigido a empresas más pequeñas, que cuesta $ 275 por mes con limitaciones como la cantidad de videos que pueden crear. El plan "Business" personalizado elimina estas limitaciones, aunque no hay un precio fijo anunciado; básicamente ajusta el precio en función de cómo la empresa quiera usarlo.

“Los planes de Tavus se personalizan según el caso de uso y las necesidades específicas de una organización, pero en un alto nivel trabajamos con un modelo basado en el uso, donde a los usuarios se les cobra en función de una combinación de la cantidad de asientos que tienen y la cantidad de asientos que los videos que generan se facturan”, dijo Favret.

Antes de esta última ronda inicial, Tavus ya había recaudado una pequeña cantidad de fondos en 2021 como parte de su participación en el programa YC. Su lista completa de inversores de rondas iniciales incluye: Sequoia, Accel Partners, Index Ventures, Lightspeed Ventures, YC Continuity, SV Angel, Hack VC, Remus Capital, Mantis Capital, Liquid2 Ventures, Zillionize, Soma Capital, GTMfund, Terra Nova y varios desconocidos inversores angelicales.