A ElevenLabs, uma startup focada em clonagem de voz com IA e APIs de texto para fala, anunciou recentemente um novo recurso que permite aos usuários construir agentes de IA conversacionais completos.
Os usuários agora podem personalizar várias variáveis de seus agentes de IA conversacionais na plataforma de desenvolvedores da ElevenLabs, como tom de voz e comprimento das respostas, de acordo com suas necessidades.
Anteriormente, a ElevenLabs oferecia principalmente diferentes vozes e serviços de texto para fala. Sam Sklar, chefe de crescimento da empresa, disse em entrevista à TechCrunch que muitos clientes já estavam usando a plataforma para criar agentes de IA conversacionais. No entanto, a integração de bancos de conhecimento e o tratamento de interrupções do cliente eram os maiores desafios. Portanto, a ElevenLabs decidiu construir um pipeline completo de chatbot para simplificar esse processo.
Os usuários podem começar a construir agentes de IA conversacionais fazendo login em suas contas ElevenLabs, escolhendo um modelo ou criando um novo projeto. Eles podem escolher o idioma principal do agente, a primeira mensagem e o prompt do sistema para definir a personalidade do agente.
Além disso, os desenvolvedores precisam escolher um modelo de linguagem grande (como Gemini, GPT ou Claude), a temperatura da resposta (que determina a criatividade) e as limitações de uso de tokens.
Os usuários também podem adicionar bancos de conhecimento, como arquivos, URLs ou blocos de texto, para aumentar as capacidades do chatbot, de acordo com suas necessidades. Ao mesmo tempo, eles podem integrar seus próprios modelos de linguagem grandes personalizados com o chatbot. O SDK da ElevenLabs é compatível com Python, JavaScript, React e Swift. Além disso, a empresa oferece uma API WebSocket para personalização adicional.
A empresa também permite que os usuários definam critérios de coleta de dados, como o nome e o e-mail dos clientes que conversam com o agente, e usem linguagem natural para definir os critérios de avaliação de sucesso ou fracasso das conversas.
A ElevenLabs está aproveitando seu pipeline existente de texto para fala, e também está desenvolvendo um recurso de fala para texto para seu novo produto de IA conversacional. Atualmente, a empresa não oferece uma API de fala para texto separadamente, mas pode lançá-la no futuro, competindo com APIs de fala para texto de empresas como Google, Microsoft e Amazon, além de APIs especializadas como OpenAI Whisper, AssemblyAI, Deepgram, Speechmatics e Gladia.
A empresa planeja arrecadar uma nova rodada de financiamento com uma avaliação superior a US$ 3 bilhões e está competindo com outras startups de IA de voz, como Vapi e Retell, que também estão construindo agentes de IA conversacionais. Mais importante ainda, a ElevenLabs competirá com a API de conversação em tempo real da OpenAI. No entanto, a ElevenLabs acredita que sua capacidade de personalização e a flexibilidade de alternar modelos lhe darão uma vantagem competitiva.
Destaques:
💬 A ElevenLabs lançou um novo recurso para construir agentes de IA conversacionais, permitindo que os usuários personalizem várias variáveis.
📚 Os usuários podem adicionar bancos de conhecimento para aumentar as capacidades do agente e integrar modelos de linguagem grandes personalizados.
🚀 A ElevenLabs planeja arrecadar fundos com uma avaliação superior a US$ 3 bilhões e competir com concorrentes como a OpenAI.
