1
Monte um conjunto representativo de áudios
Inclua gravações curtas e longas, trechos silenciosos e ruidosos, sotaques relevantes, vocabulário especializado, falantes simultâneos e períodos de silêncio. Separe o áudio ao vivo dos arquivos enviados: um resultado de transmissão em tempo real da Deepgram não deve ser comparado a um resultado de processamento em lote da AssemblyAI como se fossem o mesmo fluxo de trabalho. Considere os requisitos de consentimento e retenção ao selecionar as amostras.
2
Avalie o que seu aplicativo utiliza
Meça os erros de reconhecimento em relação a uma referência revisada por uma pessoa e, depois, analise separadamente nomes, números, pontuação, limites das falas de cada pessoa e marcações de tempo. Registre a latência de ponta a ponta das sessões ao vivo e o tempo de conclusão dos arquivos. Tanto para a Deepgram quanto para a AssemblyAI, documente o modelo, o endpoint, a configuração e a data do teste para que uma mudança posterior não invalide a comparação.
3
Teste a integração, não apenas a transcrição
Verifique o tratamento de requisições e respostas, as novas tentativas, os erros, a ordem dos eventos e o esforço necessário para converter a saída no modelo de dados do seu aplicativo. Consulte a documentação atual de cada recurso que pretende usar; a disponibilidade pode variar conforme o endpoint ou o modelo. Defina antecipadamente quais falhas são inaceitáveis, em vez de diluir um problema grave em uma sessão ao vivo em uma pontuação geral boa.