1
Constituez un ensemble d’enregistrements audio représentatif
Incluez des enregistrements courts et longs, des passages calmes et bruyants, les accents pertinents, le vocabulaire spécialisé, des voix qui se chevauchent et des silences. Évaluez séparément l’audio en direct et les fichiers téléversés : un résultat obtenu en streaming avec Deepgram ne doit pas être comparé à un résultat de traitement par lots d’AssemblyAI comme s’il s’agissait du même flux de travail. Tenez compte des exigences de consentement et de conservation des données lors du choix des échantillons.
2
Notez ce que votre application utilise
Mesurez les erreurs de reconnaissance par rapport à une transcription de référence vérifiée par une personne, puis examinez séparément les noms, les nombres, la ponctuation, la délimitation des interventions et les horodatages. Relevez la latence de bout en bout pour les sessions en direct et le temps de traitement des fichiers. Pour Deepgram comme pour AssemblyAI, consignez le modèle, le point de terminaison, la configuration et la date du test afin qu’un changement ultérieur ne rende pas la comparaison caduque.
3
Testez l’intégration, pas seulement la transcription
Vérifiez la gestion des requêtes et des réponses, les nouvelles tentatives, les erreurs, l’ordre des événements et l’effort nécessaire pour adapter les résultats au modèle de données de votre application. Consultez la documentation actuelle de chaque fonctionnalité que vous comptez utiliser ; sa disponibilité peut varier selon le point de terminaison ou le modèle. Déterminez à l’avance quelles défaillances sont inacceptables, plutôt que de noyer un problème grave survenant lors d’une session en direct dans une note globalement bonne.