ClovisSTT/realtime
Convertissez un flux audio en texte au fil de la parole pour la dictée, le sous-titrage en direct ou l’entrée vocale d’un assistant.
Capacités
Endpoints compatibles
Le modèle derrière ClovisSTT/realtime
ClovisSTT/realtime est le nom à utiliser dans l’API Clovis. Il correspond à Voxtral Mini 4B Realtime 2602, le modèle de reconnaissance vocale en continu de Mistral AI. Le modèle est annoncé dans la classe des 4 milliards de paramètres et publié sous licence Apache 2.0. Sa conception permet de traiter l’audio au fur et à mesure de sa réception.
Cas d’usage
- Dictée : transformer la parole en texte dans une application.
- Sous-titrage en direct : afficher la transcription pendant un échange.
- Réunions et entretiens : collecter une transcription pour un traitement ultérieur.
- Assistants vocaux : transmettre le texte reconnu à un modèle conversationnel.
ClovisSTT produit du texte à partir de la parole. Pour répondre à l’utilisateur ou résumer sa transcription, votre application peut ensuite appeler ClovisChat ou ClovisLLM.
Langues et latence
Les 13 langues du modèle
ClovisSTT/realtime peut reconnaître la parole et la transcrire dans les 13 langues suivantes :
Les codes servent ici à identifier les langues ; ils ne constituent pas un paramètre à ajouter aux événements WebSocket de ce guide. Le texte transcrit reste dans la langue parlée : la transcription n’effectue pas une traduction. La précision peut varier selon la langue, l’accent et la qualité de l’enregistrement.
Délai de transcription
Mistral recommande un délai de transcription de 480 ms comme compromis entre réactivité et précision. Ce délai du modèle ne constitue pas une garantie de latence de bout en bout de l’API Clovis : le réseau, la taille des blocs audio et la charge du service interviennent également.
Réglages recommandés par Mistral
Les recommandations suivantes concernent le déploiement de Voxtral avec vLLM. Les paramètres du serveur sont gérés par Clovis ; ils ne sont pas des champs à ajouter aux événements WebSocket du client.
- Température : utiliser
0.0pour la transcription. - Longueur maximale : dimensionner
--max-model-lenselon la durée de l’enregistrement. Un token texte correspond à environ 80 ms d’audio. Pour une réunion d’une heure, prévoir au moins 45 000 tokens :3 600 / 0,08 = 45 000. Mistral recommande la valeur par défaut de 131 072 tokens, correspondant à environ 3 heures. Le streaming peut se poursuivre en théorie sans limite, mais les allocations mémoire du serveur, notamment pour les positions RoPE, imposent des limites pratiques. Ces valeurs ne constituent pas une garantie de durée de session sur l’API Clovis. - Transport : privilégier les WebSockets pour envoyer l’audio et recevoir la transcription en continu.
- Délai de transcription : privilégier 480 ms. Pour un déploiement personnalisé, le champ
transcription_delay_msdu fichiertekken.jsonpeut être réglé sur un multiple de 80 ms entre 80 et 1 200 ms, ou sur 2 400 ms. Ce réglage s’effectue côté serveur.
Qualité de transcription
La précision dépend de l’enregistrement : bruit, voix superposées, noms propres et vocabulaire spécialisé peuvent modifier le résultat. Relisez les transcriptions avant de les utiliser dans un compte rendu.
Le test partagé porte sur trois extraits anglais de hf-internal-testing/librispeech_asr_dummy : deux passent le seuil de comparaison, tandis que le troisième échoue au seuil de rappel (67 % pour un seuil de 80 %), avec des différences de casse et de ponctuation signalées. Ce contrôle valide l’intégration sur ces extraits ; il ne mesure pas la précision générale du modèle. Pour évaluer votre usage, testez des enregistrements représentatifs et normalisez la casse et la ponctuation si elles ne font pas partie des critères attendus.