Junto con ella, la compañía presentó un conjunto de datos de audio en ruso para probar modelos ASR en condiciones idénticas
MWS AI, parte de MTS Web Services, ha lanzado RESON, una herramienta de código abierto para evaluar modelos de reconocimiento automático de voz. Permite compararlos utilizando más de 10 métricas y genera un informe interactivo con los resultados del análisis.
Para verificar un modelo en RESON, se cargan sus transcripciones y textos de referencia. El sistema unifica los datos, calcula las métricas seleccionadas y ayuda a identificar errores comunes. Entre las métricas disponibles se encuentran WER y CER, que evalúan errores a nivel de palabras y caracteres, así como MWA y el indicador WIS desarrollado por MWS AI, que considera la importancia de palabras individuales para un escenario específico.
RESON se distribuye como una biblioteca Python de código abierto. Se puede ejecutar a través de la línea de comandos o API y utilizarse dentro de la propia infraestructura, incluidos los circuitos cerrados.
Simultáneamente, MWS AI presentó el conjunto de datos MWS RESON ASR OSD para comparar modelos en condiciones idénticas. Incluye más de 12 mil grabaciones de audio en ruso con una duración total de aproximadamente 38 horas. La muestra contiene conversaciones, números de teléfono, fechas, cantidades, nombres de empresas y servicios, así como grabaciones con ruido y habla de fondo.
En cuatro conjuntos de datos, el mejor modelo probado fue GigaAM v3 de Sber con un WER promedio del 7,42%. Vosk obtuvo un 11,07%, Nvidia Parakeet un 15,83% y Nvidia Nemotron un 25,52%.
