Короткий ответ: синтез речи проверяют на одинаковом наборе фраз, а не по одному красивому демо. Включите неоднозначные слова, числа и сокращения, адреса и коды, имена и термины. Слушатели должны оценивать запись без названия модели, а допустимые варианты произношения нужно определить заранее.
Что взять из опубликованной методики
Artificial Analysis описывает тест Pronunciation Robustness: одинаковые предложения для всех систем, один закреплённый голос американского английского, клипы в случайном порядке и слепая оценка людьми по заранее допустимым прочтениям. Набор делится на контекстное различение, разворачивание сокращений и чисел, точное чтение последовательностей и произношение собственных имён или технических терминов. По оценке редакции, одинаковый текст и скрытые названия моделей помогают уменьшить влияние подбора фраз и знания бренда.
Это англоязычный тест с американским голосом; допустимыми считаются и американские, и британские варианты чтения. Он не измеряет качество русского языка и не даёт готового русского рейтинга. Для русского составьте собственный корпус с носителями языка и нужным доменом: например, финансовые суммы, адреса, имена клиентов, терминологию вашей поддержки.
Русский учебный набор: текст и ожидаемое чтение
Ниже примеры для составления собственного теста, а не результаты измерения какой-либо модели. Входной текст оставляйте таким, каким его увидит пользователь; ожидаемое чтение и допустимые варианты запишите отдельно до прослушивания.
| Категория | Исходный текст | Ожидаемое чтение |
|---|---|---|
| Контекст и ударение | «Замок на холме» / «Замок на двери» | «за́мок» / «замо́к» |
| Числа и падеж | «До 5 км» / «С 1 по 3 мая» | «до пяти километров» / «с первого по третье мая» |
| Аббревиатуры | «МФЦ» / «ГОСТ» | «эм-эф-цэ» / «гост» |
| Точные коды | «К-021» | «ка, ноль, два, один» — если именно такое чтение требуется вашей службе поддержки |
| Имя или термин | Фамилия клиента либо название товара из вашей базы | Чтение, заранее подтверждённое владельцем имени или словарём команды |
Для буквы «ё» добавьте пары вроде «все» и «всё» в естественном контексте. Для аббревиатуры заранее решите, читается ли она по буквам или как слово; иначе слушатели не смогут одинаково оценить ответ.
Как провести и посчитать тест
- Подайте всем системам одинаковый исходный текст без редакционной нормализации. Если в реальном продукте есть обязательная предобработка, примените её одинаково и опишите отдельно.
- Для каждой модели зафиксируйте голос, настройку нормализации или SSML и формат аудио. Если голоса не сопоставимы, не выдавайте различие дикторов за различие моделей.
- Перемешайте клипы и скройте названия моделей. Несколько слушателей оценивают каждый заранее отмеченный фрагмент: «да», «нет» или «не разобрать».
- Считайте долю «да» среди «да» + «нет» отдельно по категориям. «Не разобрать» исключайте из знаменателя и показывайте его долю. Если слушатели расходятся, сохраните все оценки и контрольные записи, а спорный пример проверьте ещё раз.
Artificial Analysis использует такой принцип слепой оценки по выделенным фрагментам для своего английского корпуса. Русские фразы и выбор домена выше предложены редакцией; их качество нужно проверить с носителями языка до рабочего сравнения.
Как выбрать модель
Сравнивайте ошибки на вашем сценарии вместе со временем генерации, стоимостью, лицензией голоса и правилами обработки текста. Для предметного примера тарифа и моделей можно отдельно посмотреть карточку ElevenLabs; её данные не заменяют ваш тест произношения. Для адресов и кодов даже редкая ошибка может быть дорогой; для художественной озвучки важны также интонация и естественность. Пилотируйте на реальных, обезличенных запросах и повторяйте тест после обновления модели.
Источник
Методика бенчмарка TTS от Artificial Analysis; проверено 23.09.2026.