07. Мониторинг качества и дрейфа моделей — «мы подписываемся цифрами»
| Статус | входит в обязательства по качеству |
| Поставка | входит во все сценарии, включая API |
| Зависимости | 03-models.md §4 (методика оценки), 02-architecture.md §7 (R1, R8) |
Проблема
Никто из конкурентов не публикует точность распознавания на ваших записях. Продавец говорит «WER 5 %», клиент получает «не понимает фамилии и путает цифры». Дальше — разочарование и недоверие ко всей категории.
Вторая проблема — незаметная деградация: новая кампания, новый сленг, смена скриптов, и качество классификации тихо падает. Клиент обнаруживает это через полгода по неверным отчётам, а не по алерту.
Решение
Три измеримых контура качества, доступных клиенту.
1. Пилотный замер (до денег). На записях заказчика: ручная эталонная транскрипция 60–90 минут, стратифицированная по типам звонков; WER/CER общие и по слоям; сравнение 3–4 моделей ASR между собой. Оценка классификации — на 300–500 звонках с разметкой бизнеса. Результат — приложение к договору с цифрами, а не презентация.
2. Регресс-набор клиента в CI. Зафиксированная выборка (ASR + классификация) остаётся в контуре клиента. Любой апгрейд моделей и промптов проходит через неё до выкатки: если качество падает — обновление не выходит. Отчёт по каждому релизу — доступен клиенту.
3. Ежемесячный отчёт о качестве и алерты на дрейф. Автоматически: - WER на контрольной выборке (если есть разметка) и доля сегментов с низкой уверенностью; - метрики классификации: precision/recall по ключевым классам, доля ручного контроля; - алерт, если показатель ухудшился больше чем на порог (например, WER +2 п.п. или low-confidence +30 %).
Что видит клиент: страницу «Качество» со значениями за период, историей по месяцам и объяснением, почему показатель мог измениться (новая кампания, изменился профиль звонков). Никаких «модель стала хуже, но мы промолчали».
Метрики успеха
| Метрика | Цель |
|---|---|
| Обнаружение деградации качества | ≤ 7 дней от появления (алерт, а не жалоба) |
| Доля обновлений моделей, прошедших регресс без падения качества | 100 % |
| Расхождение «обещали в пилоте / получили в проде» | ±1 п.п. по WER |
| Клиенты, у которых замерялся WER на своих данных | 100 % (иначе нет договора) |
Как это устроено у нас
- Замер на записях заказчика до пилота: WER по слоям, F1 по классам, полнота проверки скриптов.
- Регресс-набор клиента прогоняется при каждом обновлении модели — дрейф видно, а не предполагается.
- Ежемесячный отчёт «обещали / получили» с расхождением в процентных пунктах.