05. План пилота: как измеряем качество и договариваемся цифрами

Версия 1.0 от 2026-10-03. Ссылки из 03-models.md §4 и демо-панель ведут сюда. Цель документа — сделать пилот предсказуемым: что делаем, в какие сроки, что измеряем и при каких цифрах идём дальше.

1. Принцип

Мы не обещаем волшебный WER — мы его измеряем. Публичные бенчмарки ASR на телефонном русском не переносятся на записи конкретного заказчика: другой кодек, уровень шума, сленг, акцент, качество микрофонов. Поэтому пилот — это измерительный эксперимент с заранее согласованными критериями, а не «демо».

Результат пилота — отчёт с цифрами и приложение к договору, где зафиксированы: модель ASR, WER на контрольной выборке, качество классификации по классам, фактическая скорость обработки и ресурсы на час аудио для этого заказчика.

2. Сроки и состав работ (2–4 недели)

3. Что именно измеряем

3.1 Распознавание

• WER / CER общие и по слоям: обычные звонки, автоответчики, шумные, короткие, «трудные».
• Сравнение моделей между собой важнее абсолютных чисел.
• Доля сегментов с низкой уверенностью (no_speech_prob, avg_logprob) — индикатор «мусорных» вставок, которые потом портят метрики (см. историю с галлюцинациями в демо-панель).

3.2 Классификация

• Precision / recall / F1 по каждому классу таксономии на размеченных 300–500 звонках.
• Отдельно — бинарная задача «живой разговор vs всё остальное»: именно она определяет достоверность главных KPI руководства (конверсия, покрытие, нагрузка).
• Доля звонков, ушедших в очередь ручного контроля (настраивается порогом уверенности).

3.3 Скорость и ресурсы

• RTF на целевой карте при реальном батчинге, включая предобработку.
• Стоимость обработки часа аудио (аренда + электричество/облако) → основание для расчёта конфигурации под объём (04-hardware.md).

4. Критерии Go / No-Go

Согласуются до пилота, чтобы решения не принимались по впечатлениям:

Если пороги не достигнуты — мы говорим об этом прямо и предлагаем: сменить модель ASR, сузить таксономию или отказаться от проекта. «Продать любой ценой» — не наша модель.

5. Артефакты пилота

1. Отчёт о качестве (PDF): методика, метрики, примеры, ограничения.
2. Приложение к договору с зафиксированными метриками и версией модели.
3. Работающий контур: API-ключ, дашборды, карточка звонка по живым записям заказчика.
4. Таксономия v1 и словари скриптов — пополняемые, с измерениями на регресс-наборе.
5. Регресс-набор (при согласии заказчика) — основа ежемесячного контроля качества (10-feature-specs/07).

6. Как устроен пилот

• Разметка эталона (60–90 минут аудио + 300–500 звонков) — делается нами и входит в пилот.
• Рабочий контур на время пилота: API-ключ, дашборды и карточка звонка на живых записях заказчика.
• Отчёт с измерениями: WER по слоям, F1 по классам, полнота проверки скриптов — до решения о продолжении.
• Если заказчик решает не продолжать — данные и транскрипты удаляются по акту, оригиналы никогда не покидали его контур (07-deployment.md §4).
• Коммерческие условия пилота обсуждаются отдельно и на сайте не публикуются.

7. Типовые риски пилота и что делаем