04. «Архив под ключ» — конвейер разбора накопленных записей
| Статус | сервис; подключается после пилота |
| Формат | отдельный проект под объём записей |
| Зависимости | 02-architecture.md §4 (режим backfill), 07-deployment.md |
Проблема
У типичного контакт-центра накоплен архив в 50–500 тысяч часов, который «никак не доходят руки разобрать». Вручную это невозможно: 450 000 часов при скорости «1 минута аудио = 5 минут работы» — это 2,1 млн человеко-часов, то есть 1 300 человек на год. Слушать никто не будет.
Разбор такого объёма — отдельная инженерная задача: нужен конвейер, который идёт фоном, переживает прерывания, не конкурирует за ресурсы с текущим потоком и показывает прогресс, а не «месяц тишины».
Решение
Производственный конвейер, а не «проект». Архив обрабатывается отдельным потоком:
- Приём. Физическая отгрузка дисков с записями (для объёмов > 50 тыс. часов это быстрее и дешевле сетевой выгрузки) либо канал из анкеты A4 — S3/SFTP/API.
- Инвентаризация и дедупликация. До начала обработки: сверка по
call_id/хэшу, отчёт «принято / дубли / битые файлы». Клиент видит точный объём и не платит за дубли. - Обработка в низком приоритете. Только прерываемые инстансы (скидка 40–75 %),
чекпоинт по
call_id— потеря узла не роняет прогресс. Задача устойчива к прерываниям и перезапускам, может идти месяцами. - Приоритет live не страдает. Воркеры backfill автоматически отдают мощность под новые звонки (это уже заложено в 02-architecture.md §4).
- Прогресс и ETA. Отдельный дашборд: обработано часов, скорость в сутки, прогноз завершения, распределение по годам и типам звонков.
- Итог проекта. Аналитический отчёт «что было в архиве»: распределение результатов, повторяющиеся проблемы, топ-конфликты, динамика по годам — то, что нельзя было увидеть вообще никогда. Дальше — переклассификация под новые вопросы бесплатно в течение 6 месяцев.
Что это даёт клиенту кроме отчёта. Архив превращается в работающую базу: теги, метрики, карточки. Затем он становится основой для дообучения под специфику заказчика и естественно переходит в постоянный поток.
Пропускная способность
| Параметр | Значение |
|---|---|
| Режим обработки | прерываемые инстансы, низкий приоритет, LLM-слой для классификации |
| Пропускная способность | ≈9 тыс. часов аудио в сутки на 8 карт 4090-класса, работающих круглосуточно |
| Пример объёма | 450 тыс. часов — срок 6–12 недель |
| Устойчивость | прерывания и повторы учтены в плане; прогресс и ETA видны на дашборде |
Метрики успеха
| Метрика | Цель |
|---|---|
| Соблюдение ETA | ≥ 90 % проектов в срок (или раньше) |
| Доля брака и дублей в инвентаризации | ≤ 2 % |
| Конверсия архива в подписку на поток | ≥ 40 % проектов |
| Отзыв/повторный проект по рекомендации | ≥ 1 кейс на 2 проекта |
Как это устроено у нас
- Инвентаризация до старта: сколько часов, какие форматы, что битое и что дублируется.
- Обработка на прерываемых мощностях в низком приоритете: конвейер идёт фоном и не конкурирует за ресурсы с потоком.
- Дашборд прогресса с ETA и итоговый отчёт «что нашлось в архиве» — с примерами звонков.