Т-Банк разработал методы для снижения стоимости генерации ответов ИИ
Центр искусственного интеллекта Т-Банка предложил два подхода, направленных на уменьшение стоимости генерации ответов при использовании языковых моделей. Результаты исследований были представлены на международной конференции по обработке естественного языка и искусственному интеллекту уровня A* EMNLP 2026 в Будапеште.
Снижение стоимости генерации ответов через универсальную модель
Первый метод ориентирован на сокращение расходов при обработке запросов к большим языковым моделям. Вместо применения множества узкоспециализированных решений разработчики создали единую универсальную модель, которая, по данным Т-Банка, объединила более 200 внутренних сервисов. В настоящее время она обрабатывает около половины ежемесячного трафика внутренней платформы больших языковых моделей.
Стоимость обработки запросов оказалась в 2,8–3,9 раза ниже, чем у более крупной модели, использованной для сравнения. В отдельных сервисах затраты сокращаются в четыре – девять раз. Внутренние тесты также показали, что по ряду показателей качества ответов и точности выполнения инструкций разработка превосходит более крупную альтернативу.
Обработка документов: снижение затрат более чем на 80%
Второй метод предназначен для извлечения структурированной информации из документов различных форматов по текстовому запросу. Модель способна находить реквизиты, даты, суммы и другие детали. По оценкам Т-Банка, её использование сокращает расходы на обработку документов более чем на 80% относительно ручного труда и более чем на 50% по сравнению с лучшей из протестированных открытых моделей.
При расчёте экономической эффективности учитывались не только вычислительные затраты, но и время сотрудников на проверку результатов. В зависимости от достоверности извлечённых данных система автоматически определяет, можно ли обработать их без участия человека, отправить на подтверждение или оставить полностью ручную обработку.
Контекст рынка и экспертные оценки
Оба метода уже внедрены в бизнес-процессы Т-Банка. Директор Центра искусственного интеллекта Дмитрий Ушанов заявил: «Мы показали, что одну относительно компактную языковую модель можно дообучить под реальные корпоративные задачи, заменив ею более дорогие решения и сохранив качество».
Согласно прогнозу Gartner, расходы на инференс — обработку запросов уже обученными ИИ-моделями — в облачной инфраструктуре, оптимизированной для ИИ, в 2026 году составят $23,3 млрд против $19 млрд на обучение. На инференс придётся 55% затрат на такую инфраструктуру, а к 2027 году его доля может вырасти до 59%. Использование компактных моделей под типовые задачи становится одним из способов снижения этих издержек.
Аналитики Gartner ожидают, что к 2027 году компании будут применять специализированные небольшие модели как минимум втрое чаще, чем большие языковые модели общего назначения. Руководитель группы «Обобщаемые системы ИИ» Института AIRI Дарья Пугачева отметила, что такие модели подходят прежде всего для массовых операций — обработки писем, заказов и внутренней документации, а в некоторых сценариях могут обеспечивать качество, сопоставимое с более крупными системами. Однако специализация не исключает ошибок, и для сложных нестандартных задач разумно использовать комбинацию малых и больших моделей.
Руководитель лаборатории иммерсивных технологий Школы управления «Сколково» Артем Егоров добавил, что экономия от компактных моделей особенно заметна при работе с ИИ-агентами, которые многократно обращаются к языковой модели в рамках одной задачи. Руководитель Центра разработки больших языковых моделей MWS AI Валентин Малых подчеркнул, что итоговая экономия зависит не только от стоимости инференса, но и от готовности бизнес-процессов, эффективности использования токенов и затрат на дообучение и поддержку. По словам руководителя направления SRE АО «Киви» Дмитрия Роенко, если проверка и исправление результатов нейросети отнимают почти столько же времени, сколько ручная обработка, экономический эффект может оказаться минимальным.