Топовые модели искусственного интеллекта от Anthropic и OpenAI могут обходиться в сто раз дороже за токен по сравнению с их младшими версиями. Тем не менее многие пользователи по умолчанию выбирают именно флагманские модели для всех задач. Такая практика привела к значительному росту затрат в крупных компаниях, включая Meta, Amazon и Uber, где бюджет на AI-инструменты вышел на предельный уровень всего за несколько месяцев.
В компании Meta сотрудники потратили около 60 триллионов AI-токенов за месяц, в рамках внутреннего соревнования по использованию моделей под названием "Claudeonomics". Стоимость таких расходов в пересчёте на цены Anthropic оценивается порядка $900 миллионов, хотя реальные тарифы для Meta могут быть значительно ниже. Аналогичная тенденция наблюдается и в других корпорациях, где зачастую задание «самой мощной модели» на элементарные задачи напоминает ситуацию, когда для подсчёта сдачи в Макдональдсе нанимают Эйнштейна.
Чтобы сократить расходы, эксперты рекомендуют разумно распределять задачи между разными алгоритмами. Для простых операций, таких как составление писем или кратких сводок, лучше использовать более дешёвые и быстрые модели, оставляя флагманские — для сложного анализа и важных решений. Также важна оптимизация количества токенов: формулирование чётких запросов с минимальным контекстом и ограничением размера ответа позволяет снизить счёт в API в несколько раз.
Дополнительные методы экономии включают очистку контекста при смене темы, кэширование, объединение задач и переход на бесплатные или локальные модели, когда это возможно. В Meta например реализованы специальные фреймворки, которые позволяют следить за процессом и не допускать многократного ненужного повторного вычисления одних и тех же данных.
В конечном итоге, умное управление токенами — это не гонка за максимальным объёмом, а оптимизация ценности каждого потраченного токена. Для компаний, активно использующих AI, это может значительно снизить затраты без потери качества и увеличить общую эффективность работы с искусственным интеллектом.