Токены: что это такое и как из них складывается счёт за ИИ

Провайдеры языковых моделей берут деньги не за запросы и не за слова, а за токены. Отсюда частое удивление: один и тот же текст у двух моделей стоит по-разному, короткий вопрос в долгом чате стоит дороже длинного письма, а ИИ-агент, который правит три строки кода, тратит сотни тысяч токенов. Разберёмся, что такое токен, из чего складывается счёт и где токены уходят незаметно. Цены и условия — на 19.10.2026.

Что такое токен

Модель не читает текст по буквам и не видит слова целиком. Перед обработкой текст режет токенизатор — программа со словарём частых кусков текста. В документации Yandex AI Studio (откроется в новой вкладке) токены описаны как «смысловые отрывки или часто встречающиеся последовательности символов». Частое слово может быть одним токеном, редкое — тремя-четырьмя, а пробелы, знаки препинания и цифры — отдельными токенами.

Словарь у каждой модели свой, поэтому один и тот же текст даёт разное число токенов. В той же документации русский текст в 517 символов занимает 96 токенов у YandexGPT Pro, 109 у gpt-oss-120b и 128 у DeepSeek V4.1 Flash.

• YandexGPT Pro5,39 симв.
• gpt-oss-120b4,74 симв.
• DeepSeek V4.1 Flash4,04 симв.

Документация Yandex AI Studio, пример на 517 символов, на 19.10.2026

Отсюда первое правило: цену за токен у разных моделей сравнивать нельзя. Модель с дешёвым токеном может разрезать ваш текст на большее число кусков, и экономия исчезнет. Сравнивайте цену своего типового текста — письма, договора, запроса.

Почему русский текст «тяжелее»

Токенизаторы обучают на больших наборах текстов, где английского больше всего, поэтому английские слова чаще попадают в словарь целиком. Исследование «Language Model Tokenizers Introduce Unfairness Between Languages» (откроется в новой вкладке) (NeurIPS 2023) показало: длина одного и того же текста в токенах на разных языках различается до 15 раз.

Для русского разброс между моделями тоже заметный. Независимый замер ru-token-tax (откроется в новой вкладке) (27.09.2026, выборка небольшая) даёт от 5,1 символа на токен у YandexGPT 5 Lite и 4,9 у GigaChat 3 до 3,1 у Qwen 3. На русском тексте одна модель может съесть в полтора раза больше токенов, чем другая.

Из чего складывается счёт

В каждом запросе два вида токенов. Входные — всё, что вы отправляете: системная инструкция, история диалога, приложенные документы, результаты инструментов. Выходные — всё, что модель пишет в ответ. Цену обычно указывают за миллион токенов, отдельно за вход и за выход.

Выход почти всегда дороже. У DeepSeek (откроется в новой вкладке) на 19.10.2026 модель deepseek-flash в часы пик стоит 0,30 $ за миллион входных токенов и 1,20 $ за миллион выходных — в 4 раза дороже. Вне пиковых часов обе цены вдвое ниже.

Рассуждения — тоже выход

Модели с рассуждениями сначала «думают», а потом отвечают. Этих черновиков вы можете не видеть, но они оплачиваются. В документации OpenAI (откроется в новой вкладке) сказано прямо: токены рассуждений не видны через API, но занимают место в контекстном окне и оплачиваются как выходные. На простых задачах рассуждения стоит отключать или уменьшать — иначе короткий ответ стоит как длинное эссе.

Кэш: повторы дешевле

Если начало запроса совпадает с недавним, провайдер берёт его из кэша и считает по сниженной цене. У DeepSeek кэш включён по умолчанию, а попадание в него у deepseek-flash стоит 0,006 $ за миллион токенов против 0,30 $ — в 50 раз дешевле. У Anthropic (откроется в новой вкладке) чтение из кэша стоит 0,1 от обычной цены входа, а у части новых моделей — 0,05 и 0,025. Запись в кэш при этом дороже обычного входа: в 1,25 раза для кэша на 5 минут и в 2 раза — на час.

Из этого следует, как собирать запрос: всё постоянное — инструкцию, базу знаний, документ — ставьте в начало и не меняйте, а то, что меняется от запроса к запросу, — в конец. Одно изменённое слово в начале сбрасывает кэш для всего, что после него.

Платите вы не за ответ, а за весь контекст, который модель перечитала, чтобы его дать.

Куда уходят токены у ИИ-агента в коде

У модели нет памяти между запросами. Чат и агент помнят разговор только потому, что каждый раз отправляют модели всю историю заново. В документации Claude Code (откроется в новой вкладке) это описано так: полная история уходит с каждым запросом, а каждое использование инструмента — ещё один запрос с результатами этого инструмента. По данным той же страницы, в среднем по корпоративным пользователям агент стоит около 13 $ на разработчика в рабочий день.

1. Задачаинструкция и запрос
2. Поискgrep, список файлов
3. Чтение файлов (главный шаг)тысячи токенов на файл
4. Правкавыходные токены
5. Проверкавывод тестов

Затем снова к первому шагу: вся история — заново

Дороже всего выходит чтение. Чтобы найти, где в проекте что-то сделано, агент ищет по тексту и открывает файлы один за другим. Каждый прочитанный файл остаётся в истории и отправляется со всеми следующими шагами, поэтому лишний файл в начале работы оплачивается много раз.

Как тратить меньше

• Начинайте новый разговор для новой задачи. Старая история оплачивается в каждом следующем запросе, даже если она уже не нужна.
• Держите постоянное в начале запроса — так работает кэш.
• Отключайте рассуждения там, где они не нужны: классификация, извлечение полей, короткие ответы.
• Не отдавайте модели сырой вывод. Из лога на 10 000 строк агенту нужны строки с ошибками, а не весь файл.
• Давайте агенту карту вместо поиска наугад. Документация Claude Code советует то же: переход к определению функции заменяет поиск по тексту и чтение нескольких файлов-кандидатов, а описание устройства проекта избавляет агента от чтения файлов, чтобы это устройство понять.

Последний пункт мы закрыли своим инструментом — Method Project Map. Он строит статическую карту проекта, без ИИ и интернета: пакеты, файлы, функции и кто кого вызывает. В начале сессии агент получает краткий обзор проекта, а потом задаёт точечные вопросы вместо чтения целых файлов. В испытании на проекте в 29 тысяч строк — 6 задач на исправление ошибок, по 5 прогонов с картой и без неё, агент Codex — агент с картой прочитал 0,55 от объёма кода, который читал без неё, а выходных токенов потратил на 15 % меньше. Суммарный вход сократился на 7 %, но эта разница в пределах погрешности. Исправлений, прошедших скрытые тесты, — 60 из 60 в обоих режимах.

Токен дешевле всего тот, который модель не прочитала.