Узнайте, сколько токенов займёт текст в моделях GPT-4o и GPT-4.
Подсчёт по токенизатору o200k / cl100k — он используется в моделях GPT-4o и GPT-4. Для других моделей число токенов может немного отличаться.
Языковые модели обрабатывают текст не словами, а токенами — короткими фрагментами длиной в несколько символов. Лимиты моделей, скорость ответа и стоимость запросов к API считаются именно в токенах, поэтому понимать их количество важно при работе с нейросетями и проектировании промптов.
Для английского текста один токен — это примерно 4 символа или 0,75 слова. Русский текст «дороже»: из-за особенностей токенизаторов кириллица разбивается на большее число токенов, поэтому один и тот же текст на русском займёт в 2–3 раза больше токенов, чем на английском.
Перед отправкой длинного промпта в API проверьте, поместится ли он в контекстное окно модели и сколько примерно будет стоить запрос. Это помогает планировать бюджет и не превышать лимит. При проектировании RAG-систем счётчик пригодится, чтобы оценить размер чанков — длина не должна сильно отличаться, иначе модель может смешивать фрагменты при ответе.
Токенизаторы GPT обучены преимущественно на англоязычных данных, поэтому кириллица часто кодируется отдельными токенами. В среднем русский текст требует в 2–3 раза больше токенов, чем эквивалентный английский.
Инструмент использует токенизатор o200k/cl100k — тот же, что в моделях GPT-4o и GPT-4, поэтому подсчёт очень близок к фактическому. У моделей других разработчиков (Claude, Gemini) токенизация может немного отличаться.
Нет, подсчёт токенов выполняется полностью в вашем браузере. Токенизатор подключается локально, поэтому через инструмент можно безопасно пропускать конфиденциальные промпты.
Уберите служебные слова и повторы, используйте сокращения вместо длинных формулировок, переведите часть инструкций на английский (если позволяет задача — английские токены экономнее).
Расчёт затрат на запросы к нейросетям.
Сборка структурированного промпта по блокам.
Контекст и цены популярных моделей.
Деление длинного текста по токенам.
Готовые промпты для нейросетей.
Заполнение контекстного окна моделей.