Что такое контекстное окно и токены в LLM?

Статья также доступна на украинском (перейти к просмотру).

При работе с сервисами на основе больших языковых моделей, такими как ChatGPT, Claude или Gemini, пользователь может заметить, что в длинной беседе система перестает учитывать некоторые упомянутые ранее детали. Это не значит, что искусственный интеллект забывает информацию так же, как человек. Причина кроется в ограниченном объеме данных, которые языковая модель может обрабатывать одновременно. Чтобы понять, как работает это ограничение, нужно разобраться, что такое контекстное окно и токены в LLM.

Что такое контекстное окно?

Простыми словами, контекстное окно — это весь объем информации, которым модель может одновременно оперировать в рамках одного разговора. Не стоит путать контекстное окно с данными, на которых обучалась большая языковая модель. Огромный корпус текстов, использованный при обучении, остается «в прошлом» — LLM не обращается к нему напрямую.

Вместо этого контекстное окно — это что-то вроде рабочей памяти: как лист бумаги, на котором помещается лишь ограниченное количество информации. Его емкость определяет, насколько длинным и сложным может быть запрос и как долго модель «держит в памяти» историю диалога в рамках одной беседы.

Что такое токены?

Поскольку контекстное окно измеряется в токенах, стоит разобраться в том, что они собой представляют и какую роль выполняют.

Токен — это определенный фрагмент текста, а не целое слово. Токенизатор разбивает входящие данные на токены (выполняет токенизацию), и одно слово — например, длинное или редкое — может состоять из нескольких элементов одновременно.

Русский язык из-за своей морфологии обычно «стоит» больше токенов LLM, чем английский — это стоит учитывать при планировании длинных запросов. Мультимодальные данные (например, изображения или PDF-файлы) тоже занимают часть контекстного окна, но их токенизация происходит по другим правилам.

Как связаны токены и контекстное окно?

Контекстное окно LLM можно представить как контейнер, который наполняют песком (токенами). Его объем ограничен определенным количеством частей, в зависимости от версии модели.

Длина контекста включает в себя абсолютно все:

• системный промпт (system prompt) — общая инструкция для генерации, заложенная при разработке;

• все сообщения пользователя;

• предыдущие ответы модели, включая результаты работы инструментов, изображения и документы;

• дополнительный контекст;

• выходные токены — то есть ответ LLM, который она генерирует прямо сейчас.

Сумма входящих и исходящих токенов не может быть бесконечной, поэтому стоит отдавать приоритет наиболее важным данным, какой бы ценной ни казалась вся предыдущая информация.

Почему модель «забывает» начало диалога?

Когда история диалога становится слишком длинной и превышает лимит контекста, происходит контекстное переполнение: самые старые токены либо отбрасываются, либо сжимаются, чтобы освободить место для новых. Это выглядит так, будто языковая модель «забыла» начало разговора, хотя на самом деле речь идет о техническом ограничении, а не о настоящей долговременной памяти.

Почему больше контекста — не всегда лучше?

Казалось бы, чем больше контекстное окно, тем лучше — можно загрузить целую книгу и попросить LLM ее проанализировать. Но у такого подхода есть важные нюансы, снижающие эффективность и качество ответов модели:

• Растут затраты ресурсов — чем больше токенов вы тратите, тем более дорогой тип подписки потребуется.

• Появляется «усталость контекста» (context rot) — по мере роста количества токенов точность и способность вспоминать конкретные детали постепенно снижаются. Внимание модели как бы «размывается» из-за лишнего контекста, поэтому генерация текста может стать менее релевантной запросу.

Поэтому вопрос не только в том, какие ограничения контекста существуют технически, но и в том, чем его стоит наполнять. Это напрямую пересекается с prompt engineering — умением формулировать промпт так, чтобы искусственный интеллект получал только необходимую информацию.

Практические советы

Как же писать промпты с учетом ограничений контекстного окна? Вот несколько правил, которые помогут эффективно работать с LLM:

• Делите большие задачи на меньшие. Разбивайте проект на логические части, а не загружайте все детали сразу. Это снизит риск контекстного переполнения и «усталости контекста».

• Убирайте лишнее из диалога. Если история переписки больше не нужна для текущей задачи, начните новый чат — это освободит контекстное окно LLM от лишнего шума и улучшит качество ответа.

• Для больших документов используйте RAG или загрузку файлов, а не копируйте текст напрямую в чат. Технология Retrieval-Augmented Generation позволяет моделі обращаться только к релевантным фрагментам, а не держать весь документ в рабочей памяти одновременно.

• Формулируйте запрос четко. Хороший промпт экономит токены и снижает риск того, что искусственный интеллект «потеряет» суть задачи среди лишних деталей.

Понимание того, что такое токены и контекстное окно, значительно повышает эффективность работы с большими языковыми моделями. Учет технического лимита помогает грамотно наполнять промпт и получать точные и релевантные ответы.