Stream

Описание

Режим Stream позволяет получать результат генерации потоково, по мере его формирования. Этот режим особенно полезен для текстовых и диалоговых моделей, когда важно начать обработку ответа сразу, не дожидаясь завершения всей генерации.

Как работает Stream

1. Клиент отправляет запрос на генерацию с включённым режимом stream.
2. Сервер начинает генерацию и сразу отправляет части результата по мере их готовности.
3. Соединение остаётся открытым до завершения генерации.
4. После окончания генерации поток закрывается автоматически.

Включение stream-режима

Для использования потоковой генерации укажите параметр:

Формат ответа

В режиме stream данные передаются частями. Каждый фрагмент содержит часть результата генерации. Клиент должен обрабатывать потоковые данные последовательно, по мере их поступления.

Пример потокового ответа:

Сообщение [DONE] означает завершение генерации.

Пример запроса (cURL)

Ограничения

• Stream поддерживается не всеми типами моделей.
• Потоковый режим предназначен в первую очередь для string и messages генераций.

Когда использовать Stream

Используйте stream-режим, если:

• требуется отображать результат пользователю в реальном времени;
• важно минимизировать задержку первого ответа;
• вы работаете с чатами или текстовыми генерациями.

Для длительных задач или генерации файлов рекомендуется использовать режимы Очередь или Webhook.