Префилл

🪄 Префилл

Префилл — это служебное начало ответа, от которого модель должна продолжить генерацию. Например:

Она несколько секунд молчала, прежде чем ответить:

или даже короткий форматный маркер.

Сам префилл затем убирается из видимого ответа. Пользователь видит уже продолжение модели.

Для чего нужен префилл

Он может помочь:

• задать стартовый тон ответа;
• заставить модель начать в определённом формате;
• подтолкнуть её к нужной структуре;
• стабилизировать некоторые сложные пресеты.

Это скорее инструмент для продвинутой настройки, чем ещё один промпт.

Префилл не должен быть огромным

Максимальный размер — 4000 символов.

Но практически хороший префилл обычно гораздо короче.

Если вы пытаетесь засунуть туда три страницы инструкций, значит вам, скорее всего, нужен промпт, а не префилл.

Добавить его можно текстом или файлом .txt / .md. Выключить — отправить none или -.

Префилл поддерживается не везде

Некоторые модели и API-шлюзы поддерживают assistant prefill нормально. Другие могут игнорировать его или отвергать такой формат запроса.

В таких случаях Limerence может продолжить генерацию без префилла.

Поэтому эта настройка не является универсальной для всех моделей.

---

🪄 Префилл ответа

В Кабинете можно настроить Assistant Prefill.

Префилл — это скрытое начало будущего ответа, от которого модель продолжает генерацию.

Например:

«Адриан некоторое время молчал, прежде чем ответить:»

Модель продолжит текст после этой фразы, а сам технический префилл не обязан показываться пользователю как отдельная часть сообщения.

Текущий лимит — 4000 символов.

Префилл поддерживается не всеми моделями одинаково.

Подробнее он разобран на странице Генерация: обзор.