Разработчики представили технику Guidance Injection, направленную на повышение предсказуемости ответов локальных языковых моделей. Метод решает проблему «галлюцинаций» и отклонений от заданного формата, принудительно внедряя управляющие инструкции непосредственно в процесс генерации токенов. Это позволяет жестко ограничивать структуру вывода, что критически важно для интеграции моделей в программные пайплайны и автоматизированные системы.
В отличие от стандартных методов промпт-инжиниринга, где модель может проигнорировать системные указания, Guidance Injection работает на уровне логитов. Система динамически маскирует токены, которые нарушают заданную схему или формат данных, оставляя модели только допустимые варианты продолжения текста. Такой подход обеспечивает детерминированный результат, необходимый для работы с JSON-структурами, кодом или специфическими протоколами обмена данными.
Реализация метода позволяет значительно снизить количество ошибок парсинга при работе с локальными моделями, работающими на собственном оборудовании. Техника не требует дообучения весов нейросети и может быть внедрена в существующие стеки инференса. Это упрощает создание надежных агентных систем, где точность следования инструкциям является ключевым требованием для корректного выполнения цепочек задач.