Hacker News · 30.07.2026 ·Машинное обучение

Борьба с «ИИ-лексикой» через настройку logit_bias

Автор эксперимента предложил метод борьбы с шаблонным стилем генеративных моделей, используя параметр `logit_bias` для принудительного исключения типичных «ИИ-слов». Ограничивая вероятность появления таких выражений, как «delve», «tapestry» или «testament», удалось добиться более естественного звучания текста. Этот подход позволяет гибко настраивать стилистику вывода LLM без необходимости полноценного дообучения модели.

В основе метода лежит манипуляция вероятностями токенов на этапе инференса. Многие современные модели, обученные с использованием RLHF, склонны к использованию предсказуемых, «безопасных» и излишне формальных оборотов, которые пользователи быстро научились распознавать как машинные. Применение отрицательных значений смещения (bias) к списку стоп-слов заставляет модель искать альтернативные лексические конструкции, что делает итоговый результат менее монотонным.

Практическая реализация требует формирования качественного словаря «ИИ-штампов», которые часто встречаются в ответах GPT-4 и других популярных моделей. Хотя этот способ не меняет логику рассуждений, он существенно влияет на «человечность» подачи материала. Метод эффективен для задач, где требуется создание контента, который должен мимикрировать под авторский стиль или избегать узнаваемых паттернов генеративного текста.

Ключевые факты

Метод использует параметр `logit_bias` в API OpenAI для снижения вероятности выбора конкретных токенов до нуля.
В список исключений попали слова, характерные для «ИИ-стиля»: «delve», «tapestry», «testament», «unleash», «comprehensive».
Настройка позволяет принудительно менять лексический состав ответа без изменения системного промпта или архитектуры модели.
Техника демонстрирует, что узнаваемость ИИ-текстов связана не только с логикой, но и с избыточной частотностью определенных «безопасных» слов в обучающей выборке.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Решение проблемы «группового мышления» в больших языковых моделях Исследователи и стартапы ищут способы борьбы с эффектом «группового мышления» у LLM, когда модели склонны воспроизводить одни и те же ответы, ограничивая разнообразие выводов. Новый подход предполагает использование специализированных алгоритмов для диверсификации генерации, что позволяет ИИ рассматривать альтернативные гипотезы и снижать предвзятость, возникающую из-за схожести обучающих данных и механизмов предсказания следующего токена. arXiv · Оценка и бенчмарки Исследование гибкости мышления LLM через парадигму «загадок-обманок» Исследователи представили новый метод оценки когнитивных способностей больших языковых моделей под названием «riddle riddle». В отличие от стандартных тестов, этот подход проверяет способность ИИ гибко адаптировать стратегии рассуждения при столкновении с нестандартными задачами. Эксперименты показывают, что модели часто полагаются на заученные паттерны, а не на глубокое понимание логики, что ставит под вопрос их способность к адаптивному мышлению. Hacker News · Машинное обучение Методы борьбы с галлюцинациями и предвзятостью в LLM-системах Разработчики представили инженерный подход к минимизации «галлюцинаций» и склонности моделей подстраиваться под ожидания пользователя. Основная идея заключается в изменении архитектуры промптов и процесса валидации ответов, чтобы система приоритизировала объективные данные над вежливым согласием. Это позволяет повысить точность генерации контента в задачах, требующих строгой фактологической проверки и критического анализа. Hacker News · Исследования и наука Топологический контроль как метод повышения надежности LLM Исследователи предложили новый подход к управлению поведением больших языковых моделей через топологический анализ их скрытых пространств. Метод направлен на ограничение «галлюцинаций» и нежелательных ответов путем математического контроля траекторий активации нейронов. Это позволяет сделать работу ИИ более предсказуемой и интерпретируемой, обеспечивая математические гарантии безопасности при генерации контента в критически важных областях. Hacker News · Разработка и инструменты Как ограничить использование специфических слов в ответах Claude Разработчики столкнулись с проблемой чрезмерного использования LLM-моделями, в частности Claude, определенных «клише» и шаблонных фраз, таких как «load-bearing». Исследование показывает, что подобные лингвистические паттерны возникают из-за особенностей обучения моделей на специфических корпусах текстов. Для решения проблемы предлагаются методы системного промптинга, позволяющие эффективно фильтровать нежелательную лексику и повышать качество генерации контента. arXiv · Исследования и наука Почему LLM злоупотребляют риторической фигурой эпанортозиса Исследователи обнаружили, что современные большие языковые модели склонны к систематическому злоупотреблению эпанортозисом — риторическим приемом самокоррекции, при котором утверждение сначала отрицается, а затем уточняется. Этот паттерн, известный еще со времен Цицерона, стал характерной чертой генеративного текста, что негативно сказывается на естественности и лаконичности ответов ИИ в профессиональных и повседневных сценариях использования. arXiv · Исследования и наука Генерация сложных вопросов для обучения с помощью LLM Исследователи представили метод автоматизированной генерации вопросов высокого порядка (High-Order Questioning) для образовательных целей с использованием больших языковых моделей. В отличие от простых проверочных заданий, такие вопросы стимулируют критическое мышление и глубокое понимание материала. Авторы работы демонстрируют, как LLM могут эффективно адаптировать учебный контент для многоязычных аудиторий, снижая нагрузку на преподавателей при составлении качественных проверочных материалов. Hacker News · Инфраструктура для агентов Снижение галлюцинаций ИИ через инвариантно-ориентированное проектирование систем Вместо попыток дообучить модель для устранения галлюцинаций, авторы предлагают изменить архитектуру системы, внедрив подход «инвариантно-ориентированного проектирования». Суть метода заключается в создании жестких ограничений и проверок на уровне инфраструктуры, которые гарантируют корректность вывода независимо от вероятностной природы LLM. Это позволяет строить надежные агентные системы, где логика обработки данных защищена от ошибок генерации. arXiv · Машинное обучение Новый метод обучения языковых моделей с комбинированием верифицируемых наград и человеческих предпочтений Исследователи представили метод обучения языковых моделей, объединяющий RLVR (обучение с подкреплением на основе верифицируемых наград) и человеческие демонстрации. Подход позволяет оптимизировать модели не только по объективным метрикам, таким как корректность кода или математических вычислений, но и учитывать субъективные аспекты качества текста, включая стиль, структуру и логическую связность, которые ранее игнорировались традиционными алгоритмами. arXiv · Безопасность и алайнмент Inverse Constitutional AI: новый метод интерпретируемого алайнмента Исследователи представили метод Inverse Constitutional AI (ICAI), который позволяет извлекать логику человеческих предпочтений из оценок моделей. Вместо простого выбора между вариантами, система анализирует скрытые критерии и формулирует их в виде понятных принципов на естественном языке. Это повышает прозрачность процесса алайнмента, делая процесс принятия решений ИИ более предсказуемым и обоснованным.

← Все материалы