MarkTechPost · 07.07.2026 ·Машинное обучение

Liquid AI представила метод Antidoom для борьбы с зацикливанием LLM

Liquid AI представила метод Antidoom для борьбы с зацикливанием LLM

Компания Liquid AI выпустила Antidoom — метод оптимизации предпочтений финальных токенов (FTPO), предназначенный для устранения «петель гибели» (doom loops) в рассуждениях языковых моделей. Технология выявляет токен, провоцирующий бесконечное повторение фрагмента текста, и проводит точечное дообучение этой позиции, что радикально снижает частоту ошибок генерации при сохранении производительности модели.

Проблема зацикливания возникает, когда модель начинает повторять одну и ту же последовательность до полного исчерпания контекстного окна. Antidoom анализирует структуру генерации и применяет FTPO для корректировки вероятностей на критических этапах. Это позволяет избежать деградации ответов, характерной для моделей, склонных к «застреванию» на определенных фразах или логических конструкциях.

Метод показал высокую эффективность на различных архитектурах, значительно сокращая количество сбоев в генерации. Внедрение подобного подхода позволяет повысить надежность моделей при выполнении сложных задач, требующих длинных цепочек рассуждений, без необходимости полной перетренировки всей нейросети.

Ключевые факты

Частота зацикливания модели LFM2.5-2.6B снизилась с 10,2% до 1,4% после применения Antidoom.
На модели Qwen3.5-4B показатель ошибок упал с 22,9% до 1%.
Метод фокусируется на исправлении конкретных токенов, инициирующих цикл, а не на изменении всей архитектуры.
Технология Antidoom опубликована в открытом доступе для интеграции в сторонние пайплайны обучения.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Метод Final Token Preference Optimization для борьбы с «петлями смерти» в LLM Исследователи Liquid AI представили метод Final Token Preference Optimization (FTPO), направленный на устранение «петель смерти» (doom loops) в генеративных моделях. Техника фокусируется на оптимизации вероятности финального токена, что позволяет значительно снизить вероятность зацикливания модели при генерации длинных текстов и повысить общую стабильность ответов без необходимости сложной перестройки архитектуры или значительных вычислительных затрат. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Машинное обучение Новый метод декодирования для борьбы с повторами в LLM Исследователи представили метод Variance-Calibrated Modulation (VCM), направленный на устранение проблемы «ловушки правдоподобия» при генерации текста большими языковыми моделями. Традиционные подходы к декодированию, такие как Top-p или Min-p, часто приводят к монотонности и избыточным повторам, так как модели склонны чрезмерно полагаться на наиболее вероятные токены, игнорируя разнообразие лексики, характерное для человеческой речи. arXiv · Машинное обучение Исследование: как устранить избыточное рассуждение в LLM Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning). arXiv · Машинное обучение Метод Message Passing ускоряет логический вывод в LLM Исследователи представили метод Message Passing, который оптимизирует процесс рассуждения больших языковых моделей. В отличие от традиционных цепочек мыслей (CoT), требующих последовательных вычислений, новый подход использует параллельную обработку через обмен сообщениями между потоками модели. Это позволяет значительно сократить вычислительные затраты и время инференса при сохранении высокой точности решения сложных логических задач. arXiv · Машинное обучение Posterior Refinement: новый метод ускорения генерации текста в неавторегрессионных моделях Исследователи представили метод Posterior Refinement, решающий проблему низкой эффективности неавторегрессионных языковых моделей. Новый подход использует Any-Order Flow Maps для итеративного уточнения текста, позволяя моделям критиковать и перегенерировать произвольные фрагменты токенов одновременно. Это устраняет ошибки факторизации, характерные для маскированных диффузионных моделей, и значительно повышает качество генерации при сохранении высокой скорости работы. arXiv · Модели и релизы DreamReasoner-8B: ускорение логических рассуждений через блочную диффузию Исследователи представили DreamReasoner-8B — открытую языковую модель, использующую метод блочной диффузии для генерации цепочек рассуждений (Chain-of-Thought). В отличие от стандартных авторегрессионных моделей, которые генерируют текст токен за токеном, блочные диффузионные модели позволяют выполнять параллельное шумоподавление сразу для нескольких сегментов текста. Это решение направлено на преодоление ограничений скорости при выполнении сложных логических задач, требующих длинных последовательностей рассуждений. Hacker News · Инференс и железо Релиз ThinkingCap-Qwen3.6-27B: оптимизация процесса рассуждения LLM Разработчики представили ThinkingCap-Qwen3.6-27B — специализированную версию модели Qwen3.6, оптимизированную для сокращения затрат на генерацию «мыслительных» токенов. Модель сохраняет функциональность базовой архитектуры, но требует на 50% меньше вычислительных ресурсов для этапа рассуждения, что значительно повышает скорость работы и снижает стоимость инференса при сохранении высокого качества логических выводов. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели.

← Все материалы