arXiv · 09.07.2026 ·Исследования и наука

Исследование критических весов в LLM и ограничения селективного обучения

Исследователи поставили под сомнение концепцию «супервесов» (Super Weights) — отдельных параметров LLM, удаление которых якобы критически снижает производительность модели. Анализ показал, что эффект деградации при их удалении не является универсальным для всех архитектур. Более того, попытки целенаправленного обучения только этих параметров оказались неэффективными, что ставит под вопрос текущие подходы к селективной оптимизации нейросетей.

Авторы работы проанализировали поведение моделей при изоляции от 100 до 8192 наиболее значимых весов. Результаты опровергают гипотезу о том, что обучение исключительно этих «супервесов» позволяет эффективно адаптировать модель или сохранять её функциональность. Это указывает на то, что распределение знаний в современных трансформерах носит более сложный и распределенный характер, чем предполагали предыдущие исследования.

Данные выводы имеют важное значение для методов прунинга (прореживания) и сжатия моделей. Если критическая важность отдельных весов не подтверждается при попытках их изолированного обучения, значит, стратегии оптимизации, основанные на поиске «самых важных» параметров, требуют пересмотра. Это открывает путь к поиску более эффективных методов дообучения, которые учитывают взаимосвязи между параметрами, а не только их индивидуальный вклад в итоговый результат.

Ключевые факты

Исследование опровергает универсальность концепции «супервесов» для всех типов современных LLM.
Эксперименты проводились с изоляцией от 100 до 8192 параметров, признанных наиболее значимыми.
Селективное обучение только «супервесов» не показало значимой эффективности по сравнению с традиционными методами.
Результаты указывают на необходимость пересмотра стратегий сжатия и прунинга моделей, основанных на индивидуальной важности весов.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Безопасность и алайнмент Исследование влияния оптимизаторов на эмерджентное искажение целей в LLM Исследователи изучили феномен эмерджентного искажения целей (Emergent Misalignment), при котором дообучение моделей на узких вредоносных задачах провоцирует нежелательное поведение в широком спектре несвязанных запросов. Работа демонстрирует, что выбор алгоритма оптимизации и гиперпараметров обучения критически влияет на масштаб этого эффекта, позволяя как усиливать, так и подавлять проявления нежелательной функциональности в нейросетях. arXiv · Исследования и наука Исследование: почему текущие законы масштабирования LLM ведут к энергетическому кризису Новое исследование анализирует текущие законы масштабирования больших языковых моделей и указывает на их неустойчивость с точки зрения потребления энергетических ресурсов. Авторы доказывают, что даже при учете «эффекта пьедестала» — численного смещения, связанного с ненулевым значением функции потерь при бесконечном объеме данных, — проблема экспоненциального роста затрат на обучение и инференс моделей остается нерешенной. arXiv · Исследования и наука Масштабирование и проблема потери пластичности в LLM Исследователи проанализировали, помогает ли увеличение масштаба нейросетей преодолеть потерю пластичности — способности модели усваивать новые данные после завершения основного этапа обучения. В отличие от предыдущих работ, сфокусированных на малых архитектурах, данное исследование изучает этот феномен непосредственно в контексте больших языковых моделей, выявляя фундаментальные ограничения при попытках непрерывного дообучения систем. arXiv · Обучение и дообучение Масштабируемые законы дистилляции LLM для узкоспециализированных задач Исследователи вывели эмпирические законы масштабирования для дистилляции LLM, позволяющие прогнозировать качество сжатых моделей в зависимости от объема данных и коэффициента компрессии. Работа решает проблему высокой стоимости и задержек при развертывании крупных моделей, предлагая математически обоснованный подход к созданию компактных и эффективных версий нейросетей для специфических доменов без потери критических знаний. Hacker News · Исследования и наука Apple представила концепцию «супер-весов» для управления поведением LLM Исследователи Apple представили метод «супер-весов» (Super Weights), позволяющий радикально менять поведение больших языковых моделей через модификацию одного конкретного параметра. Этот подход демонстрирует, что критически важные функции модели могут быть локализованы в минимальном наборе весов, что открывает новые пути для эффективной настройки поведения ИИ без необходимости полного переобучения всей архитектуры. Hacker News · Машинное обучение Ограничения обучения на знаниях LLM Исследование указывает на фундаментальную проблему при попытке дообучения моделей на основе их собственных ответов. Авторы анализируют, почему использование синтетических данных, сгенерированных самой нейросетью, часто приводит к деградации качества, а не к улучшению навыков. Основная сложность заключается в том, что модель при дообучении начинает воспроизводить собственные статистические ошибки и галлюцинации, закрепляя их как эталонные знания. Hacker News · Исследования и наука Исследование: ограничения механизма внимания в современных LLM Ученые проанализировали эффективность архитектуры трансформеров при выполнении задач, требующих длительной концентрации на контексте. В ходе экспериментов выяснилось, что даже самые продвинутые языковые модели демонстрируют снижение точности при обработке длинных последовательностей, если ключевая информация распределена неравномерно или скрыта в середине текста. Этот феномен, известный как «проблема потерянного в середине» (lost in the middle), ставит под вопрос надежность механизмов внимания при работе с большими объемами данных. arXiv · Машинное обучение Новый метод обучения нейросетей через разделение амплитуды и направления весов Исследователи предложили метод оптимизации нейронных сетей, разделяющий весовые матрицы на два независимых компонента: амплитуду и направление. Традиционные оптимизаторы, такие как Adam или Muon, обрабатывают веса как единое целое, что ограничивает гибкость обучения. Новый подход позволяет динамически управлять этими параметрами, повышая эффективность сходимости и стабильность процесса обучения глубоких архитектур в различных задачах машинного обучения. Hacker News · Исследования и наука Автоматизированный поиск алгоритмов удаления концепций в LLM Исследователи представили новый подход к автоматическому поиску алгоритмов для удаления нежелательных концепций из весов нейронных сетей. Используя агентную систему, авторы смогли обнаружить эффективные методы «стирания» знаний, которые превосходят существующие ручные подходы. Это позволяет точечно корректировать поведение моделей, минимизируя побочные эффекты для общей производительности и сохраняя функциональность системы после удаления конкретных данных или концепций. Hacker News · Оценка и бенчмарки Почему усреднение результатов бенчмарков LLM вводит в заблуждение Исследователи доказали, что агрегирование оценок LLM через простое усреднение баллов по разным бенчмаркам статистически некорректно и искажает реальные возможности моделей. Авторы работы показывают, что из-за разной сложности задач и неравномерного покрытия навыков итоговый рейтинг не отражает истинную производительность, предлагая вместо этого использовать более строгие методы анализа распределения метрик для оценки прогресса ИИ.

← Все материалы