Hacker News · 15.06.2026 ·Исследования в ИИ

Почему переобучение в нейросетях работает лучше ожиданий

Учёные из EPFL провели исследование, чтобы разобраться в феномене переобученности нейросетей. Оказалось, что переобученные модели часто показывают лучшие результаты, чем ожидалось. Это противоречит традиционным представлениям о том, что переобучение ведёт к ухудшению качества модели.

Исследователи предложили две гипотезы: гипотеза «лотереи» и гипотеза «убегающих измерений». Первая предполагает, что в переобученной модели есть подмножество весов, которые работают лучше остальных. Вторая гипотеза предполагает, что переобученные модели используют дополнительные измерения, которые помогают им лучше обобщать данные.

Эти выводы важны для разработки ИИ-агентов, так как они могут помочь в создании более эффективных моделей. Понимание механизмов переобучения позволит оптимизировать процесс обучения и улучшить качество моделей, что в конечном итоге приведёт к более умным и эффективным ИИ-агентам.

Исследование было опубликовано в журнале EPFL и доступно по ссылке: https://infoscience.epfl.ch/entities/publication/9a49779b-f9f8-448d-b3d1-737c78455309.

Источник: Hacker News

Похожие материалы

arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. Lobsters · Исследования ИИ и поведение ИИ-модели передают поведенческие черты через скрытые сигналы в данных Недавнее исследование, опубликованное в журнале Nature, показало, что языковые модели могут передавать поведенческие черты через скрытые сигналы в данных. Ученые обнаружили, что модели, обученные на данных, содержащих определенные поведенческие паттерны, могут воспроизводить эти паттерны даже в новых, ранее не встречавшихся контекстах. arXiv · Самоулучшение ИИ-агентов Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · Проблемы каузального рассуждения в ИИ-агентах Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. arXiv · Исследование цепочек рассуждений в ИИ Как цепочки рассуждений влияют на ответы ИИ-моделей Исследователи изучили, как цепочки рассуждений (Chain-of-Thought, CoT) влияют на точность ответов языковых моделей. Они выяснили, что не все шаги в цепочке одинаково важны для итогового результата. Для оценки значимости каждого шага использовался метод раннего выхода (early exit), который позволяет определить, насколько конкретный шаг влияет на конечный ответ. arXiv · ИИ-агенты и память Исследование геометрии памяти в непрерывном обучении Учёные изучили структуру памяти в непрерывном обучении, чтобы понять, как ИИ-агенты могут сохранять знания без катастрофического забывания. Исследование основано на фреймворке Accessibility Collapse и анализирует, как модели, такие как ResNet-18, теряют и восстанавливают информацию при обучении на последовательных задачах. arXiv · Обучение и ИИ-агенты Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. arXiv · Оптимизация инференса в ИИ-агентах Как снизить задержки в системах с потоковыми данными Исследователи из MIT и Google предложили новый подход к обработке потоковых данных в системах машинного обучения, который может существенно снизить задержки и нагрузку на серверы. В статье, опубликованной на arXiv, они описывают метод, который отделяет процесс инференса от обновления состояния, используя вероятностное прореживание (probabilistic thinning). arXiv · Оптимизация работы с моделями кода Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода.

← Все материалы