arXiv · 28.07.2026 ·Машинное обучение

Оценка устойчивости табличных foundation-моделей к сдвигам данных

Исследователи проанализировали производительность табличных foundation-моделей (TFM) в условиях Out-Of-Distribution (OOD), когда тестовые данные отличаются от обучающих. Несмотря на конкурентоспособность с классическими ансамблевыми методами на статических выборках, TFM демонстрируют уязвимость при изменении распределения данных, что критически важно для реальных бизнес-задач, где структура признаков и целевые показатели постоянно эволюционируют.

В работе рассматривается проблема «сдвига распределения», которая часто игнорируется при разработке моделей для работы с табличными данными. В то время как традиционные методы, такие как градиентный бустинг, показывают высокую стабильность, новые нейросетевые подходы требуют более глубокого анализа на предмет надежности. Авторы подчеркивают, что текущие бенчмарки часто переоценивают возможности TFM, так как они предполагают идентичное распределение данных в обучающей и тестовой выборках.

Результаты исследования указывают на необходимость разработки новых методов обучения и регуляризации для табличных моделей, чтобы повысить их устойчивость к внешним изменениям. Это особенно актуально для финансовых и аналитических систем, где точность прогнозов напрямую зависит от способности модели адаптироваться к новым рыночным условиям без необходимости полной переобучения на свежих данных.

Ключевые факты

Исследование сфокусировано на сравнении TFM с классическими ансамблевыми моделями на основе деревьев решений.
Выявлено, что при наличии сдвигов в распределении данных (OOD) эффективность современных табличных foundation-моделей существенно снижается.
Работа подчеркивает разрыв между результатами на стандартных бенчмарках и реальной эксплуатационной устойчивостью моделей.
Авторы предлагают пересмотреть подходы к оценке качества моделей, делая упор на проверку в условиях нестабильных входных данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Оценка априорных распределений данных в табличных foundation-моделях Исследователи представили методологию для оценки априорных распределений данных (data priors), которые лежат в основе обучения табличных foundation-моделей. Авторы работы анализируют, как именно выбор генеративных распределений при претрейнинге влияет на итоговую производительность моделей, предлагая стандартизированный подход для сравнения различных архитектур и стратегий обучения, что ранее оставалось «черным ящиком» в разработке табличных ИИ-систем. arXiv · Безопасность и алайнмент Уязвимости конфиденциальности в табличных foundation-моделях Исследователи выявили критические риски конфиденциальности в табличных foundation-моделях, использующих механизм внимания. Несмотря на обучение на синтетических данных, модели подвержены утечкам чувствительной информации при инференсе. В процессе in-context learning данные, передаваемые в качестве размеченных примеров, могут быть восстановлены через анализ весов внимания, что ставит под угрозу безопасность высокорисковых запросов в корпоративных системах. Hacker News · Оценка и бенчмарки Проблема доверия к количественным метрикам в эпоху LLM Современные бенчмарки для оценки больших языковых моделей часто вводят в заблуждение из-за утечек данных, некачественной разметки и отсутствия репрезентативности. Авторы анализа указывают, что высокие показатели на тестах не гарантируют реальной производительности в задачах, так как модели склонны «зазубривать» ответы, а сами метрики не учитывают контекстуальную сложность и логические ошибки ИИ. arXiv · Машинное обучение KnowsTFM: повышение точности табличных моделей через интеграцию знаний Исследователи представили метод KnowsTFM, который улучшает работу малых табличных моделей (TFM) за счет интеграции внешних реляционных знаний. В условиях нехватки данных или их высокого смещения относительно обучающей выборки, подход позволяет моделям превосходить специализированные методы, эффективно используя структурированную информацию из предметных областей для повышения качества предсказаний в сложных задачах. arXiv · Оценка и бенчмарки Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях. arXiv · Исследования и наука Исследование методов оценки графовых фундаментальных моделей Исследователи представили комплексный анализ производительности графовых фундаментальных моделей (GFM), сфокусировавшись на задачах прогнозирования свойств узлов. Работа выявляет критические недостатки в текущих подходах к тестированию, предлагая стандартизированную методологию для объективного сравнения архитектур. Авторы демонстрируют, что многие современные модели показывают нестабильные результаты при смене наборов данных, что требует пересмотра подходов к их обучению и валидации. arXiv · Оценка и бенчмарки Исследование чувствительности мультимодальных моделей к порядку данных Исследователи представили инструмент Facet-Probe для аудита мультимодальных LLM, выявляющий критическую проблему: модели часто меняют ответы при простом изменении порядка входных данных. Стандартные бенчмарки игнорируют этот фактор, что ставит под сомнение надежность систем в реальных сценариях, где порядок предоставления информации не должен влиять на итоговый результат или логические выводы нейросети. Hacker News · Оценка и бенчмарки Почему стандартные бенчмарки перестали отражать реальную эффективность моделей Разработчики Poetiq заявили об отказе от использования стандартных публичных бенчмарков при оценке своих ИИ-систем. По мнению авторов, общепринятые тесты стали нерелевантными из-за «загрязнения» обучающих данных и переобучения моделей под конкретные метрики. Вместо них компания переходит к методологии оценки на основе специфических бизнес-задач и пользовательских сценариев, которые лучше отражают реальную производительность в продакшене. The latest research from Google · Машинное обучение Google представила TabFM: foundation-модель для работы с табличными данными Google Research анонсировала TabFM — новую foundation-модель, предназначенную для анализа табличных данных в режиме zero-shot. Архитектура модели основана на трансформерах и обучена на огромных массивах таблиц, что позволяет ей эффективно выполнять задачи классификации и регрессии без необходимости дообучения на конкретных наборах данных, превосходя традиционные методы градиентного бустинга в ряде сценариев. Hacker News · Оценка и бенчмарки Проблемы с бенчмарками для промптов Бенчмарки для оценки качества промптов часто сталкиваются с рядом проблем, которые могут искажать результаты. В новой статье рассматриваются ключевые аспекты, такие как избыточность данных и некорректные методы тестирования.

← Все материалы